כהונה כשר בממשלות ישראל

כיהן כשר העבודה בין השנים 1961-1967 בממשלות בן גוריון ולוי אשכול. שר הקליטה וסגן ראש הממשלה בין השנים 1967-1969.
שר החינוך והתרבות בין השנים 1969-1974.
שר החוץ בממשלת רבין וסגן ראש הממשלה בין השנים 1947-1977.

בתקופת היותו שר החוץ ביקש לקדם תכנית על שמו(תכנית אלון), לפתרון הסכסוך העברי ישראל. על פי תכנית זו, תחזיק ישראל בשטחים החיוניים לבטחונה באזור יהודה ושומרון, רצועת עזה וחצי האי סיני, ותעביר לשליטה ערבית את השטחים שיש בהם אוכלוסיה ערבית צפופה, ובכך את רוב סיני.