לאחר פרישותו מצה"ל היה לחבר בהנהלת הקיבוץ המאוחד, והצטרף במסגרת מפלגת אחדות העבודה למפ"ם. לאחר הפילוג המפ"ם בשנת 1954 נעשה אלון לאחד ממנהיגי מפלגת אחדות העבודה וכיהן כמזכ"ל המפלגה. הוא נבחר מטעמה לכנסת בשנת 1955.
בשנת 1960 התפטר מהכנסת ויצא ללימודים באוניברסיטת אוקספורד.
חזר בשנת 1961 וכיהן בכנסת הרביעית.