בשנת 1978 הצטרף רמון למפלגת העבודה ומשנת 1983 מכהן רמון כחבר כנסת מטעמה.
בכנסת ה-10 כיהן כחבר בוועדת חוק, חוקה ומשפט. בכנסת ה-11, בשנים 1984-1988, כיהן כחבר בוועדת חוקה, חוק ומשפט, הוועדה לעניני ביקורת המדינה וריכז את סיעת המערך בוועדת הכספים. בכנסת ה-12, בשנים 1988-1992, כיהן כחבר בוועדת הכנסת, ועדת הכספים ווועדת חוקה, חוק ומשפט. כמו כן כיהן כיו"ר סיעת העבודה בכנסת. מאז 1996 מכהן רמון כחבר בוועדת חוץ וביטחון.
בשנת 1984-1987 היה המזכיר הארצי של המשמרת הצעירה של המפלגה.