בעקבות רצח רבין שב רמון לממשלת פרס כשר הפנים. עמיר פרץ מונה במקומו כיו"ר ההסתדרות. רמון שימש כיו"ר מטה ההסברה של מפלגת העבודה בבחירות 1996, בהן הפסיד מועמד המפלגה לראשות הממשלה, שמעון פרס, למועמד הליכוד נתניהו.
רמון היה מיוזמי ומובילי החוק לפיזור הכנסת שהביא לנפילת ממשלת נתניהו בדצמבר 1998.
עם כינון ממשלת ברק ב-1999 מונה רמון לשר במשרד ראש הממשלה האחראי על ענייני ירושלים. באוקטובר 2000 מונה לשר הפנים במקום נתן שרנסקי שפרש מהממשלה.
בתקופת כהונתו של ברק הירבה רמון לבקר את יוזמותיה המדיניות של הממשלה.
עם כינון ממשלת אחדות בראשות שרון במרץ 2001, הודיע רמון כי לא יצטרף לממשלה כשר.