בשנת 1980 התמודד רבין שוב על ראשות המפלגה אך קיבל רק אחוז קטן מן הקולות.
לאחר הקמת ממשלת האחדות ב-1984 מונה לשר הביטחון, וכיהן בתפקיד עד 1990. בכהונתו התמודד עם אירועי האינתיפאדה בשטחים, פעל להסגת כוחות צה"ל מלבנון לרצועת הביטחון והתפתח דימויו כ"מר ביטחון".