ב-1984 הקים שמיר ממשלת אחדות עם מפלגת העבודה. שמיר ושמעון פרס כיהנו כראשי ממשלה ברוטציה. בשנים 1984-1986 כיהן שמיר כממלא מקום ראש הממשלה ושר החוץ, וב-1986 מונה לתפקיד רה"מ. בתקופת כהונתו פרצה האינתיפאדה.
ב-1988 הוקמה ממשלת אחדות נוספת, אך ללא רוטציה. שמיר מונה לראש הממשלה.
ב-1989 יזם שמיר תכנית שלום יחד עם שר הביטחון יצחק רבין, שקראה בין השאר לקיום בחירות בשטחים. התוכנית זכתה להתנגדות רבה בליכוד, ונגנזה.
ב-1990 הופלה ממשלתו במה שנודע כ"תרגיל המסריח", בו פעלה מפלגת העבודה להפילו אך כשלה להרכיב קואליציה משלה. שמיר מונה שוב לראש הממשלה.
בינואר 1991 פרצה מלחמת המפרץ, ושמיר הנהיג מדיניות של איפוק שזכתה לביקורת בליכוד אך להערכה רבה בארה"ב.
בתקופת כהונתו קידם את ועידת מדריד לשיחות רב-צדדיות של ישראל עם מדינות ערב, והיה ראש משלחת ישראל אליה באוקטובר 1991.
ההשתתפות בוועידת מדריד הביאה לפרישת מולדת, צומת והתחיה מהממשלה, ולהחלטה להקדים את הבחירות.