בבחירות שנערכו לאחר רצח רבין, ב-29 במאי 1996, לראשונה בבחירות ישירות לראשות הממשלה, הפסיד פרס למועמד הליכוד בנימין נתניהו בהפרש של 30 אלף קולות: 50.3 אחוזים מול 49.7 אחוזים. תוצאות הבחירות הפתיעו את הפרשנים הפוליטיים, שצפו כי לאור הנסיבות הפוליטיות והחברתיות שנוצרו לאחר רצח רבין, יזכה פרס. אך הוא ומפלגת העבודה שוב מצאו עצמם באופוזיציה.
בשנים 1996-1999 כיהן בכנסת כחבר בוועדת חוץ וביטחון.