במרץ 1996 זכה מרדכי במקום הראשון בפריימריס של הליכוד, ולאחר מכן מונה
עם בחירתו של בנימין נתניהו לראש הממשלה מונה לשר הביטחון. מרדכי הוביל בסקרים כשר הפופולרי ביותר בממשלה, וזכה לאהדת הממשל האמריקאי וגורמים ערבים שראו בו גורם מתון בממשלת הימין. באותה תקופה יזם פיוס עם יריביו מהעבר, אמנון ליפקין-שחק ומתן וילנאי.