באוקטובר 1995, לאחר שלא מונה לתפקיד סגן הרמטכ"ל (מתן וילנאי תפס את מקומו), פרש מרדכי מצה"ל. לאחר שחרורו מצה"ל ביקש מרדכי להתמנות לראש השב"כ, אולם ראש הממשלה ושר הביטחון שמעון פרס סירב לבקשתו. מרדכי הצטרף אל הליכוד בדצמבר 1995.