ב-1972 התמודד שוב על משרת הרב הספרדי הראשי לישראל, מול הרב יצחק נסים, וזכה. אולם ב-1983 הודח יוסף יחד עם הרב האשכנזי שלמה גורן, בעקבות יוזמה פוליטית של המפד"ל והליכוד, שהעבירו תיקון לחוק, שקבע כי כהונת רב ראשי תוגבל ל-10 שנים. בין מובילי התרגיל היה השר משה נסים מן הליכוד, בנו של הרב יצחק נסים.