ב-1950 שב יוסף לארץ. לאחר שובו החל לעבוד כדיין בבית הדין הרבני בפתח תקווה. ב-1958 מונה לדיין בבית הדין בירושלים וכרב בישיבת "פורת יוסף". ב-1960 ניסה להתמודד לראשונה על משרת הרב הספרדי הראשי, אך לא זכה במשרה.
ב-1965 מונה לדיין בבית הדין הגדול לערעורים.
ב-1968 מונה לרב הראשי הספרדי בתל אביב.