נודע כעילוי תורני מגיל צעיר. בגיל 19 הוסמך לרב.
ב-1947 עבר למצרים, שם כיהן כדיין וכסגן הרב הראשי במדינה. ב-1950 שב לישראל וכיהן בשורה של תפקידי דיינות ורבנות.
ב-1970 זכה בפרס ישראל לספרות תורנית.
ב-1972 מונה לרב הספרדי הראשי. ב-1983 הודח בעקבות תרגיל פוליטי בו הגבילה הכנסת כהונת רבנים ראשיים לעשר שנים. את ההגבלה יזם חבר הכנסת משה נסים, שאביו, הרב יצחק נסים, הפסיד ליוסף בהתמודדות על משרת הרב הראשי הספרדי.
לאחר הדחתו החל לתמוך במפלגת ש"ס, שפעלה להפסקת קיפוח ישראלים ממוצא מזרחי. יוסף, כפוסק האחרון בכל צעדיה של ש"ס, שהפכה למפלגה השלישית בגודלה בכנסת, הפך לאחת מהדמויות הפוליטיות רבות העוצמה בישראל. הוא מוקד עליה לפוליטיקאים מכל קצוות הקשת הפוליטית.
יוסף התפרסם בהתבטאויותיו בגנות השלטון, מערכת המשפט ופוליטיקאים מהשמאל. התבטאויות אלה גרמו לסערות ציבוריות ולגינויים חריפים של הציבור החילוני.
בחודש מרץ 2000 נפתחה בהוראת היועץ המשפטי לממשלה חקירת משטרה על שקרא לקרוא ליו"ר מרצ יוסי שריד "ארור שריד". יוסף סירב לשתף פעולה עם חוקרי המשטרה.