ב-1984, לאחר הדחתו מכהונת הרב הראשי, תמך יוסף ברשימה לבחירות המקומיות בירושלים של עסקנים ספרדים חרדיים, בשם ש"ס. המפלגה חרתה על דגלה את דגל קיפוח החרדים המזרחיים ע"י החרדים האשכנזים. עם זכייתה של ש"ס ב-4 מנדטים בבחירות לכנסת ב-1984 החל הרב יוסף לצבור עוצמה פוליטית, שהתעצמה עם עליית כוחה של ש"ס בכנסת בשנות ה-90'. יוסף הפך לאחת הדמויות הפוליטיות המשפיעות ביותר. בהיותו הפוסק האחרון בכל צעדיה של ש"ס הוא הפך למוקד עליה לרגל לפוליטיקאים וריכז בידיו כוח רב.
יוסף נחשב לרב המקל בפסיקותיו. אחת הדוגמאות הבולטות היא שאלת יהדותם של עולי אתיופיה. בזמן שהרבנים הראשיים פסקו כי יהדותם מוטלת בספק, יוסף פסק כי אינם צריכים לעבור גיור כלל.
יוסף סרב להיות כפוף לסמכות הרבנית האשכנזית ופסיקות רבות שלו סתרו את ההלכות האשכנזיות המקובלות.
סמכותו הרבנית והפופולריות הרבה שלו סייעה לש"ס לצבור נאמנים רבים.