משנת 1957 ואילך, הפך רולינס למנהיג בכל להקותיו. מצויינת בייחוד סדרת ההקלטות "Blue note" שניגן רולינס עבור "Prestige". לאחר עצירה קצרה, בסוף שנות החמישים, חוזר רולינס ב-1961 לרביעיה בשיתוף עם ג'ימי הול. נגינתו בינתיים רק משתכללת והוא מביא את ההרד-בופ לדרגות חדשות של מקוריות וחופש. ב-68' הוא פורש שוב וחוזר לעולם הג'ז ב-71'. יחד עם ג'ון קולטריין הוא חולק את תואר הסקסופוניסט הטוב בעולם.