במהלך 1996 שמו של וויליאמס הופיע בעיקר בטורי רכילות לצד שמותיהם של חברי להקת אואזיס בהקשר למסיבות פרועות, סמים ואלכוהול. בסוף השנה הוציא ווילאמס סינגל סולו ראשון, גירסת כיסוי לשירו של ג'ורג' מייקל "Freedom 90", שלא זכה להצלחה גדולה.