בסוף שנת 1969 החל גאיי להעסיק עצמו בבעיותיו האישיות, ובבעיות פוליטיות של ארצו והעולם. כשהוא טרוד בעניינים אלה, המשך הצלחותיו במצעדים נראו לו לפתע שלא במקום. הוא כתב והפיק בעצמו את תקליטו הבא, "What's Going On" שלאחריו פני המוסיקה השחורה השתנו לחלוטין. בשילוב של ג'אז ואלמנטים קלאסיים, שר גאיי על דיכוי, שחיתות, איכות הסביבה וסמים בצורה שלא נראתה עד כה. בהשראת אחיו, פרנקי, אשר שירת באותה תקופה בוויטנאם, היה גאיי מבין הראשונים אשר תהה על צורך במלחמה, באלבומו. "What's Going On" גם הראה לעולם את השקפתו הספירטואליסטית של גאיי.
ברי גורדי והאנשים המחליטים במוטאון סירבו תחילה לשחרר את האלבום. גורדי אף הודה כי מעולם לא הבין מה היה בסוד היצירה. עם זאת שלושה שירים מתוך האלבום הפכו ללהיטי עשרת הגדולים, והצלחתו גרמה לכך שגאיי ואומנים רבים (כמו סטיבי וונדר) יעזו לקחת לעצמם את חופש היצירה.