מרווין גאי ג'וניור נולד ב- 2.4.39 בוושינגטון די.סי. כבן שני למשפחה בת שלושה ילדים. אביו היה כומר בכנסיה שהיכה אותו על בסיס יום יומי. בגיל שלוש החל גאיי הצעיר לשיר בכנסייה, כשהוא הופך בהדרגה לסולן. מאוחר יותר למד לנגן בפסנתר ותופים, והפך את המוסיקה לאמצעי הבריחה שלו מאימת אביו.
לאחר שסיים את לימודיו התגייס גאיי לחיל האוויר, וכשהשתחרר, חזר לוושינגטון והחל לשיר במספר הרכבי רחוב. בשנת 1958 עבר גאיי לשיקגו, כחלק מהרכב זמרי הרקע של הזמר הארווי פוקווה, The Moonglows.
בזמן הופעה בדטרויט בשנת 1961 גילה את גאיי ברי גורדי מחברת מוטאון, והחתים אותו.