בשנת 1976, בהתדינו על הסדר הגירושין של הזוג גאיי, קבע בית המשפט כי על מרווין לשלם לאשתו את הרווחים העתידיים מאלבומו הבא. בשנת 1978 מפנה לאשתו בסרקאסטיות את שם אלבומו החדש "Here My Dear". האלבום הכפול מתעסק בצורה מרירה במערכת היחסים האינטימית של בני הזוג, ובעקבותיו תובעת אמה גולדי את בעלה לשעבר בתואנת חדירה לפרטיות.
בין לבין, התחתן מחדש, והחל לעבוד על אלבום חדש, שבסופו של דבר ננטש. כשיחסיו עם אשתו החדשה התערערו גם כן, עבר גאיי להוואיי.
בעקבות בעיות עם רשויות המס של ארה"ב, היגר בשנת 1981 גאיי לאירופה, והחל לעבוד על אלבומו "In Our Lifetime". לאחר שחרור האלבום טען גאיי כי עבודתו שונתה ונהרסה ע"י מוטאון. לטענתו יצירתו המקורית בושלה ונערכה מחדש, ואפילו משם האלבום נשמט סימן השאלה אשר היה אמור להיות בסופו. גאיי נפרד מחברת מוטאון.