אלן היה בנם היחיד של הרברט גרינספן, סוכן מניות בבורסה, ואישתו רוז, שעבדה בקמעונות. בגיל ארבע הוריו התגרשו והוא עבר לחיות עם אמו והוריה בשכונת וושינגטון הייטס שבניו-יורק. כילד, גילה כשרון למתמטיקה, מוסיקה, בייסבול וטניס. גרינספן למד בבית הספר התיכון על שם ג'ורג' וושינגטון, בשכבה בוגרת מזו של עמיתו לספסל הלימודים, הנרי קיסינג'ר. באותה תקופה ניגן בסקסופון טנור ובקלרינט.
גם לאחר שעבר לוושינגטון מפאת תפקידיו, שמר על קשר קרוב עם אמו, עד לפטירתה בשנת 1995.