יצחק הרצוג נולד ב-1960 בתל אביב וגדל בצהלה. משפחתו נחשבה סגורה ומתבלטת. בבית שוחחו הרצוג ומשפחתו בשפה האנגלית. הרצוג למד בתיכון עירוני ב' וג' בתל אביב.