לאחר בחירתו לראשות הממשלה, הציע אהוד ברק את מינוי מזכיר הממשלה להרצוג.
הרצוג נודע כמי שמתמרן בדיפלומטיות בין שרי הממשלה, ובעיקר מצליח להתקשר עם המפלגות הדתיות. בתיווכו נפתרו מספר משברים, ביניהם משברים עם ש"ס ו"משבר הטורבינה". כמו כן הוא ידוע בקשריו עם מנהיגים בעולם החרדי, כיעקב ליצמן מ"יהדות התורה".
הרצוג סיים את כהונתו עם כינון ממשלת שרון במרץ 2001.