הרצל הפך בווינה לעיתונאי מצליח בעיתון הליברלי החשוב ביותר באירופה, "הנוייה פרייה פרסה", שבו עבד עד מותו. במקביל הוא כתב מספר מחזות שהועלו בתיאטראות של וינה.
ב1889 הוא נשלח לפריס ככתב העיתון ובמשך חמש שנים שימש בתפקיד זה. בשנים הללו הוא פגש במספר תופעות אנטישמיות בוטות, כמו פרשת תעלת פנמה, או סקנדלים סביב האנטישמי דרימון.
ב-1894 במסגרת עבודתו הוא סקר את משפטו של הקצין הצרפתי היהודי, אלפרד דרייפוס, משפט שזעזע אותו במיוחד עקב תופעות האנטישמיות שהיו סביבו.
במשך שהותו בפריס, הוא הגיע למסקנה כי היהודים נמצאים במצוקה בגין האנטישמיות שקיימת סביבם. בתחילה חשב שיש לפתור את בעיות היהודים במסגרות שונות ובהם התנצרותם של היהודים. מאז 1894 הוא החל לחשוב כי פתרון בעיית היהודים יוכל להווצר רק במסגרת מדינית נפרדת שבה יהיו היהודים חפשיים לגורלם. לשם מימוש תוכניתו הוא חשב בתחילה לפנות העשירים מבין היהודים, דוגמת הברון הירש או משפחת רוטשילד, שבעזרת ממונם תוקם מדינת היהודים. הוא כתב להם מכתב, ואף פגש אותם. בשנת 1895 כתב את ספרו "מדינת היהודים" שבו הביע את רעיונותיו, בדבר הקמת מדינה ליהודים בעזרת ממונם של היהודים. בהמשך הוא נוכח, שעל אף שרעיונותיו זכו להד רב בעולם היהודי באירופה, הרי עשירי היהודים שחשב שירתמו לרעיונותיו, הסתייגו מהם לחלוטין.
בסוף 1896 הוא חשב לפנות לעם היהודי כולו כדי שירתמו לתוכניתו להקמת מדינה ליהודים. כך נולד רעיון הקונגרס שאמור היה להקים את הארגון שייצג את העם היהודי ויוכל לפעול למענו כדי להקים את מדינת היהודים.