בבואו לארץ-ישראל הצטרף בן צבי לבני העלייה השנייה ועבד במושבות. בשנת 1910 השתקע בירושלים והחל לעבוד כעורך העיתון"האחדות" (ביחד עם רחל ינאית אשתו ובן גוריון).
היה ממנהיגי מפלגת פועלי ציון. בשנת 1907 ייסד יחד עם חבריו את ארגון "בר-גיורא" אשר הפך לאחר שנתיים לארגון "השומר", שהציב לעצמו למטרה לקחת על עצמו את השמירה על המושבות בארץ-ישראל במקום השמירה ערבית שהייתה נהוגה עד אז.
הוא נסע לקושטא ביחד עם בן גוריון ללמוד באוניברסיטה של קושטא. חזר לארץ ב-1915, נאסר והוגלה למצרים. משם יצא עם בן-גוריון לארצות הברית.
היה בין מקימי הגדודים העבריים וחזר אתם לארץ-ישראל. לאחר המלחמה היה ממקימי מפלגת אחדות העבודה וההסתדרות העברית. שימש בארץ במשך שנים ארוכות בתפקידים רבים, כיהן כראש הועד הלאומי בין השנים 1931-1944, וכנשיא הוועד הלאומי בין השנים 1944-1948. היה ממנהיגי מפא"י. פעל להרחבת מסגרות ארגון ההגנה, ועמד בראש הוועד להקמת המדינה. ב-1948 נבחר לכנסת נראשונה ברשימת מפא"י, שימש במספר תפקידים פרלמנטריים עד שנבחר בשנת 1952 לנשיא מדינת ישראל במקום חיים וייצמן.
שימש בשני כהונות נשיאות (בין השנים 1952-1963)ונודע בעממיותו ובצניעותו. תרם גם למחקר המדעי. פרסם מספר מחקרים וספרים הקשורים לקהילות ישראל ולפזורה היהודית.
נפטר בשנת 1963 ונקבר בירושלים.