נולד באוקראינה בשנת 1884, להורים קשיי יום. בילדותו למד בחינוך תורני, בגיל צעיר נטה לחובבי ציון. הצטרף לפועלי ציון והקים במהלך מהפכת 1905 יחד עם חבריו ארגון הגנה עצמית. המשטרה עשתה חיפוש בביתו ומצאה כלי נשק. בן צבי הצליח להמלט לווילנה, שם הצטרף לפועלי ציון. בהשפעת חבריו עלה ב-1907 לארץ-ישראל.