לאחר מלחמת העולם הראשונה הוחלט ע"י מועצת האו"ם לתת לבריטניה את המנדט על השלטון על ארץ ישראל ולהטיל עליה את האחריות לביצוע הצהרת בלפור הקובעת את ארץ ישראל כבית הלאומי של היהודים.
בעקבות החלטה זו החלו פרעות בארץ עקב התנגדות הערבים להצהרת בלפור ונסיונם לחבל בנסיונות לבצע את הכתוב בה.
בעקבות כך הוטל על זאב ז'בוטינסקי שהיה ממקימי הגדודים העבריים, לארגן את היהודים להגנה עצמית. הוא הקים את ארגון "ההגנה".
לאחר פרעות 1921 באו על הארץ שנים שקטות. מנהיגי הישוב החלו לפקפק בצורך בארגון ההגנה וחשבו כי ניתן לסמוך על השלטון הבריטי שייגן על הישוב היהודי בעת הצורך.
פרעות 1929 הכיחו כי טעו. הן באו על הארץ בהפתעה גמורה ולכן לא היה הישוב מוכן להן. במשך שבוע התפרעו הערבים ברחבי הארץ, הרגו 133 יהודים ופצעו 230.
ביקורת קשה הוטחה בארגון ההגנה והתעוררו מחדש הויכוחים על דרכי ההנהגה והפעילות בה. שתי בעיות עמדו בבסיס הויכוח: בעיית המרות - מי למי שייך ארגון ההגנה, להסתדרות העובדים הכללית לה היתה שייכת או האם יש להעבירה לידי הוועד הלאומי שייצג את הישוב כולו. המחלוקת השניה היתה האם יש להפוך את ההגנה לארגון צבאי.
באביב 1931 יצא לחופשה אברהם תהומי שהיה אז מפקד מחוז ירושלים בהגנה. כאשר חזר לארץ גילה כי מפקד חדש מונה בהעדרו וכי ההנהגה מסרבת להחזירו לתפקידו הקודם. סירוב זה גרם לתסיסה בארגון ותהומי וכמה מחבריו פרשו מההגנה והקימו ארגון מחתרת חדש.
ארגון זה נקרא "ארגון צבאי לאומי".