ארגון ההגנה נוסד בשנת 1920 לאחר מאורעות תל חי והפרעות בירושלים, והיה קשור מראשיתו אל תנועת העבודה ואל הסתדרות העובדים הכללית.
הרעיון שעמד בבסיס הקמת הארגון היה מימוש רעיון ההגנה העצמית של היהודים על עצמם ועל רכושם מבלי צורך להזדקק לטובתם של הערבים ולסמוך על הגנתם ועל הגנתו של השלטון הבריטי של ההתיישבות היהודית בארץ.
ארגון ההגנה קם חודש לאחר שהתפרק ארגון השומר וראה עצמו כממשיכו. לאנשי השומר הצטרפו אנשי גדוד העבודה ע"ש טרומפלדור ואנשי הגדודים העבריים ויחד הקימו את כוח המגן העברי הראשון בארץ ישראל.
הפרעות שפרצו בשנת 1920 מצאו את ההגנה בחיתוליה אך למרות זאת הצליחה להביס את הפורעים ולהוכיח את נחיצות אהרגון להגנת הישוב היהודי.
שנים שקטות באו על הישוב לאחר תום פרעות 1920 ואנשי הנהגת הישוב החלו לפקפק בנחיצותה של ההגנה. היו שדרשו להשיב את הנשק לבריטים ולסמוך על הגנתם. ראשי ההגנה לא האמינו לשלטונות המנדט שכבר אז החלו לסגת מנכונותם להקמת הבית הלאומי ליהודים בארץ ולא הסכימו להחזיר את נשקם.
התנגדות זו הביאה להפסקת התמיכה הכספית של ההנהלה הציונית בארגון ההגנה. בעקבות סכסוך זה פרשו מן ההגנה אנשי השומר בשנת 1922.