ב-1935 עלה שמיר לארץ. ב-1937 הצטרף לאצ"ל. ב-1940 פרש מהארגון והיה ממייסדי הלח"י.
ב-1941 נעצר ע"י הבריטים ונכלא בבית המעצר "מזרע" בעכו. ב-1943 ברח מהכלא, ומונה למנהיג הלח"י לאחר מותו של מנהיגו, אברהם (יאיר) שטרן.
ב-1946 נעצר בפעם השניה והוגלה לאריתריאה שבאפריקה. ממעצרו זה ברח שוב ונמלט למושבה ג'יבוטי, שם ניתן לו מקלט מדיני.