במהלך המרי האזרחי הערבי בשנים 1936-1939, שרת בכח היהודי בפלוגות הלילה המיוחדות של קפטן אורד וינגייט.
קיבל את הפיקוד על יחידת פו"ש (פלוגות שדה).
בשנת 1940 נאסר על ידי הבריטים ונדון לעשר שנות מאסר בעוון פעילות צבאית בלתי-ליגלית. הוא שוחרר ממאסר כעבור שנתיים.
דיין צורף ליחידת מודיעין בריטית שפעלה בתחומי סוריה, נפצע במהלך אחת מפעולותיה בלבנון ב-1941 ואיבד את עינו.
עד מלחמת העצמאות עלה במהירות בדרגות הפיקוד השונות בהגנה.