ב-1920 היה ממייסדי ההגנה. שנה אחר כך היה פעיל מטעמה בוועד ההגנה מטעם ההסתדרות הכללית. במסגרת זאת היה פעיל בהגנה על תל-חי, בארגון ההגנה העצמית בתל-אביב לאחר אירועי 1921, בהרחבת פעילות ההגנה לאחר אירועי חברון וירושלים ב-1929, ובתגובה היהודית הצבאית באירועי 1936-1939, בכלל זה בעיצוב מדיניות "ההבלגה".
היה המתאם הראשי בהרחבת מוסדות ההגנה, בהקמת כוחות ובהרחבתם. הקמת הפו"ש בשנות השלושים וכן יחידות הפלמ"ח הייתה במסגרת אחריותו. כך גם היה פעיל בארגון הבריגדה היהודית והצנחת מתנדבים יהודים באירופה במלחמת העולם השנייה.
לצד פעילותו הבטחונית בהגנה והיותו נציג תנועת העבודה בהגנה ובמוסדותיה, עסק גולומב גם בעיסוקים פוליטים רבים ומגוונים. הוא עסק בארגון הנוער החלוצי באירופה, היה אחד מראשי אחדות העבודה ומפא"י, חבר הוועד הפועל של ההסתדרות הכללית, ציר לקונגרסים ציוניים רבים, ופעיל מרכזי ב"וועד הלאומי".
נפטר בשנת 1945. ביתו בתל אביב משמש ארכיון ההגנה ונקרא "בית אליהו".