ב-1977 מונה לשר לקליטת עליה בממשלת בגין.
מ-1979 עד 1990 כיהן כשר הבינוי והשיכון. בכהונתו קידם את פרוייקט שיקום שכונות המצוקה, שהקיף קרוב למאה שכונות ועיירות פיתוח, בהן התגוררה חמישית מאוכלוסיית ישראל. פרוייקט נוסף שקידם היה "בנה ביתך", שאפשר לישראלים רבים לבנות בית במחיר זול. כמו כן יזם הקמת שכונות ויישובים רבים ברחבי הארץ.
בשנים 1981-1984 כיהן גם כסגן ראש הממשלה.