במהלך מלחמת הירושה לאחר מותו של לנין בינואר 1924, תמך חרושצ'ב בסטאלין.
תחת המזכיר הכללי של המטה האוקראיני, לזאר קגאנוביץ' (Kagaovich), גם הוא מנאמני סטאלין, החל חרושצ'ב מתקדם בשורות המפלגה.
ב- 1929, לאחר שליחות מפלגתית קצרה לקייב, החל לימודיו באקדמיה התעשייתית על-שם סטלין במוסקבה. עד מהרה נבחר חרושצ'ב לראש תנועת הסטודנטים הקומוניסטית, וב- 1931 מונה לראש מחוז באומן (Bauman).
ב- 1935 ירש משרת פטרונו קגנוביץ', והיה למזכיר הראשי של סניף המפלגה הקומוניסטית במוסקבה (תפקיד המקביל לראשות העיריה).
לאחר שלוש שנים בתפקיד, חזר חרושצ'ב לאוקראינה כמזכיר ראשון של המפלגה.
ב- 1939 נבחר כחבר לפוליטביורו.
עם פרוץ מלחמת העולם השנייה פיקח חרושצ'ב על פעילות הצבא האדום בחזית הדרומית.
משנסוגו צבאות הציר, מונה חרושצ'ב לראש ממשלת אוקראינה, תפקיד במסגרתו יישם באדיקות את מדיניות ה"טיהורים" הסטאליניסטית.
עם תום המלחמה הקדיש חרושצ'ב את משאביו לשיקום החקלאות והכלכלה לאור ההרס שזרעה הפלישה הנאצית.
במרץ 1947 הועבר מתפקידו לאחר שנשמעו האשמות לפיהן לא דיכא חרושצ'ב כראוי את הקולות האנטי-קומוניסטים באוקראינה. את מקומו כראש ממשלת אוקראינה תפס ידידו קגנוביץ'.
אולם עד מהרה, חזר חרושצ'ב לעמדתו האיתנה במפלגה ולחסותו של סטאלין, ובדצמבר 1949 נקרא לשוב למוסקבה ולתפקידו כראש סניף המפלגה בבירה.