
חרף הצלחתו בתחום הנדסת הבניין, הקדיש עצמו ילצין, החל מ- 1968 לחיים הפוליטיים.
בשנת 1976 מונה למזכיר ראשון של מחוז הולדתו. במסגרת התפקיד פגש לראשונה את מיכאיל גורבצ'וב, לימים נשיאה האחרון של ברה"מ.
כמזכיר המחוז, הקדיש משאבים רבים לבניית בתים לפועלים - יוזמה אשר העניקה לו פופולאריות רבה בקרב בני המחוז.
בשנת 1981 נבחר לחבר הועדה המרכזית של המפלגה הקומוניסטית.
במרץ 1985 נבחר גורבצ'וב למזכ"ל המפלגה. מתוך כוונה להיאבק בשחיתות אשר פשטה במפלגה, מינה גורבצ'וב את ילצין לנציגו בבחירות למזכירות מטה המפלגה במוסקבה, משרה השקולה לראשות העיר.
ב- 24 בדצמבר 1985, נבחר ילצין לתפקיד.
כראש העיר, נעמד ילצין לימינו של גורבצ'וב כל עת שהעביר האחרון רפורמות ליברליות, אולם בד בבד, נוטה היה למתוח ביקורת נחרצת על כל עיכוב בביצוע הרפורמות, וגישתו הרפורמיסטית הדאיגה רבים מבעלי הכח במפלגה.
פועל יוצא של דאגה זו, היה דעיכת כוכבו של ילצין בפוליטביורו; גורבצ'וב הפנה לו עורף וב- 21 באוקטובר 1987 נאלץ ילצין לפרוש מראשות העיר ובפברואר 1988 מן הפוליטביורו.
הוא נותר חבר המפלגה הקומוניסטית, והחזיק במשרת סגן ראש הועדה לענייני בנייה בברה"מ.
ב- 9 בנובמבר 1987 סבל מהתקף לב.
גם למול הלחץ המפלגתי, לא חדל ילצין מלבקר את ה"פרסטרויקה" האיטית של גורבצ'וב ולדרוש רפורמות ליברליות מהירות ויעילות יותר. ביקורותו התפרסמה בעיקר בעיתונים זרים, שהרי כלי התקשורת המקומיים היו בידי המפלגה.
חרף האנטגוניזם שעורר בקרב בכירי המפלגה, הצליח ילצין לחזור למרכז הזירה הפוליטית בברה"מ, בעיקר בזכות הרפורמה בבחירות שהעביר גורבצ'וב, לפיה יבחרו הצירים לפרלמנט הסובייטי החדש.
בבחירות שנערכו במרץ 1989 נבחר ילצין לבית הנבחרים הטרי.
ילצין המשיך את מתקפתו על הכוחות השמרניים בברה"מ; הוא קרא להעברת סמכות מן הקרמלין לגופים הרפובליקנים, לרפורמות כלכליות וחברתיות ליברליות, ודרש מגורבצ'וב לעמוד איתן למול השמרנים.
ביולי 1990 פרש ילצין מן המפלגה הקומוניסטית. באוגוסט כרת ברית פוליטית עם גורבצ'וב, אשר עיקרה - "תכנית 500 הימים", לפיה תיערך תכנית כלכלית רוסית חדשה, והקרמלין יחוייב להאציל סמכויות על הרפובליקות הסובייטיות.
התכנית מעולם לא יצאה לפועל. גורבצ'וב החל להתמהמה בביצועה וילצין מתח עליו ביקורת נוקבת.
ילצין דיכא את נסיון ההפיכה הקומוניסטי שנערך ב- 19 באוגוסט.
דיכוי ההתקוממות חיזק את מעמדו הפוליטי.
ב- 25 בדצמבר 1991 התפטר גורבצ'וב וברה"מ קרסה.
ילצין הפך לנשיאה הנבחר הראשון של רוסיה.