בשנת 1988, בעידודו של שמעון פרס, התמודד בורג ברשימת המערך לכנסת, ונבחר לכהן כחבר כנסת מטעמה עד 1992. בתקופת כהונתו זו היה חבר בוועדת החוץ והביטחון, ועדת הכספים, והוועדה לביקורת המדינה.
בורג בלט בתמיכתו בהפרדת הדת מהמדינה על אף היותו דתי אורתודוכסי חובש כיפה. כמו כן פעל למען גיוס בחורי הישיבות לצה"ל, והיה חבר הוועד המנהל בחברה להגנת הטבע.
בשנת 1992 נבחר שוב לכנסת, לאחר שזכה בפריימריז של מפלגת העבודה במקום השני -לאחר שמעון פרס- ברשימה לכנסת.
לאחר היבחרו, מונה בורג ליושב ראש ועדת החינוך והתרבות של הכנסת, והיה חבר בוועדה לקידום מעמד האישה.
היה אחד מחברי ה-"שמינייה" -התארגנות של חברי כנסת במפלגת העבודה, שראו את עצמם כ-"הדור הבא" של המפלגה. חברי ה-"שמינייה" הם:
חיים רמון, ניסים זווילי, יוסי ביילין, אברום בורג, חגי מרום,
עמיר פרץ, נוואף מסאלחה, ויעל דיין.
כיום אין מפגשים מאורגנים של השמינייה, אך חבריה שומרים על לויאליות, ונחלצים לעזור אחד לשני בעת הצורך.