בשנים 1961-1970 כיהן כהן כמזכיר המשמרת הצעירה של מפלגת העבודה בבני-ברק.
בשנים 1970-1975 כיהן כמזכ"ל בית ברל.
בשנים 1975-1986 כיהן כיו"ר אגף הערבים והדרוזים במפלגת העבודה.
בשנים 1986-1992 שימש יו"ר אגף הבחירות במפלגת העבודה, והיה אחראי לניהול מערכות הבחירות לכנסת, להסתדרות ולשלטון המקומי.
מדצמבר 1997 מכהן כמזכ"ל מפלגת העבודה.
באוגוסט 2000, לאחר התפטרות שרי ש"ס מממשלת ברק, מונה לשר העבודה והרווחה.
לאחר כינון ממשלת שרון במרץ 2001, מונה לשר בלי תיק.