בכנסת ה-12, בשנים 1988-1992 היה חבר בוועדות הכנסת, הכספים, חוץ וביטחון ועיניני ביקורת המדינה.
בכנסת ה-13, בשנים 1992-1996 כיהן כיו"ר סיעת העבודה בכנסת, וכן היה חבר בוועדות חוץ וביטחון ועיניני ביקורת המדינה.
בכנסת ה-14, בשנים 1996-1999 כיהן כיו"ר הסיעה עד דצמבר 1997, וכן היה חבר בוועדות לעניני ביקורת המדינה והכנסת.
כיום חבר כהן בוועדות החוץ והביטחון, הוועדה לעיניני ביקורת המדינה והוועדה לתקציב הביטחון.