בשנת 1996 נבחר כהן לכנסת מטעם ש"ס. ביולי 1999 מונה לשר הדתות בממשלת ברק. ביולי 2000 התפטרו שרי ש"ס מן הממשלה ערב פסגת קמפ דיוויד, עקב חילוקי דיעות על רקע מדיני עם ראש הממשלה. לכן עזב כהן את משרדו.