ב-1946 נבחר מיטראן לאסיפה הלאומית, וכיהן בתפקיד עד 1958. ב-1947 הצטרף לממשלתו של פול רמדיה, ובמשך 12 שנים כיהן בתפקידים שונים בממשלה. כמו כן כיהן כחבר בסנאט בשנים 1959-1962.
בתחילת הקריירה הפוליטית נחשב מיטראן לאיש מרכז, אך בהדרגה פנה לצד השמאלי של המפה הפוליטית. ב-1958 גיבש אופוזיציה לשלטון הימין של דה-גול וב-1965 התמודד מולו במירוץ לנשיאות, כנציג גוש השמאל, אך הפסיד.
בשנים 1959-1981 כיהן כראש עיריית שאטו-שינון.