בשנת 1976 הצטרף היידר למפלגת החופש האוסטרית FPO.
בשנת 1979 נבחר לפרלמנט מטעם המפלגה וכיהן בתפקיד עד 1983. במרץ 1992 נבחר שוב לפרלמנט.
ב-1983 נבחר ליו"ר מפלגת החופש במדינת קרינת'יה.
בשנים אלה חל פילוג במפלגה: הזרם הלאומני יותר התנגד מאוד לתדמית הליברלית והמתונה יחסית שיזמה מהפלגה באותן שנים. היידר, שהיה מראשי המתנגדים, נעזר בתמיכה הרחבה במדינת הולדתו, קרינת'יה, וב-1986 הצליח לתפוס את ראשות המפלגה.