צ'סני הנרי בייקר נולד ב-1929 בייל, אוקלהומה. ידוע שאביו היה נגן גיטרה חובבן בלהקת קאנטרי מקומית. ב-1940 עברה המשפחה לגלנדייל, פרוור של לוס אנג'לס. בגיל 13 החל ללמוד לנגן בחצוצרה. בגיל 16 עזב בייקר את הצבא והתגייס לצבא האמריקאי. לאחר משרה פקידותית בברלין, הוצב בסופו של דבר בייקר בתזמורת הצבאית. בגרמניה מתוודע בייקר לג'אז. ב-1948 הוא חוזר ללוס אנג'לס ומתחיל ללמוד תאוריה מוסיקאלית באוניברסיטת אל קמינו.
ב-1950 הוא חוזר לצבא וממשיך לנגן בתזמורת הצבאית. מאוחר יותר, לאחר כמה עריקות משירות, הוא מוכרז לא מתאים לשירות צבאי.