כמו מוסיקאים רבים אחרים, עלייתו של בייקר לפיסגת הג'אז העולמית כללה בתוכה גם שימוש נרחב בסמים. שימוש זה גם הביא בסופו של דבר לנפילתו. ב-1960 נכלא בייקר בכלא האיטלקי בשל עבירות סמים. לקראת סוף שנות ה-60', הסתבך בייקר בתיגרה עם סוחר סמים שבמכת אגרוף שבר את כל שיניו. לחצוצרן, עובדן השיניים סימל סוף לנגינה. למרות כל הסיכויים, חזר בייקר לנגן בשנות השבעים, אך לא טרח להתנקות לגמרי מהסמים. ב-1988 מצא את מותו בנפילה מחלון (שפרטיה מעוררים תמיהה עד היום).