רוברט "בובי" פרנסיס קנדי נולד בברוקלין, במדינת מסצ'וסטס. הוא היה ילדם השביעי (מתוך תשעה ילדים), של ג'וזף ורוז קנדי. אביו, ג'וזף, היה אדם קתולי ומשכיל, אשר שירת כשגריר ארה"ב בלונדון בשנים 1937-1940. משפחת קנדי היתה אז (ועודנה היום) סמל להצלחה מחד, ולטרגדיות מאידך: אחיו הבכור של בובי קנדי, ג'וזף ג'וניור, נספה במלחמת העולם השנייה, אחותו קתלין, נפטרה בתאונת מטוס בשנת 1948 (שנה לאחר שנפטר בעלה), אחות שלישית - רוזלין, נולדה רפת שכל, ותבלה את רוב חייה במוסדות לחולי נפש.
בובי קנדי החל לימודיו באקדמיית מילטון,אולם ב- 1943, תקופת מלחמת העולם השנייה הפסיקם לטובת שירות בחיל הים האמריקני.
עם סיום המלחמה, חזר קנדי ללימודיו. ב-1948 הוענק לו תואר בממשל מאוניברסיטת הרוורד ושלוש שנים לאחר מכן, תואר במשפטים מאוניברסיטת וירג'יניה.
ב- 1950 נישא בובי קנדי לאת'ל סקאקל וב- 4 ביולי 1951 נולדה בתם הראשונה - קת'לין.