רפי רשף נשוי לזמרת נורית גלרון. יש לו שלשה ילדים. אביו הוא עו"ד אשר רשף. אשר רשף וארבעת בניו שותפים בחברת "ארלדן נכסים", חברה להשקעות ונדל"ן. אחיו של רפי, עו"ד צלי רשף, הוא ממקימי "שלום עכשיו". וממנהיגיה הבולטים.