Когато се спомене името му мнозина веднага се сещат за русите мадами с разкошни гърди, които с години са му запазена марка ... Но някога плейбоят се опитал да има спокоен семеен живот! Именно, основателя на Плейбой империята има зад себе си два брака и безброй любовни приключения. Въпреки това по-малко известно е, че за неговия бурен живот е отговорна неговата първа съпруга Милдред Уилямс, която сама го подтикнала към такова поведение.
Хю Хефнър и тогава двадесет и тригодишната студентка Милдред се оженили през 1949 г., но непосредствено преди сватбата, Милдред му признала на своя бъдещ съпруг, че му е изневерила, докато той е бил в армията. Такова признание Хефнър и днес го нарича "най-страшното нещо, което му се е случило в живота". Именно поради угризението на съвестта, която чувствала от собствената си изневяра, Милдред на Хю е позволила да спи с други жени, с надеждата, че всичко това ще спаси брака. Въпреки това, двойката се е развела през 1959 година.
След първият развод Хефнър напълно "подивял", това и било в периода, когато строил империята Плейбой , затова и непрекъснато бил в компанията на красиви момичета. В интервю Хю признал, че е бил с десетина зайчеца наведнъж, а това е било в периода когато експериментирал с бисексуалността.Една от най-известните му момичета от този период е била Барби Бентън. Тя няколко пъти се е появила на корицата на прочутия магазин през седемдесетте години на миналия век.
Хю и Барби живели заедно от 1969 до 1976 г., а до днес остава неизвестно защо са се разделили.Но едно е сигурно - след нея Хефнър завинаги се е отказал от брюнетките! Голям обрат в живота на Хефнър е бил малкият инфаркт, който той преживял през 59-та година от живота си, а след като се въстановил, той значително намалил и броя на партита, които посещавал.
През 1989 г.
След развода в дома на Хефнър започнали да се променят групите на русокосите красавици, а част от тях Хю снимал и в риалити шоу. Най-популярни са Холи, Бриджит и Кендра, а когато и те напуснали, Хефнър скоро открил нови три блондинки, които заменили старите. Навремето Хефнър признал, че през последните няколко десетилетия е в "етап на блондинки" и че го интересуват само дами с такъв цвят на косата. Интересното е, че първата му жена тази, която разбила сърцето му преди толкова много десетилетия - е брюнетка! Затова, въпреки всичко останало възможно е точно тя да има най-голям ефект върху това Хефнър да се концентрира само върху блондинки!