Upravo zahvaljujući tim ulogama izgradio je imidž dostojanstvenog, moralno snažnog junaka, ali… dok je na platnu djelovao neustrašivo, njegov privatni život bio je daleko složeniji, naročito kada je riječ o ljubavi, koja mu nije uvijek donosila sreću i često je punila stupce tabloida.
Doživio srčani udar zbog žene
Njegov prvi brak sa Gretom Kukonen bio je daleko od idiličnog. Iako je volio njihovu djecu i trudio se da im pruži djetinjstvo kakvo sam nije imao, odnosi između supružnika bili su puni tenzija.
Razlike u stavovima, posebno oko njegove posvećenosti karijeri, dovele su do čestih sukoba i velikog psihičkog pritiska.U jednom trenutku stres je bio toliko jak da je Pek vjerovao da je doživio srčani udar.
Poslije još jedne svađe povukao se u osamu, provodeći mjesec dana u pustinji, pokušavajući da razjasni sopstvene misli. Iako je tada zaključio da možda nikada neće biti srećan u braku, ostao je sa suprugom još neko vrijeme, prije svega zbog djece.
Konačan razvod uslijedio je sredinom pedesetih, uz teške optužbe i bolne optužbe s obje strane. Sam Pek je kasnije priznao da mu je najteže palo kako će razlaz uticati na njegove sinove.
Drugi brak i opsesija Beograđankom
Već 1955. godine ponovo je stao pred oltar, ovog puta sa francuskom novinarkom Veronik Pasani, sa kojom je dobio još dvoje djece.
Njihov odnos bio je stabilniji, a njegova porodica često je isticala da je, uprkos brojnim obavezama, umio da bude pažljiv i prisutan otac kad god je bio kod kuće.
Ipak, njegov emotivni život nije bio lišen interesovanja javnosti, povezivan je i sa brojnim ženama, a svojevremeno je bio očaran i jugoslovenskom glumicom Bebom Lončar, za kojom je, kako se tada pisalo, potpuno odlijepio.
Samoubistvo sina
Najveći udarac u životu doživio je kada je njegov sin Džonotan Pek izvršio samoubistvo. Iako je bio svjestan problema sa kojima se mladić suočavao i pokušavao da mu pomogne, tragedija ga je duboko slomila.
Taj gubitak nikada nije uspio da preboli, a godinama su kružile priče da se zbog svega povukao i borio sa ozbiljnim psihičkim posljedicama, te da je proveo preko mjesec dana u mentalnoj ustanovi, a preminuo je 12. juna 2003. godine, u 87. godini života.
