Britansku filmsku ikonu koja se ženila pet puta često su pratile glasine da je biseksualac. Njegova četrdesetpetogodišnja kćer Jennifer Grant u memoarima 'A Reminiscence of My Father, Cary Grant' tvrdi da je obožavao mistificirati vlastitu seksualnost jer je time poticao žene da ga iskušaju.
Jennifer je rođena iz Grantovog četvrtog braka s Dyan Cannon, s kojom se vjenčao 1965. godine u Las Vegas, a dvije godine kasnije i razveo. Cannon je tvrdila da je Grant često bjesnio te da ju je tukao kad mu je proturječila.
U svojim memoarima Jennifer je priznala da je bila zaljubljena u svog oca. Između ostalog je napisala: 'Ne možete kriviti muškarce što su ga željeli i čuditi se što im je uzvraćao flertom.'
Kad je bio u pitanju njegov osobni život, Cary Grant je bio zloglasno tajanstven. U tridesetim godinama prošlog stoljeća pojavile su se glasine o njegovoj prisnosti s glumcem Randolphom Scottom, kojeg je upoznao na setu filma 'Hot Saturday' 1932. godine i s kojim je uselio u kuću na plaži u Malibu koja je postala poznata kao 'Dom neženja'.