A kaliforniai La Jollában módos farmercsaládba született III. Clifford Parker Robertson néven. Miután szülei elváltak, majd anyja fiatalon meghalt, nagyanyja vette magához és nevelte fel. A második világháború alatt az amerikai kereskedelmi flottánál szolgált, hazatérve a Yellow Springs-i Antioch College-ban kezdte meg felsőfokú tanulmányait. Egy ideig újságíróként dolgozott egy helyi lapnál, közben egyre erősebb lett benne a vágy, hogy a színészettel foglalkozzon. Az ötvenes évek elején otthagyta a főiskolát, majd New Yorkba költözött, ahol beiratkozott az Actors Studióba.
A Broadway-n 1953-ban debütált a Late Love, majd Joshua Logan The Wisteria Trees című darabjában. Televíziós karrierje is ekkor indult be, olyan televíziós antológiasorozatokban kapott szerepet, mint az Armstrong Circle Theatre, a Hallmark Hall of Fame vagy a CBS-en futó Rod Brown of the Rocket Rangers. A televíziózás aranykorában feltűnt még a The United States Steel Hour, a Playhouse 90, valamint a The Chrysler Theater egyes epizódjaiban, utóbbiért 1966-ban Emmy-díjat nyert.
Első filmszerepét az 1955-ös Piknik című romantikus vígjátékban kapta William Holden és Kim Novak oldalán. A film népszerűségének köszönhetően Robertson szerződést kötött a Columbia filmstúdióval, a következő évben már az Őszi falevélben szerepelt Joan Crawford mellett. A későbbiekben többek közt kisstílű bűnözőt alakított az Underworld U.S.A. (1961) című moziban, majd egy orvost a The Interns (1962) kórházi melodrámában.