A szereplés iránti vonzalmát banktisztviselő apjától örökölte, aki szabad idejében zenés kávéházakban lépett fel, ő maga már ötéves korától szerepelt kis színházakban. Apja arról álmodozott, hogy Fernand megvalósítja vágyait és híres énekes lesz, a fiú azonban másként gondolta, és már kiskorában eldöntötte, hogy komikusként csinál karriert – átlagtól elütő fejformája, hosszú arca, komikus fintora, lapátfogai és széles mosolya is erre a szerepkörre predesztinálták. Szülővárosában, Marseille-ben hamarosan nagy népszerűségre tett szert, az iskola után esténként szórakoztatta a nagyérdeműt.
Tizenkét évesen egy párizsi sanzonversenyen második helyezett lett, ígéretesen induló karrierjét azonban félbeszakította az első világháború. A harcok elülte után hazatért és üzletet nyitott, volt rakodómunkás és bankpénztáros, idővel esténként ismét énekelt, s leszerződtette egy kabaré. 19 évesen cserélte le addig használt Contandin-Sine művésznevét Fernandelre, ami keresztnevéből alakított francia szójáték. Állítólag leendő anyósa, amikor először meglátta, így kiáltott fel: íme, az ő Fernand-ja (voilá, le Fernand d’elle) – az ő későbbi feleségét, Henriette-t jelentette.
1928-ban Párizsba költözött, operettekben, revükben, pantomimkomikusként lépett fel, s hamarosan a franciák kedvence lett. 1930-ban forgatta első (rövid)filmjét, egy évvel később első egész estés filmjét (A fehér és fekete). Összesen mintegy 150 filmben szerepelt, főként vígjátékokban, de olykor komoly oldalát is felvillanthatta, mint például a Husson asszony rózsafái című Maupassant-adaptációban.