Baltimore-ban született 1940. december 21-én olasz bevándorló apától és francia-olasz anyától. A család tízéves korában költözött Kaliforniába, Zappa már ott nőtt fel. Tizenkét évesen kezdett dobolni, tizennyolc évesen tért át a gitárra, amelyen teljesen egyedül tanult meg játszani. Ekkoriban minden pénzét lemezekre költötte – a klasszikus zeneszerzők közül Stravinsky és Edgard Varèse volt rá nagy hatással. Középiskolásként alakította első együttesét, de megélhetési okokból egy ideig még bárokban és esküvőkön is játszott.
Az általa szerényen csak „a nyugati part legborzalmasabb bandájának” nevezett formáció 1964-ben anyák napján kapta a The Mothers nevet, és a következő évben elkészült első, Freak Out! című dupla albumuk. A kiadó azonban nem bízott benne, hogy ilyen névvel bárki is megvenné a lemezt, így lettek a The Mothers of Invention. Zappa azonnal összekülönbözött a kiadóval, amely nem akart fizetni neki, dalait önkényesen cenzúrázta. A szerződésben előírt utolsó lemezét a sokatmondó We’re Only in It For the Money (Csak pénzért csináltuk) címmel tette le az asztalra, majd saját kiadót alapított.
A polgárpukkasztás nagymestere volt, példa erre az a híres-hírhedt poszter, amelyen letolt nadrággal, előregörnyedve, a kamerába bámulva ül a lakás legkisebb helységében. Szövegeivel mindent és mindenkit kigúnyolt a hatalomtól a kispolgárokig, a békeharcosoktól a televíziós prédikátorokig. Amikor Al Gore alelnök felesége a lemezek korhatár szerinti besorolását követelte, Zappa „unatkozó washingtoni háziasszonyok gyülekezetének” titulálta a kezdeményezés pártolóit.