1915. december 19-én született Édith Giovanna Gassion néven. Az életéről terjengő számtalan legenda egyike szerint az utcán találták, de ez nem igaz: az anyakönyvi kivonat bizonyítja, hogy egy párizsi külvárosi kórházban egy olasz kávéházi énekesnő és egy utcai artista gyermekeként jött a világra. Hányatott gyerekkora volt, anyja korán elhagyta, és a Belleville szegénynegyedben élő nagyanyjára bízta, majd apai nagyanyjához került, aki egy normandiai bordélyházat vezetett. Később alkoholista, vándorcirkuszos apja vette magához. A vándorélet miatt iskolába nem járhatott. Tizenöt évesen otthagyta apját, és Párizsban utcai énekesnőként kereste a kenyerét. Az elzülléstől a Pigalle egyik kabaréjának tulajdonosa, Louis Leplée mentette meg. A férfi szárnyai alá vette és bárjában foglalkoztatta, ő adta rá a védjegyévé vált egyszerű, fekete ruhát. Piafnak is ő nevezte el, a szó a francia argóban kis verebet (la môme piaf) jelent, utalva az énekesnő apró, alig 147 cm magas termetére.
Énekesnői karrierje a költő és szövegíró Raymond Asso és a zeneszerző Marguerite Monnot dalainak előadásával indult 1937-ben. Az ABC színházban tartott fellépésén elsöprő sikert aratott, a közönség soraiban felállva tapsoló Maurice Chevalier azt kiabálta: „Ez a gyerek a szívéből énekel!”
A „kis veréb” a második világháború alatt, a német megszállás idején részt vett a francia ellenállásban, igaz, a felszabadulás után kollaborációval vádolták meg, mert a német tiszteknek fenntartott bárokban is énekelt, és 1943-ban részt vett egy berlini koncertkörúton. Egyik barátja, az ellenállás tagja azonban tanúskodott mellette, mivel többször fellépett németországi hadifogolytáborokban is, és számos fogoly szökésében segített.