1903. május 3-án született a Washington állambeli Tacomában Harry Lillis Crosby Jr. néven, ír és angol felmenőkkel rendelkező hétgyermekes zenész családba. Apja könyvelői fizetésének nagy részét lemezekre, kottákra és hangszerekre költötte. A Bing becenevet hétéves korában egy tanára ragasztotta rá, mert rajongott a Bingville Bugle című képregényért. Iskoláit a jezsuitáknál végezte, majd a spokane-i egyetemen jogot tanult, s bár végül a zenét választotta, alma matere 1937-ben tiszteletbeli doktori címet adományozott neki, itt őrzik a Crosby fiatalkorával kapcsolatos anyagokat is.
Húszas évei elején legtöbb idejét a zeneboltokban töltötte, jazzt hallgatott, különösen az énekes Al Jolson nyűgözte le. Jazz iránti szeretete énekmódján, frazírozásán is érezhető, jártas volt a scat-stílusban is. Miután megvette első dobfelszerélését, Al Rinker nevű zongorista barátjával duót alapítottak és a karrier reményében Los Angelesbe költöztek, ahol Rinker nővére, az ünnepelt jazzénekesnő, Mildred Bailey egyengette útjukat. Harry Barris-szel kiegészülve, immár The Rhythm Boys néven hamarosan Paul Whiteman zenekarával és olyan népszerű művészekkel léptek fel, mint Bix Beiderbecke, Jack Teagarden, Tommy Dorsey és Hoagy Carmichael, első nagyobb sikerük 1928-ban az Ol’ Man River jazzes feldolgozása volt. Crosby számos korai slágerét (At Your Command, I Surrender Dear, Wrap Your Troubles in Dreams) Barris írta, de Crosby szólóival rendszeresen ellopta a showt-t, nem kis feszültséget keltve az együttesen belül.
A trió még szerepelt Crosby 1930-as első filmjében, de a következő évben önállósította magát. Lemezszerződést kapott, ontotta a slágereket, önálló rádióműsora indult, amelyet három évtizeden át sugároztak és fénykorában 50 millió hallgatót vonzott. Filmes pályafutása is elindult, szerződtette a Paramount stúdió, első főszerepét 1932-ben a Halló, mindenki boldog című komédiában játszotta.