Orosz bevándorló családból származott, apja eredeti Moise Gershowitz nevét Morris Gershvinre, majd Gershwinre változtatta. Négy gyermeke közül a második, Jacob, akit kezdettől fogva csak George-nak szólítottak, 1898. szeptember 26-án látta meg a napvilágot New York Brooklyn negyedében.
Első zenei élményeit Harlemben szerezte, ahol rövidnadrágos, görkorcsolyás kisfiúként hallotta a hegedűművészként később fényes pályát befutott, akkor még csak nyolcéves barátja, Max Rosen játékát. Tizenkét éves volt, amikor anyja zongorát vett Ira bátyjának. Szüleik nem kis meglepetésére és Ira megkönnyebbülésére George vette birtokba a hangszert, amelyen elsősorban improvizált. Szülei tanárokat fogadtak mellé, köztük a magyar Kilényi Edét, aki összhangzattanra oktatta, igazi mestere az Arnold Schönberg zenéjét Amerikában népszerűsítő Charles Hambitzer lett.
Először apja vendéglőjében játszott, majd otthagyta a kereskedelmi iskolát és New York központjában, a jazz és a szórakoztató könnyűzene terjesztésében meghatározó szerepet játszó Tin Pan Alley-n próbált szerencsét. Először „song-plugger”, vagyis „dalelőjátszó” ügynökként dolgozott a Remick kiadónál. Naphosszat egy fülkében üldögélt, és a színházaktól, jazzbandáktól érkező vevőknek játszotta el a cég dalait kottákból. Játékába beleszőtte saját ötleteit is, amivel későbbi barátját, az akkor kezdő táncos Fred Astaire-t is lenyűgözte.