Budapesten látta meg a napvilágot (Bajcsy-Zsilinszky úti szülőházán 2016-ban avattak emléktáblát). Szülei, akik a vészkorszak alatt úgy menekültek meg, hogy szomszédaik bújtatták őket, az 1956-os forradalom leverése után elhagyták Magyarországot és New Yorkban telepedtek le. Tommy a hatvanas évek közepén középiskolai barátja, a gitáros John Cummings (a későbbi Johnny Ramone) társaságában garázszenekart alapított Tangerine Puppets néven. 18 évesen egy stúdióban lett hangmérnökasszisztens – dolgozott Jimi Hendrix Band of Gypsys című 1970-es koncertlemezén is.
A Ramones 1974-ben kezdett formálódni, amikor Cummings és két iskolatársa, Douglas Colvin és Jeff Hyman triót alapított, amelyben Colvin játszott basszusgitáron, Hyman dobolt és énekelt. Gyorsan kiderült, hogy Hyman mindkét minőségében nem tud lépést tartani tempós számaikkal, így énekessé rukkolt elő, a dobok mögé pedig nógatásukra Erdélyi ült be, jóllehet ő a menedzseri feladatokat vállalta, és addig csak gitáron játszott. Menedzserük Monte A. Melnick lett, akit Tommy még a stúdióból ismert; ő szervezte meg a Ramones első fellépését 1974. március 30-án a Performance Studióban. Ekkorra már minden tag a Ramone vezetéknevet viselte (a basszusgitáros Dee Dee, az énekes Joey, a gitáros Johnny, dobosuk pedig Tommy Ramone lett), ami Colvin ötlete volt: olvasta ugyanis, hogy Paul McCartney 1960-ban az akkor még Silver Beetles nevet viselő Beatles tagjaként a Paul Ramon művésznévvel kacérkodott, és ennek hangzása nagyon megtetszett neki.
A Ramones a rocktörténet egyik legfontosabb zenekara lett: hatással volt rájuk a korai punkegyüttes New York Dolls és az MC5, Iggy és a Stooges szinte primitív rockzenéje, mégis forradalmian újat hoztak létre. Zenéjük nyers, lecsupaszított, agresszív, ugyanakkor fülbemászó, szövegeik sokszor szinte együgyűek voltak, és kevés daluk volt két percnél hosszabb. A zenekar néhány év alatt legendává vált, de soha nem volt listavezető számuk, talán mert mindig egy-két lépéssel a zeneipar előtt jártak.