Az ír, német és cseh felmenőkkel rendelkező Jarmusch az ohiói Akronban született három testvér közül középsőként. Édesanyja egy helyi magazin filmkritikusa volt. A chicagói Northwestern Egyetemen tanult újságírást – egészen addig, amíg ott nem kellett hagynia az intézményt, mert az irodalmi és művészettörténeti előadásokat látogatta. A következő évtől a New York-i Columbia Egyetem irodalom szakán folytatta tanulmányait, rövid ideig a költői pályával kacérkodott. Tanulmányai vége felé közeledve ösztöndíjasként egy évet Párizsban tanult, ahol ideje nagy részét a Cinématheque Francaise film iskolában töltötte. Ekkor határozta el, hogy filmrendező lesz. Diplomájának megszerzése után újhullámos zenekarokban játszott, s rövid ideig visszatért Párizsba.
1976-ban vették fel a New York-i Művészeti Egyetem filmművészeti karára, amelynek vezetője ekkor a magyar születésű Benedek László volt.
Egyik tanárának, az ekkor már előrehaladott stádiumban lévő rákkal küzdő Nicholas Ray filmrendezőnek annyira megtetszett az öntörvényű, kompromisszumokat hírből sem ismerő Jarmusch, hogy asszisztenseként magához vette Villanás a víz felett című utolsó filmjében. Diplomamunkája azonban nem nyerte el tanárai tetszését, így diplomáját sem kapta meg. A Permanens vakáció című filmet 1980-ra csak azért is befejezte, de sem a kritikusok, sem a közönség nem figyelt fel rá különösebben, sőt általában leggyengébb filmjének tartják. Már ebben a filmben szerepelt Sara Driver, aki szakmailag és a magánéletben is partnere, alkotótársa lett.