Lyonban született, apja a többszörös Oscar-díjas zeneszerző Maurice Jarre volt, aki a Doktor Zsivágó filmzenéjét is írta, anyja a II. világháború alatt részt vett a francia ellenállásban. Ötéves korában szülei elváltak, apja Amerikába ment, ő anyjával Franciaországban maradt. Kiskorától tanult zongorázni, hatott rá a jazz és a modern klasszikus zene, különösen Sztravinszkij Tavaszi áldozata. Tinédzserként egy rockegyüttesben gitározott, de anyja a tanulmányai érdekében elkobozta hangszereit. A párizsi konzervatóriumban klasszikus zenét tanult, majd a konkrét zene megalapozója, Pierre Schaeffer tanítványa lett, megismerkedett az akkoriban ritkaságnak számító szintetizátorral, és konyhájában stúdiót alakított ki.
Első kislemeze 1971-ben, első albuma egy év múlva jelent meg. Dalokat írt francia sztároknak, film- és színházi zenéket komponált, így az Égő pajták című 1973-as Alain Delon-filmhez is, és ő a legfiatalabb zeneszerző, akinek művét bemutatták a párizsi operaházban.
1976-ban jelent meg a lakásstúdiójában rögzített, hattételes Oxygene című lemeze, amely sci-fiket idéző hanghatásaival forradalmian újnak számított. A nagy kiadók visszadobták, de egy kis cég, vállalva a kockázatot, 50 ezer példányt nyomott belőle – a korong végül több mint 15 millió példányban kelt el, a negyedik tétel az angol slágerlistán a negyedik helyig jutott.