Kiotóban született, gyerekkorát Kobe városában töltötte. Apja egy buddhista szerzetes fia, anyja egy oszakai kereskedőcsalád sarja volt, mindketten japán irodalmat tanítottak. Miután a kiskamasz Murakami megtanult angolul, falta a nyugati írók könyveit, az amerikai kultúra teljesen elvarázsolta, különösen Kurt Vonnegut, Richard Brautigan, Raymond Chandler, a Beatles, Nat King Cole, Elvis Presley és a Beach Boys voltak rá hatással.
A középiskola elvégzése után drámarendezést tanult a tokiói Vaszeda Egyetemen. 1971-ben feleségül vette Takahasi Joko színésznőt, akivel 1974-ben megnyitották a Peter Cat nevű jazzbárt, amely a japán diákok és a közelben állomásozó amerikai katonák törzshelye lett. A házaspárnak nem született gyermeke, ami mindkettejük tudatos döntése volt.
Murakami a hetvenes évek végén kezdett el írni. Állítólag egy baseballmérkőzés közben ébredt rá, hogy tulajdonképpen tud regényt írni – ezt bizonyítandó még aznap éjjel nekikezdett első regényének, amelyet tíz hónap után fejezett be: 1979-ben megjelent műve, a Hallgasd a szél dalát! rögtön el is nyert egy irodalmi díjat. 1981-ben bezárta a jazzbárt, és eldöntötte, hogy hivatásos író lesz.