Klemperer 1885. május 14-én született a sziléziai Breslauban (ma Wrocław). Első zongoraóráit négyévesen édesanyjától vette, tanult hegedülni, zongorázni, emellett zeneszerzési tanulmányokat is folytatott. Dirigensi debütálására húszévesen került sor – Max Reinhardt karigazgatónak szerződtette Offenbach Orfeusz az alvilágban című operettjének előadására, de miután a rendező és a karmester összeveszett, neki kellett kezébe vennie a karmesteri pálcát.
Még abban az évben ő dirigálta Gustav Mahler II. szimfóniájának berlini előadásán a színfalak mögül felhangzó fúvósszekciót, olyan kiválóan, hogy Mahler beajánlotta karmesternek a prágai német operához.
Kapcsolatuk megmaradt, 1910-ben Klemperer volt Mahler segítségére a monumentális Ezrek szimfóniája bemutatásában.