A ma már Bécshez tartozó Neulerchenfeld községben született 1850. május 22-én egy korán megözvegyült takács és klarinétos-komponista és egy népdalénekesnő törvénytelen gyermekeként, szülei csak 1853-ban kötöttek házasságot. Johann öccsével és nála 17 évvel idősebb, Conrad nevű féltestvérével nevelkedett. Conrad nemsokára elszegődött katonának, a csatatéren megsebesült és rokkanttá nyilvánították, járandóságát élete végéig utcai verklisként egészítette ki.
Johann hatévesen a helyi templomi kórusban énekelt, nyolcéves korától vett hegedűórákat a Károly Színház (Carltheater) első hegedűsétől. Tizenegy évesen, Josef öccsével együtt lépett fel először nyilvánosan Az arany stukkóhoz címzett fogadóban, az édesapja ötvenedik születésnapján rendezett jótékonysági koncerten. Apjuk anyagi nehézségei ellenére beíratta fiait a konzervatóriumba, ahol Johann éneklést, majd hegedűt tanult. 1866-ban azért tanácsolhatták el az intézményből, mert fellépést vállalt a Józsefvárosi Színházban, ezután a Harmonietheater első hegedűse lett. A porosz-osztrák háború kitörésekor, 1866-ban önkéntes katonai szolgálatra jelentkezett, őrmesteri rangban századtrombitásként szolgált. 1872-ben tartalékos állományba helyezték, mert házasságot kötött Rosalia Weichselbergerrel, tizenhárom gyemekük közül a felnőttkort kilenc élte meg.
Schrammel katonaideje végén már fellépett különböző együttesekkel, főként Carl Mangold szalonzenekarával, az 1873-as bécsi világkiállításon a Práterben zenéltek.