Bánáti sváb anyja Eszéken, apja Temes megyében született. Ő maga is magyar állampolgárként látta meg a napvilágot 1904. június 2-án a Temesvárhoz közeli Szabadfaluban (Freidorf). A kis Johann, avagy János szülei a következő évben kivándoroltak Amerikába, ahol végül Chicagóban telepedtek le. Csak a nyolc általánoson küzdötte át magát, annál többre vitte azonban a medencében. A vézna, beteges fiú orvosi tanácsra kezdett úszni, s azonnal kitűnt tehetségével – 17 évesen minden számot megnyert az amerikai bajnokságon, amelyikben elindult, és felállította első világcsúcsát is. Idővel 190 centi magas, 95 kilós óriássá serdült, 1922-ben ő úszta le először egy percen belül a száz métert és öt percen belül a négyszázat. Egyéni csúcsát 174 alkalommal döntötte meg; 52-szeres amerikai bajnok volt, és 67 világrekordot állított fel. Az 1924-es párizsi és az 1928-as antwerpeni olimpián öt aranyérmet szerzett, 1924-ben tagja volt a bronzérmes vízilabdacsapatnak is. Fölényére jellemző, hogy a 400 méteres gyorsúszás egyik előfutamában a cél előtt abbahagyta a tempózást, és csak lábbal „evezett” be – persze elsőként. Neve életmentőként is ismert lett: 1927-ben egy hajóbaleset után tizenegy fuldoklót mentett ki Chicagóban a Michigan-tóból.
1929-ben heti 500 dolláros reklámszerződést kötött, de ezzel elvesztette amatőr státuszát, és be kellett fejeznie a versenyzést. Rövid ideig az úszást népszerűsítő oktatófilmeket forgatott, de a film világába nehezen tudott betörni: első, néma szerepében egy fügefalevéllel takarva Ádámként domborított. 1932-ben aztán 150 jelentkező közül választották ki Tarzan szerepére, nem kis részben a Metro–Goldwyn–Mayer stúdió nyomására. Mivel Weissmüller ekkor még egy alsóneműket gyártó vállalat modellje volt, szerződésének felbontása fejében Greta Garbo készített néhány reklámfilmet a cég termékeinek népszerűsítésére.
Tarzan, a majomember hatalmas sikert aratott, Weissmüller ezután még tizennyolcszor öltötte magára bőr ágyékkötőjét, lendült ágról ágra, és hallatta híres kiáltását, amelynek titkát állítólag az édesanyjától ellesett jódlinak köszönhette. Igazi színész soha nem lett, de ezt nem is várták el tőle: szerepei inkább csak bátorságot és kitűnő fizikumot igényeltek. Ő egyikben sem szenvedett hiányt; bár dublőr nélkül dolgozott, soha még csak karcolás sem érte. Csak egyszer makacsolta meg magát: egy fogatlan, elkábított alligátorral nem szállt harcba. Amikor arról faggatták az újságok, mit tanácsolna filmbéli utódjának, azt válaszolta: lengés közben ne engedje el az indát.