James Charles Rodgers néven látta meg a napvilágot 1897. szeptember 8-án a Mississippi-állambeli Maridian városában, bár egyes források Pine Tree-t, mások az alabamai Geigert is említik születési helyéül. Apja vasutas volt, anyját hatévesen veszítette el, ezután bátyjával rokontól rokonig csapódtak, az iskolát pedig messzire elkerülték. A csínytevések mellett a helyi vaudeville (a korban népszerű zenés bohózat) darabokat nézték, Jimmie ekkoriban döntötte el, hogy előadóként fogja megkeresni a kenyerét. Tizenhárom évesen megnyert egy tehetségkutató versenyt és azonnal meg is szökött egy vándortársulattal. Feldühödött apja megtalálta, hazavitte és választás elé állította: tovább jár az iskolába, vagy dolgozni kezd. Rodgers az utóbbit választotta, a következő tíz évben volt vízhordó, rakodómunkás, jelzőőr, fékező, miközben csiszolta zenei képességeit. A szerelvények nyomában bejárta a délkeleti államokat, kétszer meg is nősült és gyerekei születtek.
Vasutas pályafutásának 1924-ben a tüdőbaj vetett véget, állását ott kellett hagynia. Ettől kezdve minden idejét a zenének szentelte, utcasarkokon játszott, amatőr zenekarokat szervezett, egy szedett-vedett truppal is turnézott, amelyet azért oszlattak fel, mert a szél elvitte sátrukat. 1927-ben rendszeres műsora lett az észak-karolinai Asheville rádiójában, de fizetést nem kapott. Hamarjában toborzott együttesével egyre népszerűbb lett, az egyik helyi lapban azt írták: „akárki is ez a fickó, sokra viszi majd”. Első felvételét 1927 augusztusában a Victor kiadónál készítette, de kísérői nélkül, akik az utolsó pillanatban önállósították magukat. Rodgers két dalt énekelt el (Sleep, Baby, Sleep és The Soldier’s Sweetheart), és megkapta első, 100 dolláros honoráriumát.
Jimmie Rodgers 1929-ben