James Patrick York Page a Londonhoz közeli Hestonban született egy tehetős menedzser fiaként. Gyerekkora nagy részét nagybátyja vidéki farmján töltötte, ahol leginkább bélyeget gyűjtött. Iskolába már Londonban járt. Tizenkét évesen kezdett gitározni egy olcsó hangszeren, s bár vett néhány leckét, néhány óra után már jobban játszott, mint oktatója. Ő is lelkesen hallgatta a tinédzsereket megőrjítő rock and roll zenét, első kedvence Elvis Presley Baby Let’s Play House című dala volt.
Alapfokú iskolái után azt fontolgatta, hogy egy laboratóriumban helyezkedik el, mivel érdekelte a biológia, de aztán a zenét választotta. Tizenöt éves korától játszott különböző együttesekben, a Crusaders nevű formációval egész Angliát bejárta. A turnék alatt megbetegedett és egy ideig nem vállalhatott fellépéseket, helyére Ritchie Blackmore, a Deep Purple későbbi gitárosa került. Ekkor másik szerelmére, a festészetre kezdett koncentrálni: a Sutton Art College növendéke lett, de közben fel-fellépett a híres Marquee Clubban a brit blues nagy együtteseivel. Összebarátkozott Eric Claptonnal és Jeff Beckkel is. Végül otthagyta az iskolát, és főállású stúdiózenész lett; annyi felkérést kapott, hogy Ron Wood, a Rolling Stones későbbi tagja azt mondta neki: „Ideje volna megdupláznod magad!” Olyan, teljesen eltérő stílusú előadók felvételein működött közre, mint Tom Jones, Donovan, Marianne Faithfull, a The Who és a Rolling Stones. Az általa többször cáfolt legenda szerint ő játszotta volna a szólót a The Kinks You Really Got Me című dalában.
Eric Clapton kilépése után hívták a Yardbirds együttesbe, de ezt akkor nem vállalta, maga helyett Jeff Becket ajánlotta. Amikor viszont 1966-ban Paul Samwell-Smith basszusgitáros egy gyönge koncert után távozott a bandából, ő maga ajánlkozott pótlására. Még abban az évben szólógitárra váltott, és kialakult a kétgitáros felállás; Antonioni Nagyítás című filmjében is így szerepeltek. A két nehéz természetű zenész személyes és szakmai ellentétei egyre súlyosbodtak, majd amikor Beck egy amerikai turnén koncert közben viharzott le a színpadról, kirúgták.