Madridban látta meg a napvilágot egy sokgyermekes polgári értelmiségi családban. Jogászprofesszor apja a polgárháború alatt, 1936 és 1939 között Spanyolország hágai nagykövete volt, így Semprún gyermekkorát felváltva Spanyolországban és Hollandiában töltötte. A köztársaság bukása után a család Franciaországba emigrált; Semprún a párizsi Sorbonne-on filozófiát hallgatott.
A második világháborúban, Franciaország német megszállása után csatlakozott az ellenállási mozgalomhoz, 1942-ben a spanyol kommunista pártnak is tagja lett. A Gestapo 1943-ban letartóztatta, 1945-ig a Weimar melletti buchenwaldi koncentrációs táborban tartották fogva. Ahogy egy interjúban elmondta, valószínűleg az mentette meg az életét, hogy nagyon jól tudott németül (mivel már gyerekkora óta tanult), így irodai munkára került. Kiszabadulása után visszatért Párizsba, ahol az 1946-ban létrejött UNESCO munkatársa lett, fordított és tolmácsolt.
Az ötvenes években „hivatásos forradalmárként” Federico Sánchez és egyéb álneveken többször járt Spanyolországban, földalatti munkát végzett a párt számára. Az ötvenes évek vége felé lassan kiábrándult a kommunista eszméből, világlátása egyre jobban eltért a hivatalos irányvonaltól, emiatt összeütközésbe került Santiago Carillo pártfőtitkárral. Az ideológiai eltávolodás és az összekülönbözések vége az lett, hogy Semprúnt 1964-ben kizárták a pártból. A kommunista párttal való szembekerülésének, kiábrándulásának és kizárásának történetét 1978-as Federico Sánchez önéletrajza című művében írta meg.