1921. szeptember 27-én született Vácott, ahová családja az I. világháború viharai elől Erdélyből menekült. Középiskolai tanulmányait a székesfehérvári cisztercita gimnáziumban végezte, majd Pécsett és Kolozsváron folytatott jogi tanulmányokat, 1944-ben szerzett diplomát. 1945 tavaszán szovjet hadifogságba került, ahonnan rövid idő múlva betegsége miatt hazaengedték. 1946 őszén már Budapesten volt, s felvették a Színház- és Filmművészeti Főiskola filmrendező szakára.
Diplomáját 1950-ben szerezte meg, ezután a Magyar Híradó- és Dokumentumfilmgyárba került, ahol nyolc évig híradó- és dokumentumfilmeket rendezett. Első önálló játékfilmjét (A harangok Rómába mentek) 1958-ban készítette el, ekkoriban ismerkedett meg Hernádi Gyula íróval, akivel barátok és alkotótársak lettek.
Első igazán jelentős játékfilmje az Oldás és kötés volt, az Így jöttem pedig már az összes jancsói stílusjegyet magán viselte: a szokatlanul hosszú beállításokat, a nagy tért befogó, horizontális kameramozgást, a képek erős vizuális hatással bíró megkomponáltságát. Az 1965-ös Szegénylegények kirobbanó nemzetközi sikert is aratott, ettől kezdve emlegették a legnagyobb rendezőkkel egy sorban. E filmjével indította az egész életművén végigvonuló gondolatiságot: az egyén és a hatalom, a hatalom és a közösség viszonya, a szabadság és a zsarnokság között feszülő ellentét filmes ábrázolását. Idősebb fia, Jancsó Miklós Nyika így emlékezik vissza erre az időszakra: „Ez a generáció nagyon komolyan vette a kultúrát. Mindenkit ismertek a saját generációjukból, de az idősebből is. Állandó jövés-menés volt nálunk, vacsorák, bulik. Az egy jó élet volt.”