A dél-angliai Dorkingban született 1907. május 22-én francia hugenotta eredetű családban, ezért mindig is kényes volt nevének franciás ejtésére. Anglikán lelkész apja teológusnak szánta, de őt a színház vonzotta. Először tizenöt évesen, oxfordi fiúgimnáziumának előadásában, A makrancos hölgy Katájaként lépett színpadra. Húszévesen már a londoni West Enden játszott, és Amerikába is hívták próbafelvételre, de hazaküldték. A harmincas évek közepén a Rómeó és Júliában Sir John Gielguddal felváltva alakították Rómeót és Mercutiót. 1937-ben az Old Vic társulatához szerződött, itt lett Anglia és a világ mindmáig legnagyobb Shakespeare-színésze.
Már házas ember volt, amikor 1936-ban beleszeretett az akkor még kezdő színésznő és szintén házasságban élő Vivien Leigh-be, akit csak 1940-ben vehetett el, mert addig egyikük házastársa sem egyezett bele a válásba. A pár titokban, szerény szertartás keretében mondta ki az igent Kaliforniában.
A színészt már a harmincas évek elején ismét megkeresték Hollywoodból, de Greta Garbo nem akarta partnerének a Krisztina királynő című filmben. Shakespeare-darabban (Ahogy tetszik) 1936-ban állt először kamera elé, s hamarosan a tengerentúl is sztár lett. Az Üvöltő szelekben először jelölték Oscar-díjra (1939), Shakespeare-adaptációi közül az V. Henrik és a Hamlet - mindkettőnek főszereplője és rendezője is volt - bekerült a filmtörténetbe. Az elsőért az 1946-os Oscar-gálán különdíjat kapott, a Hamlet pedig két évvel később első nem amerikai filmként diadalmaskodott a legjobb film kategóriában, és Olivier megkapta a legjobb színésznek járó kitüntetést is (a rendezőit John Huston elhalászta előle). A Hamlet máig az egyetlen Shakespeare-adaptáció a legjobb film kategóriában, Olivier az egyetlen, aki Shakespeare-hős megformálásáért érdemelte ki az aranyszobrot, s rajta kívül egyedül az olasz Roberto Benigni nyújtott saját maga rendezte filmben Oscar-díjas színészi alakítást. Vivien Leigh-vel azzal is beírták nevüket a filmtörténetbe, hogy ők az egyetlen Oscar-díjas színészházaspár.
Miután Olivier harmadik nagy Shakespeare-drámája, a III. Richárd 1955-ben a kasszánál megbukott, a jogokat az amerikai NBC tévének adták el. Kedvezőtlen kritikát kapott A herceg és a táncosnő is, pedig ebben Marilyn Monroe volt a partnere, magánéletét ugyanekkor felesége mániás depressziója árnyékolta be. 1960-ban elváltak, harmadik házasságában Joan Plowright színésznővel végre meglelte az áhított nyugalmat.
A szakmai sikerek is újra ráköszöntek: könyörtelen, biszexuális Crassus volt a Spartacusban, elvakult felkelő a Kartúm - a Nílus városa című háborús drámában, a Maraton életre-halálra című filmben gonosz náci orvost formált meg, A brazíliai fiúkban a náci orvos Mengele után nyomozott. Ekkor jelölték tizenegyedik alkalommal Oscar-díjra, így fél évszázadon át minden évtizedben nominálták. A kitüntetést 1978-ban életművéért is megkapta, és Shakespeare Othellójának szavaival köszönte meg. Francis Ford Coppola fontolgatta, hogy rá osztja A Keresztapában Don Corleone szerepét, de végül Marlon Brando mellett döntött. 1983-ban, már közel a nyolcvanhoz eljátszotta Lear királyt, szerepelt a Bounty című alkotásban, majd utoljára 1988-ban a Derek Jarman Háborús rekviem című filmjében. Halála után másfél évtizeddel, 2004-ben egy archív felvételen tűnt fel a Sky kapitány és a holnap világa című sci-fiben.
Hat évtizedes pályafutása alatt a színpadhoz is hű maradt, az Old Vic társigazgatója, majd az újjászerveződő angol Nemzeti Színház első direktora volt. Erre az időre esett nagy visszhangot kapott Shylock-alakítása A velencei kalmárban és az Othello címszerepe. Játékából a kritika a könnyed eleganciát, a mély érzelmi gazdagságot emelte ki, beszédtechnikája az angol iskola legjobb hagyományait idézte. Szerinte a jó színésznek három dologra van szüksége: tehetségre, kitartásra és szerencsére. Legjobb színházi rendezésének a Három nővér 1967-es adaptációját tartotta.
Alig volt negyvenéves, amikor lovaggá ütötték (színészt ilyen fiatalon sem azelőtt, sem azóta nem ért ez a megtiszteltetés). 1970-ben első színészként került be a Lordok Házába, ettől kezdve kijárt neki a Sir és a Lord megszólítás is, ő azonban ragaszkodott ahhoz, hogy Larrynek szólítsák. Munkássága előtti tisztelgésként 1984-ben a londoni színházi szövetség róla nevezte el legrangosabb elismerését, amely a színházi Oscarnak nevezett amerikai Tony-díj brit megfelelője. A kitüntetettek Harry Franchetti szobrász alkotását vehetik át, amely Olivier-t ábrázolja egyik legendás szerepében, V. Henrikként.
Amikor 1989. július 11-én meghalt, a londoni nemzeti színház homlokzatán "Lord Olivier 1907-1989" felirattal búcsúztak tőle, valamennyi színház fényeit kioltották egy órára, az előadások végén a színészek és a közönség egyperces csönddel adóztak emlékének. Temetésén Shakespeare-t olvastak fel, koporsóját a Bárd műveiben szereplő virágokból - levendulából, majorannából, körömvirágból, százszorszépből, mentából és nárciszból - készült koszorú díszítette. Olivier azon kevés színész egyike, akit az a megtiszteltetés ért, hogy hamvai a londoni Westminster apátságban nyugszanak. Nevét a brit fővárosban színház őrzi, szobra - híres Hamlet szerepében - a Royal National Theatre előtt áll.
