Впервые Вивьен Ли увидела Лоуренса Оливье на сцене театра, когда он играл Ромео в шекспировской постановке. Тогда молодая актриса была впечатлена талантом Оливье, имя которого уже прочно ассоциировалось с британским театром. Она стала посещать его выступления — и между ними завязалась дружба. На то время Вивьен была замужем за адвокатом и воспитывала дочку Сюзанну, а Лоуренс был женат на актрисе, недавно родившей ему сына, которого назвали Таркуином.
Романтические отношения Ли и Оливье начались на съёмках фильма "Пламя над Англией" 1936 года, в котором актёры сыграли влюбленную пару. После этого им было тяжело скрывать свои чувства — и они приняли решение быть вместе, несмотря на то что их законные супруги долгое время отказывались дать развод.
Спустя 4 года, 30 августа, в городе Санта-Барбаре состоялось тайное бракосочетание Вивьен Ли и Лоуренса Оливье. Свидетелями на церемонии выступили сценарист Гарсон Канин и актриса Кэтрин Хепберн. После свадьбы актеры надеялись на совместные пьесы и съемки, но, к сожалению, Вивьен не прошла пробы на фильм "Ребекка" Альфреда Хичкока, где Оливье сыграл главную роль, хотя буквально через год пара сыграла вместе в мелодраме Александра Корды "Леди Гамильтон".
Стресс, связанный с постоянными съемками, отразился на здоровье Вивьен, которая в 1944 году заболела туберкулезом, а позднее перенесла выкидыш. После этого актриса впала в депрессию, сопровождавшуюся тяжелыми эмоциональными срывами. За 20 лет брака Вивьен с Лоуренсом так и не завели детей.
Оправиться от болезней Вивьен помогло совместное турне с Лоуренсом, а также главная роль в "Трамвае «Желание»", которая принесла второй "Оскар" актрисе. Но эйфория была недолгой: Вивьен позже признается прессе, что роль Бланш Дюбуа привела её к психиатрической клинике, куда актриса вынуждена была лечь в 1953 году.
Пока Вивьен пыталась справиться с психологическими болезнями, Лоуренс завёл роман с актрисой Джоан Плоурайт. Несмотря на то что сам Оливье был обладателем "Золотого глобуса", двух "Оскаров" и премии BAFTA, успехи Вивьен Ли в кино превосходили его собственные — смириться с этим Оливье было непросто. И ведь именно в тот момент актриса нуждалась в его поддержке, как никогда прежде, — со своими болезнями ей приходилось справляться в одиночку. В итоге, несмотря на уход мужа и слабое здоровье, она продолжала сниматься в кино и играть в театре, уже не соревнуясь ни с кем в славе и популярности.