Ол 1958 жылы 14 маусымда Оснабрюкте (Батыс Германия) тоқыма кәсібімен айналысушының отбасында дүниеге келген. 1978-1985 жылдары Гамбург университетінде құқық мамандығын меңгерген. Оқуды бітірген соң «Циммерман, Шольц және серіктестері» компаниясында адвокат болып қызмет атқарған. Еңбек құқығына маманданған.
1998 жылы алғаш рет бундестагқа сайланып, 2000 жылдары Гамбург үкіметінде қызмет атқарды.
2007-2009 жылдары Германияның Еңбек министрі болды. Бұл қызметінде ішінара еңбекпен қамтылғандарға жәрдемақы тағайындау мәселесімен айналысқан. Сарапшылардың пікірінше, бұл әлемдік қаржы дағдарысы кезінде ел дамуына айтарлықтай көмегі тиген.
2011-2018 жылдар аралығында Гамбургтің мэрі, 2018 жылдан бастап вице-канцлер және қаржы министрі болды. Дағдарыспен күрестегі табысты саясаты оның танымал саясаткерлердің бірі атануына ықпал етті.
2020-2021 жылдары коронавирус пандемиясы жағдайында экономиканы қолдау шараларын әзірлеуге қатысты.
Олаф Шольц Германияда 16 жыл 15 күн канцлер болған Ангела Меркельдің орнын басты.