Uludağ Üniversitesi İktisadi ve İdari Bilimler Fakültesi İktisat Bölümü’nden mezun olan Yılmaz, çalışma hayatına 1997 yılında Türkiye İş Bankası Bursa Şubesi’nde memur olarak başladı. Bankanın farklı kademelerinde görev alan Yılmaz, 2012 yılında KOBİ Kredileri Tahsis Bölümü Kayseri Bölge Müdürü, 2015 yılında KOBİ Kredileri Tahsis Bölümü İzmir Merkez I. Bölge Müdürü, 2016 yılında KOBİ ve İşletme Bankacılığı Satış Bölümü İzmir Merkez II. Bölge Satış Müdürü olarak atandı.
Yılmaz, 2017 yılında Destek Hizmetleri ve Satın Alma Müdürü, 2018 yılında ise Satın Alma Müdürü olarak görev yaptı. 29 Mart 2019 tarihinde Türkiye İş Bankası Yönetim Kurulu Üyeliğine seçilen Yılmaz, 29 Temmuz 2020 tarihinde Türkiye İş Bankası Genel Müdür Yardımcılığı görevine atanırken, 24 Mart 2023 tarihinde de Anadolu Hayat Emeklilik Yönetim Kurulu Başkanı oldu. Sezgin Yılmaz, gerekli yasal izin süreçlerinin tamamlanmasının ardından Anadolu Hayat Emeklilik Genel Müdürü olarak görevine başlayacak. Ekim 2024’ten bu yana Şirketin Genel Müdürlüğünü yürüten Serkan Uğraş Kaygalak, Anadolu Sigorta’da üstleneceği yeni görevi sebebiyle Genel Müdürlük görevini Sezgin Yılmaz’a devredecek.