Bitlis'te 24 Ekim 1924'te dünyaya gelen Fuat Sezgin, ortaokulu ve liseyi Erzurum’da bitirdi. 1943'te ise İstanbul'a gitti.
İstanbul Üniversitesi Şarkiyat Araştırmaları Enstitüsünde alanında en tanınmış uzmanlardan Alman şarkiyatçı Helmut Ritter'in öğrencisi olan Sezgin, Ritter'in tavsiyesi üzerine İslam bilimlerine yöneldi.
1951'de İstanbul Üniversitesi Edebiyat Fakültesini bitirdikten sonra Arap Dili ve Edebiyatı üzerinde doktora yaptı.
"Buhari'nin Kaynakları" konulu doktora tezini tamamlayan Sezgin, 1954'te doçent oldu. Bu çalışmasıyla hadis kaynağı olarak İslam kültüründe önemli bir yere sahip olan Buhari'nin, bilinenin aksine sözlü kaynaklara değil yazılı kaynaklara dayandığı tezini ortaya attı.
Fuat Sezgin'in, "Buhari'nin Kaynakları Hakkında Araştırmalar" adındaki takdim tezi 1956'da yayımlandı.
Türkiye'de 1960'ta askeri darbenin iktidara getirdiği hükümet tarafından hazırlanan ve 147 akademisyenin üniversitelerden men edildiği listede kendi adının da bulunması üzerine Türkiye'den ayrılarak Frankfurt Üniversitesinde çalışmalarına devam etti.
Cabir ibn Hayyan konusunda 1965'te yazdığı ikinci doktora tezini Frankfurt Üniversitesi Institut für Geschichte der Naturwissenschaften'a sundu. Bir yıl sonra profesör unvanını kazanan Sezgin, aynı yıl kendisi gibi şarkiyatçi olan Ursula Sezgin ile evlendi. Sezgin'in kızı Hilal, 1970'te dünyaya geldi.
İnsanlık tarihinin başlangıcından bugüne kadar sahasında yazılan en kapsamlı eser olan Arap-İslam Bilim Tarihi'nin ilk cildini, 1967'de tamamladı. 17 cildini bitirdiği eserin 18. cildini tamamlayamadan vefat etti.
Sezgin, Süryanice, İbranice, Latince, Arapça ve Almanca da dahil 27 dili çok iyi derecede biliyordu.
İstanbul İslam Bilim ve Teknoloji Tarihi Müzesinin faaliyetlerini desteklemek amacıyla, 2010'da Prof. Dr. Fuat Sezgin İslam Bilim Tarihi Araştırmaları Vakfı kuruldu.