Yazır, Antalya'nın Elmalı ilçesinde 1878'de dünyaya geldi. İlk ve orta öğrenimi ile hafızlığını burada tamamlayan Yazır, İslami ilimleri öğrenmek amacıyla dayısı Mustafa Efendi ile birlikte 1895'te İstanbul'a gitti.
Beyazıt Camisi'nde Kayserili Mahmud Hamdi Efendi'nin verdiği derslere katılan Yazır, ayrıca dönemin ileri gelen hocalarından da dersler görerek icazetini aldı.
Bu sırada hocasının "Büyük Hamdi", kendisinin de "Küçük Hamdi" ismiyle anılması sebebiyle eserlerinde bu ismi kullanmaya başladı.
Soyadı Kanunu yürürlüğe girince babasının aslen Burdur'un Gölhisar ilçesine bağlı Yazır köyünden olması nedeniyle bu soy ismini alan Yazır, daha çok doğduğu yerden ilhamla "Elmalılı" ismiyle tanındı.
Kadı mektebi yerine kurulan Mekteb-i Nüvvab'ı birincilikle bitirip kadılık icazeti alan Yazır, 1905'ten itibaren Beyazıt Camisi'nde ders vermeye başladı.
Burada 2 yıl süren "dersiamlık" görevinin ardından 2. Meşrutiyet'in ilk meclisine Antalya mebusu olarak girdi. Yazır, daha sonra Şeyhülislamlık Mektubi Kalemi'nde görev aldı ve medreselerde mantık, fıkıh ve vakıf hukuku dersleri verdi.
Yazır, 1918'de şeyhülislamlık bünyesinde kurulan Darül'l-Hikmeti'l-İslamiyye üyeliğine getirildi, bir süre sonra da bu kurumun başkanlığına atandı.
Damat Ferit Paşa'nın birinci ve ikinci hükümetlerinde Evkaf Nazırı (Vakıflardan sorumlu bakanlık) olarak görev yapan Yazır, bu görevdeyken ikinci rütbeden Osmanlı nişanıyla ödüllendirildi.
Elmalılı, 15 Eylül 1919'da Ayan Heyeti üyeliğine tayin edildi. Bu görevlendirmeyle ilmi rütbesi de Süleymaniye Medresesi müderrisliğine yükseltildi.
Cumhuriyet'in ilanıyla birlikte memurluk yaptığı kurumlar lağvedilince açıkta kalan Yazır, Milli Mücadele sırasında İstanbul hükümetlerinde görev yaptığı için İstiklal Mahkemesince gıyabında idama mahkum edildi.