Türk şiirine ve halk müziğine kazandırdığı eserlerle toplumun geniş bir kesimine ulaşan Karakoç, Fadime Hanım ile Ümmet Efendi'nin oğlu olarak 7 Nisan 1932'de Kahramanmaraş'ın Elbistan ilçesine bağlı Ekinözü köyünde dünyaya geldi.
Dört kuşak şair bir ailede doğan Karakoç, bir süre köyde marangozluk ve çiftçilik yaptıktan sonra 1958'de Elbistan Belediyesinde muhasebeci olarak çalışmaya başladı ve 1981'de emekli olana kadar bu görevini sürdürdü.
Abdurrahim Karakoç, 1964'te Pakize Hanım ile evlendikten sonra ilk çocukları Mihriban 1967'de doğdu. İkinci çocuğu Türk İslam 1969'da ve üçüncü çocuğu Enderhan ise 1971'de dünyaya geldi.
Şairin oğlu, Ankara Yıldırım Beyazıt Üniversitesi İletişim Fakültesi Dekanı Prof. Dr. Enderhan Karakoç bir konuşmasında babasından söz etmenin kendisi için kolay olmadığını belirterek, şu ifadeleri kullanmıştı: "Abdurrahim Karakoç'u anlamak, şiirlerinin içine girmekle mümkün. Sadece şiir değil, nesir de yazdığı için halkın sesi oldu. Hiçbir zaman yılmadı, korkmadı, düşüncelerini açıkça ifade etti. Davasını oğluna 'Türk İslam', şiirini kızına 'Mihriban' ismini vererek yaşattı. Yazdıklarını hak, hakikat, cesaret ve samimiyetle kaleme aldı, halkına her zaman yakın oldu."
Usta şairin eserleri ilk olarak Elbistan'da çıkan Engizek gazetesinde yayımlandı. Karakoç, 1958'de yazmaya başladığı, birbirinin devamı 22 şiirden oluşan "Hasan'a Mektuplar" isimli eserini 1964'te okuyucuya sundu.
Emekliliğin ardından Ankara'ya yerleşti, çeşitli gazete ve dergilerde yazılar yazan Karakoç'un şiirlerinin pek çoğu halk arasında ezberlenerek yayıldı.
Türkü formunda bestelenen ve dilden dile dolaşan şiirlerinden Mihriban'ı 1960'ta yazdığını söyleyen Karakoç, bir açıklamasında şunları anlatmıştı:
"Bazıları 'Gerçek mi?' diyor. 'Gerçek' diyorum ama adı Mihriban değil. O gençliğimde yaşanmış bir aşktı ama şimdi adını deşifre etmem, ayıp olur. Benim takmış olduğum sembol bir isimdir Mihriban. Masa başında yazılmış, hayal bir aşk, bu tadı ve lezzeti vermez. Yaşayacaksın ki yazacaksın. O zamanlar elektrik yoktu. Lamba ışığı altında yazıyordum. Şiire başladığımda lambadaki alev titremeye başladı. 'Lambadaki alev üşüyor' çıktı... Bazen aklıma düşüyor. Ben unutursun diyorum ama insan hiçbir zaman unutamıyor... O bir mektup üzerine yazılmıştır. Benim gönderdiğim bir mektuptan dolayı bir cevap aldım. 'Unutmak kolay mı?' mektubun başlığı..."
Abdurrahim Karakoç, "Mihriban"ın yanı sıra "Saati Yok Eremi Yok (Ben Hep Seni Düşünürüm)", "Anadolu Sevgisi", "Zikrullah", "Hak Yol İslam Yazacağız", "Bayramlar Bayram Ola", "İsyanlı Sükut" ve "Tut Ellerimden", 5 şiirden oluşan "Hasan'dan Gelen Mektup", 8 şiirden oluşan "Haberler Bülteni", 7 şiirden oluşan "Vatandaş Türküsü" ve 5 şiirden oluşan "Masal" adlı eserlere imza attı.
Şiirlerinde ilahi ve beşeri aşk, tabiat, gurbet, toplumsal yozlaşma, Türklük, İslam davası, ölüm gibi konulara değinen başarılı edebiyatçı, şiiri "bir gayeye varmak için araç" olarak gördüğünü ifade etmişti.