Şair Ece Ayhan'a göre "Keşfedilmeyi bekleyen bir ada" olan Zarifoğlu, Niyazi Bey ile Şerife Hanım'ın oğlu olarak 1 Temmuz 1940'ta Ankara'da dünyaya geldi.
Hayata gözlerini Ankara'da açmasına ve bir süre de bu şehirde yaşamasına rağmen kendini daima Kahramanmaraşlı olarak tanıttı. Bunda atalarının üç asır önce Kafkasya'dan Maraş'a göçmeleri ve Zarifoğlu'nun lise yıllarını da Maraş'ta geçirmesi etkili oldu.
Kafkasyalı Zarif soyundan gelen Cahit Zarifoğlu, okula başlamadan önce okuma-yazmayı, resim yapmayı ve Kur'an-ı Kerim okumayı annesi, anneannesi ve mahalle hocalarından öğrendi.
Şanlıurfa'da başladığı ilköğrenimini, 1951'de Kahramanmaraş'ta tamamlayan Zarifoğlu, babasının görevi nedeniyle çocukluk yıllarını Silvan, Baykan, Siirt, Siverek ve Kızılcahamam'da geçirdi.
Zarifoğlu, lise son sınıfta edebiyat ve matematik derslerinden bütünlemeye kaldığı için 1955'te başladığı liseyi ancak 1961'de tamamladı. Kahramanmaraş'a dönerek kısa süre vekil öğretmenlik yapan usta yazar, bir gazetede çalışmaya başladı ve bu dönemde ilk şiirleri ile denemeleri, yerel gazete ve dergilerde yer aldı.
Başarılı edebiyatçı ile Türk edebiyatının önemli kalemlerinden Rasim Özdenören, Alaeddin Özdenören, Erdem Bayazıt, Mehmet Akif İnan ve Ali Kutlay ile Maraş Lisesi'nde başlayan arkadaşlıkları, "Diriliş", "Edebiyat" ve "Mavera" dergilerinde sürdü. Zarifoğlu'nun yazıları, Nuri Pakdil'in Maraş'ta çıkardığı "Hamle" dergisinde yayımlandı.
"Yedi Güzel Adam" olarak bugün de hatırlanmaya devam eden bu arkadaş grubu, 1956-1959 yıllarında "Yenilik", "Yeni Ufuklar", "Türk Sanatı", "Seçilmiş Hikayeler", "Varlık", "Yeditepe", "Dost", "Pazar Postası" gibi yayınlarda okurlarla buluştu.
Eskişehir'de Türk Hava Kurumunun uçuş kurslarına katılarak Milli Model Uçak B Sertifikası alan Zarifoğlu, jet pilotu olmak istediyse de kulağındaki rahatsızlık nedeniyle Hava Harp Okulu'na gidemedi.
Öncülük ettiği "İnkılap" gazetesinde yaptığı haberlerin yanı sıra günlük yazılar yazan ve sanat sayfası hazırlayan Zarifoğlu'nun bu eserleri, 1980'de okuyucuyla buluşan "Yaşamak" kitabında topladığı günlüklerinin ilk örnekleri oldu.
Usta şair, 1961'de İstanbul Üniversitesi Edebiyat Fakültesi Alman Dili ve Edebiyatı Bölümüne girdi ve uzun süren öğrenciliğinin ardından 1971'de mezun oldu.