Gençlerbirliği, 14 Mart 1923'te Ankara Sultanisi'nde (Atatürk Lisesi) öğrencilerin girişimleriyle kuruldu.
Başkent ekibinin kırmızı-siyah renkleri, rivayete göre "Ankara gelinciği"nden diğer rivayete göre ise o sırada Karaoğlanoğlu Hanı'ndaki dükkanlarda başka renk kumaş olmadığından seçildi.
Tarihinde Süper Lig'i 1965-66 ve 2002-03 sezonlarında 3. bitiren Gençlerbirliği, 1987 ve 2001 yıllarında Türkiye Kupası'nı müzesine götürdü.
Kurulduktan sonra Ankara Futbol Ligi'ne katılan Gençlerbirliği, 34 sezon boyunca bu ligde mücadele etti.
10 şampiyonlukla ligdeki en başarılı takım konumundaki başkent ekibi, 1941 yılında İstanbul Futbol Ligi şampiyonu Beşiktaş'ı finalde 4-1 yenerek Türkiye şampiyonluğunu kazandı.
1946 yılında finallerde Beşiktaş ve Eskişehir Demirspor'u mağlup eden Gençlerbirliği, ikinci kez Türkiye futbol birincisi olmayı başardı.
Gençlerbirliği, 1959 yılında Milli Lig adıyla kurulan en üst kademe lige Ankara'dan katılan dört takımdan biri odu.
1965-1966 sezonunu üçüncü tamamlayan kırmızı-siyahlılar; Beşiktaş, Fenerbahçe ve Galatasaray dışında bu ligde ilk üçe girebilen ilk takım ünvanını aldı.
Başkent temsilcisi, 1960'lı yıllarda özellikle Ankara'daki maçlarda İstanbul takımlarına karşı aldığı başarılı sonuçlarla adından söz ettirirken Köylü Selçuk, Büyük Tevfik, Paçoz Oktay, Rüzgarın Oğlu Zeynel lakapları takılan simge isimler de kulüp tarihine geçti.
1970 yılında küme düşen Gençlerbirliği, 2. ligde (Trendyol 1. Lig) geçirdiği vasat sezonların sonunda işlerin daha da kötüye gitmesiyle 1979'da 3. lige (Nesine 2. Lig) kadar geriledi.