Bellek yükünü 6 kat hafifleten teknoloji

Google’a göre modeller büyüdükçe donanımlar arasındaki veri trafiğinde ciddi bir tıkanıklık yaratıyor. Özellikle uzun metinler işlenirken modelin hafızasında tutması gereken ‘Key-Value Cache’ yani anahtar-değer önbelleği, sistemleri epey zorluyor. Bunu yoğun araç trafiğinin olduğu bir yola benzetebiliriz. Araştırmacılar işte bu sıkışıklığı çözmek için TurboQuant algoritmasını ortaya çıkardı. Yeni algoritma veriden bağımsız çalışma yeteneğine sahip. Geleneksel yöntemler uzun süreli ön hazırlık ve modele özel veri eğitimi gerektirirken, TurboQuant bu zahmetli süreci rafa kaldırıyor. Algoritma gelen verileri rastgele döndürerek homojen bir yapıya kavuşturuyor. Böylece sistem karmaşık hesaplamalarla boğuşmak yerine her bir veri parçasını bağımsız ve çok daha hızlı şekilde işleyebiliyor. Sıkıştırma işlemlerinin en büyük handikabı, veri kaybı yaşanması ve tahminlerde sapmalar oluşmasıdır. Google mühendisleri bu pürüzü gidermek için iki aşamalı akıllı bir düzeltme mekanizması kurmuş. Sistem önce verideki matematiksel sapmayı en aza indiriyor, ardından kalan küçük hataları dönüşümle sıfırlıyor. Sonuç olarak yapay zekanın kalbi olan ‘Transformer’ yapıları hiçbir kayıp yaşamadan tam performansla çalışmasını sürdürüyor. Yapılan zorlu testler TurboQuant’ın kağıt üzerindeki başarısını sahada da kanıtladı. Llama ve Ministral gibi popüler yapay zeka modelleri üzerinde denenen TurboQuant, on binlerce kelimelik muazzam büyüklükteki metin yığınları içinde aranan bilgiyi nokta atışı bulmayı başardı. Veritabanı arama işlemlerinde indeksleme süresini sıfıra yaklaştıran bu yenilik, donanım sınırlarına takılan yapay zeka geliştiricilerine derin bir nefes aldıracak. (Kaynak: CNN)