Türkçe yapay zekada yeni bir kilometre taşı: Kumru LLM

• 7.4 milyar parametre ile sıfırdan Türkçe için geliştirilen Kumru, yerel bir temel model olarak konumlandırıldı.
• Düşük donanım gereksinimi sayesinde model, 16 GB VRAM'e sahip tüketici ekran kartlarında çalışarak maliyet avantajı sağladı.
• Yapılan testlerde Kumru, Türkçe dil görevlerinde kendisinden çok daha büyük yabancı dil modellerini geride bıraktı.
• Modelin Kumru-2B adıyla daha küçük ve açık kaynaklı bir versiyonu Hugging Face üzerinde, demo sürümü ise kendi web sitesinde kullanıma sunuldu.

VNGRS, Türkçe odaklı yapay zeka alanında yeni bir dönem başlattı

Yazılım firması VNGRS, Türkçe için sıfırdan geliştirdiği ilk büyük dil modeli Kumru LLM'i kamuoyuna tanıttı. Tamamen yerel bir temel model olarak tasarlanan Kumru, 7.4 milyar parametreye sahip.

Modelin temel kullanım alanları belge işleme, metin özetleme ve kurumsal soru-cevap sistemleri olarak belirlendi. Şirket, talebe göre farklı sektörlere yönelik özel modeller de eğiteceğini açıkladı.

Kumru LLM, Türkçe için eğitilmiş olmasına rağmen İngilizce dilini ve kodlama yeteneklerini de bünyesinde barındırdı. Bu özellik, modelin çok yönlü kullanımını mümkün kıldı.

Modelin eğitimi 45 gün sürdü ve mimarisi verimlilik üzerine kuruldu

Modelin ön eğitim süreci 45 gün içinde tamamlandı ve bu süreçte 500 GB boyutunda temizlenmiş Türkçe veri kullanıldı. Eğitim için H100 ve H200 gibi gelişmiş GPU'lardan yararlanıldı.

Eğitimin ardından model üzerinde, 1 milyon örnek içeren bir veri setiyle ince ayar (fine-tuning) işlemi gerçekleştirildi. Modelin bilgi birikiminin Mart 2024 itibarıyla kesildiği belirtildi.

Kumru'nun teknik mimarisi açık kaynak kodlu Mistral-v0.3 tabanını esas aldı. Ayrıca LLaMA-3 teknik belgesindeki tasarım kararları, modelin geliştirilmesinde referans noktası oldu.

8.192 tokenlik bağlam uzunluğu, modelin tek seferde yaklaşık 20 A4 sayfası metni işleyebilmesine olanak tanıdı. Bu kapasite, uzun belgelerin analizi için önemli bir avantaj teşkil etti.

Düşük sistem gereksinimi ile maliyet avantajı sağladı

Verimlilik odaklı tasarımı, Kumru'nun RTX 3090 gibi 16 GB VRAM'li tüketici ekran kartlarında dahi çalışmasını sağladı. Bu durum, modeli kurum içi kullanım için erişilebilir hale getirdi.

VNGRS'ye göre Kumru'nun kurum içi kurulum maliyeti yaklaşık 2.000 dolar seviyesinde kaldı. Bu rakam, benzer kapasitedeki yabancı bir model için gereken 30.000 dolarlık tek bir GPU maliyetiyle kıyaslandığında önemli bir fark oluşturdu.

Türkçe dil görevlerinde büyük rakiplerini geride bıraktı

Yapılan performans testleri, Kumru'nun LLaMA-3.3–70B ve Gemma-3–27B gibi çok daha büyük modellere karşı Türkçe görevlerde üstünlük kurduğunu gösterdi. Model özellikle dilbilgisi düzeltme ve özetleme yetenekleriyle öne çıktı.

Bu başarının arkasındaki nedenlerden biri, Türkçe'nin yapısal özelliklerini daha iyi kavraması oldu. Modelin tokenizasyon sistemi de özel olarak Türkçe için yeniden tasarlandı.

Geliştirilen yeni ön işlemci sayesinde metinler, yüzde 38 ile yüzde 98 arasında daha az token kullanılarak işlendi. Bu verimlilik, işlem hızını artırırken maliyetleri de düşürdü.

Açık kaynaklı ve demo sürümü kullanıma sunuldu

Geliştiriciler ve araştırmacılar için Kumru-2B adında 2 milyar parametrelik daha küçük bir versiyon da yayımlandı. Yalnızca 4.8 GB bellek gerektiren bu sürüm, mobil cihazlarda bile çalışabiliyor.

Kumru-2B modeline Hugging Face platformu üzerinden erişim sağlandı. Herkesin deneyebileceği herkese açık demo sürümü ise kumru.ai web adresi üzerinden hizmete açıldı.