Güçlü AI için artık güçlü donanıma gerek yok

Bitnet’ler, yapay zeka modellerinin ağırlıklarını -1, 0 ve 1 gibi yalnızca üç değere indirerek ciddi oranda bellek ve işlem gücü tasarrufu sağlayan özel sıkıştırılmış modeller olarak tanımlanıyor. Bu yöntem sayesinde, yüksek performans için devasa grafik kartlarına ihtiyaç duymadan güçlü yapay zeka işlemleri gerçekleştirilebiliyor. Microsoft’un geliştirdiği bu yeni model, 2 milyar parametreye sahip ve bu özelliğiyle şu ana kadarki en büyük ölçekli 1-bit AI modeli unvanını taşıyor.

Ayrıca Bkz.Microsoft Copilot artık Edge'de ne yaptığınızı görebiliyor

BitNet b1.58 2B4T, yaklaşık 4 trilyon token içeren devasa bir veri setiyle eğitildi. Bu miktar, yaklaşık 33 milyon kitaba eşdeğer bir içerik anlamına geliyor. Microsoft araştırmacılarına göre, model bu eğitimin ardından, benzer boyuttaki diğer yapay zeka modellerine karşı dikkate değer bir üstünlük sergiliyor. Benchmark testlerinde BitNet, Meta’nın Llama 3.2 1B, Google’ın Gemma 3 1B ve Alibaba’nın Qwen 2.5 1.5B modellerini geride bırakabiliyor.

Ama...

Sadece verimlilik değil, hız konusunda da BitNet dikkat çekiyor. Microsoft’un verilerine göre, BitNet b1.58 2B4T bazı durumlarda muadil modellerden iki kat daha hızlı çalışabiliyor ve bunu çok daha az bellek tüketerek başarıyor.

Her ne kadar CPU’larda çalışabiliyor olması büyük bir avantaj gibi görünse de, BitNet’in tam performansa ulaşması için Microsoft’un özel geliştirdiği bitnet.cpp isimli framework’ün kullanılması gerekiyor. Ne yazık ki bu framework, şimdilik sadece sınırlı sayıdaki işlemciyle uyumlu. Dolayısıyla bir donanım uyumluluğu aranıyor. Dahası, günümüzde yapay zeka altyapısında hakimiyet kurmuş olan GPU’lar henüz desteklenmiyor.