Tahminsel kod çözme ile yüksek hız

AMDi yeni dil modelinin "Tahminsel kod çözme" özelliğini kullandığını bu sayede oldukça hızlı olduğunu belirtiyor. Tahminsel kod çözmede, tek bir seferde birden fazla aday token (jeton) üreten daha küçük bir "taslak model" yer alıyor. Bu token'lar daha sonra daha büyük ve daha doğru olan "hedef model"e iletilerek doğrulanıyor veya düzeltiliyor. Böylece, her işlemde birden fazla token üretilip doğrulandığı için, performans kaybı yaşamadan daha hızlı ve verimli sonuçlara ulaşılıyor. AMD'nin iddiasına göre, yeni model aynı donanımda 2 ila 3 kat hız artışı sağlıyor.  Ancak artan veri işleme süreçleri güç tüketimini de arttırıyor.

Ayrıca Bkz.Huawei, Nvidia’yı yakaladı: Yeni yapay zeka çipi müşterilere gönderildi

AMD'nin yeni modeli iki versiyonda geliyor: AMD-Llama-135M ve AMD-Llama-135M-code. Her biri, tahminsel kod çözme teknolojisini kullanarak çıkarım performansını hızlandırarak belirli görevleri optimize etmek üzere tasarlandı.  

Temel model olan AMD-Llama-135M, 670 milyar genel veri token'ı üzerinde sıfırdan eğitildi. Bu süreç, dört adet 8 yollu AMD Instinct MI250 tabanlı sistem kullanılarak 6 gün sürdü. AMD-Llama-135M-code ise, özellikle kodlamaya odaklanan 20 milyar ek token ile ince ayarlandı ve aynı donanım kullanılarak bu görev 4 günde tamamlandı. AMD, ileride daha fazla optimizasyonun daha iyi performans sağlayabileceğini belirtiyor.