Arama butonu
Bu konudaki kullanıcılar: 2 misafir, 1 mobil kullanıcı
2
Cevap
3175
Tıklama
2
Öne Çıkarma
PS4 üzerinde yapay zeka modeli çalıştırıldı: Saniyede 39 token üretiyor
A
2 gün (8745 mesaj)
Yarbay
Konu Sahibi

PS4 üzerinde yapay zeka modeli çalıştırıldı: Saniyede 39 token üretiyor
Sony'nin 2013 yılında satışa sunduğu PlayStation 4, oyun odaklı donanımına rağmen ilginç bir projeye ev sahipliği yaptı. Leonardo Alegría isimli bir geliştirici, konsolun AMD GCN grafik işlemcisini kullanarak 9 milyar parametreli bir dil modelini çalıştırmayı başardı. Garlic LLM adı verilen proje, herhangi bir harici bilgisayara veya Linux kurulumuna ihtiyaç duymadan tamamen çevrimdışı çalışabiliyor.



Özel GPU çekirdekleriyle donanım sınırları aşıldı



Proje kapsamında OpenAI'nin değil, Alibaba'nın Qwen3.5-9B dil modeli kullanılıyor. Geliştiricinin paylaştığı bilgilere göre uygulama, PlayStation 4 üzerinde saniyede 31 ila 39 token üretim hızına ulaşabiliyor. Kod üretimi sırasında ise bu değer 43 tokene kadar çıkabiliyor. Ayrıca sistem, ses desteğiyle çevrimdışı bir yapay zeka sohbet botu olarak da kullanılabiliyor.



PlayStation 4, modern yapay zeka modellerini çalıştırmak üzere tasarlanmadığı için gerekli GPU hesaplama API'lerine ve makine öğrenimi kütüphanelerine sahip değil. Alegría, bu sorunu aşmak için OpenCL C kullanarak AMD'nin GCN mimarisine özel GPU çekirdekleri geliştirdi. Uygulama, geleneksel grafik sürücüsü yerine özel olarak hazırlanan PM4 komut tamponları üzerinden doğrudan GPU ile iletişim kuruyor.



Bellek kapasitesi de projenin önündeki önemli sınırlamalardan biri. PlayStation 4'te 8 GB paylaşımlı GDDR5 bellek bulunuyor. Bu nedenle Garlic LLM, Qwen3.5-9B modelini yaklaşık 4,5 GB alana sığdırmak için özel nicemleme tekniklerinden yararlanıyor. Model ağırlıklarının büyük bölümü 4-bit, bazı büyük matrisler ise 3-bit hassasiyetle işleniyor. KV önbelleğinde de 4-bit hassasiyet kullanılması sayesinde 16 bin token bağlam penceresi destekleniyor.



Hız 39 tokene kadar çıkıyor



Geliştirici, performansı artırmak için spekülatif kod çözme (speculative decoding) tekniğini de uygulamaya dahil etti. Qwen3.5'in yerleşik Multi-Token Prediction (MTP) başlığından yararlanan bu yöntem, modelin aynı işlemde iki tokene kadar ileriye dönük tahmin yapmasına olanak tanıyor. Alegría'ya göre bu optimizasyon, üretim hızını saniyede yaklaşık 22 tokenden 31-39 token aralığına yükseltti. Kod üretiminde ise 43 token/saniye seviyesine ulaşılabiliyor.



Ayrıca Bkz.GTA 6, PlayStation ve Xbox tarihine geçti



Elbette 9 milyar parametreli bir modelin 16 bin token bağlam penceresiyle çalışması, günümüzün daha büyük yapay zeka sistemleriyle rekabet edebileceği anlamına gelmiyor. Ancak 2013 yılında piyasaya çıkan ve yapay zeka için tasarlanmamış bir konsolda bu seviyede bir modelin çalıştırılması, projenin en dikkat çekici tarafı.




Kaynak:https://videocardz.com/newz/playstation-4-can-now-run-9b-ai-model-on-its-gcn-gpu-at-up-to-39-tokens-per-second

 Haberi Portalda Gör

D
dün (113136 mesaj)
Yarbay

ziyan edilmiş bir PS4...




V
17 sa. (11377 mesaj)
Yarbay

Gayet güzel bir hız, zaten 40 tps ve üzeri evlâdır.

Diğer taraftan, bağlam penceresi çok küçük. Yerelde çalışan yabai zega'larda şunu gördüm ki, bağlam penceresi mümkün oldukça azami seviyede yapılandırılmalı. Fakat q4'te bile maalesef çok RAM kullanıyor.




DH Mobil uygulaması ile devam edin. Mobil tarayıcınız ile mümkün olanların yanı sıra, birçok yeni ve faydalı özelliğe erişin. Gizle ve güncelleme çıkana kadar tekrar gösterme.