Sony'nin 2013 yılında satışa sunduğu PlayStation 4, oyun odaklı donanımına rağmen ilginç bir projeye ev sahipliği yaptı. Leonardo Alegría isimli bir geliştirici, konsolun AMD GCN grafik işlemcisini kullanarak 9 milyar parametreli bir dil modelini çalıştırmayı başardı. Garlic LLM adı verilen proje, herhangi bir harici bilgisayara veya Linux kurulumuna ihtiyaç duymadan tamamen çevrimdışı çalışabiliyor.
Özel GPU çekirdekleriyle donanım sınırları aşıldı
Proje kapsamında OpenAI'nin değil, Alibaba'nın Qwen3.5-9B dil modeli kullanılıyor. Geliştiricinin paylaştığı bilgilere göre uygulama, PlayStation 4 üzerinde saniyede 31 ila 39 token üretim hızına ulaşabiliyor. Kod üretimi sırasında ise bu değer 43 tokene kadar çıkabiliyor. Ayrıca sistem, ses desteğiyle çevrimdışı bir yapay zeka sohbet botu olarak da kullanılabiliyor.
PlayStation 4, modern yapay zeka modellerini çalıştırmak üzere tasarlanmadığı için gerekli GPU hesaplama API'lerine ve makine öğrenimi kütüphanelerine sahip değil. Alegría, bu sorunu aşmak için OpenCL C kullanarak AMD'nin GCN mimarisine özel GPU çekirdekleri geliştirdi. Uygulama, geleneksel grafik sürücüsü yerine özel olarak hazırlanan PM4 komut tamponları üzerinden doğrudan GPU ile iletişim kuruyor.
Bellek kapasitesi de projenin önündeki önemli sınırlamalardan biri. PlayStation 4'te 8 GB paylaşımlı GDDR5 bellek bulunuyor. Bu nedenle Garlic LLM, Qwen3.5-9B modelini yaklaşık 4,5 GB alana sığdırmak için özel nicemleme tekniklerinden yararlanıyor. Model ağırlıklarının büyük bölümü 4-bit, bazı büyük matrisler ise 3-bit hassasiyetle işleniyor. KV önbelleğinde de 4-bit hassasiyet kullanılması sayesinde 16 bin token bağlam penceresi destekleniyor.
Hız 39 tokene kadar çıkıyor
Geliştirici, performansı artırmak için spekülatif kod çözme (speculative decoding) tekniğini de uygulamaya dahil etti. Qwen3.5'in yerleşik Multi-Token Prediction (MTP) başlığından yararlanan bu yöntem, modelin aynı işlemde iki tokene kadar ileriye dönük tahmin yapmasına olanak tanıyor. Alegría'ya göre bu optimizasyon, üretim hızını saniyede yaklaşık 22 tokenden 31-39 token aralığına yükseltti. Kod üretiminde ise 43 token/saniye seviyesine ulaşılabiliyor.
Elbette 9 milyar parametreli bir modelin 16 bin token bağlam penceresiyle çalışması, günümüzün daha büyük yapay zeka sistemleriyle rekabet edebileceği anlamına gelmiyor. Ancak 2013 yılında piyasaya çıkan ve yapay zeka için tasarlanmamış bir konsolda bu seviyede bir modelin çalıştırılması, projenin en dikkat çekici tarafı.
Gayet güzel bir hız, zaten 40 tps ve üzeri evlâdır.
Diğer taraftan, bağlam penceresi çok küçük. Yerelde çalışan yabai zega'larda şunu gördüm ki, bağlam penceresi mümkün oldukça azami seviyede yapılandırılmalı. Fakat q4'te bile maalesef çok RAM kullanıyor.
Özel GPU çekirdekleriyle donanım sınırları aşıldı
Proje kapsamında OpenAI'nin değil, Alibaba'nın Qwen3.5-9B dil modeli kullanılıyor. Geliştiricinin paylaştığı bilgilere göre uygulama, PlayStation 4 üzerinde saniyede 31 ila 39 token üretim hızına ulaşabiliyor. Kod üretimi sırasında ise bu değer 43 tokene kadar çıkabiliyor. Ayrıca sistem, ses desteğiyle çevrimdışı bir yapay zeka sohbet botu olarak da kullanılabiliyor.
PlayStation 4, modern yapay zeka modellerini çalıştırmak üzere tasarlanmadığı için gerekli GPU hesaplama API'lerine ve makine öğrenimi kütüphanelerine sahip değil. Alegría, bu sorunu aşmak için OpenCL C kullanarak AMD'nin GCN mimarisine özel GPU çekirdekleri geliştirdi. Uygulama, geleneksel grafik sürücüsü yerine özel olarak hazırlanan PM4 komut tamponları üzerinden doğrudan GPU ile iletişim kuruyor.
Bellek kapasitesi de projenin önündeki önemli sınırlamalardan biri. PlayStation 4'te 8 GB paylaşımlı GDDR5 bellek bulunuyor. Bu nedenle Garlic LLM, Qwen3.5-9B modelini yaklaşık 4,5 GB alana sığdırmak için özel nicemleme tekniklerinden yararlanıyor. Model ağırlıklarının büyük bölümü 4-bit, bazı büyük matrisler ise 3-bit hassasiyetle işleniyor. KV önbelleğinde de 4-bit hassasiyet kullanılması sayesinde 16 bin token bağlam penceresi destekleniyor.
Hız 39 tokene kadar çıkıyor
Geliştirici, performansı artırmak için spekülatif kod çözme (speculative decoding) tekniğini de uygulamaya dahil etti. Qwen3.5'in yerleşik Multi-Token Prediction (MTP) başlığından yararlanan bu yöntem, modelin aynı işlemde iki tokene kadar ileriye dönük tahmin yapmasına olanak tanıyor. Alegría'ya göre bu optimizasyon, üretim hızını saniyede yaklaşık 22 tokenden 31-39 token aralığına yükseltti. Kod üretiminde ise 43 token/saniye seviyesine ulaşılabiliyor.
Ayrıca Bkz.GTA 6, PlayStation ve Xbox tarihine geçti
Elbette 9 milyar parametreli bir modelin 16 bin token bağlam penceresiyle çalışması, günümüzün daha büyük yapay zeka sistemleriyle rekabet edebileceği anlamına gelmiyor. Ancak 2013 yılında piyasaya çıkan ve yapay zeka için tasarlanmamış bir konsolda bu seviyede bir modelin çalıştırılması, projenin en dikkat çekici tarafı.
Kaynak:https://videocardz.com/newz/playstation-4-can-now-run-9b-ai-model-on-its-gcn-gpu-at-up-to-39-tokens-per-second
Haberi Portalda Gör