Yapay zeka bu belleği çok sevecek: Raptor 3D-DRAM

Aşağı Git Tüm Forumlar Donanım / Hardware Anasayfa Haberleri Yapay zeka bu belleği çok sevecek: Raptor 3D-DRAM

Bu konudaki kullanıcılar: 1 misafir, 1 mobil kullanıcı

2
Cevap 240
Tıklama 0
Öne Çıkarma

1. sayfa

Yapay zeka bu belleği çok sevecek: Raptor 3D-DRAM

Cevap Yaz

Metin Yasir Akpınar

3 hafta (13658 mesaj)

Yarbay

Konu Sahibi

Yapay zeka bu belleği çok sevecek: Raptor 3D-DRAM — Yapay zeka işlemcilerinde belleğe erişim hızını artırmaya odaklanan **d-Matrix**, Hot Chips 2026 etkinliğinde **Raptor** adlı yeni hızlandırıcı mimarisini tanıttı. Şirket, geleneksel HBM yaklaşımından farklı olarak DRAM yongalarını işlemci mantığının yanına değil, doğrudan altına yerleştiriyor.

Raptor’da TSMC’nin N4 üretim süreciyle hazırlanan bir mantık yongası, özel tasarlanmış DRAM’in üzerine yerleştiriliyor. Bu yapı, işlemci ile bellek arasındaki bağlantıyı önemli ölçüde kısaltıyor. d-Matrix, bunun daha yüksek bant genişliği ve daha düşük veri aktarım gücü sağlayabildiğini belirtiyor.

100 TB/s üzerinde bant genişliği sağlıyor

Raptor’un 3D-DRAM tasarımı 32 GB bellek kapasitesi ve 100 TB/s’nin üzerinde bant genişliği sunuyor. d-Matrix’in karşılaştırmasına göre 192 GB HBM4 kullanan bir yapı yaklaşık 18 TB/s bant genişliğine ulaşabiliyor.

Şirket bu mimariyi özellikle oyun ekran kartlarından ziyade yapay zeka iş yükleri için geliştiriyor. Bunun temel nedenlerinden biri, büyük dil modellerinin çözümleme aşamasında belleğe yönelik yoğun erişim ihtiyacı.

Bir dil modeli her yeni tokenı üretirken model verilerine ve KV cache olarak adlandırılan önbelleğe tekrar tekrar erişmek zorunda kalıyor. Bu aşamada performans, işlem gücünden çok bellek bant genişliği tarafından sınırlandırılabiliyor. Yeni çözüm de buradaki darboğazı azaltıyor.

Yeni sorunlar ortaya çıkıyor

Ayrıca Bkz.Trump yönetiminden Apple'a Çinli bellek çipleri için izin sinyali

Ancak Raptor’un ulaştığı 100 TB/s üzerindeki hızın yine de yüksek bir güç maliyeti var. Sistem, yalnızca bellek ile veri alışverişi için yaklaşık 296 W güç harcıyor. d-Matrix ayrıca Raptor’un, Nvidia’nın Rubin R200 HBM4 çözümüne kıyasla aynı alanda yaklaşık 20 kat daha fazla bant genişliği sunduğunu ve bant genişliği başına 13,5 kat daha az güç tükettiğini belirtiyor.

Raptor henüz ticari bir ürün değil

Raptor şu aşamada tamamlanmış ve piyasaya çıkmış bir ürün değil. Hot Chips 2026 sunumunda, planlanan ticari hızlandırıcının özellikleri ve hedeflenen teknik değerler paylaşıldı.

Şirket, teknolojinin temelini oluşturan yapıyı Pavehawk adlı 3D-DRAM test çipiyle çalışır durumda göstermişti. Bu da teknolojinin sadece bir konseptten ibaret olmadığına işaret ediyor.

Kaynak:https://videocardz.com/newz/raptor-3d-dram-combines-32gb-capacity-with-over-100-tb-s-bandwidth

DH forumlarında vakit geçirmekten keyif alıyor gibisin ancak giriş yapmadığını görüyoruz.

Üye olduğunda özel mesaj gönderebilir, beğendiğin konuları favorilerine ekleyip takibe alabilir ve daha önce gezdiğin konulara hızlıca erişebilirsin.

Üye Ol Şimdi Değil

Bir Daha Gösterme

Haberi Portalda Gör

Erknb34

3 hafta (109 mesaj)

Teğmen

Bence MoE'ye de yatırım yapılmalı 35b-a3b gerçekten hızlı. 27b ile x1 gen2 madenci kartı üzerindeki ekran kartımla 25 token hız alırken 35b-a3b MoE yapısı q4 sıkıştırılmış KV ile 55 token hız alabiliyorum. Yani çözüm daha iyi ayarlanmış MoE yapısı ve kapasitede. X1 Gen2 500MB/sn veri aktarımı sağlıyor. MoE çıkarım esnasında vibağlantının %10'unu kullanıyor. Dolayısıyla 32 GB hızlı VRAM yanında çok daha büyük parametreleri içine alacak bir kapasite gerekli. İlla HBM veya VRAM da şart değil artık. Yeterki bahsettikleri yapının yanına yeterli kapasitede mesela 250GB'lık bir HBF eklesinler. Çözüm MoE ve HBF'de ;)

Ekran kartına güçlü modeli birkez yavaş ta olsa yükle sonra unut. Bilgisayarı kapatıp açsan da model ekran kartında hazır bekliyor olacak :D

DH Misafiri

3 hafta (112387 mesaj)

Yarbay

Kesinlikle mantıklı, 35B-A3B gibi MoE mimarileri sınırlı veri yollarında bile çıkarım hızını uçuruyor. Flaş (HBF) tarafındaki tek risk, dinamik uzman seçiminde flaş hücrelerinin erişim gecikmesi (latency) yüzünden işlemcinin beklemesi olabilir. Ancak HBM + 3D-DRAM hibrit katmanlandırması bu sorunu tamamen çözer. 200–300 GB'lık HBM tüm MoE modelini nanosecond seviyesinde gecikmeyle tutarken, 32 GB'lık 3D-DRAM sanki bir L2/L3 önbellek gibi 100 TB/s hızla anlık uzmanları ve KV cache'i işler. Bu kombinasyon yapay zeka hızlandırıcılarda harika bir hibrit mimari olabilir.

Cevap Yaz

1. sayfa

Tüm Forumlar Donanım / Hardware Anasayfa Haberleri Yapay zeka bu belleği çok sevecek: Raptor 3D-DRAM