Ajan tabanlı iş yükleri ve büyük kod tabanları, bağlam uzunluklarını yüz binlerce token seviyesine taşıdıkça, yoğun dikkat mekanizması kuadratik ölçeklenmesi nedeniyle transformer katmanlarında temel darboğaz haline geliyor. Seyrek dikkat, her sorgunun yalnızca ilgili anahtarların küçük bir alt kümesine odaklanmasını sağlayarak hesaplama ve bellek trafiğini önemli ölçüde azaltan model düzeyinde bir çözüm sunuyor. Ancak bu teknik maliyeti ortadan kaldırmıyor; aksine tüm N anahtarı puanlayıp en iyi k adayları belirlemek zorunda olan “indexer” bileşenine aktarıyor. DeepSeek V3.2 gibi modellerde indexer ve Top-k seçimi, prefill süresinin neredeyse yarısını tüketebiliyor; bu da pratik uygulamalarda verimli donanım implementasyonunun kritik olduğunu gösteriyor…
Konular: Makine Öğrenimi Optimizasyonu, GPU Donanım Mimarisi ve Transformer Model Tasarımı
SiteM’de tam özet, flashcard ve quiz →
Orijinal kaynak: developer.nvidia.com
Kaynak: sitem.co — paylas.io yer imi / keşif katmanı.
Yorumlar
Yorum için giriş yap veya kaydol.
Henüz yorum yok — ilk sen yaz.