Modern büyük dil modeli (LLM) eğitimindeki temel zorluk, hesaplama hızı ile sayısal hassasiyet arasındaki dengeyi kurmaktır. Düşük bit derinliği formatları, bellek kullanımını azaltıp GPU hesaplamalarını hızlandırırken, öğrenme sürecini bozabilecek ve birikebilen kuantizasyon hatalarına yol açar. Thinking Machines Lab, bu sorunu NVIDIA'nın Grace Blackwell Ultra (GB300) platformunda üç özel sayısal formatı —BF16, MXFP8 ve NVFP4— kullanarak çözüyor. BF16, 2.5 PFLOPS ile yüksek hassasiyet sunarken; NVFP4, 15 PFLOPS değerinde 6 kata kadar daha hızlı hesaplama imkanı sağlıyor ancak çok daha yüksek kuantizasyon hatası barındırıyor. Yazarlar, bu ödünleşim (tradeoff) dengesinin eğitim aşamalarına göre farklı şekilde yönetilmesi gerektiğini savunuyor: ... içindeki ileri besleme (forward pass) işlemleri...
Konular: Makine Öğrenimi Sistemlerinde Düşük Hassasiyetli Eğitim ve Donanım Hızlandırma
SiteM’de tam özet, flashcard ve quiz →
Orijinal kaynak: thinkingmachines.ai
Kaynak: sitem.co — paylas.io yer imi / keşif katmanı.
Yorumlar
Yorum için giriş yap veya kaydol.
Henüz yorum yok — ilk sen yaz.