Tigges ve arkadaşlarının (2026) çalışması, Büyük Dil Modellerindeki (LLM) çok anlamlılık kavramına dair yerleşik görüşü kökten sarsıyor. Özellikle Qwen3.6-35B-A3B mimarisi üzerinden yürütülen araştırmada, yazarlar nöronların hesaplamada yorumlanabilir birimler olduğunu savunuyor. Yazarlar, nöronların işlevsel olarak seyrek (sparse) olduğunu ve en belirleyici tetiklenmelerinin yüzde 97/3 gibi uç noktalarda gerçekleştiğini gösteriyor. Yazarlar, sıkı seyreltme deneyleriyle, en zayıf nöron tetiklenmelerinin %92,2’si devre dışı bırakıldığında dil modeli kaybının sadece %2,9 arttığını ve akıl yürütme dışındaki testlerde etkisinin minimal kaldığını kanıtlıyor. Ancak bu aşırı seyrekliğin getirdiği kayıplar arasında en kritik nokta şu ki…
Konular: Yapay Zeka Şeffaflığı, Sinir Ağı Mimarisi ve Büyük Dil Modelleri
SiteM’de tam özet, flashcard ve quiz →
Orijinal kaynak: www.goodfire.com
Kaynak: sitem.co — paylas.io yer imi / keşif katmanı.
Yorumlar
Yorum için giriş yap veya kaydol.
Henüz yorum yok — ilk sen yaz.