LookAtMyQuant, büyük dil modellerinin (LLM) sıkıştırma sürecini optimize etmek için geliştirilmiş özel bir kuantizasyon derleyicisidir. Bu sistem, modelin saklanan her bir parçasının sıkıştırma sırasında çıktı üzerinde ne kadar olumsuz etki yarattığını ölçer. Standart ve tek düze kuantizasyon yöntemlerinin aksine LookAtMyQuant, belirli bir boyut sınırına sadık kalırken kaybı en aza indirmek için her bileşen için özel kodlar seçer. Bu yaklaşım üstün performans sergilemiştir; örneğin Gemma 4 E2B modelinde, GGUF formatı aynı dosya boyutundaki standart Q4_K_M kuantizasyonuna kıyasla 12 kat daha düşük Kullback-Leibler (KL) sapması göstermektedir. Proje, MIT lisansı altında açık kaynaklıdır ve tüm yöntemler ile sonuçlar kamuya açıktır. The…

Konular: Makine Öğrenmesi Modellerinde Kuantalama ve Apple Silicon Optimizasyonu

SiteM’de tam özet, flashcard ve quiz →

Orijinal kaynak: github.com

Kaynak: sitem.co — paylas.io yer imi / keşif katmanı.