Ağırlık Alanı Programlama (WSP) kavramı, büyük dil modellerinin sinir ağlarının ağırlıklarını doğrudan okuyabildiğini, yazabildiğini ve düzenleyebildiğini öne sürüyor. Bu durum, "LLM Descent" olarak adlandırılan yeni bir eğitim paradigması sunma potansiyeli taşıyor. Ancak Lex Toumbourou tarafından yapılan detaylı bir analiz, LLM'lerin geleneksel gradyan inişi (gradient descent) kullanmadan sıfırdan ağlar oluşturma görevi aldıklarında yeni mimariler üretemediklerini gösteriyor. Bunun yerine, modeller 1990'lar ve öncesine ait teknikleri yeniden inşa ediyor; yani aslında el ile oluşturulmuş özellik çıkarıcılar (feature extractors) için gelişmiş derleyiciler gibi hareket ediyorlar. Claude Fable 5.2'nin MNIST el yazısı rakam sınıflandırma görevinde kullanıldığı deneylerde, modele tüm 5.994 ağırlığı ayarlaması zorunlu kılındı…
Konular: Yapay Zeka, Makine Öğrenmesi Yorumlanabilirliği ve Bilgisayar Görüsü Tarihi
SiteM’de tam özet, flashcard ve quiz →
Orijinal kaynak: notesbylex.com
Kaynak: sitem.co — paylas.io yer imi / keşif katmanı.
Yorumlar
Yorum için giriş yap veya kaydol.
Henüz yorum yok — ilk sen yaz.