MARS 5 ve Meridian Ziyaretçi Araştırmacı Programı’ndan gelen bu güncelleme, “dolgu token’larıyla akıl yürütme” (filler-token reasoning) olarak adlandırılan bir olguyu inceliyor. Bu fenomen, Büyük Dil Modellerinin (LLM), anlamlı kelimeler üretmeden iç hesaplamalar yapmak için noktalardan oluşan düşünce zincirleri gibi ek token’lar kullanmasıdır. Pfau ve arkadaşlarının 2024 tarihli önceki çalışmaları, modellerin bu yöntemle tamamen paralelleştirilebilir görevleri (TC⁰ sınıfı) çözebildiğini göstermiş; ancak dolgu token’larının, sonraki adımların öncekilere bağlı olduğu sıralı akıl yürütmeyi destekleyemeyeceğini öne sürmüştü. Bu proje, modellerin çok adımlı öğrenmesini sağlayan değiştirilmiş bir eğitim protokolü tanıtarak bu sınırlamaya meydan okuyor…

Konular: Yapay Zeka Yorumlanabilirliği, Büyük Dil Modelleri ve Makine Öğrenmesi Teorisi

SiteM’de tam özet, flashcard ve quiz →

Orijinal kaynak: www.lesswrong.com

Kaynak: sitem.co — paylas.io yer imi / keşif katmanı.