Kâr amacı gütmeyen araştırma kuruluşu Epoch AI tarafından geliştirilen Epoch Yetenekleri Endeksi (ECI), yapay zeka ilerlemesini değerlendirmede temel bir metrik haline geldi. Bu endeks, modellerin yetenekleri ve küresel yapay zeka yarışları hakkındaki kamuoyu tartışmalarında sıkça referans gösteriliyor. Epoch araştırmacısı Alexander Barry, ECI'nın çeşitli kıyaslama testlerinden (benchmark) gelen sonuçları tek bir sürekli puana dönüştürmek için "Madde Tepki Teorisi"ni (Item Response Theory) kullandığını belirtiyor. Bu istatistiksel yöntem, insan IQ testlerine benzer bir yaklaşıma dayanıyor. Bu yöntem, farklı görevlerin temelinde yatan ortak bir yetenek boyutunun bulunduğunu varsayıyor. Her ne kadar modellerdeki "tırtıklı" yapı (jaggedness) nedeniyle bu varsayım kelimesi kelimesine doğru olmasa da, ileri düzey modelleri karşılaştırırken ampirik olarak güçlü bir sonuç sunuyor.

Konular: Yapay Zekâda Test, Değerlendirme ve Güvenlik

SiteM’de tam özet, flashcard ve quiz →

Orijinal kaynak: asteriskmag.substack.com

Kaynak: sitem.co — paylas.io yer imi / keşif katmanı.