FrontierHarness Eval v1.1, önceki sürüme kıyasla önemli bir genişlemeyi temsil ediyor. Bu güncelleme, yapay zeka modelleri ile çalıştırma ortamları (harness) arasındaki etkileşime dair kritik soruları yanıtlamak amacıyla benchmark’ı 83 milyar token üzerinden 27.280 ajan çalışmasına ölçeklendiriyor. Tek bir model üzerinde (Kimi K3) dokuz harness’i test eden v1.0’dan farklı olarak v1.1, beş farklı açık kaynak modeli (GLM-5.3, GLM Flash, DeepSeek V4.1 Flash, Muse ve Kimi-K3) üzerinden 22 ayrı harness konfigürasyonunu, 62 terminal görevinde değerlendiriyor. Temel amaç, kullanıcıların model değiştirdiklerinde agent harness’lerini de değiştirip değiştirmemeleri gerektiğini belirlemek ve her model için en iyi maliyet-performans dengesini sunan eşleştirmeyi ortaya koymaktı. Sonuçlar kesin bir şekilde…
Konular: Yapay Zeka Ajanlarının Performans Testleri, Büyük Dil Modellerinde Maliyet Optimizasyonu ve Yazılım Geliştirme Araçları
SiteM’de tam özet, flashcard ve quiz →
Orijinal kaynak: runta.com
Kaynak: sitem.co — paylas.io yer imi / keşif katmanı.
Yorumlar
Yorum için giriş yap veya kaydol.
Henüz yorum yok — ilk sen yaz.