FrontierHarness Eval v1.1, önceki sürüme kıyasla önemli bir genişlemeyi temsil ediyor. Bu güncelleme, yapay zeka modelleri ile çalıştırma ortamları (harness) arasındaki etkileşime dair kritik soruları yanıtlamak amacıyla benchmark’ı 83 milyar token üzerinden 27.280 ajan çalışmasına ölçeklendiriyor. Tek bir model üzerinde (Kimi K3) dokuz harness’i test eden v1.0’dan farklı olarak v1.1, beş farklı açık kaynak modeli (GLM-5.3, GLM Flash, DeepSeek V4.1 Flash, Muse ve Kimi-K3) üzerinden 22 ayrı harness konfigürasyonunu, 62 terminal görevinde değerlendiriyor. Temel amaç, kullanıcıların model değiştirdiklerinde agent harness’lerini de değiştirip değiştirmemeleri gerektiğini belirlemek ve her model için en iyi maliyet-performans dengesini sunan eşleştirmeyi ortaya koymaktı. Sonuçlar kesin bir şekilde…

Konular: Yapay Zeka Ajanlarının Performans Testleri, Büyük Dil Modellerinde Maliyet Optimizasyonu ve Yazılım Geliştirme Araçları

SiteM’de tam özet, flashcard ve quiz →

Orijinal kaynak: runta.com

Kaynak: sitem.co — paylas.io yer imi / keşif katmanı.