Makaleye göre Büyük Dil Modelleri (LLM), basit ve yapılandırılmış görevler için genellikle gereksiz bir yük oluşturuyor. Bunun nedeni, bu modellerin uzun ve serbest formda metin üretme eğilimi göstermesi ve belirsizlik seviyesini açıkça kalibre edememesi. Buna karşılık Jev gibi karar alma modelleri, olasılık puanlarıyla birlikte türü belirlenmiş yanıtlar sunuyor; böylece geliştiriciler modelin güven düzeyine dayalı bilinçli kararlar alabiliyor. Örneğin, kalibre edilmiş bir modelde 0.8 puanı %80 doğruluk oranına işaret ederken, LLM’ler gerçek kesinlikten bağımsız olarak aşırı özgüvenli metinler döndürme eğiliminde. PostHog, bu modelleri üretim ortamlarına başarıyla entegre ederek hız ve maliyet verimliliğinden faydalanıyor; bu sayede işlem maliyeti rakiplerine kıyasla 444,6 kat daha düşük ve hız ise 193,6 kat daha yüksek.

Konular: Yapay Zeka Mühendisliği, Büyük Dil Modelleri Optimizasyonu ve Yazılım Mimarisinde Yeni Dönem

SiteM’de tam özet, flashcard ve quiz →

Orijinal kaynak: newsletter.posthog.com

Kaynak: sitem.co — paylas.io yer imi / keşif katmanı.