TypeSafe, yazılımlar içindeki yapay zeka kararları için Jev'i başlattı



Özet


Eski OpenAI araştırmacısı Diogo Almeida tarafından kurulan TypeSafe, yazılımlar içindeki önceden tanımlanmış soruları hızlı ve düşük maliyetli şekilde yanıtlayan Jev adlı yapay zeka modelini duyurdu. Modelin temel amacı; talepleri sıralama, kayıtları puanlama ve güvenlik denetimi gibi hızlı karar gerektiren süreçleri rutin bir uygulama parçası haline getirmektir. Sadece izin verilen seçenekler arasından seçim yaptığı için halüsinasyon görmediğini iddia eden Jev, rakiplerine oranla çok daha uygun maliyetli ve hızlı bir çözüm sunmayı hedefliyor. Şirket, modelin doğruluğunu diğer büyük dil modelleriyle uyum üzerinden desteklerken, maliyet avantajının ölçeklenebilirlik noktasında önemli bir fark yarattığını belirtiyor.



Eski OpenAI araştırmacısı ve ChatGPT geliştiricilerinden Diogo Almeida'nın kurduğu girişim TypeSafe, Jev modeline erken erişim sağladığını 15 Eylül'de duyurdu. Bu yapay zeka modeli, yazılımlar içerisindeki önceden tanımlanmış soruları yanıtlıyor.

The Rundown'ın aktardığına göre TypeSafe, Jev'i talepleri sıralama, kayıtları puanlama ve yapay zeka çıktılarındaki "jailbreak" (sistemi aşma) girişimlerini denetleme gibi hızlı kararlar için konumlandırıyor. Şirket, hızlı ve ucuz yanıtların bu tür kararları uygulamaların rutin bir parçası haline getireceğine inanıyor.

Jev ne yapar?

TypeSafe'in iş akışı değerlendirmelerine göre Jev üç tür soruyu yanıtlıyor: Olasılıklarla "evet/hayır" sorularını cevaplayabiliyor, tanımlanmış seçenekler arasından seçim yapabiliyor veya bir girdiyi belirli bir ölçeğe göre puanlayabiliyor. Dokümantasyonuna göre, seçim ve puanlama formatlarında model, olasılıkların yanı sıra bir de güven ölçütü döndürüyor.

TypeSafe, Jev'in "halüsinasyon görmediğini" çünkü yalnızca izin verilen yanıtlardan seçim yaptığını belirterek savunuyor. Ancak bu garanti sadece yanıtın formatıyla ilgili. Bir model, izin verilen bir seçeneği seçip yine de yanlış bir karar verebilir.

TypeSafe'in değerlendirmelerinde referans alınan yanıtlar, GPT-6 Astra ve Claude Fable 5.1'in ortalama yargılarını içeriyor. Bu modellerle uyum göstermesi, Jev'in doğru kararlar verip vermediği konusunda yalnızca kısmi bir bakış açısı sunuyor.

TypeSafe'in fiyat ve hız iddiaları

TypeSafe, bir milyon girdi token'ı için 0,042 dolar veya milyar token için 42 dolar fiyat öngördüğünü, çıktıların ise ücretsiz olduğunu duyuruyor.

Şirket bu rakamı, listelenen temel girdi fiyatı bir milyon token için 10 dolar olan ve Jev'in oranından yaklaşık 238 kat daha pahalı olan Claude Fable 5.1 ile karşılaştırıyor. Anthropic ayrıca önbellek ve toplu işlem indirimleri de sunuyor. Toplam uygulama maliyeti ise iş yüküne ve çevredeki altyapıya bağlı olarak değişiyor.

TypeSafe ayrıca, 70 ila 500 milisaniye arasında yanıt süreleri ve yapılandırılmış karar sorgularında 40 ila 200 kat arasında hız artışı rapor ediyor. Gecikme testleri genel olarak şirketin Batı Sahili'ndeki hizmetine yakın konumlarda gerçekleştirildi. Şirket, rakip modellerden olasılık elde etme yönteminin karşılaştırmaya ek zaman ve maliyet kattığını kabul ediyor.

Neden önemli?

Jev'in fırsatı, uygulamalar içindeki rutin kararları yönetmekten geçiyor. Almeida, Forbes'a yaptığı açıklamada, "Çoğu zeka nihayetinde yazılımların içinde, arka planda sessizce çalışarak yaşamalı," dedi. Eğer hızı ve fiyatı uygun kalırken kararları güvenilirliğini korursa, Jev muhtemelen yazılımların standart bir bileşeni haline gelecektir.

Örneğin, bir destek uygulaması Jev'den bir talebi sınıflandırmasını isteyebilir, ardından yönlendirme ve izinler için kendi kurallarını uygulayabilir. Başka bir model ise yanıtı taslak haline getirebilir. TypeSafe'in örnek iş akışları arasında müşteri hizmetleri, fatura işleme, güvenlik uyarıları ve tamamlanan yapay zeka ajanı çalışma incelemeleri bulunuyor.

İsim, bir kaynağı daha ucuz hale getirmenin insanların o kaynaktan daha fazla tüketmesine yol açabileceği fikri olan Jevons paradoksu'na bir göndermedir. Jev'in duyurduğu oranla, her biri ortalama 1.000 ücretlendirilebilir girdi token'ı içeren bir milyon çağrı yapan bir uygulama, altyapı ve inceleme maliyetlerinden önce 42 dolar harcayacaktır.

Bu fiyata bir geliştirici, gelen her talebi kontrol edebilir ve bir yapay zeka ajanının çalışmasını sonucu kabul etmeden önce inceleyebilir. Jev'in önerdiği ekonomi, tam da bu tekrarlanan kararların yapıldığı noktalarda bir uygulamayı nasıl değiştirebilir.