Takımı küçültmeden token bütçesini nasıl küçültürüz?
Özet
Nvidia CEO'su Jensen Huang, verimli mühendislerin yüksek miktarda yapay zeka tokenı tüketmesini beklediğini belirterek, modern şirketlerde insan kaynağı bütçesinin teknoloji maliyetlerine kaydığı yeni bir dönemi tanımlamaktadır. Birçok büyük şirket, yapay zeka yatırımlarını finanse etmek için iş gücü azaltımına gitse de, veriler bu yöntemin tek başına beklenen finansal getiriyi sağlamadığını göstermektedir. Uber örneğinde görüldüğü üzere, yapay zeka araçlarının kontrolsüz kullanımı bütçelerin hızla tükenmesine yol açabilmektedir. Sonuç olarak, yapay zekaya yapılan devasa yatırımlar ile çalışan verimliliği arasında henüz doğrulanmış bir başarı korelasyonu bulunmamaktadır.
Jensen Huang'ın bir mühendisin elde tutulmaya değer olup olmadığını anlamak için uyguladığı bir test var ve bu test, beraberinde bir token bütçesi getiriyor. GTC 2026'nın kapanışında All-In Podcast'te konuşan Nvidia CEO'su, 500.000 dolarlık bir mühendisin yıllık yapay zeka token tüketiminin maaşının yarısının altında kalması durumunda "derin bir endişe duyacağını" söyledi. Nvidia'nın mühendislik ekibi için yıllık 2 milyar dolarlık bir token faturasına doğru ilerlediğini doğruladı.
Huang, çoğu şirketin daha az tantanayla zaten yapmış olduğu bir takası tanımlıyordu: Bir zamanlar insanlara ödenen para, giderek artan bir şekilde tokenlar için harcanıyor. En büyük dört bulut sağlayıcısı, 2026 yılı için toplamda yaklaşık 700 milyar dolarlık bir sermaye harcaması öngörüyor; bu rakam geçen yılın neredeyse iki katı. İşten çıkarma firması Challenger, Gray & Christmas'ın verileri ise yapay zekanın, ABD'deki işten çıkarmaların en çok belirtilen nedeni olarak üst üste dördüncü ayda da rekor kırdığını gösteriyor.
Reuters tarafından ele geçirilen bir şirket içi Meta notunda, Mayıs ayındaki 8.000 kişilik işten çıkarmanın, gelirin %33 arttığı bir çeyrekte şirketin ciddi yatırımlarını dengelemek amacıyla yapıldığı belirtildi. Bu tür şirketlerdeki işten çıkarmalar bir hayatta kalma önlemi değil; bir finansman yöntemi.
Sorun şu ki, bu finansman vaat edilen getiriyi sağlamadı. Gartner, 1 milyar doların üzerinde geliri olan ve yapay zeka ajanları veya otomasyon kullanan şirketlerdeki 350 yöneticiyle yaptığı ankette, yaklaşık %80'inin çalışan sayısını azalttığını ancak bunun iyileşen getirilerle hiçbir korelasyonu olmadığını ortaya koydu. Analist Helen Poitevin'in kararı netti: "İş gücü azaltımları bütçede yer açabilir ancak getiri sağlamaz."
Uber, token tarafındaki bu dersi pahalı bir şekilde öğrendi; Aralık ayında 5.000 mühendise yapay zeka kodlama araçları verdi ve 2026 yapay zeka bütçesinin tamamını Nisan ayına kadar tüketti. Operasyon Direktörü Andrew Macdonald, taahhüt edilen kodun %70'inin yapay zeka tarafından oluşturulmasına rağmen, müşterilerin fark edebileceği herhangi bir şeyle bağlantının eksik olduğunu itiraf etti: "O bağlantı henüz orada değil."
Bu iki başarısızlığı yan yana koyduğunuzda gerçek sorun netleşiyor. Şirketler token faturasını sabit, iş gücünü ise esnek kabul etti; oysa durum tam tersi. Maaş bordrosundaki kesintiler bir kez yapılır ve beraberinde kurumsal bilgiyi de götürür. Token bütçesi ise, eğer biri üzerinde çalışmaya zahmet ederse, birçok noktadan esnetilebilir.
Token bütçesinin esnediği yerler
En ucuz çözüm aynı zamanda en az ilgi çekici olandır: Aynı metni tekrar tekrar işlemek için ödeme yapmayı bırakın. Artık büyük API sağlayıcılarında standart hale gelen "prompt caching" (istem önbellekleme), sistem yönergeleri ve referans belgeleri gibi statik içerikler bir kez işlenip daha sonra düşük bir maliyetle tekrar okunduğu için, Anthropic ve OpenAI'ın yayınladığı fiyatlandırmalarda tekrarlanan girdi maliyetlerini %90'a kadar düşürüyor.
Güvenlik firması ProjectDiscovery, istemleri yeniden yapılandırarak önbellek isabet oranını %7'den %84'e çıkardığını ve toplam LLM harcamasını %59 ila %70 oranında düşürürken önbellekten 9,8 milyar token sunduğunu belgeledi. Bu tek bir mühendislik çalışması, yapay zekaya atfedilen çoğu işten çıkarma turundan elde edilen bütçeden daha fazlasını geri kazandırdı.
Bir sonraki kaldıraç, işi doğru ölçekteki modele yönlendirmektir. Sağlayıcıların kendi fiyat listeleri, amiral gemisi modellerin maliyetinin beş kat olduğunu gösteriyor.