Yapay zekâ ajanlarının artık izin alması gerekiyor. İşte bu izni nasıl alacağınız.
Özet
Cloudflare, 15 Eylül itibarıyla internet sitelerindeki yapay zeka botlarının erişimini "Arama", "Temsilci" ve "Eğitim" olmak üzere üç ayrı kategoriye ayırarak yönetilebilir hale getiriyor. Yeni düzenlemeyle birlikte reklam içeren sayfalarda eğitim ve temsilci botları varsayılan olarak engellenirken, arama motoru botlarına izin verilmeye devam edilecek. Bu strateji, içeriği doğrudan alıp kullanıcıya sunan botların web sitelerinin reklam gelirlerine zarar verdiği gerekçesiyle geliştirildi. Site sahipleri, Cloudflare üzerinden sunulan yeni kontrolleri kullanarak bu botlara yönelik izin tercihlerini 15 Eylül öncesinde özelleştirebilecekler.
Bir yanıt bekleyen bir kişi adına sayfaları gerçek zamanlı olarak getiren yapay zeka temsilci tarayıcıları (AI agent crawlers), 15 Eylül'den itibaren internetin bir bölümünde varsayılan olarak engellenecek. Cloudflare bu değişikliği 1 Temmuz'da duyurdu ve o tarihten bu yana yapılan haberlerin çoğu Google'a odaklandı. Konunun daha faydalı kısmı, temsilciler geliştiren herkesten ne istendiği ve karşılığında ne sunulduğudur.
Cloudflare, yapay zeka botlarını engelleyen tek bir anahtarı üç kategoriyle değiştirdi. "Arama" (Search), bir sayfa hakkında daha sonra yanıt vermek için sayfayı indeksleyen botları kapsıyor. "Temsilci" (Agent), ChatGPT'nin getirme botu ve tarayıcıyı yönlendiren temsilciler dahil olmak üzere, bir kullanıcı için gerçek zamanlı hareket eden otomatik sistemleri kapsıyor. "Eğitim" (Training), içeriği bir modelin ağırlıklarına çeken tarayıcıları kapsıyor. Kontroller, ücretsiz katman da dahil olmak üzere her müşteri için 1 Temmuz'da kullanıma sunuldu.
15 Eylül'den itibaren varsayılan ayarlar değişiyor. Reklam gösteren sayfalarda Eğitim ve Temsilci botları engellenecek, Arama botlarına ise izin verilmeye devam edecek. Yeni varsayılanlar, Cloudflare'e yeni katılan alan adları, mevcut müşteriler tarafından kurulan yeni siteler ve mevcut tüm ücretsiz katman müşterileri için geçerli olacak.
Bu botları istemeyen herkes, belirtilen tarihten önce güvenlik ayarları üzerinden devre dışı bırakma işlemini yapabilir.
Cloudflare'in mantığı, bir reklamın, sayfanın bir insanın ziyaret etmesi için oluşturulduğunun kanıtı olduğu yönündedir. Bir okuyucuyu siteye geri yönlendiren bir arama tarayıcısı bir referanstır. Sayfayı okuyup yanıtı başkasına sunan bir bot ise referans değildir.
Yapay zeka temsilci tarayıcıları şu anda neyle karşılaşıyor?
Temsilci tabanlı dağıtımlar, açık internetin açık kalacağı varsayımı üzerine inşa edilmiştir. Bir araştırma temsilcisi, rakibin fiyatlandırma sayfasını getirir. Bir izleme aracı, tedarikçinin duyurularını kontrol eder. Bir müşteri hizmetleri temsilcisi, üreticinin teknik özellik sayfasını çeker. Bunların hiçbiri bir lisans gerektirmez ve şimdiye kadar hiçbiri bir lisansa ihtiyaç duymamıştı.
Cloudflare, dünya web trafiğinin büyük bir kısmının önünde yer alır ve engellemeleri, bir tarayıcının görmezden gelebileceği bir robots.txt önerisi olarak değil, ağ düzeyinde çalışır. Reklam destekli sayfalar, temsilcilerin tam olarak istediği sayfalardır; çünkü haberler, incelemeler, fiyatlandırma ve ürün bilgileri buralarda barınır. Kurumsal bir temsilci için hata durumu bir dava değil; sessizlik ya da hala erişebildiği verilerden oluşturulan bir yanıttır.
Google kaynaklı bir karmaşıklık da var. Googlebot, arama ve eğitim için aynı botu kullandığından, en kısıtlayıcı kural altında Eğitim'i engelleyen bir site Googlebot'u da engellemiş olur. Cloudflare CEO'su Matthew Prince, şirketin bu değişikliklerin "karma kullanımlı tarayıcıları, arama ile temsilci kullanımı ve eğitimi birbirinden ayırmaya teşvik etmesini" umduğunu belirtti; bu da baskının amacın kendisi olduğunu söylemenin nazik bir yoludur.
Yapay zeka temsilci tarayıcıları için izin almak
Temsilci çalıştıran herkes, Cloudflare hesaplarından hangilerinin "Temsilci" sınıfında algılanacağını belirleyerek işe başlamalıdır. Sınıflandırma, sizin seçtiğiniz bir şeyden ziyade davranışsaldır; bu nedenle gerçek zamanlı gezinen bir araştırma temsilcisi, operatörü onu bir tarayıcı olarak görse de görmese de yakalanacaktır.
Kesin bir başarısızlıktan ziyade, düşük performanslı bir kapsam bekleyin; çünkü t