Microsoft'un açık kaynaklı araç seti, yapay zeka aracılarını çalışma zamanında güvence altına alıyor.
Özet
Microsoft, kurumsal ağlarda otonom yapay zeka ajanlarının neden olduğu güvenlik risklerini yönetmek amacıyla çalışma zamanı güvenliğine odaklanan yeni bir açık kaynaklı araç seti geliştirdi. Geleneksel statik güvenlik yöntemlerinin, dil modellerinin deterministik olmayan ve hızlı hareket eden yapısı karşısında yetersiz kalması, bu tür dinamik denetim mekanizmalarını zorunlu hale getirmiştir. Bu yeni çözüm, yapay zeka ile kurumsal ağ arasına bir politika uygulama motoru yerleştirerek modelin gerçekleştirdiği eylemleri gerçek zamanlı olarak izleyip denetlemektedir. Böylece, sistemin hatalı komutları veya potansiyel saldırıları anlık olarak engelleyerek daha güvenli bir yapay zeka kullanım ortamı oluşturulması hedeflenmektedir.
Microsoft'ten çıkan yeni bir açık kaynaklı araç seti, kurumsal yapay zeka ajanları üzerinde katı bir yönetişim uygulamak için çalışma zamanı güvenliğine odaklanıyor. Bu sürüm, giderek büyüyen bir endişeyi ele alıyor: Otonom dil modelleri artık kod çalıştırıyor ve kurumsal ağlara, geleneksel politika denetimlerinin ayak uydurabileceğinden çok daha hızlı bir şekilde erişiyor.
Yapay zeka entegrasyonu eskiden sohbet arayüzleri ve danışman yardımcı pilotlar anlamına geliyordu. Bu sistemler, belirli veri kümelerine salt okunur erişime sahipti ve insanları yürütme döngüsünde kesin bir şekilde tutuyordu. Kuruluşlar şu anda bağımsız eylemlerde bulunan, bu modelleri doğrudan dahili uygulama programlama arayüzlerine, bulut depolama havuzlarına ve sürekli entegrasyon hatlarına bağlayan ajan tabanlı çerçeveler dağıtıyor.
Otonom bir ajan bir e-postayı okuyup, bir betik yazmaya karar verip bu betiği bir sunucuya gönderebildiğinde, daha katı bir yönetişim hayati önem taşır. Statik kod analizi ve dağıtım öncesi güvenlik açığı taraması, büyük dil modellerinin deterministik olmayan doğasıyla başa çıkamaz. Tek bir istem enjeksiyonu saldırısı (hatta temel bir halüsinasyon), bir ajanın veritabanının üzerine yazmasına veya müşteri kayıtlarını çekmesine neden olabilir.
Microsoft'un yeni araç seti bunun yerine çalışma zamanı güvenliğine odaklanarak, model eylemleri gerçekleştirmeye çalıştığı anda bunları izleme, değerlendirme ve engelleme yolu sağlıyor. Bu yöntem, önceki eğitime veya statik parametre kontrollerine güvenmekten çok daha etkilidir.
Araç çağırma katmanını gerçek zamanlı olarak kesmek
Ajan tabanlı araç çağırma mekanizmalarına bakmak, bunun nasıl çalıştığını gösteriyor. Kurumsal bir yapay zeka ajanı, bir envanter sistemini sorgulamak gibi bir işlem yapmak için temel sinir ağının dışına çıkması gerektiğinde, harici bir araca erişmek için bir komut oluşturur.
Microsoft'un çerçevesi, dil modeli ile daha geniş kurumsal ağ arasına bir politika uygulama motoru yerleştirir. Ajan her harici işlevi tetiklemeye çalıştığında, araç seti isteği yakalar ve amaçlanan eylemi merkezi bir yönetişim kuralları kümesine göre kontrol eder. Eylem politikayı ihlal ederse (örneğin, yalnızca envanter verilerini okuma yetkisi olan bir ajan bir satın alma siparişi vermeye çalışırsa), araç seti API çağrısını engeller ve bir insanın inceleyebilmesi için olayı günlüğe kaydeder.
Güvenlik ekipleri, her bir otonom kararın doğrulanabilir ve denetlenebilir bir izine sahip olur. Geliştiriciler de burada kazanır; güvenlik protokollerini her bir model istemine zorunlu olarak kodlamak zorunda kalmadan karmaşık çoklu ajan sistemleri oluşturabilirler. Güvenlik politikaları, temel uygulama mantığından tamamen ayrıştırılır ve altyapı düzeyinde yönetilir.
Çoğu eski sistem, deterministik olmayan yazılımlarla konuşacak şekilde tasarlanmamıştır. Eski bir ana bilgisayar veritabanı veya özelleştirilmiş bir kurumsal kaynak planlama paketi, hatalı biçimlendirilmiş istekler gönderen bir makine öğrenimi modeline karşı yerel savunmalara sahip değildir. Microsoft'un araç seti, koruyucu bir çeviri katmanı olarak devreye girer. Altta yatan bir dil modeli harici girdiler tarafından ele geçirilse bile, sistemin çevresi korunmaya devam eder.
Güvenlik liderleri, Microsoft'un neden bu çalışma zamanı araç setini açık kaynaklı bir lisans altında yayınlamaya karar verdiğini merak edebilir.