Düzenleyicilerin kontrol açıklarına dikkat çekmesiyle yapay zeka ajanlarının yönetimi odak noktası haline geliyor.
Özet
Avustralya İhtiyatlı Düzenleme Kurumu (APRA), finans kuruluşlarının yapay zeka kullanımını yaygınlaştırmasına rağmen, bu teknolojinin getirdiği riskleri yönetme konusunda henüz yeterli olgunluğa ulaşamadıkları uyarısında bulundu. Yapılan incelemelerde, yönetim kurullarının yapay zekanın verimlilik potansiyeline odaklanırken, model hataları ve operasyonel dayanıklılık gibi kritik riskleri göz ardı ettikleri tespit edildi. Bu doğrultuda APRA, kurumların yapay zeka stratejilerini risk iştahlarıyla uyumlu hale getirmelerini ve olası hatalara karşı daha güçlü izleme prosedürleri geliştirmelerini talep etti. Kurum ayrıca, kuruluşları teknoloji sağlayıcılarının sunduğu bilgilere aşırı güvenmemeleri konusunda uyararak, yapay zeka yönetişimi ve güvence uygulamalarının güçlendirilmesi gerektiğini vurguladı.
Avustralya'nın mali düzenleyici kurumu, finans kuruluşlarını yapay zeka aracı yönetişimi ve güvence uygulamalarının zayıf olduğu konusunda uyardı. Bu uyarı, bankaların ve emeklilik fonu yöneticilerinin yapay zekayı iç operasyonlarında ve müşteri odaklı işleyişlerinde yaygınlaştırdığı bir dönemde geldi.
Avustralya İhtiyatlı Düzenleme Kurumu (APRA), yapay zeka benimseme süreçlerini ve ilgili ihtiyatlı riskleri değerlendirmek amacıyla 2025 yılının sonlarında seçilmiş büyük düzenlemeye tabi kuruluşlar üzerinde hedeflenmiş bir inceleme yürüttüğünü açıkladı. İncelemede, yapay zekanın değerlendirilen tüm kuruluşlarda kullanıldığı, ancak risk yönetimi ve operasyonel dayanıklılık konusundaki olgunluk seviyelerinin değişkenlik gösterdiği tespit edildi. APRA, yönetim kurullarının yapay zekaya üretkenlik ve müşteri deneyimi açısından yoğun ilgi gösterdiğini, ancak birçoğunun yapay zeka risklerini yönetme konusunda henüz geliştirme aşamasında olduğunu belirtti.
Düzenleyici kurum ayrıca, satıcı sunumlarına ve özetlerine duyulan güven konusundaki endişelerini dile getirdi. Yönetim kurullarının, öngörülemeyen model davranışları ve yapay zeka hatalarının kritik operasyonlar üzerindeki etkileri gibi risklere her zaman yeterince odaklanmadığını belirtti.
APRA, yönetim kurullarının stratejilerini tutarlı bir şekilde belirlemek ve denetlemek için yapay zeka konusunda daha iyi bir anlayış geliştirmeleri gerektiğini vurguladı. Yapay zeka stratejisinin kurumun risk iştahı ile uyumlu olması ve hatalar durumunda izlenecek izleme süreçlerini ve tanımlanmış prosedürleri içermesi gerektiğini ifade etti.
APRA, düzenlemeye tabi kuruluşların yapay zekayı yazılım mühendisliği, tazminat talepleri triyajı ve kredi başvuru süreçlerinde denediklerini veya uygulamaya koyduklarını belirtti. Belirtilen diğer kullanım alanları arasında dolandırıcılık ve sahtekarlığın önlenmesi ile müşteri etkileşimi yer aldı.
Bazı kuruluşlar yapay zeka riskini diğer teknolojilerle aynı kapsamda ele alıyordu, ancak bu yaklaşım modellerin davranışlarını ve yanlılıklarını hesaba katmıyor.
Kurum; model davranışı izleme, değişim yönetimi ve kullanımdan kaldırma süreçlerindeki boşlukları tespit ederek, yapay zeka araçlarının envanterinin tutulması ve yapay zeka örneklerinin sorumluluğunu üstlenen kişilerin belirlenmesi gerektiğini ifade etti. Ayrıca yüksek riskli kararlarda insan müdahalesinin zorunlu olduğunu vurguladı.
Siber güvenlik bir diğer endişe kaynağıydı. APRA, yapay zeka benimsemenin; istem enjeksiyonu (prompt injection) ve güvensiz entegrasyonlar gibi ek saldırı yolları yaratarak tehdit ortamını değiştirdiğini belirtti.
Kimlik ve erişim yönetimi uygulamalarının bazı durumlarda yapay zeka aracıları gibi insan dışı unsurlara uyum sağlamadığı görüldü. Yapay zeka destekli yazılım geliştirme hacminin, değişim ve sürüm kontrolleri üzerinde baskı oluşturduğu kaydedildi.
APRA, kuruluşların aracı ve otonom iş akışlarına; ayrıcalıklı erişim yönetimi, yapılandırma ve yama yönetimi dahil olmak üzere kontroller uygulaması gerektiğini belirtti. Ayrıca yapay zeka tarafından üretilen kodların güvenlik testinden geçirilmesi çağrısında bulundu.
APRA, bazı kurumların yapay zeka örneklerinin birçoğu için tek bir sağlayıcıya bağımlı hale geldiğini ve sadece az sayıda kurumun yapay zeka tedarikçileri için bir çıkış planı veya ikame stratejisi gösterebildiğini kaydetti.
APRA, yapay zekanın, kuruluşların farkında olmayabileceği yukarı yönlü bağımlılıklarda bulunabileceğine dikkat çekti.
Kimlik ve erişim
Kimlik ve izin kontrollerine odaklanılması, FIDO Alliance tarafından yapılan yeni standart çalışmalarına da yansıyor. Grup, bir Aracı Kimlik Doğrulama Teknik Çalışma Grubu kurdu ve teknik özellikler geliştiriyor.