NVIDIA ve Google altyapısı yapay zeka çıkarım maliyetlerini düşürüyor.
Özet
Google ve NVIDIA, yapay zeka çıkarım maliyetlerini on kata kadar düşürmeyi hedefleyen yeni donanım ve yazılım odaklı iş birliklerini duyurdu. NVIDIA'nın Rubin GPU'larını Google'ın Virgo ağ teknolojisiyle birleştiren bu mimari, 960.000 GPU'ya kadar ölçeklenebilen devasa bir işlem kapasitesi sunuyor. Bu yeni altyapı, yüksek bant genişliği ve hassas senkronizasyon gerektiren karmaşık yapay zeka iş yüklerini performans, maliyet ve sürdürülebilirlik açısından optimize etmeyi amaçlıyor. Bu ortaklık, Google Cloud'un yapay zeka altyapısında geleceğin zorlu projeleri için daha esnek ve verimli bir ekosistem sağlama hedefini yansıtıyor.
Google Cloud Next konferansında Google ve NVIDIA, ölçekli yapay zeka çıkarım maliyetini ele almak üzere tasarlanmış donanım yol haritalarını ana hatlarıyla açıkladılar.
Şirketler, NVIDIA Vera Rubin NVL72 raf ölçekli sistemler üzerinde çalışan yeni A5X çıplak metal (bare-metal) örneklerinin detaylarını paylaştı. Donanım ve yazılım ortak tasarımı sayesinde bu mimari, önceki nesillere kıyasla token başına çıkarım maliyetini on kata kadar düşürmeyi ve aynı zamanda megawatt başına on kat daha yüksek token işleme hızı elde etmeyi hedefliyor.
Binlerce işlemciyi birbirine bağlamak, işlem gecikmelerini önlemek için büyük bir bant genişliği gerektirir. A5X örnekleri, NVIDIA ConnectX-9 SuperNIC'leri Google Virgo ağ teknolojisi ile eşleştirerek bu donanım zorluğunu çözmektedir.
Bu yapılandırma, tek bir saha kümesi içinde 80.000 NVIDIA Rubin GPU'ya ve çok sahalı bir dağıtımda 960.000 GPU'ya kadar ölçeklenebilmektedir. Bu ölçekte çalışmak, karmaşık iş yükü yönetimi gerektirir; çünkü verilerin yaklaşık bir milyon paralel işlemci üzerinden yönlendirilmesi, boşta kalan işlem sürelerini önlemek için hassas bir senkronizasyon talep eder.
Google Cloud'da Yapay Zeka ve Bilişim Altyapısından Sorumlu Başkan Yardımcısı ve Genel Müdür Mark Lohmeyer şunları söyledi: "Google Cloud olarak, yapay zekanın önümüzdeki on yılının, müşterilerin en zorlu iş yüklerini tamamen entegre, yapay zeka için optimize edilmiş bir altyapı yığınında çalıştırabilme becerileriyle şekilleneceğine inanıyoruz."
"Google Cloud'un ölçeklenebilir altyapısını ve yönetilen yapay zeka hizmetlerini NVIDIA'nın sektör lideri platformları, sistemleri ve yazılımlarıyla birleştirerek, müşterilerimize öncü ve açık modellerden otonom ve fiziksel yapay zeka iş yüklerine kadar her şeyi eğitme, ince ayar yapma ve sunma esnekliği sağlıyoruz; üstelik tüm bunları performans, maliyet ve sürdürülebilirlik açısından optimize ediyoruz."
Egemen veri yönetişimi ve bulut güvenliği gereksinimleri
Ham işlem yeteneklerinin ötesinde, veri yönetişimi kurumsal dağıtımlar için birincil sorun olmaya devam ediyor. Finans ve sağlık gibi yüksek düzenlemeye tabi sektörler, veri egemenliği gereksinimleri ve özel bilgilerin açığa çıkma riskleri nedeniyle genellikle makine öğrenimi girişimlerini durdurmaktadır.
Bu uyumluluk zorunluluklarını karşılamak için, NVIDIA Blackwell ve Blackwell Ultra GPU'lar üzerinde çalışan Google Gemini modelleri, Google Distributed Cloud'da önizlemeye açılıyor. Bu dağıtım yöntemi, kuruluşların en hassas veri depolarının yanı sıra öncü modelleri de tamamen kendi kontrollerindeki ortamlarda tutmalarına olanak tanıyor.
Mimari, NVIDIA Gizli Bilişim (Confidential Computing) özelliğini içeriyor. Bu donanım seviyesindeki güvenlik protokolü, eğitim modellerinin; istemlerin ve ince ayar verilerinin şifreli kaldığı korumalı bir ortamda çalışmasını sağlıyor. Şifreleme, bulut altyapısı operatörlerinin kendileri de dahil olmak üzere yetkisiz tarafların temel verileri görüntülemesini veya değiştirmesini engelliyor.
Çok kiracılı genel bulut ortamları için, NVIDIA RTX PRO 6000 Blackwell GPU'larla donatılmış Confidential G4 VM'lerin önizlemesi, aynı kriptografik korumaları sunarak düzenlemeye tabi sektörlerin veri gizliliği standartlarını ihlal etmeden yüksek performanslı donanıma erişmesini sağlıyor. Bu sürüm,