Bugün öğrendim ki: En büyük bilgisayar çipi olan Wafer Scale Engine 3 hakkında. 21,5 cm karelik tek bir çipte 4 trilyon transistör ve 900.000 çekirdek bulunuyor.
Yapay zeka süper bilgisayar firması Cerebras, yeni nesil waferscale (gözleme ölçekli) yapay zeka çiplerinin, önceki nesille aynı miktarda güç tüketerek performanslarını ikiye katlayabildiğini söylüyor. Wafer Scale Engine 3 (WSE-3), daha yeni çip üretim teknolojilerinin kullanımı sayesinde önceki nesle göre yüzde 50'den fazla artışla 4 trilyon transistör içeriyor. Merkezi Sunnyvale, Kaliforniya'da bulunan şirket, WSE-3'ü, şu anda Dallas'taki bir veri merkezine kurulmakta olan ve 8 exaflops (saniyede 8 milyar milyar kayan noktalı işlem) kapasiteli bir süper bilgisayar oluşturacak yeni nesil yapay zeka bilgisayarlarında kullanacağını belirtiyor. Ayrıca Cerebras, Qualcomm ile yapay zeka çıkarımı (inference) için fiyat ve performans metriğini 10 kat artırmayı amaçlayan bir ortak geliştirme anlaşması imzaladı.
Şirket, CS-3'ün 24 trilyon parametre boyutuna kadar olan sinir ağı modellerini eğitebileceğini, bunun günümüzün en büyük Büyük Dil Modellerinin (LLM) 10 katından daha fazla olduğunu ifade ediyor.
Cerebras, WSE-3 ile dünyanın en büyük tek çipini üretme iddiasını sürdürüyor. Kenarları 21,5 santimetre olan kare şeklindeki bu çip, tek bir çip üretmek için neredeyse 300 milimetrelik bir silikon plakanın tamamını kullanıyor. Çip üretim ekipmanları genellikle yaklaşık 800 milimetrekareden büyük silikon kalıplar üretmekle sınırlıdır. Çip üreticileri, birden fazla kalıbı birleştirmek için 3D entegrasyon ve diğer gelişmiş paketleme teknolojilerini kullanarak bu sınırdan kurtulmaya başladı. Ancak bu sistemlerde bile transistör sayısı on milyarlar seviyesindedir.
Her zamanki gibi, bu kadar büyük bir çip, akıllara durgunluk veren bazı üstün özelliklerle birlikte geliyor.
Transistörler: 4 trilyon, Silikon milimetrekare: 46.225, Yapay zeka çekirdekleri: 900.000, Yapay zeka hesaplama gücü: 125 petaflops, Çip üstü bellek: 44 gigabayt, Bellek bant genişliği: 21 petabayt, Ağ dokusu bant genişliği: 214 petabit.
WSE çiplerinin gelişiminde Moore Yasası'nın etkisini görebilirsiniz. 2019'da piyasaya çıkan ilk çip, TSMC'nin 16 nanometre teknolojisi kullanılarak üretilmişti. 2021'de gelen WSE-2 için Cerebras, TSMC'nin 7 nm sürecine geçti. WSE-3 ise dökümhane devinin 5 nm teknolojisi ile inşa edildi.
Transistör sayısı, o ilk megachip'ten bu yana üç kattan fazla arttı. Bu arada, kullanıldıkları alanlar da değişti. Örneğin, çip üzerindeki yapay zeka çekirdeklerinin sayısı, bellek miktarı ve dahili bant genişliği gibi önemli ölçüde dengelendi. Yine de, saniyedeki kayan noktalı işlem (flops) açısından performans artışı diğer tüm ölçümleri geride bıraktı.
CS-3 ve Condor Galaxy 3
Yeni yapay zeka çipi üzerine inşa edilen CS-3 bilgisayarı, OpenAI'ın GPT-4 ve Google'ın Gemini modellerinden 10 kat daha büyük olan devasa yeni nesil büyük dil modellerini eğitmek için tasarlandı. Şirket, CS-3'ün, diğer bilgisayarların ihtiyaç duyduğu bir dizi yazılım hilesine başvurmadan 24 trilyon parametre boyutuna kadar sinir ağı modellerini eğitebileceğini söylüyor. Cerebras'a göre bu, CS-3 üzerinde bir trilyon parametreli bir modeli eğitmek için gereken yazılımın, GPU'larda bir milyar parametreli bir modeli eğitmek kadar basit olduğu anlamına geliyor.
2.048'e kadar sistem birleştirilebilir; bu konfigürasyon, popüler LLM Llama 70B'nin sıfırdan eğitimini sadece bir günde bitirebilir. Ancak şirket, bu kadar büyük bir projenin henüz planlanmadığını belirtiyor. Dallas'taki ilk CS-3 tabanlı süper bilgisayar olan Condor Galaxy 3, 64 adet CS-3'ten oluşacak. CS-2 tabanlı kardeş sistemlerinde olduğu gibi, bu sistemin sahibi de Abu Dabi merkezli G42. Condor Galaxy 1 ve 2 ile birlikte bu, 16 exaflops'luk bir ağ oluşturuyor.
G42 grup CTO'su Kiril Evtimov, basın bülteninde, "Mevcut Condor Galaxy ağı, on binlerce indirmeyle endüstrideki önde gelen açık kaynak modellerinden bazılarını eğitti. Kapasiteyi 16 exaflops'a ikiye katlayarak, Condor Galaxy süper bilgisayarlarının sağlayabileceği bir sonraki inovasyon dalgasını görmeyi dört gözle bekliyoruz." dedi.
Qualcomm ile bir anlaşma
Cerebras bilgisayarları eğitim için üretilmiş olsa da, Cerebras CEO'su Andrew Feldman, yapay zekanın benimsenmesinin önündeki asıl engelin, sinir ağı modellerinin yürütülmesi olan "çıkarım" (inference) süreci olduğunu söylüyor. Cerebras tahminlerine göre, gezegendeki her insan ChatGPT'yi kullansaydı, bu yıllık 1 trilyon ABD dolarına mal olurdu; üstelik fosil yakıtla çalışan devasa miktardaki enerji maliyeti de cabası. (İşletme maliyetleri, sinir ağı modelinin boyutuna ve kullanıcı sayısına orantılıdır.)