Bu metin, AMD Ryzen AI Halo donanımı kullanarak çok büyük dil modellerini (LLM) yerel olarak çalıştırmak amacıyla çoklu düğümlü (multi-node) bir küme oluşturmaya yönelik gelişmiş teknik bir iş akışını özetlemektedir. Özellikle her biri 128 GB belleğe sahip iki makinenin birleştirilerek, toplamda 256 GB sistem ve GPU ortak belleği sağlaması planlanmaktadır. İçerik üreticisi, Windows'tan Linux'a geçişin neden gerekli olduğunu detaylandırıyor: Windows, TTM (Çeviri Tablosu Belleği) sayfaları üzerinde katı kısıtlamalar uygularken (ortak GPU belleği tahsisini 96 GB ile sınırlıyor veya otomatik olarak 64 GB'a çekiyor), Linux ise makine başına 120 GB'a kadar uygun yapılandırmaya olanak tanıyor. Linux kurulumunu sürücüler dahil eşleşen, özdeş başlangıç ortamları sağlamak için sürücüler arası kopyalayarak...

Konular: Yapay Zeka, Donanım ve Kümeleme: Büyük Dil Modelleri

SiteM’de tam özet, flashcard ve quiz →

Orijinal kaynak: www.youtube.com

Kaynak: sitem.co — paylas.io yer imi / keşif katmanı.