MLX framework'ün son güncellemesi, Apple silicon kullanıcılarının sınıfının en üst düzeyindeki Büyük Dil Modellerini (LLM) yerel olarak çalıştırma ve ince ayar (fine-tuning) yapma yeteneğini önemli ölçüde artırıyor. Mac Studio'nun—özellikle de M5 Ultra çipinin—birleşik bellek mimarisinden yararlanan geliştiriciler, artık neredeyse bir trilyon parametreye sahip modelleri gizlilik içinde çalıştırabiliyor. Öne çıkan önemli detaylardan biri ise Muse Spark Open modelinin performansı; bu model dörtlü bir Mac Studio kümesine dağıtıldığında, ortalama insan okuma hızını aşan saniyede 36 token'ın üzerinde bir çözümleme (decode) hızına ulaşıyor. Bu geliştirmelerin teknik temelini, donanım ve yazılım arasındaki sinerji oluşturuyor. M5 Ultra mimarisi…

Konular: Yapay Zeka, Donanım Mühendisliği ve Dağıtık Bilişim

SiteM’de tam özet, flashcard ve quiz →

Orijinal kaynak: machinelearning.apple.com

Kaynak: sitem.co — paylas.io yer imi / keşif katmanı.