Standart tüketici donanımlarında yerel büyük dil modellerini (LLM) çalıştırmak, geçmişte özellikle 8 GB grafik kartlarındaki dar VRAM limitleri nedeniyle zorlayıcı olmuştur. Kullanıcılar genellikle daha küçük, 4B ile 9B parametreli modellerle yetinmek zorunda kalıyor; çünkü daha büyük modeller sistem belleğine (RAM) taşarak işlem hızını ciddi şekilde düşürüyor. Ancak, model sıkıştırma alanındaki son gelişmeler bu boşluğu doldurmaya başladı ve devasa parametreli mimarilerin, büyük donanım yükseltmelerine gerek duymadan mütevazı cihazlara sığmasına olanak tanıyor. İşte Caltech araştırmaları sonucu PrismML tarafından geliştirilen ve Qwen3.6 27B temeli üzerine inşa edilen Bonsai 27B. Geleneksel 27B modelleri tam hassasiyette genellikle...

Konular: Yapay Zeka, Yerel LLM'ler, Donanım ve PC Teknolojileri

SiteM’de tam özet, flashcard ve quiz →

Orijinal kaynak: www.xda-developers.com

Kaynak: sitem.co — paylas.io yer imi / keşif katmanı.