Yerel olarak barındırılan Büyük Dil Modellerinin (LLM) gelişen akıl yürütme yetenekleri, geleneksel masaüstü bilgisayarların ve yüksek donanımlı ev laboratuvarlarının ötesinde yeni imkânlar sundu. Basit NAS tabanlı yapay zeka kurulumlarından esinlenen yazar, yerel yapay zeka çıkarımı (inference) yapıp yapamayacağını görmek için normalde mobil üzerinde konteyner tabanlı hizmetleri çalıştırmak için kullanılan eski ve artık güncel olmayan bir Poco M6 Pro Android telefonla denemeye karar verdi. Ağır arayüzlü mobil uygulamalardan kaçınmak için minimum kaynak tüketen bir seçenek arayan yazar, llama.cpp'nin Termux tabanlı kurulumunu tercih etti. Termux üzerinden çıkarım motorunu kurmak; git, cmake ve... gibi belirli bağımlılıkların yüklenmesini gerektirdi.

Konular: Kendi Sunucunu Kur, AI Araçlarını Kullan: Mobil Teknolojide Yeni Dönem

SiteM’de tam özet, flashcard ve quiz →

Orijinal kaynak: share.google

Kaynak: sitem.co — paylas.io yer imi / keşif katmanı.