Inkling 2 Mini, her bir token işlenirken ağın orta katmanlarını üç kez tekrar kullanarak döngüsel bir dönüştürücü (transformer) tasarımı tanıtan küçük dil modelleri mimarisinde önemli bir ilerlemeyi temsil ediyor. Bu mimari tercih, modelin daha büyük modellerle ilişkili devasa parametre sayılarına ihtiyaç duymadan daha derin akıl yürütme yapmasına ve karmaşık görevlerde, özellikle de ajan tabanlı kodlamada daha yüksek doğruluk elde etmesine olanak tanıyor. Toplam 26,4 milyar parametreye sahip olup her token başına yalnızca 3,4 milyar aktif parametre kullanan Inkling 2 Mini, DeepSWE v1.1 (%48,2) ve Vals Index v2.2 (%46,5) gibi temel kıyaslamalarda 100 milyardan az parametreli tüm açık ağırlıklı modeller arasında lider konumda. Model, son derece...

Konular: Yapay Zeka Mimarileri, Yerel LLM Kurulumları ve Güvenlik İzleme

SiteM’de tam özet, flashcard ve quiz →

Orijinal kaynak: thinkingmachines.ai

Kaynak: sitem.co — paylas.io yer imi / keşif katmanı.