Tencent, çok yönlü açık kaynaklı Hunyuan AI modellerini piyasaya sürdü
Özet
Tencent, çeşitli hesaplama ortamları için tasarlanmış, farklı boyutlarda (0,5B - 7B parametre) açık kaynaklı Hunyuan yapay zeka modelleri ailesini genişletti. Bu modeller, daha büyük model Hunyuan-A13B ile aynı eğitim stratejileri kullanılarak geliştirildi ve 256K bağlam penceresi desteği sunuyor. Hunyuan modelleri, uzun metin görevlerini ve "hibrit muhakeme" özelliklerini desteklerken, ajan yetenekleri ile özellikle öne çıkıyor ve çeşitli kıyaslamalarda başarılı sonuçlar elde etti. Bu sayede geliştiriciler ve işletmeler, performans ve kaynak ihtiyaçlarına göre uygun modeli seçebilirler.
Tencent, geniş kullanım için yeterince çok yönlü olan açık kaynaklı Hunyuan yapay zeka modelleri ailesini genişletti. Bu yeni model ailesi, küçük uç cihazlardan, yüksek eşzamanlılık gerektiren üretim sistemlerine kadar, hesaplama ortamlarında güçlü performans sunmak üzere tasarlandı.
Sürüm, geliştirici platformu Hugging Face'te bulunan kapsamlı bir önceden eğitilmiş ve talimatlarla ayarlanmış model seti içeriyor. Modeller, özellikle 0,5B, 1,8B, 4B ve 7B parametre ölçeklerinde, geliştiriciler ve işletmeler için önemli bir esneklik sağlayan çeşitli boyutlarda geliyor.
Tencent, bu modellerin daha güçlü Hunyuan-A13B modeline benzer eğitim stratejileri kullanılarak geliştirildiğini ve bu sayede performans özelliklerini miras almalarını sağladığını belirtti. Bu yaklaşım, kullanıcıların, kaynak kısıtlı uç bilişim için daha küçük bir varyant mı yoksa yüksek verimli üretim iş yükleri için daha büyük bir model mi olduğuna bakılmaksızın, güçlü yetenekler sağlarken, ihtiyaçları için en uygun modeli seçmelerini sağlar.
Hunyuan serisinin en dikkat çekici özelliklerinden biri, ultra uzun 256K bağlam penceresi için yerel desteğidir. Bu, modellerin uzun metin görevlerini ele almasına ve kararlı performans sergilemesine olanak tanır; bu da karmaşık belge analizi, uzun sohbetler ve derinlemesine içerik oluşturma için hayati bir yetenektir. Modeller, Tencent'in "hibrit muhakeme" olarak adlandırdığı özelliği destekler ve kullanıcıların özel gereksinimlerine bağlı olarak seçim yapabilecekleri hem hızlı hem de yavaş düşünme modlarına olanak tanır.
Şirket ayrıca, ajan yeteneklerine güçlü bir vurgu yaptı. Modeller, ajan tabanlı görevler için optimize edildi ve BFCL-v3, τ-Bench ve C3-Bench gibi yerleşik kıyaslamalarda lider sonuçlar göstererek, karmaşık, çok adımlı problem çözmede yüksek derecede yeterlilik olduğunu gösterdi. Örneğin, C3-Bench'te, Hunyuan-7B-Instruct modeli 68,5 puan alırken, Hunyuan-4B-Instruct modeli 64,3 puan alıyor.
Serinin performansı, verimli çıkarıma odaklanmaktadır. Tencent'in Hunyuan modelleri, işleme hızını iyileştirmek ve hesaplama yükünü azaltmak için bilinen bir teknik olan Grouped Query Attention (GQA) kullanır. Bu verimlilik, dağıtım engellerini azaltmak için tasarlanmış Hunyuan mimarisinin önemli bir unsuru olan gelişmiş kantizasyon desteğiyle daha da artırılır.
Tencent, daha kullanıcı dostu ve etkili bir model sıkıştırma çözümü oluşturmak için kendi sıkıştırma araç setini, AngleSlim'i geliştirdi. Bu aracı kullanarak şirket, Hunyuan serisi için iki ana kantizasyon türü sunuyor.
Birincisi, 8 bitlik bir kayan nokta biçimi kullanan FP8 statik kantizasyonudur. Bu yöntem, tam yeniden eğitim gerektirmeden kantizasyon ölçeğini önceden belirlemek için az miktarda kalibrasyon verisi kullanır ve çıkarım verimliliğini artırmak için model ağırlıklarını ve aktivasyon değerlerini FP8 biçimine dönüştürür.
İkinci yöntem, GPTQ ve AWQ algoritmaları aracılığıyla W4A16 kantizasyonu sağlayan INT4 kantizasyonudur:
GPTQ yaklaşımı model işler