Alibaba, Uzun Vadeli Görevlerde Yapay Zeka Eğitimi İçin QwenGyre'i Tanıttı



Özet


Alibaba Qwen araştırmacıları, çok uzun süren yazılım mühendisliği görevlerinde yapay zeka ajanlarını eğitmek için geliştirilen QwenGyre adlı esnek pekiştirmeli öğrenme çerçevesini tanıttı. Bu teknoloji, özellikle yüksek işlem yükü ve uzun çıktı sürelerinin neden olduğu GPU boşta kalma sorunlarını ve eğitim verimliliğini engelleyen karmaşık dallanmaları çözmeyi hedefliyor. QwenGyre, "Esnek Planlayıcı" sistemi sayesinde GPU kaynaklarını çıktı üretimi ve model eğitimi arasında dinamik olarak aktararak donanım gecikmelerini minimize ediyor. Sistemin sunduğu bu yöntem, çalışmaların sıfırlanmasına gerek kalmadan düğümlerin aktif eğitim paketlerine entegre edilmesini sağlayarak yüksek ölçekli eğitim süreçlerini optimize ediyor.



Alibaba Qwen araştırmacıları, çok saat süren yazılım mühendisliği iş yüklerinde aşırı uzun vadeli (extreme-long horizon) ajanları eğitmek için tasarlanan esnek pekiştirmeli öğrenme (reinforcement learning) çerçevesi QwenGyre'yi detaylandırdı.

Alibaba Token Hub bünyesindeki araştırma ekibi, Çin Bilim ve Teknoloji Üniversitesi ile Tsinghua Üniversitesi iş birliğiyle hazırlanan çalışmayı bu hafta arXiv platformunda yayınladı. Çalışma, tek bir ajanın çıktılarının (rollouts) yüzlerce ortam etkileşimine yayıldığı durumlarda ortaya çıkan hesaplama darboğazlarını hedefliyor.

Tekil görevler, bağlam pencereleri (context windows) genelinde her bir çıktı için 700.000 ile yaklaşık bir milyon arasında token tüketen ve çok saat süren çalışma süreleri gerektirebiliyor.

Araştırmacılar, "Bu tür yürütmelere çevrimiçi pekiştirmeli öğrenme (RL) uygulamak iki temel zorlukla karşılaşıyor: (1) Şiddetli uygulama varyansı ve uzun çıktı gecikmeleri büyük ölçekli GPU boşta kalmalarına (idling) neden oluyor; (2) Karmaşık doğrusal olmayan dallanmalar ise devasa bir yörünge fazlalığı oluşturarak eğitim verimliliğini felç ediyor," şeklinde açıklama yaptı.

Esnek planlama ile çıktı varyansının çözülmesi

Uzatılmış çıktılar, donanım altyapısını durduran ciddi çalışma süresi farklılıkları yaratıyor. Birlikte konumlandırılmış (colocated) kurulumlarda, yavaş çıkarım (inference) çıktılarının tamamlanmasını beklerken eğitim adımları tamamen duruyor.

Statik asenkron alternatifler ise tam tersi bir darboğazla karşılaşıyor; işlemciler tüm paketlerin toplanmasını beklerken tahsis edilmiş eğitim hızlandırıcıları boşta kalıyor.

QwenGyre, bir "Esnek Planlayıcı" (Elastic Scheduler) sunarak bu donanım gecikmelerini gideriyor. Sistem, GPU'ları çıktı üretimi ile model eğitimi arasında dinamik olarak aktararak aktif yürütmelerde herhangi bir kesinti oluşmasını engelliyor.

Yeniden tahsis edilen düğümler, çalışmaları sıfırlamadan aktif merkezi veri paralelliği (data-parallel) eğitim paketlerine entegre oluyor. Planlama dengesizliklerini önlemek için çerçeve, dağıtık küme genelinde grup ilerlemesini senkronize eden "akışkan eğitim" (streaming training) yöntemini uyguluyor.

Yörünge ağacı yeniden oluşturma ile token yükünün sınırlandırılması

Ajan yapıları, otomatik görev çözümleri sırasında karmaşık yürütme grafikleri oluşturuyor. Başarısız komutları tekrar denediklerinde veya geçmiş etkileşim günlüklerini derlediklerinde farklı yollar oluştururken, alt görevleri ikincil ajanlara devretmeleri bu yapısal sapmayı daha da karmaşık hale getiriyor. Sonuçta oluşan bu fazlalık, küme genelindeki eğitim yükünü artırıyor.

Özel bir "Yörünge İşlemcisi" (Trajectory Processor), bu dallanan geçmişleri ortak öneklere sahip tutarlı yörünge ağaçları halinde düzenliyor. Bileşen, yinelenen yolları tekilleştiriyor. Kısmi ilerlemeyi değerlendirip puanlıyor ve görevler uygulama zaman aşımı (timeout) nedeniyle sona erse bile ödül sinyallerini koruyor.

Yörünge seçimi, her bir yürütme başına örnek hacmini kısıtlamak için belirli ajan rollerine öncelik veriyor. İşlemci, ortak hedefleri bir kez sayıyor ve yinelenen öneklerin aşırı ağırlık kazanmasını önlemek için token kayıplarını her yürütme başına ortalamıyor.

Aşırı uzun vadelerde deneysel kıyaslama kazanımları

Kıyaslama değerlendirmeleri, geleneksel ajan mimarilerine göre verimlilik kazanımlarını doğruluyor. Test edilen konfigürasyonlar genelinde QwenGyre, birlikte konumlandırılmış (colocated) kurulumlara kıyasla uçtan uca 1,21 ile 1,85 kat arasında hızlandırma sağladı.