BirdDreams, tek bir RGB kamera görüntüsünden hem perspektif videolarını hem de şematik kuş bakış açısı (BEV) videolarını eş zamanlı olarak tahmin eden otoregresif bir çerçeve sunarak, sürüş dünya modellerinde önemli bir ilerleme kaydediyor. Çevredeki araçların gelecekteki hareketlerine dair açık veriler gerektiren OmniDreams gibi önceki yaklaşımların aksine BirdDreams, bu dinamikleri kendi içinde çözümleyebiliyor. Model, perspektif görünüm ve BEV görünümü için ayrılmış iki farklı video difüzyon transformer'ı arasındaki ortak dikkat (joint attention) mekanizmalarından yararlanıyor; bu sayede üretim sırasında her iki akış da birbirini besliyor. Bu mimari, şu durumun gerçekleşmesini sağlıyor...
Konular: Otonom Sürüş Simülasyonları, Bilgisayar Görüsü, Üretken Yapay Zeka ve Dünya Modelleri
SiteM’de tam özet, flashcard ve quiz →
Orijinal kaynak: research.nvidia.com
Kaynak: sitem.co — paylas.io yer imi / keşif katmanı.
Yorumlar
Yorum için giriş yap veya kaydol.
Henüz yorum yok — ilk sen yaz.