BirdDreams, tek bir RGB kamera görüntüsünden hem perspektif videolarını hem de şematik kuş bakış açısı (BEV) videolarını eş zamanlı olarak tahmin eden otoregresif bir çerçeve sunarak, sürüş dünya modellerinde önemli bir ilerleme kaydediyor. Çevredeki araçların gelecekteki hareketlerine dair açık veriler gerektiren OmniDreams gibi önceki yaklaşımların aksine BirdDreams, bu dinamikleri kendi içinde çözümleyebiliyor. Model, perspektif görünüm ve BEV görünümü için ayrılmış iki farklı video difüzyon transformer'ı arasındaki ortak dikkat (joint attention) mekanizmalarından yararlanıyor; bu sayede üretim sırasında her iki akış da birbirini besliyor. Bu mimari, şu durumun gerçekleşmesini sağlıyor...

Konular: Otonom Sürüş Simülasyonları, Bilgisayar Görüsü, Üretken Yapay Zeka ve Dünya Modelleri

SiteM’de tam özet, flashcard ve quiz →

Orijinal kaynak: research.nvidia.com

Kaynak: sitem.co — paylas.io yer imi / keşif katmanı.