Alibaba Wan2.1-VACE: Herkes için açık kaynaklı AI video aracı
Özet
Alibaba, video oluşturma ve düzenleme için tasarlanmış, sektördeki ilk açık kaynaklı yapay zeka modeli olan Wan2.1-VACE'i tanıttı. Model, metin komutları, hareketsiz resimler ve diğer videolar gibi çeşitli girdilerle video oluşturma yeteneğine sahip. Ayrıca, video "yeniden boyama", seçili bölümleri düzenleme ve videoyu uzatma gibi gelişmiş düzenleme araçları sunuyor. VACE, kullanıcıların birden fazla aracı yönetmek yerine tek bir platformda video oluşturmasını ve düzenlemesini sağlayarak yaratıcılığı artırmayı hedefliyor.
Alibaba, video oluşturma ve düzenleme şeklimizi değiştirmek üzere tasarlanmış, açık kaynaklı bir yapay zeka modeli olan Wan2.1-VACE'i tanıttı.
VACE, gökten zembille inmedi; Alibaba'nın daha geniş kapsamlı Wan2.1 video yapay zeka modelleri ailesinin bir parçası. Ve bunun için oldukça iddialı bir söylemde bulunuyorlar ve bunun "çeşitli video oluşturma ve düzenleme görevleri için birleşik bir çözüm sunan sektördeki ilk açık kaynaklı model" olduğunu belirtiyorlar.
Eğer Alibaba, kullanıcıları birden fazla, ayrı aracı yönetmekten tek bir akıcı merkeze geçmeyi başarabilirse, bu gerçek bir çığır açıcı olabilir.
Peki, bu şey aslında ne yapabilir? Öncelikle, metin komutları, hareketsiz resimler ve hatta diğer video kliplerin küçük parçaları dahil olmak üzere her türlü istemi kullanarak videolar hazırlayabilir.
Ancak sadece sıfırdan video yapmakla kalmıyor. Düzenleme araç seti, yapay zekayı yönlendirmek için görsellere veya belirli karelere referans verme, gelişmiş video "yeniden boyama" (bununla ilgili daha fazla bilgi vereceğiz), mevcut videonuzun yalnızca seçili kısımlarını düzeltme ve hatta videoyu uzatma olanağı sunuyor. Alibaba, bu özelliklerin "yaratıcılığı artırmak için çeşitli görevlerin esnek bir kombinasyonunu sağladığını" düşünüyor.
Diyelim ki, sahip olduğunuz bazı fotoğraflara dayalı olarak, belirli karakterlerin etkileşimde bulunduğu bir video oluşturmak istiyorsunuz. VACE, bunu yapabildiğini iddia ediyor. Dinamik olmasını istediğiniz bir hareketsiz resminiz mi var? Alibaba'nın açık kaynaklı yapay zeka modeli, ona hayat vermek için doğal görünümlü hareketler ekleyebilir.
İnce ayar yapmayı sevenler için, daha önce bahsettiğim gelişmiş "video yeniden boyama" işlevleri mevcut. Bu, bir konudan diğerine poz aktarma, hareket üzerinde hassas kontrol, derinlik algısını ayarlama ve hatta renkleri değiştirme gibi şeyleri içerir.
Dikkatimi çeken bir özellik, "bir videonun seçici belirli alanlarına, çevreyi etkilemeden ekleme, değiştirme veya silme" yeteneği. Bu, ayrıntılı düzenlemeler için büyük bir artı – yalnızca küçük bir öğeyi düzeltmeye çalışırken yanlışlıkla arka planı bozmak yok. Ayrıca, video tuvalinizi büyütebilir ve her şeyin daha zengin ve daha geniş görünmesini sağlamak için yeni alanı ilgili içerikle doldurabilir.
Düz bir fotoğraf çekebilir, onu bir videoya dönüştürebilir ve içindeki nesnelere tam olarak bir yol çizerek nasıl hareket edeceklerini söyleyebilirsiniz. Bir karakteri veya bir nesneyi referans olarak sağladığınız başka bir şeyle değiştirmeye mi ihtiyacınız var? Sorun değil. Bu referanslı karakterleri canlandırmak mı? Tamamdır. Pozlarını hassas bir şekilde kontrol etmek mi? Elbette.
Alibaba, açık kaynaklı yapay zeka modelinin, uzun, ince dikey bir görüntüyü alıp, diğer görüntülere veya istemlere referans vererek otomatik olarak yeni parçalar ekleyerek, onu akıllıca yatay olarak geniş ekran bir videoya dönüştürmesi örneğini bile veriyor. Bu oldukça hoş.
Elbette, VACE sadece sihir değil. Video düzenlemenin genellikle dağınık gerçekliğiyle başa çıkmak için tasarlanmış bazı akıllı teknolojiler içeriyor. Kilit bir parça, Alibaba'nın Video Condition Unit (VCU) olarak adlandırdığı ve "metin, resimler, video ve maskeler gibi çok modlu girişlerin birleşik işlenmesini destekleyen" bir şeydir.