Nowa wirtualna kamera Stability AI zamienia każde zdjęcie w oszałamiający film 3D. Jestem pod wrażeniem jakości tego rozwiązania.

Filmy oparte na sztucznej inteligencji (SLA) od lat dodają dynamiki i życia tekstowi i obrazom, ale teraz dosłownie dodają nowy wymiar, przekształcając obrazy 2D w filmy 3D. Ta technologia to przełom w dziedzinie generatywnej sztucznej inteligencji dla wideo.

Nowe narzędzie Stable Virtual Camera firmy pozwala na przetwarzanie nawet pojedynczego obrazu i przekształcanie go w animowany film z wieloma perspektywami, co oznacza, że ​​można obracać film i oglądać go z dowolnej perspektywy. To narzędzie ułatwia tworzenie innowacyjnych treści wideo 3D.

Ta koncepcja nie jest zupełnie nowa. Wirtualne kamery od dawna są podstawą w produkcji filmowej i animacji, umożliwiając twórcom poruszanie się i manipulowanie cyfrowymi scenami. Jednak technologia Stability AI wykorzystuje tę koncepcję i dodaje sporą dawkę sztucznej inteligencji generatywnej. W rezultacie, zamiast konieczności szczegółowej rekonstrukcji sceny 3D lub precyzyjnej kalibracji ustawień kamery, Stable Virtual Camera pozwala użytkownikom tworzyć płynne, precyzyjne ruchy 3D z zachowaniem głębi nawet na podstawie pojedynczego obrazu, przy minimalnym wysiłku.

To narzędzie wyróżnia się na tle innych narzędzi do generowania wideo opartych na sztucznej inteligencji (AI), ponieważ nie musi zgadywać, jak przebiegają animacje, ani opierać się na ogromnych zbiorach danych ani rekonstrukcji klatka po klatce. Stable Virtual Camera wykorzystuje wielopunktowy proces propagacji, aby generować nowe ujęcia na podstawie dostarczonego obrazu, dzięki czemu efekt końcowy wygląda jak model, który mógłby istnieć w rzeczywistości. Takie podejście zwiększa realizm generowanych filmów.

Narzędzie pozwala użytkownikom sterować ścieżkami kamery z kinową precyzją, wybierając spośród takich akcji, jak zoom, obrót orbitalny, a nawet ścieżka spiralna. Nagrany film może być w formacie pionowym (dla urządzeń mobilnych) lub panoramicznym. Wirtualna kamera obsługuje tylko jeden obraz, ale obsługuje do 32.

Firma Stability AI udostępniła model na licencji niekomercyjnej do celów badawczych. Oznacza to, że jeśli posiadasz pewne umiejętności techniczne, możesz z nim eksperymentować, pobierając kod z GitHuba. Otwarte źródło, jak to zazwyczaj bywa w przypadku Stability AI, oznacza również, że społeczność programistów AI może ulepszać i rozszerzać możliwości kamery wirtualnej bez ponoszenia żadnych kosztów na rzecz firmy.

Sztuczna inteligencja 3D

Oczywiście, żaden model sztucznej inteligencji nie jest idealny, a Stability AI otwarcie mówi o wadach, nad którymi wciąż musi popracować. Jeśli chcesz stworzyć realistycznych ludzi i zwierzęta albo materiały o wyjątkowo nieregularnych teksturach (jak woda), możesz skończyć z czymś, co pasuje do niskobudżetowego horroru.

Nie zdziw się, jeśli zobaczysz filmy stworzone za jego pomocą, w których perspektywy obiektów poruszają się w dziwny sposób lub których przesunięcia perspektywy powodują migotanie i efekt ducha. Czas pokaże, czy to narzędzie zyska powszechną popularność, czy będzie po prostu kolejnym narzędziem AI pomijanym przez zaangażowanych filmowców.

Nie wspominając o ogromnej konkurencji ze strony narzędzi wideo opartych na sztucznej inteligencji, takich jak Sora, Pika, Runway, Pollo od OpenAI i Dream Machine od Luma Labs. Stabilna kamera wirtualna będzie musiała udowodnić swoją wartość w realnym świecie filmowania, aby wyjść poza ramy kolejnego, zabawnego filmu demonstracyjnego.