Ugównowacenie sztuki postępuje. Testują dubbing AI z synchronizacją ust

Jeżeli wydawało wam się, iż największą rewolucją ostatnich lat w streamingu były rekomendacje napędzane sztuczną inteligencją, automatyczne napisy czy generowane komputerowo tłumaczenia, to Amazon ma dla was kolejną niespodziankę.

Prime Video właśnie ogłosiło wdrożenie technologii, która ma rozwiązać jeden z najbardziej charakterystycznych problemów dubbingu: ruch ust kompletnie niepasujący do tego, co słyszymy w ścieżce dźwiękowej. Według firmy sztuczna inteligencja i narzędzia VFX potrafią już cyfrowo dostosować mimikę aktorów do zdubbingowanej wersji językowej. Brzmi futurystycznie. Brzmi też trochę niepokojąco.

AI bierze się za usta aktorów

Nowa funkcja nazwana przez Amazona tak po prostu „lip-sync technology” polega na synchronizowaniu ruchu ust postaci z nagranym przez ludzi dubbingiem. Nie chodzi więc o generowanie głosów przez AI. Amazon podkreśla, iż bazuje na ludzkich aktorach dubbingowych, natomiast sztuczna inteligencja i technologie efektów wizualnych modyfikują obraz w taki sposób, aby ruch ust odpowiadał nowej ścieżce dialogowej.

Każdy, kto choć raz oglądał zagraniczny serial z dubbingiem, zna ten problem. Bohater wypowiada krótkie niemieckie zdanie, a polska lub angielska kwestia trwa dwa razy dłużej. Efekt jest taki, iż postać kończy mówić, ale głos przez cały czas płynie z głośników. Albo odwrotnie: aktor jeszcze otwiera usta, a dialog już się skończył.Przez dekady przywykliśmy do tego jako do nieuniknionego kompromisu. Amazon najwyraźniej uważa, iż kompromis przestał być konieczny.

Debiut na najpopularniejszym serialu Prime Video

Na pierwszy ogień poszedł , który według Amazona jest najchętniej oglądaną międzynarodową produkcją oryginalną w historii Prime Video. Technologia została uruchomiona dla pierwszego i drugiego sezonu w angielskiej wersji dubbingowej. Amazon zapowiada również jej obecność przy premierze trzeciego sezonu, która została wyznaczona na 9 grudnia.

Nowa technologia debiutuje w serialu Maxton Hall – Dwa światy

W praktyce oznacza to, iż widz oglądający niemiecki serial po angielsku ma otrzymać złudzenie, jakby aktorzy rzeczywiście mówili po angielsku podczas kręcenia scen.Dla platform streamingowych to potencjalnie bardzo istotny krok. Skoro Netflix, Disney+ czy Prime Video inwestują miliardy dolarów w lokalne produkcje z całego świata, to naturalnym problemem staje się ich eksport. Nie każdy widz chce czytać napisy, a nie każdy toleruje tradycyjny dubbing.

To nie jest pierwszy taki pomysł

Prawda jest jednak taka, iż branża filmowa flirtuje z podobnymi rozwiązaniami już od kilku lat. Narzędzia AI pozwalające zmieniać ruch ust aktorów pojawiały się wcześniej w projektach badawczych, startupach zajmujących się lokalizacją treści czy choćby w profesjonalnych produkcjach. W ostatnich latach coraz częściej można było zobaczyć demonstracje, w których aktor mówiący po hiszpańsku nagle zdawał się perfekcyjnie wymawiać kwestie po angielsku, francusku czy niemiecku.

Różnica polega na skali. Amazon nie pokazuje technologii na konferencji ani w laboratoryjnym demie. Wprowadza ją do jednego z najważniejszych produktów konsumenckich na świecie. To moment, w którym eksperyment zaczyna stawać się usługą.

Widz dostanie lepszy dubbing. Ale coś za coś

Trudno nie zauważyć, iż cały pomysł znajduje się gdzieś na granicy między wygodą a cyfrowym fałszowaniem rzeczywistości. Z jednej strony argument Amazona jest logiczny. Firma mówi o bardziej immersyjnym doświadczeniu i likwidacji rozpraszającego efektu niedopasowanych ust. I rzeczywiście: wielu widzów odrzuca dubbing właśnie dlatego, iż wygląda sztucznie.

Z drugiej strony zaczynamy wkraczać na teren, który jeszcze kilka lat temu kojarzył się raczej z deepfake’ami niż z platformami VOD. Oglądając serial, widzimy twarz aktora. Wydaje nam się, iż obserwujemy zapis jego gry. Tymczasem coraz większa część tego, co trafia na ekran staje się cyfrowo modyfikowaną interpretacją oryginału.

Oczywiście kino od dawna korzysta z efektów specjalnych. Problem polega na tym, iż do tej pory korekta mimiki była czymś wyjątkowym i kosztownym. AI sprawia, iż może stać się rutynową czynnością wykonywaną przy każdej lokalizacji językowej.

Twórcy słyszą: globalny zasięg. Widzowie słyszą: sztuczna inteligencja

Amazon przekonuje, iż rozwiązanie ma pomóc twórcom trafiać do szerszej publiczności przy zachowaniu nadzoru kreatywnego nad efektem końcowym. Firma podkreśla również, iż proces odbywa się pod kontrolą mającą chronić integralność artystycznej wizji dzieła. To rozsądna deklaracja, ale jednocześnie trudno nie zauważyć szerszego kontekstu.

Branża rozrywkowa od dwóch lat obserwuje gwałtowną ekspansję AI w obszarach, które dotąd były zarezerwowane dla ludzi. Najpierw pojawiły się generowane napisy. Potem automatyczne tłumaczenia. Następnie syntetyczne głosy. Teraz dochodzi cyfrowa korekta twarzy.

Każdy kolejny krok jest prezentowany jako niewielkie usprawnienie doświadczenia użytkownika. Problem w tym, iż suma tych drobnych zmian prowadzi do coraz głębszej ingerencji algorytmów w dzieło kultury. I właśnie dlatego część odbiorców reaguje na podobne nowinki wyjątkowo alergicznie.

Najciekawsze pytanie dopiero przed nami

Znacznie ciekawsze od samej technologii jest to, jak zareagują widzowie. Bo możliwe są dwa scenariusze.

W pierwszym większość odbiorców gwałtownie uzna, iż tak po prostu powinien wyglądać nowoczesny dubbing. Po kilku latach oglądanie produkcji z tradycyjnie niedopasowanym ruchem ust będzie wydawało się równie archaiczne jak oglądanie filmów w jakości 480p.

W drugim widzowie zaczną odczuwać coś, co specjaliści od animacji od dawna określają mianem „uncanny valley”. Niby wszystko wygląda prawidłowo, ale mózg instynktownie wyczuwa, iż twarz została cyfrowo zmieniona.

Na razie nie wiadomo, który wariant okaże się prawdziwy.

Jedno jest natomiast pewne. Sztuczna inteligencja przestała być dla platform streamingowych wyłącznie narzędziem działającym w tle. Coraz częściej zaczyna modyfikować samą treść oglądaną przez widza. A gdy AI zaczyna poprawiać ruch ust aktorów, trudno oprzeć się wrażeniu, iż wojnę o autentyczność obrazu właśnie wkroczyliśmy na kolejny poziom. Nie wiadomo jeszcze, czy lepszy. Ale na pewno bardziej syntetyczny.