Spotlight: Neural Rendering for Film

Door Glenn van Waesberghe

Vorige maand releaste fxguide een artikel over de film The Champion, geregisseerd door Maciej Barczewski. The Champion is de eerste volledige bioscoopfilm die naar het Engels is omgezet met behulp van neural rendering. Deze spotlight blogpost is een korte samenvatting van het originele artikel, hetwelke je hier terugvindt!

The Champion

Om de film om te zetten van Pools naar Engels vonden de filmmakers het niet voldoende om enkel de audio aan te passen, ze wouden er voor zorgen dat de gezichtsbewegingen ook overeen kwamen met de nieuwe dialoog in het Engels. Om dit te doen, moesten ze de performances van alle acteurs in de film aanpassen en de gezichten vervangen zodat de acteurs ook zichtbaar Engels spreken.

Door gebruik te maken van vooruitgang in AI en machine learning zijn in de hele film de gezichten van de acteurs vervangen door een afgeleide versie, visueel opgebouwd uit acteurs die de dialoog opnieuw opnemen in een geluidsstudio.

Adapt Entertainment heeft de rechten verworven om de film op verschillende Engelse markten uit te brengen. CEO van Adapt, Darryl Marks wilde al lang visuele effecten of neurale rendering gebruiken om een film om te zetten. Darryl Marks' zoektocht voor de laatste paar jaar was to "broaden the global reach of content so audiences can experience an enhanced storytelling alternative that maintains the integrity of the original project without dubbing or subtitles." Adapt stelde een team samen met onder meer Pinscreen Technology in LA, onder leiding van Dr. Hao Li, een wereldspecialist in neural rendering.

Samen ontwikkelde het team Adapt's eigen Plato proces met nieuwe geavanceerde machine learning en neurale rendering.

Plato

Om zo authentiek mogelijk te zijn, was het team vastbesloten om waar mogelijk de oorspronkelijke acteurs te vragen hun performances opnieuw op te nemen. De hoofdacteur, Piotr Głowacki, verschijn in de film met een zwaar gewond gezicht.Ā  Zelfs met de grote variaties in zijn verschijning in de film, ten opzichte tot de pick-up shots achteraf voor de vertaling, werd Piotr in Ć©Ć©n sessie opgenomen door vijf camera's.

Het Plato proces is een professionele neural rendering pipeline voor dialoog en gezichtsreanimatie.Ā Wat het uniek maakt zijn drie dingen

  1. Eerst en vooral is de Plato pijplijn ontworpen rond het behoud van de prestaties van de acteurs door hun originele taalprestatie te vervangen door een getrouwe high fidelity nieuwe versie.
  2. Ten tweede, en zeer belangrijk, is het een production pipeline, dus in tegenstelling tot sommige grote tests en demo stukken...
    • heeft het slechts beperkte trainingsgegevens nodig! Dit is enorm. Het gebruikt alleen de afgewerkte film; er is geen speciaal werk nodig wanneer de originele film wordt opgenomen.
    • is het niet nodig om de originele omstandigheden na te bootsen met speciale lichten of om speciale gezichtsmarkeringen toe te voegen
    • werkt het met alle verschillende soorten dramatische belichting, hoofd- en camerahoeken, met name zijwaartse hoofdhoeken, zelfs wanneer de acteur special effects make-up draagt.
  3. Ten derde, het werkt op volume. Sommige processen vergden tientallen, zo niet honderden uren per opname om ze uit te voeren. Dat is prima voor een advertentie of een TikTok-filmpje, maar niet voor een feature film met honderden en honderden opnamen.

Het Plato proces is uniek in het leveren van volume terwijl het ook flexibel genoeg is om de technische artiesten het proces te laten controleren, mocht de regisseur de dialoog willen aanpassen. Dit komt omdat het geen black-box machine learning algoritme is. Plato is een complexe reeks van zorgvuldig ontworpen nieuwe technologieƫn, op maat gemaakte implementaties, en de best practices in de industrie - dat levert professionele hoge kwaliteit, high-fidelity, en authentieke prestaties.

Als je meer wilt lezen over hoe het werkt, en de film waarop deze technologie is toegepast, lees dan de originele blogpost hier!