Spotlight: Neural Rendering for Film

Adapt Entertainment heeft de rechten verworven om de film op verschillende Engelse markten uit te brengen. CEO van Adapt, Darryl Marks wilde al lang visuele effecten of neurale rendering gebruiken om een film om te zetten. Darryl Marks' zoektocht voor de laatste paar jaar was to "broaden the global reach of content so audiences can experience an enhanced storytelling alternative that maintains the integrity of the original project without dubbing or subtitles." Adapt stelde een team samen met onder meer Pinscreen Technology in LA, onder leiding van Dr. Hao Li, een wereldspecialist in neural rendering.

Samen ontwikkelde het team Adapt's eigen Plato proces met nieuwe geavanceerde machine learning en neurale rendering.

Plato

Om zo authentiek mogelijk te zijn, was het team vastbesloten om waar mogelijk de oorspronkelijke acteurs te vragen hun performances opnieuw op te nemen. De hoofdacteur, Piotr Głowacki, verschijn in de film met een zwaar gewond gezicht.  Zelfs met de grote variaties in zijn verschijning in de film, ten opzichte tot de pick-up shots achteraf voor de vertaling, werd Piotr in één sessie opgenomen door vijf camera's.

Het Plato proces is een professionele neural rendering pipeline voor dialoog en gezichtsreanimatie. Wat het uniek maakt zijn drie dingen

1. Eerst en vooral is de Plato pijplijn ontworpen rond het behoud van de prestaties van de acteurs door hun originele taalprestatie te vervangen door een getrouwe high fidelity nieuwe versie.
2. Ten tweede, en zeer belangrijk, is het een production pipeline, dus in tegenstelling tot sommige grote tests en demo stukken...
   • heeft het slechts beperkte trainingsgegevens nodig! Dit is enorm. Het gebruikt alleen de afgewerkte film; er is geen speciaal werk nodig wanneer de originele film wordt opgenomen.
   • is het niet nodig om de originele omstandigheden na te bootsen met speciale lichten of om speciale gezichtsmarkeringen toe te voegen
   • werkt het met alle verschillende soorten dramatische belichting, hoofd- en camerahoeken, met name zijwaartse hoofdhoeken, zelfs wanneer de acteur special effects make-up draagt.
3. Ten derde, het werkt op volume. Sommige processen vergden tientallen, zo niet honderden uren per opname om ze uit te voeren. Dat is prima voor een advertentie of een TikTok-filmpje, maar niet voor een feature film met honderden en honderden opnamen.