Spotlight: Nuke 14.0

Door Glenn van Waesberghe

Foundry heeft Nuke 14.0 gelanceerd, een update van de visuele effecten software die een nieuw USD-gebaseerd 3D-architectuur, verbeteringen aan UnrealReader en AIR tools en een bibliotheek met machine learning-modellen bevat. De update verbeterde ook de prestaties van de AIR-tools en omvatte Cattery, een bibliotheek met gratis, open-source machine learning-modellen die native in Nuke kunnen worden uitgevoerd.

Spotlight: ClimateNeRF

Door Glenn van Waesberghe

Met Climate NeRF kun je realistische videos maken van fysieke fenomenen zoals smog, sneeuw en overstromingen in bepaalde omgevingen, door middel van het combineren van fysische simulaties en NeRF-modellen.

Spotlight: Tune-A-Video

Door Glenn van Waesberghe

Deze paper onderzoekt hoe een tekst-naar-video generator kan worden getraind met slechts ├ę├ęn tekst-video-paar door het gebruik van een T2I diffusion model en de nieuwe methode Tune-A-Video met Sparse-Causal Attention. Deze methode kan tijd-coherente video’s genereren voor verschillende toepassingen.

Spotlight: Neural Rendering for Film

Door Glenn van Waesberghe

The Champion is de eerste volledige bioscoopfilm die naar het Engels is omgezet met behulp van neural rendering. Door gebruik te maken van vooruitgang in AI en machine learning zijn in de hele film de gezichten van de acteurs vervangen door een afgeleide versie, visueel opgebouwd uit acteurs die de dialoog opnieuw opnemen in een geluidsstudio.

Spotlight: Language Models on Rails: ML-Assisted Narrative Games

Door Glenn van Waesberghe

Eidos Montreal introduceerde een nieuwe techniek die automatisch emoties detecteert uit de gezichtsopnames, en deze gebruikt om emotie-curves te genereren, die als input voor een motion matching systeem gebruikt kunnen worden om de body language van de characters te doen passen bij de conversaties die op eender welk moment gaande zijn.