Bijeenkomst 22 september 2022

ALGEMEEN: OVERZICHT VAN DE NIEUWE ONTWIKKELINGEN VAN AI-TOOLS BINNEN GAMES, ANIMATIES EN VFX

In de afgelopen maanden zijn er veel nieuwe AI-toepassingen binnen de focus van deze tetra publiek beschikbaar gekomen. Tijdens het eerste deel van deze begeleidingsgroep bijeenkomst stellen we deze nieuwe evoluties voor a.d.h.v. wat we op SIGGRAPH2022 te zien kregen. We diepen volgende onderwerpen verder uit:

•          ProtoRes: pose authoring via learned inverse kinematics
•          Move.ai motion tracking setup
•          Auto-rigging software
•          Nvidea deepsearch
•          Desktop based facial capture
•          Volumetric scan using a smartphone
•          Instant neural radiance fields
•          Real time deepfakes

Naast deze trends maakten de AI art engines deze zomer een duidelijke intrede bij het bredere publiek. DALL-E, Midjourney, Stable Diffusion, Craiyon … zijn AI art engines die op basis van tekstinput een afbeelding genereren. Dit kan gebruikt worden voor:

•         Concept exploratie
•         Uitbreiden van artwork
•         Genereren van ontbrekende textures
•         Genereren van tilable textures
•         Omzetten van ruwe schetsen naar een meer gedetailleerdere versie

DATA GENERATIE

Binnen onze onderzoeksgroep liep naast de tetra ook een project rond het genereren van beeldmateriaal voor het trainen van een AI-systeem. Hierin bekeken we de mogelijkheden voor het artificieel genereren van pixelperfecte geannoteerde beelden van chirurgische operaties voor het trainen van een AI die de effectiviteit van de chirurg in opleiding beoordeeld.

We gebruiken dezelfde tools in onze game engines als bij de use case bug detectie om de artificiële data te genereren.

USE CASE(S): VFX

Uit de brainstorm op 20 januari kwamen een heleboel interessante onderwerpen naar boven binnen de VFX sector:

•           Color Spill Suppression in Chroma Keying
•           Virtual production setdress assistant
•           Script analysis

De tools die hiervoor konden worden gebruikt bestaan niet meer.

•          Neural rendering voor film

Deze werden verwerkt in blogposts of gepresenteerd op de bijeenkomst in maart en kan je op onze website terugvinden. Daarnaast kwamen we nog enkele interessante gerelateerde onderwerpen tegen waar binnenkort een update van op de blog komt.

Experimenten

Binnen de VFX use case werden de drie experimenten bepaald o.b.v. de input tijdens de brainstorms:

•          Tekst-to-image + depth map
•          UX van tekst descriptie
•          Real-time deepfakes

De resultaten van deze experimenten werden gepresenteerd.

VFX-complexiteit van een scene

Daarnaast bekeken we als use case hoe AI kan helpen om de complexiteit binnen een VFX scene te bepalen. Hiervoor werden een vijftal parameters gedefinieerd:

•           De aanwezigheid van green of blue screens.
•           Het aantal mensen binnen frame.
•           Camera shake.
•           Geplande camerabewegingen.
•           Grote variatie in licht omstandigheden.
•           De scherpte van de footage.

Op basis van de ruwe camera input kan een AI de verschillende componenten detecteren en is het mogelijk om een degelijke inschatting te maken van de complexiteit. Om hieraan een tijdsbestek te koppelen zouden een grote dataset nodig zijn waarbij een correlatie aan de AI wordt meegegeven tussen complexiteit/soorten beelden en de tijd die het in nam om deze te verwerken.

USE CASE: AUDIO

Stemgeneratie

Softwarepakketten zoals Replica en het recentelijk overgekochte Sonantic slagen erin om heel realistische AI stemmen te genereren in het Engels. Maar in het Nederlands (en zeker in het Vlaams) ontbreken artificiële stemmen nog. We trainden een AI-model op eigen opgenomen audio fragmenten.

Audio detectie

Een tool werd ontwikkeld met een AI getraind op een gigantische dataset met gelabelde audiofragmenten. Met deze tool kan een langdurig audio of videofragment visueel worden samengevat. Verschillende parallelle tijdslijnen met de meest frequent gedetecteerde geluiden tonen aan op welke tijdsstippen van het fragment ze het meeste voorkomen.

USE CASE: DATAGEDREVEN ANIMATIES

Tijdens het TETRA project werd de steeds veranderende state of the art rond data gedreven animaties nauw gevolgd. Er vond al een webinar plaats, maar het verdere werk gebeurde de afgelopen maanden. We bekeken de resultaten van de Local Motion Phases paper en trainden een model gebruik makende van bestaande motion capture datasets. Ubisoft plaatste een uitgebreide dataset van motion capture opnames online die wij zullen gebruiken in verdere experimenten.

In Juni publiceerde Sebastian Starke zijn nieuwe paper “DeepPhase: Periodic Autoencoders for Learning Motion Phase Manifolds”. Deze introduceert de nieuwste evolutie op het vlak van datagedreven animaties: motion manifolds! Deze nieuwe methode extraheert een multidimensionale phase-space uit grote ongestructureerde bewegingsdatasets. Het clustert de animaties en produceert een “manifold” waarin (zeer kort door de bocht) gelijkaardige bewegingen dicht bij elkaar gelegen zijn, dit geeft ons een maatstaf om betere temporele en ruimtelijke alignement te kunnen bereiken met de geproduceerde animaties. Hierover volgt nog een blogpost op de website.

PLANNING EN WORKSHOPS

Volgende onderzoeksprojecten (graduation work) voor derdejaarsstudenten werden op basis van de input van de brainstorms ingediend:

•          Dialoog tekst/audio mismatch
•          Detectie van game logic
•          Versus game testbots via imitation learning
•          Accessibility game (kleuren)
•          Virtual production setups
•          World placement
•          …

De resultaten hiervan zullen in februari te bekijken zijn.

Op 08.12.2022 staat het slotevent op de agenda. De webinar rond AI in VFX zal geïntegreerd worden in het slotevent.  Tijdens het slotevent gaan we in op de verschillende domeinen behandeld tijdens deze tetra. We kijken terug op de verbazend snelle evoluties van de voorbije 2 jaar, en werpen een blik op de toekomst. Dit event zal doorgaan in een hybride formaat en focussen op de use cases bepaald tijdens de tetra.