Verslag bijeenkomst maart 2022

SOTA & STUDENTENWERK

Op de begeleidingsgroep werden de nieuwe evoluties van AI in het productieproces voorgesteld evenals een selectie van wat studenten in enkele weken kunnen uitwerken met behulp van AI. Tijdens de bijeenkomst werden volgende onderwerpen verder uitgediept:

•          AI gestuurde camera voor het genereren van cinematics in games
•           Nieuwe methode als startpunt voor het genereren van lip sync animaties
•           Disco diffusion: AI gegenereerde beelden op basis van tekst (en eventueel afbeelding)
•           Deep learning voor color spill suppresion in chroma keying
•           Progressies op het vlak van real time deepfakes
•           Procedurele boss generatie met behulp van graph grammars (studentenwerk)
•           Gaten en tunnels detecteren in de geometrie van een virtuele wereld (studentenwerk)

PWO DeepGenAI

Een computervisiemodel trainen om objecten te herkennen gaat traditioneel gepaard met de creatie van een grote database van duizenden afbeeldingen van de gewenste objecten, waarbij deze in verschillende omgevingen, vormen, en belichtingssituaties worden onderworpen. Deze reeks afbeeldingen moeten vervolgens minutieus worden geannoteerd, wat resulteert in een zeer tijdsintensief proces dat dagen of zelfs weken kan duren.

De PWO DEEPGENAI neemt deze lastige stap weg. We maken gebruik van een game engine om deze data in een mum van tijd te genereren. Omgevingen, achtergrondobjecten en belichtingssituaties kunnen we willekeurig gaan instellen voor een grote verscheidenheid in data. Omdat duizend afbeeldingen genereren slechts enkele seconden duurt hebben we dus niet de klassieke uitdaging om te worstelen met een beperkte hoeveelheid data. Deze unieke situatie laat ons dus toe om onze dataset verder te gaan tunen en de AI te trainen op situaties waar deze het moeilijk mee heeft, zoals afbeeldingen met lage belichting of met een overlap van objecten. Zo kunnen we zeer gericht gaan trainen en zeer snel tot goede resultaten komen.

Ons eindresultaat is een AI die zonder enige echte afbeelding van het voorwerp (enkel synthetische data) op enkele uren getraind is.

RESULTATEN BRAINSTORM

Op 20 januari brainstormden we samen met de aanwezige leden van de begeleidingsgroep over het verdere verloop van de tetra en de verschillende interessedomeinen. De brainstorm was opgedeeld in drie groepen. Een ervan ging aan de slag met onderwerpen binnen de VFX, de andere twee groepen werkten binnen games en testing.

De resultaten van de brainstorm werden gebundeld en bekeken. Alle onderwerpen werden tijdens de brainstorm overlopen. Wij gaan verder aan de slag met een selectie die binnen de tetra mogelijk zijn om verder uit te werken:

Blogposts

•           Virtual production setdress assistant (spotlight Promethean AI)
•           Script analysis
•           Color Spill Suppression in Chroma Keying
•           Text-to-image (GPT3 + andere tools)
•           Balance testing skills/character

Experimenten

•          Tekst-to-image + depth map
•          UX van tekst descriptie
•          Unit test detecteren
•          Real-time deepfakes

Use cases

•          Automatische detectie van VFX-complexiteit van footage
•          Automatische rough cut dialoog obv audio
•          Detecteren van missing audio obv spelerinput

Graduation work

•          Dialoog tekst/audio mismatch
•          Detectie van game logic
•          Versus game testbots via imitation learning
•          Accessibility game (kleuren)

VR USE CASE

Momenteel wordt er gewerkt aan de VR use case. Hierin doen we onderzoek naar het automatisch testen van VR applicaties. Met als focuspunt de onderzoeksvraag: Kan het spelerprofiel interageren met alle objecten in de scene?

Momenteel werd de virtuele input en omgeving voor het spelersprofiel voorzien en wordt er nu gewerkt aan de exploratie algoritmes. Een laatste stap is het verhogen van de complexiteit van de scene.

PLANNING EN WORKSHOPS

Gedurende het afgelopen projectjaar werden drie opeenvolgende workshops gemaakt en voorzien voor de begeleidingsgroep. Alle workshops staan op de website. De video’s kunnen herbekeken worden en alle lesmaterialen en projectfiles zijn beschikbaar als download.

•         Image classification

Een introductie via Python notebooks in het opzetten en de werking van AI met als voorbeeld het classificeren van voorwerpen in afbeeldingen.

•         Computervisie in Unity 3D

Gebruiken van Unity3D om synthetische data te genereren. Legt stap voor stap uit wat een Neural netwerk en convolutional neural netwerk is. Zet je op weg met het implementeren van ee eigen systeem in Unity.

•         Neuro-evolutie

Bestaat uit drie video’s die neurale netwerken en genetische algoritmes uitleggen en je op weg zetten om hands-on te gaan experimenteren met de effecten van de verschillende parameters op de uitkomst van deze algoritmes.

Een volgende webinar zal de focus leggen op het gebruik van AI in VFX waarbij we de state of the art & road ahead samenvatten en behapbaar voorleggen aan de begeleidingsgroep.

De volgende bijeenkomsten staan gepland in de agenda op:

•         22.09.2022 Begeleidingsgroep
•         08.12.2022 Slotevent

Link naar evaluatieformulier: https://forms.gle/wjBRwC8X42yfPriu6