Potentiele Onderwerpen
Nu de bevragingen afgerond zijn, hebben we een beter zicht op welke thema’s spelen binnen de stuurgroep. Hieronder kan u per onderwerp een korte uitleg vinden. Op basis van hoeveelheid interesse per onderwerp zullen themagroepen gevormd worden, die dan verder zullen brainstormen. Op deze manier kunnen we use cases definiëren terwijl we draagvlak binnen de gebruikersgroep garanderen.
GAMES
Datagestuurde Animaties & Augmentatie daarvan (emoties, stijl, etc.)
Data gestuurde content vindt meer en meer zijn weg in de productie pipeline, zo ook die van full-body animaties. In het kort: met een uur motion capture data kan een neuraal netwerk getrained worden. Dit model kan dan realtime animaties genereren aangepast aan de omgeving en context. Hierdoor zal het samenstellen van state machines en blending tussen animaties niet meer manueel moeten gebeuren. Wat wel in rekening moet gebracht worden is het annoteren van de mocap data, maar in vergelijking met de diversiteit en kwantiteit van de output is dit een zeer grote return of investment.
Een voorbeeld van een datadriven animatie-systeem kan u in onderstaande video aan het werk zien (Holden, D., Komura, T., & Saito, J. (2017)):
Een recentere iteratie hiervan die ook interactie ondersteunt vindt u hier terug:
Het behouden van controle over de animaties en meerbepaald ook de stijl, is een belangrijk minpunt. Echter, we zien mogelijkheid om met behulp van style transfer dit te overkomen. Onderzoek om de state-of-the-art modellen uit te breiden is interessant op vlak van artistieke vrijheid voor animators, en aanpasbarheid van de animatie stijl.
Verder kunnen we ondertussen ook al meegeven dat men in de techdemos hierboven gekozen heeft voor een minder responsief model, met hogere kwaliteit animaties als resultaat. Een vergelijking tussen de high quality en meer responsive versie vindt u hier terug:
Geautomatiseerd Games testen
Het (deels) automatiseren van het test proces voor games is een interessante piste voor ontwikkelaars en testers binnen de stuurgroep. De uitdaging ligt vooral in het uitdenken van technieken en/of systemen die generaliseren over een grote variatie aan applicaties. Ook is er een onderscheid tussen interne en externe tests. Bij interne tests heeft de ontwikkelaar toegang tot broncode, en kunnen de tests geïntegreerd worden. Externe tests zijn abstracter en testen vaak een product dat al verder in ontwikkeling staat.
We kunnen hier dieper ingaan op automatische bots, slimmere unit tests, automatische balancering tests enz…
Het genereren van niet-vooraf gedefinieerde NPC achtergrondgesprekken
Context vrije grammatica kan gebruikt worden om in-game dialogen tussen non-playable characters te genereren, die syntactisch en semantisch correct zijn. De structuur en flow van deze achtergrond conversaties geniet de vrijheid van een proceduraal systeem. In hoeverre er controle mogelijk is over de onderwerpen en gebeurtenissen van de dialogen om ze relevant te laten zijn is het onderzoeken waard. Het gevaar blijft dat zaken die de NPCs onderling zeggen niet logisch consistent zijn.
Uiteindelijk kan deze techniek wel bijdragen aan levendigheid en immersie van de game.
Verbeterde Lip-Synch (Spraak naar Gezichtsanimaties) (+emoties)
Lip-synch technologieën bleven ook in de bevraging een veelbesproken onderwerp. Deze technologie blijft continu evolueren, maar de resultaten zijn nog steeds vrij teleurstellend. Daarnaast blijven de betere oplossingen zeer duur voor kleinere bedrijven. Verder blijft het toevoegen van emoties aan deze animaties ook nog een moeilijke zaak.
Recente verbeteringen op het vlak van text-to-speech tonen een mogelijke manier om deze technologie veel te verbeteren. Recent onderzoek waarbij een audio sample van amper 5 seconden wordt gebruikt om eender welke zin in diezelfde stem te genereren, is zeer interessant (zie ook verder: TTS). Een analoge bootstrap methode zou in theorie ook kunnen werken op het gebied van gezichtsanimaties. Specifieke karakteristieken van de gezichtsbewegingen zouden worden gemapt in een vector space, waarna het model bijkomende emoties kan genereren. Een veelbelovende piste!
Profiling
Het aanpassen van een (spel-)ervaring aan de speler staat nog in zijn kinderschoenen. Ontwikkelaars willen dat hun applicatie een bepaald doel bereikt, dit kan gaan van fun, educatie, interactie enz… Het opstellen van een individueel spelersprofiel, om op basis daarvan andere content aan te bieden kan een antwoord bieden op die uitdaging. Niet door middel van vooraf gedefinieerde profielen of een menselijke coach, maar door een slim systeem kan de ervaring in realtime aangepast worden.
Realistische menselijke NPC-gedragingen
Human NPC behavior en interactie staat al in een ver stadium. Toch is er nog veel ruimte om NPCs diverser en dynamischer te laten reageren op de speler. Hier is vooral vraag naar binnen (VR) trainingen, en applicaties waarbij realisme prioriteert op de fun of game factor. In combinatie met data gestuurde animaties is hier zeker een mogelijke denkpiste. De term proceduraal gedrag vat het misschien nog het beste samen.
VR
Geautomatiseerd VR testen
Het testen van VR applicaties vergt nog zeer veel manueel werk, en is door de hardware ook zeer intensief. Deze testen automatiseren tot een bepaalde graad, zou kunnen betekenen dat VR-games een pak minder bugs zullen bevatten. Het onderzoeken hiervan is een breed gedragen richting door die bedrijven in de stuurgroep bezig met VR.
Fix VR IK met AI
Nog een probleem waar AI een nieuwe oplossing kan bieden, is het IK-systeem voor virtuele armen van de speler. Bestaande IK-oplossingen ogen nog steeds zeer houterig of representeren poses die anatomisch onmogelijk zijn. Indien we een model trainen om op basis van VR-hardware (transformaties van hoofd en controllers) correcte arm poses te genereren, zijn we al een stap in de goede richting. Trainingsdata kan gegenereerd worden m.b.v. mocap.
GAMES & VFX
Glitch Detectie
In game en VFX bedrijven zijn veel bugs louter visueel. Een automatisch model dat deze fouten herkent zou al een eerste pass kunnen doen door een build of render. Geïntegreerd met een bug filing system neemt dit al een pak werk weg. Data voor deze visual glitches kan ook eenvoudig verzameld worden door screenshots van voorbije projecten, en doorheen het ontwikkelingsproces. Met gebruik van Computer Vision kan dan een model getrained worden die dit type bugs herkent.
Tekst-naar-spraak (Engels & Nederlands)
De recente vooruitgang in TTS-technologie is veelbelovend. Binnen de komende paar jaar zal het onmogelijk worden om TTS en echte gesproken speech van elkaar te onderscheiden. Een nadeel is wel dat het onderzoek zich bijna altijd focust op de Engelse taal.
Naast het gebruik hiervan voor karakters in games, kan deze technologie ook enorm helpen met het automatisch dubben van films naar eender welke taal.
Een recent voorbeeld van deze technologie vindt u hier:
VFX
Begrotingsschatting op basis van scriptanalyse
Een automatische analyse van een script kan een eerste indicatie geven van het benodigde budget. Door het tellen van karakters, props, shots, scenes en meer, samen met ingestelde werktijd/budgetten van voorgaande projecten kan dit een ruw beeld geven over de potentiële kost.
Deepfakes
Deepfakes is een technologie die de laatste jaren opgekomen is, en steeds beter wordt in kwaliteit. Deepfakes staan toe om het gezicht van een persoon in een video te vervangen met het gezicht van een ander persoon, zolang we genoeg data hebben van die laatste. We zien hier zeker voor de VFX-industrie veel potentieel in. De technologie heeft al enorme sprongen gemaakt, en het is moeilijk geworden om deepfakes van echt te onderscheiden. Ook ogen ze vaak natuurlijker dan hyperrealistische renders.
Een voorbeeld van Deepfakes vindt u hier:
Verder hebben we er ook zelf al wat mee geëxperimenteerd, zo hebben we een deepfake van acteur Mark Hamill over een 3D-model van hem geplaatst.
De resultaten daarvan vindt u hier terug:
Visuele nasycnchronisatie voor video
Nog een stap verder dan deepfake, is de recente ontwikkeling waarbij het mogelijk wordt om video-beelden te manipuleren zodat een persoon in de video volledig andere woorden uitspreekt. Deze technologie toont het grootste potentieel voor dubbing, en in combinatie met de nieuwe TTS technologieën zal het mogelijk worden om een acteur eender welke taal te laten spreken, ook al spreken ze die zelf niet.
Een voorbeeld van Visual Dubbing vindt u hier terug:
Automatisch groen/blauw/etc. key generatie
Voor vele VFX-bedrijven wordt er extreem veel tijd gespendeerd aan het rotoscopen van green/bluescreens. Het lijkt evident dat dit veel efficiënter zou moeten gaan met onder-andere het gebruik van computer vision.
Een paper van Disney Research van 2016 toont dat er hier duidelijk (deelse) automatisatie mogelijk is m.b.v. color unmixing (zie hieronder). Echter, dit is een video van niet publieke software.
Style Transfer
Deze technologie is in staat om de specifieke karakteristieken van een afbeelding te vatten, en een andere afbeelding naar deze stijl om te zetten. Sterker nog, het is nu ook mogelijk om dit op video-beelden te doen, en zelfs realtime (alhoewel die laatste wel zeer veel processing power vraagt). We zien hier op zijn minst toepassingen in de concept-fase in VFX.
Een voorbeeld van Style Transfer vindt u hier terug: