Enkele weken terug was het de jaarlijkse AI-conferentie van Nvidia, GTC 2021. Binnen de context van de conferentie verschenen er een Keynote, en meer dan vijf-honderd talks. We volgden een reeks talks die interessant waren binnen de context van de TETRA AI, en vatten hieronder enkele van de highlights samen. Indien u de talks zelf wil bekijken, kan u op de individuele links klikken.
Overview: GTC 2021 Highlights
Neural Networks Software Innovation
Nvidia produceert elk jaar ook heel wat nieuwe software en libraries, en dit jaar willen we er daar zeker twee van vermelden.
Nsight Deep Learning Designer
Nsight DL Designer is een programma dat de gebruiker toestaat om neurale netwerken te ontwerpen met gebruik van node-gebaseerde visual scripting, vergelijkbaar met blueprints in Unreal Engine. Dit zorgt ervoor dat de gebruiker zelf helemaal niets hoeft te doen in Python, hetwelke uiteindelijk een van de grootste barriers to entry was. Je kan ook gemakkelijk de resultaten van verschillende netwerken vergelijken, op basis van een hele reeks metrics. De applicatie maakt het ook mogelijk om de verschillende layers van het netwerk te visualizeren, hetwelke ervoor zorgt dat je een iets duidelijker beelt kan vormen van wat het network exact doet. Deze software lijkt een no-brainer voor use cases waarin je een neuraal netwerk van scratch moet ontwerpen. We kijken er naar uit om deze software zelf uit te proberen!
NVIDIA cuNUMERIC
Python is de meest gebruikte taal voor machine learning, en NumPy is een universeel gebruikte bibliotheek binnen Python voor wiskunde en matrices, die essentieel is voor machine learning mogelijk te maken.
Aangezien datasets steeds groter worden en programma's steeds complexer, groeit de behoefte om deze problemen op te lossen door gebruik te maken van meer dan een enkele CPU.
NVIDIA cuNumeric is een drop-in vervangingsbibliotheek voor NumPy, die de developer toestaat om gebruikt te maken van meerdere PCs, clusters of supercomputers voor. Het schaalt dus de snelheid van de berekeningen op, en werkt zonder dat er code aanpassingen nodig zijn.
VFX, Virtual Production, Media, etc.
Visual Effects Society at GTC
Binnen de VFX industry worden er regelmatig nieuwe technologieën en technieken ontwikkeld, eerst zijn deze opwindend en uniek, maar na een paar jaar doet iedereen het op grote schaal, met veel repetitief werk.
Rotoscoping is hier een goed voorbeeld van. Aangezien de verwachtingen vooral op technisch vlak steeds omhoog gaan, werd het na enige tijd de standaard in de industrie. Met zo'n grote hoeveelheid eerder werk, is het mogelijk om een AI te trainen om de taak "automatisch" te doen. Dit soort automatie bevrijdt de artist van monkeywork om aan de creatievere aspecten te werken.
Dit soort automatisatie van monkeywork is een van de voordehandligendste use cases voor AI in de VFX industrie, maar de talk is zeer veelomvattend, en bevat ook een hele reeks andere use cases voor AI. Zeker het bekijken waard, de onderwerpen die binnen deze talk aan bod kwamen zullen zeker als inspiratie dienen voor een van de use cases die nog open staan binnen de TETRA. Al deze onderwerpen komen binnen de talk aan bod; rotoscoping, compositing & image manipulation, nuke copycat, optiX denoiser, deep learning super sampling (DLSS), fluid & destruction simulations, upscaling & super resolution, GANS, sentiment analysis, recommender systems, RTX & game rendering, Omniverse and localization.
AI-driven Tracking for Virtual Production, Interactive Art, Live Entertainment
Deze talk verkent de mogelijke use cases voor AI in de context van (live) media. Er word vooral gefocust op Notch, een real-time grafische tool voor 3D en VFX die onder andere gezichts- en lichaamsherkenning doet, en gebruikers toestaat om daar verder creative dingen mee te doen, die dan real-time, live, en interactief gebruikt kunnen worden.
Live Replays with Frame Interpolation and Cloud Processing
Deze talk focust zeer gericht op XtraMotion van EVS, een service voor live sport broadcasting die dankzij cloud-computing bijna direct een slow-motion replay kan genereren met behulp van inter-frame interpolatie. Coole technologie, dus toch even kort vermelden, maar aangezien het al op de markt beschikbaar is heeft het niet veel zin om verder te researchen.
Metaverse, Omniverse, USD, etc.
U heeft ongetwijfeld recent de term metaverse leren kennen na de aankondiging van Facebook met hun re-branding naar Meta. Het concept, metaverse, is natuurlijk niet van Facebook alleen, de term bestaat al sinds 1992, waar de term gebruikt werd in de context van een soort hyper-realistische virtual reality wereld. De term wordt ondertussen nogal breed gebruikt voor een hele reeks losjes verbonden concepten en technologieën.
Imagineering the Metaverse
De metaverse omschrijven is een beetje hetzelfde als iemand vragen het internet in een paar woorden te omschrijven. Elke beschrijving die je verzint zal tekortschieten, en iedereen zal er een andere interpretatie van hebben. Om toch een goed idee te vormen wat er met de term Metaverse bedoelt wordt raad ik ten zeerste aan om de eerste zes en een halve minuten van de GTC Talk te bekijken. Ze leggen het uiterst goed uit. Voor meer over over Metaverse, Omniverse en USD (Universal Scene Description), bekijk zeker onze andere blogpost die daarop focust!