U heeft ongetwijfeld recent de term metaverse leren kennen na de aankondiging van Facebook met hun re-branding naar Meta. Het concept, metaverse, is natuurlijk niet van Facebook alleen, de term bestaat al sinds 1992, waar de term gebruikt werd in de context van een soort hyper-realistische virtual reality wereld. De term wordt ondertussen nogal breed gebruikt voor een hele reeks losjes verbonden concepten en technologieën.
Overview: Metaverse, Omniverse, USD
Imagineering the Metaverse
De metaverse omschrijven is een beetje hetzelfde als iemand vragen het internet in een paar woorden te omschrijven. Elke beschrijving die je verzint zal tekortschieten, en iedereen zal er een andere interpretatie van hebben. Om toch een goed idee te vormen wat er met de term Metaverse bedoelt wordt raad ik ten zeerste aan om de eerste zes en een halve minuten van de GTC Talk te bekijken. Ze leggen het uiterst goed uit. (hieronder volgt een korte samenvatting)
Oorspronkelijk, bij fysieke computers en internet 1.0, ging het erom je computer aan te zetten, een ervaring op te doen, en dan je computer uit te zetten en terug te keren naar je gewone, fysieke leven.
Het mobiele internet, waar we nu zijn, gaat over je telefoon tevoorschijn halen, er op gaan, verbonden zijn, en het dan wegleggen, en teruggaan naar je fysieke leven, maar de tijdseenheden zijn veel korter, in plaats van dertig minuten hier, een uur daar, is het nu dertig seconden, tien minuten, terwijl je wacht op een bus, bijvoorbeeld.
De metaverse wordt een uitbreiding daarvan, nog verder, en die tijdsblokken worden zo dun, dat je fysieke leven en je digitale leven voor honderd procent over elkaar heen komen te liggen, en ze gaan samensmelten.
Bij internet 1.0 ging het om observeren, bij internet 2.0 gaat het om interactie en ergens aan deelnemen, dingen als user-generated content, en mensen die deelnemen aan de media zelf. De metaverse gaat over erin leven, je bewoont en leeft in je digitale wereld omdat je digitale wereld ook je fysieke wereld is. De metaverse is niet alleen een verbonden virtual reality-ruimte of augmented reality, maar een natuurlijke uitbreiding van waar het internet naartoe kan gaan.
Dat is dus het concept "Metaverse". Afhankelijk van uw blik erop klinkt dat misschien als een droomwereld, of een absolute dystopie. een Metaverse is nog relatief ver weg, maar sommige bedrijven zijn toch al aan de slag met bepaalde elementen en concepten die hiervoor nodig zullen zijn. Facebook focust vooral op hun Virtual Reality-insteek, met Oculus, terwijl Nvidia een volledig andere insteek heeft. Zij focussen op het connecteren van diverse software, en het mogelijk maken van samenwerking tussen verschijdene sectoren.
Omniverse
Binnen de talk verkennen ze waar Nvidia momenteel al mee bezig is binnen hun "Omniverse" software. Je kan dit zien als een soort eerste stap richting een metaverse. Omniverse staat gebruikers van diverse sectoren toe om veel gemakkelijker samen te werken, via een gedeeld platform, die hun sector-specifieke software connecteert. De vertegenwoordiger van Disney legt uit hoe zij hier gebruik van kunnen maken in hun pretparken, om de verschillende divisies, waaronder architectuur, ride vehicles, prop design, en VFX beter samen te doen werken.
Ook voor Game Development opent het een aantal nieuwe mogelijkheden. Je kan zo allerlei software linken met Omniverse, waaronder 3ds Max, Maya, Substance Painter, Unreal Engine, etc. Omniverse linkt de verschillende software op verschillende computers samen, zodat iedereen realtime de vooruitgang van hun collega's kan zien. Je ziet hier een voorbeeld van binnen deze talk vanaf 26:45 tot 27:30 - de level designer in Unreal ziet realtime de models veranderen waar een collega in 3ds Max aan bezig is, en de materials aanpassen waar een andere collega in Substance Painter aan bezig is. Dit kan zelfs met collega's die in andere kantoren werken, of zelfs in een ander land, de server voor de demo stond in Londo, terwijl de gebruikers in de US werkten.
Five things to know about USD
Omniverse werkt dankzij het gebruik van USD, of Universal Scene Description, een file formaat gepionierd door Pixar. Zij ontwikkelden USD om hun film producties te streamlinen, en als basis om andere software applicaties bovenop te bouwen. USD is sinds 2016 open source, en sindsdien integreerden bedrijven als Autodesk, SideFX en Epic Games het in hun software. Aangezien het snel een industriestandaard begint te worden, was het een logische basis voor Nvidia om Omniverse op te bouwen.
Omniverse, USD & Real-time Rendering for Film
Omniverse heeft ook een aantal toepassingen voor film productions. Traditioneel heeft men tijdens het animeren van 3D characters geen toegang tot de gerenderde scène. Pas eens de animatie min of meer klaar is, rendert men de scène uit, hetwelke soms uren kan duren. De turnaround is traag, en het process is niet zo zeer interactief. Je maakt aanpassingen, en ziet pas later de precieze resultaten.
Game rendering is in de voorbije jaren zeer realistisch geworden, mede dankzij technologiën zoals RTX. Omniverse maakt gebruik van RTX rendering, om real-time in omniverse de scène waar de animator aan bezig is met belichting te visualizeren. Het resultaat is niet even accuraat en in even hoge resolutie als het gewenste eindresultaat, maar dit is uiteindelijk niet zo belangrijk, zolang de animator maar directe visuele feedback ontvangt.
In de talk hieronder showcasen ze twee use cases hiervoor. Een eerste met een robot, die lampjes op zijn "kop" heeft, en in een spiegel kijkt (15:00-17:00) en een tweede, een beer met een gedetailleerde pels (23:00-31:30). De directe feedback van de spiegel zorgt ervoor dat de animator een goed beeld heeft van het resultaat in de weerspiegeling. De volledig gerenderde pels zorgt ervoor dat de animator een duidelijk beeld heeft van het effect dat deze heeft op de uitdrukkingen van het karakter. Verder kunnen verschillende mensen samen werken in een scene in omniverse, en de aanpassingen die zij maken worden gesynchroniseerd met alle andere gebruikers, hetwelke handig is voor peer & supervisor reviews.
Nvidia IndeX Scientific Visualization and Photo-real Depictions of Volume Data
Dit soort rendering technologie is ook nuttig voor wetenschappelijke visualizaties. IndeX is de software die Nvidia ontwikkelde voor het visualizeren van onder-andere volumetrische data.
Architecture Live Sync
Naast de voordehandliggende Games en VFX sectoren, is deze tech ook nuttig voor de architectuursector. Specifiek voor het creëren van visueel realistische 3D scènes gebaseerd op BIM data. In onderstaande video ziet u een werkende architectuur demo in Omniverse. Men kan realtime aanpassingen maken aan de BIM data, en de 3D visualizatie in Omniverse reflecfteren deze resultaten (men voegt bijvoorbeeld een raam toe om 0:45). Men kan verder de scene aanpassen in bijvoorbeeld 3ds Max, of in Omniverse zelf, en ook deze aanpassingen worden gesynchroniseerd naar alle andere instanties van Omniverse op andere computers.
Software that connects to Omniverse
Al deze software werkt kan al, of kan binnenkort, geconnecteerd worden met Omniverse (ook terug te vinden op de website van Omniverse hieronder):
Autodesk 3ds Max, Graphisoft Archicad, Esri ArcGIS CityEngine, Blender, Reallusion Character Creator, Maxon Cinema 4D, SideFX Houdini, Reallusion iClone, Marvelous Designer, Autodesk Maya, Autodesk Motion Builder, Notch, OnShape, Kitware Paraview, Adobe Photoshop, PlantFactory, Autodesk Revit, McNeel & Associates Rhino including Grasshopper, Trimble SketchUp, Twinbru, Substance 3D Designer, Epic Games Unreal Engine 4
Dit opent ongetwijfeld een hele nieuwe wereld van creatieve samenwerking!