sep 30 2022
Uit

Spotlight: Text-to-texture

Door Remy Dheygere

De mogelijkheden van AI Art generators worden steeds verder uitgediept. Begin augustus verscheen een tweet waarbij DALL-E werd ingezet door een artist om texturen aan te passen. De use case was vrij eenvoudig, een gedeeltelijk gemaskeerde afbeelding terug aanvullen met de prompt ‘Japanese roof tiles’. Het resultaat werd in Blender geïmporteerd, et voilà, op minder dan een minuut tijd is de textuur netjes aangepast. Ondanks dat de use case vrij basaal slechts een stukje van een textuur aanpaste, was met dit idee het hek van de dam om een stap verder te gaan.

Op twitter werd het al snel duidelijk dat je voor tiled textures slechts enkele stappen moest toevoegen: het woordje ’top down’ in jouw prompts, en vervolgens de afbeelding met een offset opnieuw door de generator halen om de gemaskeerde seams terug aan te vullen met een logische overgang.

Maar waarom deze stappen manueel opnieuw en opnieuw herhalen? We leven tenslotte in een geautomatiseerde wereld. Het blijkt dat we onze adem niet lang moesten inhouden om te wachten op de volgende (mini) revolutie binnen dit veld: kort hierna verscheen er al een Blender plug-in die Stable Diffusion gebruikt om tilebare textures te generen. Let wel: hier heb je lichtjes technische kennis voor nodig en het downloaden van het model en de dependencies neemt toch wel enkele gigabytes (4GB+) in beslag.

https://github.com/carson-katri/dream-textures

 

Ok, terug naar eenvoudigere oplossingen, met barium.ai kunt u simpelweg de textures genereren vanuit uw browser. In feite is dit nog steeds Stable Diffusion, maar deze keer in een net web UI jasje. U kunt tot vier keywords opgeven waar er vervolgens een materiaal wordt gegenereerd welke mooi naadloos tileable zou moeten zijn.

Hieronder een voorbeeld vanop de website:

 

U kunt de texturen controleren in uw browser met behulp van displacement maps, alsook door de mogelijkheid om de belichting en de graad van tiling aan te passen.

U kunt hierna uiteraard nog een stap verder gaan. De textures kunt u downloaden en vervolgens met Gigapixel AI de gegenerereerde textuur opscalen indien gewenst. Vervolgens kunt u met Adobe Substance Sampler aan de slag om de 2D textuur om te zetten naar een PBR materiaal.

 

Een voorbeeld van deze workflow vindt u hieronder.

En dan tot slotte, ook Runway staat klaar om een gelijkaardige tool uit te brengen:

Post Views: 281
Geplaatst inSpotlight
Tagsai art generators text-to-image text-to-texture texture generation