Workshop Computervisie in Unity

De workshop Computervisie in Unity bestaat uit vier delen:

• Data verzamelen of genereren
  • In het eerste gedeelte wordt het genereren van een dataset binnen Unity behandeld. Onder andere de mogelijkheden en use cases voor de Unity Perception package komen hier aan bod, alsook onze eigen workflow om visuele bugs te genereren en deze te capteren om zo tot een bruikbare dataset te komen.
• Model trainen
  • Wat is een convolutioneel neuraal netwerk eigenlijk? Hoe kan je zelf-gegenereerde of eigen data gebruiken om een model te trainen? Deze vragen beantwoorden we in dit deel van de workshop. We gaan hiervoor aan de slag in Python met Google Colab.
• Model in Unity integreren
  • Het derde segment behandelt het converteren van een getraind model tot het ONNX formaat en de C# implementatie hiervan binnen Unity aan de hand van ONNX Runtime.
• CI/CD met Unity
  • Het detecteren van visuele bugs wordt idealiter uitgevoerd in de achtergrond wanneer er nieuwe commits worden gepusht. Continuous Integration / Continuous Delivery (CI/CD) zorg voor deze automatisatie. Specifiek voor GitHub wordt er getoond hoe men automatisch Unity tests kan uitvoeren op een gehoste runner.