Omniverse Audio2Face

Omniverse Audio2Face ist eine Referenzanwendung, die die Animation eines 3D-Charakters zur Anpassung an eine beliebige Audiospur vereinfacht. Es ist mit einem 3D-Charaktermodell vorgeladen, das mit einem Voice-over-Track animiert werden kann. Der Audio-Input wird in ein vortrainiertes Deep Neural Network eingespeist und die Ausgabe steuert die 3D-Eckpunkte des Charakter-Meshs, um die Gesichtsanimation in Echtzeit zu erstellen. Es verfügt auch über eine Charaktertransferfunktion, die es den Nutzern ermöglicht, jedes menschliche oder menschenähnliche 3D-Gesicht neu auszurichten und die Ausgabe mit mehreren Charakteren in der Szene zu skalieren und die Emotionen des Charakters mit einem KI-Netzwerk zu steuern. Es verfügt auch über Datenkonvertierungsfunktionen, die eine Blendshape-Konvertierung und Blendweight-Exportoptionen ermöglichen, und unterstützt den Export-Import mit Blendshapes für Blender und Epic Games Unreal Engine, um Bewegung für Charaktere zu erzeugen.