Eigenen 3D-Avatare für AR/VR-Anwendungen
Avatare, digitale Darstellungen von Benutzern in virtuellen Umgebungen, sind ein wesentlicher Bestandteil der immersiven Erfahrung von Augmented Reality (AR) und Virtual Reality (VR). Die Erstellung und Verwendung von Avataren in AR und VR ist ein wichtiges Thema, da sie die Interaktivität und Personalisierung in virtuellen Umgebungen ermöglichen.
Die Erstellung von Avataren kann auf verschiedene Arten erfolgen. Eine Möglichkeit besteht darin, einen 3D-Scanner zu verwenden, um ein genaues Modell des Benutzers zu erstellen. Eine andere Möglichkeit besteht darin, eine Reihe von Fotos des Benutzers aus verschiedenen Blickwinkeln zu verwenden, um ein digitales Modell zu erstellen. Es ist auch möglich, eine Software zu verwenden, die das Aussehen des Benutzers auf der Grundlage von Angaben wie Größe, Gewicht, Haarfarbe und Augenfarbe erstellt.
Die Verwendung von Avataren in AR und VR bietet viele Vorteile. Zum Beispiel können Benutzer in virtuellen Umgebungen mithilfe von Avataren interagieren und sich mit anderen Benutzern verbinden. Avatare können auch verwendet werden, um realistische Simulationen von Umgebungen und Szenarien zu erstellen, die sonst nicht zugänglich wären.
Ein weiterer Vorteil von Avataren ist die Personalisierung. Benutzer können ihre Avatare anpassen und ihr Aussehen und Verhalten anpassen. Dies ermöglicht es Benutzern, sich besser mit ihrer virtuellen Umgebung zu identifizieren und ihre Erfahrungen in AR und VR zu verbessern.
Insgesamt sind Avatare ein wichtiger Bestandteil der immersiven Erfahrung von AR und VR. Sie ermöglichen Interaktivität, Personalisierung und die Schaffung realistischer Simulationen. Die Erstellung und Verwendung von Avataren wird voraussichtlich in Zukunft weiter zunehmen, da die Technologie immer fortschrittlicher wird und AR und VR in immer mehr Bereichen eingesetzt werden.
Avatare erstellen
Für das Erstellen personalisierter Avatare gibt es teure Programme, aber auch (fast) kostenlose online-Dienste. Wir arbeiten am liebsten mit dem Portal ReadyPlayerMe.
In ReadyPlayerMe kann man individualisierte Avatare erstellen UND den Portalen zuweisen, die Avatare unterstützen. Und das sind eine ganze Menge.
Viele dieser Plattformen sind Spiele-und-Chat-Plattformen, aber es gibt durchaus auch für den Bildungsbereich interessante Portale (z.B. Meeting-Räume oder virtuelle Klassenzimmer)! Aber zuerst muss der Avatar erstellt werden…
Der Editor ist übersichtlich und nahezu selbst erklärend. Als Vorlage kann man auch ein Foto hochladen und dann den automatisch generierten Avatar weiter bearbeiten.
Ist man mit dem Avatar zufrieden, kann man ihn nicht nur online verlinken, sondern auch in den üblichen Formaten (glb oder fbx) herunter laden. Somit ist der personalisierte Avatar soweit fertig.
Avatar animieren
Gute Avatare zeichnen sich nicht nur durch ein personalisiertes Äußeres aus, sondern auch durch personalisierte Gesten. Dazu kann der Avatar animiert werden. Die einfachste Möglichkeit ist, auch hier ein online-Portal zu nutzen.
Wir arbeiten am Liebsten mit Mixamo!
Hier kann ein Avatar hochgeladen werden und mit Animationen aus einer Vielzahl von Bewegungsabläufen ausgestattet werden. Auch hier erfolgt zum Schluss der Download als fbx (für Unity).
Im 3D-Viewer, welcher in Windows integriert ist, kann man die heruntergeladenen Avatare testen und die verschiedenen Animationen abspielen. Der 3D-Viewer erlaubt auch das Konvertieren von fbx zu glb-Dateien.
Sollte man mit den vorgegebenen Bewegungsabläufen von Mixamo nicht zufrieden sein, kann man immer noch seine eigenen Bewegungsabläufe erstellen.
Auch dafür gibt es teure Programme, aber zum Glück auch wieder online-Portale. Wir nutzen DeepMotion, das im Blog-Beitrag zur künstlichen Intelligenz auch schon vorgestellt wurde, weil die Bewegungsabläufe per KI aus hochgeladenen Videos auf Avatare übertragen werden können.
Das Portal ist kostenlos, hat aber ein Credit-System, dass monatlich aufgefüllt wird 🙂
Hat man genug Credits kann man eigene Avatare hochladen. Sonst kann man nur mit einem Standard-Avatar experimentieren.
Schon nach dem ersten Test erlaubte das Portal das Hochladen von eigenen Avataren.
Hat man einen Avatar ausgewählt, so kann ein Video mit dem eigenen Bewegungsablauf hochladen werden und die KI beginnt mit der Analyse und überträgt die erkannten Bewegungen auf den Avatar. Das Ergebnis sieht in aller Regel sehr gut aus.
Wenn doch noch nachgebessert werden soll, kann man den 3D-Pose-Editor starten und selbst Hand anlegen.
Wenn alles zur Zufriedenheit passt kann der animierte Avatar wieder als fbx oder glb heruntergeladen werden.
Somit hat man alle Freiheiten, um den eigenen Avatar mit geeigneten Gesten zu versehen.
Anwendungen
Was tun mit dem eigenen Avatar?
Zum einen kann man den Avatar in VR-Welten einbinden. Bei Mozilla Hubs-Welten kann der Avatar als Objekt platziert werden und auch per Upload als eigener Avatar ausgewählt werden.
Beispiel: https://hubs.mozilla.com/ApszqC7/animierte-avatare
Mozilla Hubs unterstützt als Avatar nur Oberkörper-Avatare, keine Ganzkörper-Avatare. Aber viele andere VR-Plattformen wie z.B. Spatial.io nutzen die Ganzkörper-Avatare mit Gesten.
Aber nicht nur für VR-Plattformen sind diese Avatare interessant. Auch für die Nutzung in AR kann man sie verwenden. Denkbar sind AR-Anwendungen mit Führung/Anleitung durch Avatare.
Als Beispiel soll hier eine WebVR-Visitenkarte dienen. In den Blog-Beiträgen rund um die AR-Schulungen ist bereits auf WebAR eingegangen worden.
Diese Visitenkarte zeigt vier unterschiedlich animierte Avatare, die unseren MPZ-Schriftzug „umtanzen“. Für diese WebAR-Anwendung mussten die Avatare auf einen HTTPS-Server geladen werden und über eine WebAR-HTML-Seite aufgerufen werden. Da hier animierte glb-Dateien eingesetzt wurden muss die klassische Einbindung von Objekten etwas angepasst werden.
Der Quellcode der WebAR-HTML-Datei (s.o.) kann hier heruntergeladen werden.
Zum selbst ausprobieren stellen wir folgendes Dokument zur Verfügung:
Wenn der Avatar beim Praxiseinsatz nicht die gewünschte Animation startet liegt das daran, dass die neuen Animationen hinzugefügt und die bereits bestehenden Animationen beibehalten werden. Möchte man, dass eine spezielle Animation automatisch gestartet wird, so empfiehlt es sich alle anderen Animationen zu löschen. Das klappt zum Beispiel mit der BabylonJS-Sandbox. Einfach den Avatar per Drag&Drop laden, die gewünschte Animation einstellen und alle restlichen per „Entf-Taste“ löschen.
Danach kann der Avatar wieder als glb heruntergeladen werden und ist einsatzbereit!
Und nun wünsche wir viel Spaß und viel Erfolg bei der Nachnutzung! Bei Fragen und Hinweisen können Sie sich gern wieder an das Team des MPZ LKL wenden!