Fallstudie · Spatial Computing
AR in Lebensgröße als Ersatz für physische Prototypen bewerten
Physische Prototypen entstehen langsam, und Bildschirme lassen Objekte schrumpfen und ihre Bewegung flach wirken. Diese native App für iPhone und Apple Vision Pro stellt ein lebensgroßes Roboterkonzept in die eigenen Wohnungen der Teilnehmenden. Eine Studie zu Hause prüfte anschließend, ob AR ausreicht, um es zu bewerten.
Überblick
Design und Entwicklung; die dritte Phase meiner Masterarbeit an der UNIST
iPhone mit LiDAR und Apple Vision Pro
Swift, SwiftUI, ARKit, RealityKit, Reality Composer Pro und USDZ
TestFlight, nach bestandener Prüfung durch Apple für iOS und visionOS
Teilnehmende zwischen 17 und 29 Jahren, mit ihren eigenen iPhones in ihren eigenen Wohnungen
Sieben Fachleute aus Design und Engineering, einige davon aus der XR-Praxis
Die meisten Produkte werden lange vor dem ersten funktionsfähigen Prototyp gestaltet. Ein Rendering auf dem Bildschirm kann nicht vermitteln, wie groß ein Objekt in einem Flur wirkt oder wie seine Bewegung vom Sofa aus aussieht. AR kann einen digitalen Zwilling in seiner vorgesehenen Umgebung platzieren. Die Forschungsfrage lautet, ob Menschen ihn gut genug beurteilen können, um Designentscheidungen zu stützen.
Zwei Plattformen für Reichweite und Wiedergabetreue
Die App zielt auf Reichweite und Wiedergabetreue zugleich. Das iPhone bringt die Studie in die Wohnungen der Teilnehmenden; Vision Pro zeigt denselben Test, ohne dass ein Bildschirm in der Hand im Weg ist.
Das iPhone als AR-Fenster in der Hand
LiDAR in aktuellen iPhones erkennt den Boden schnell und schätzt den Maßstab zuverlässig, und Smartphones erreichen weit mehr Teilnehmende als Headsets. Der Kompromiss: Der Roboter wird durch einen kleinen Bildschirm auf Armlänge betrachtet, was die Präsenz mindert und den Arm ermüdet.
Apple Vision Pro für Präsenz in hoher Wiedergabetreue
Stereo-Passthrough und ein Display mit hoher Pixeldichte machen kleine Haltungsänderungen und die Drehung der Räder erkennbar, und Augen- und Handeingaben ersetzen Controller. Die visionOS-Version kombiniert ein Menüfenster mit einem immersiven Raum.
Eine Oberfläche, die der physischen Umgebung den Vortritt lässt
Die Oberfläche folgt Apples Human Interface Guidelines, damit sie sofort vertraut wirkt. Durchscheinende Panels im Stil von Liquid Glass halten den Raum sichtbar, denn der Raum ist der Kontext der Bewertung.
-
1
Version eins: Kamerazugriff und Overlay-Konventionen
Navigation, Kameraberechtigung und Tests dazu, wie Schaltflächen und Overlays über der realen Welt liegen sollten.
-
2
Version zwei: Robotermodell und Aktionsbibliothek
Das vollständige 3D-Modell, eine Aktionsseite und Einstellungen. Wer eine Variante auswählt, etwa „Annäherung an Nutzer, Variante 1“, öffnet diese Animation in AR.
-
3
Version drei: Release für Teilnehmende
Eine interaktive 3D-Vorschau und eine Übersicht, die Aktionen in Basis-, Funktions- und Ausdrucksaktionen gliedert, damit die AR-Ansicht aufgeräumt bleibt.
Bodenkontakt als Hinweis für die Größenwahrnehmung
Menschen schätzen Größe anhand von Kontakt- und Lichthinweisen. Der Roboter muss auf dem Boden zu stehen scheinen, statt vor der Kamera zu schweben.
Verankerung am Boden
ARKit erkennt horizontale Ebenen, die als Boden klassifiziert sind, und das Koordinatensystem des Roboters ist an den Boden gebunden statt an die Kamera.
Umgebungsbeleuchtung
Die Schätzung der Umgebungsbeleuchtung und ein Kontaktschatten verbinden den virtuellen Roboter mit dem echten Licht und der Oberfläche unter ihm.
Pinch-Geste zum Pausieren
Eine Pinch-Geste pausiert jede Animation, sodass Forschende den Roboter an einem entscheidenden Punkt seiner Bewegung anhalten und genau betrachten können.
Pipeline
Eine Asset-Pipeline vom Engineering-CAD bis zur AR
Jede Animation entsteht aus dem Engineering-CAD des Roboters, wird in Blender optimiert und animiert, mit meinem Add-on True RoboAnimator validiert und als USDZ exportiert. Materialien werden in Reality Composer Pro abgestimmt, bevor die Assets in die App eingebunden werden.
Auf Vision Pro stand das Modell in einer Wohnzimmerszene etwa einen halben Meter hoch, kniehoch neben den Möbeln, passend zur geplanten Hardware.
Eine Studie zu Hause, verteilt über TestFlight
Die Teilnehmenden installierten die App über TestFlight und beobachteten den Roboter in ihren eigenen Räumen. Jüngere Erwachsene wurden gezielt rekrutiert, da Menschen, die mit mobilen Oberflächen vertraut sind, präziseres Feedback zum Medium selbst geben.
Bewegungspräferenz
Identische Aktionen aus unterschiedlichen Bewegungskomponenten, bewertet auf 10-Punkte-Skalen.
Emotionserkennung aus Bewegung
Sieben expressive Aktionen, nur durch Nummern gekennzeichnet. Die Teilnehmenden notierten die Emotion, die sie wahrnahmen.
Usability der AR-App
Benutzerfreundlichkeit, Verständlichkeit der Steuerung, Stabilität und wie sehr AR den Teilnehmenden half, den Roboter zu deuten.
AR vermittelte Maßstab und Weg, aber keine Emotion
Bewertungen des AR-Erlebnisses durch die Teilnehmenden
Durchschnittliche Bewertung von maximal 10, auf den eigenen iPhones der Teilnehmenden zu Hause.
Maßstab, Ausrichtung und Weg waren gut ablesbar. Die Teilnehmenden konnten die Größe des Roboters, seine Blickrichtung und sein Ziel im Verhältnis zu ihren eigenen Möbeln einschätzen.
Bewegung allein vermittelte keine Emotion. Sechs Teilnehmende deuteten „glücklich“ als aufgeregt oder energiegeladen, „Angst“ dagegen wurde oft als effizient oder abwehrend gelesen und schnelle Aktionen als Wachsamkeit. Viele Teilnehmende griffen zu Vergleichen mit Haustieren, etwa „aufgeregter Hund“.
In AR bevorzugten jüngere Teilnehmende vorhersehbare Bewegung. Die bestbewertete Version kombinierte eine statische Haltung, einen geraden Weg und normale Geschwindigkeit (8,0 von 10). Ältere Erwachsene hatten in der früheren Studie eine ausdrucksstärkere, dynamische Haltung bevorzugt.
Prüfung durch Fachleute
Fachleute befürworten AR-Tests, mit klar benannten Grenzen
Sieben Fachleute aus Design und Engineering prüften das gesamte Framework. Die Aussage „AR-Tests liefern valide Erkenntnisse“ bewerteten sie mit 8,6 von 10; keine andere Aussage erhielt mehr Zustimmung. Sie benannten auch, was AR nicht vermitteln kann: Motorgeräusche und das Gewicht des Roboters.
Durchschnittliche Zustimmung von sieben Fachleuten aus Design, Robotik und XR.
Folgerungen für die XR-Designpraxis
Im Einsatzkontext testen
Ein Wohnzimmer beantwortet Fragen zu Maßstab und Wegen, die kein Rendering beantworten kann, und AR ermöglicht diesen Test, bevor die Hardware existiert.
Bewegung allein reicht für Ausdruck nicht aus
Räumliche Präsenz kam an, subtile Emotion nicht. Ausdruck braucht Klang, ein Gesicht und Timing, nicht nur Bewegung.
Das Gerät nach der Forschungsfrage wählen
Smartphones für Reichweite und quantitative Daten, Headsets für feine Bewegung und Präsenz. Ein einziger nativer Build kann beides abdecken.
Grenzen. Die Studie war klein und explorativ, und alle Teilnehmenden waren jung. Sie lief auf dem iPhone; Vision Pro diente der Entwicklung und Validierung des Erlebnisses, nicht der Studie. Künftige Arbeiten übertragen die früheren Präferenzstudien in AR und vergleichen AR direkt mit bildschirmbasierten Tests.
