Estudio de caso · Computación espacial
Evaluar la AR a tamaño real como sustituto de los prototipos físicos
Los prototipos físicos son lentos de producir, y las pantallas reducen la escala de los objetos y aplanan su movimiento. Esta aplicación nativa para iPhone y Apple Vision Pro coloca un concepto de robot a tamaño real en los propios hogares de los participantes; después, un estudio en casa comprobó si la AR bastaba para evaluarlo.
Resumen
Diseño y desarrollo; la tercera etapa de mi tesis de máster en UNIST
iPhone con LiDAR y Apple Vision Pro
Swift, SwiftUI, ARKit, RealityKit, Reality Composer Pro y USDZ
TestFlight, tras superar la revisión de Apple en iOS y visionOS
Participantes de 17 a 29 años, con sus propios iPhone en sus propios hogares
Siete diseñadores e ingenieros, incluidos profesionales de XR
La mayoría de los productos se diseñan mucho antes de que exista un prototipo funcional. Un render en pantalla no puede transmitir lo grande que se siente un objeto en un pasillo, ni cómo se percibe su movimiento desde un sofá. La AR puede colocar un gemelo digital en su entorno previsto. La pregunta de investigación es si las personas pueden juzgarlo lo bastante bien como para orientar decisiones de diseño.
Dos plataformas para alcance y fidelidad
La app busca tanto alcance como fidelidad. El iPhone lleva el estudio a los hogares de los participantes; Vision Pro muestra la misma prueba sin una pantalla de mano de por medio.
El iPhone como visor de AR de mano
El LiDAR de los iPhone recientes detecta el suelo con rapidez y estima bien la escala, y los teléfonos llegan a un grupo de participantes mucho más amplio que los visores. La contrapartida: el robot se ve a través de una pantalla pequeña sostenida con el brazo extendido, lo que reduce la sensación de presencia y cansa el brazo.
Apple Vision Pro para una presencia de alta fidelidad
El passthrough estereoscópico y una pantalla de alta densidad hacen legibles los pequeños cambios de postura y la rotación de las ruedas, y la entrada con los ojos y las manos sustituye a los mandos. La versión para visionOS combina una ventana de menú con un espacio inmersivo.
Una interfaz que cede el protagonismo al entorno físico
La interfaz sigue las Human Interface Guidelines de Apple para resultar familiar de inmediato. Los paneles translúcidos, al estilo Liquid Glass, mantienen visible la habitación, ya que la habitación es el contexto de evaluación.
-
1
Versión uno: acceso a la cámara y convenciones de superposición
Navegación, permiso de cámara y pruebas de cómo deben situarse los botones y las superposiciones sobre el mundo real.
-
2
Versión dos: modelo del robot y biblioteca de acciones
El modelo 3D completo, una página de acciones y ajustes. Al seleccionar una variante, como “Acercarse al usuario, variante 1”, se abre esa animación en AR.
-
3
Versión tres: lanzamiento para los participantes
Una vista previa 3D interactiva y una hoja que agrupa las acciones en básicas, funcionales y expresivas, para mantener despejada la vista AR.
Señales de anclaje para la escala percibida
Las personas juzgan el tamaño a partir de señales de contacto e iluminación. El robot debe parecer apoyado en el suelo, no flotando delante de la cámara.
Anclaje al suelo
ARKit detecta planos horizontales clasificados como suelo, y el sistema de coordenadas del robot se vincula al suelo y no a la cámara.
Iluminación del entorno
La estimación de la iluminación del entorno y una sombra de contacto unen el robot virtual a la iluminación real y a la superficie que tiene debajo.
Pellizcar para pausar
Un gesto de pellizco pausa cualquier animación, lo que permite a un investigador congelar el robot en un punto clave de su movimiento para examinarlo de cerca.
Flujo de trabajo
Un único flujo de recursos del CAD de ingeniería a la AR
Cada animación parte del CAD de ingeniería del robot, se optimiza y anima en Blender, se valida con mi add-on True RoboAnimator y se exporta como USDZ. Los materiales se ajustan en Reality Composer Pro antes de empaquetar los recursos en la app.
En Vision Pro, el modelo medía aproximadamente medio metro de alto en una escena de sala de estar, a la altura de la rodilla junto a los muebles, en línea con el hardware previsto.
Un estudio en casa distribuido mediante TestFlight
Los participantes instalaron la app mediante TestFlight y observaron el robot en sus propias habitaciones. Se reclutó deliberadamente a adultos jóvenes, ya que las personas con soltura en interfaces móviles dan comentarios más precisos sobre el propio medio.
Preferencia de movimiento
Acciones idénticas construidas con distintos componentes de movimiento, valoradas en escalas de 10 puntos.
Reconocimiento de emociones a partir del movimiento
Siete acciones expresivas, identificadas solo por número. Los participantes anotaron la emoción que percibían.
Usabilidad de la aplicación de AR
Facilidad de uso, claridad de los controles, estabilidad y grado en que la AR ayudó a los participantes a interpretar el robot.
La AR transmitió la escala y la trayectoria, pero no la emoción
Valoraciones de los participantes sobre la experiencia AR
Valoración media sobre 10, en los propios iPhone de los participantes, en casa.
La escala, la orientación y la trayectoria eran legibles. Los participantes podían juzgar el tamaño del robot, hacia dónde miraba y hacia dónde se dirigía, en relación con sus propios muebles.
El movimiento por sí solo no transmitió emociones. Seis participantes interpretaron “alegría” como entusiasmo o energía, pero “miedo” a menudo se interpretó como eficiencia o actitud de vigilancia, y las acciones rápidas como estado de alerta. Muchos participantes usaron metáforas de mascotas, como “perro emocionado”.
En AR, los participantes jóvenes prefirieron el movimiento predecible. La versión mejor valorada combinaba una postura estática, una trayectoria recta y velocidad normal (8.0 de 10). Los adultos mayores del estudio anterior habían preferido una postura más expresiva y dinámica.
Revisión experta
Los expertos respaldaron las pruebas en AR, con límites explícitos
Siete diseñadores e ingenieros revisaron el marco completo. Valoraron “Las pruebas en AR aportan conclusiones válidas” con 8.6 sobre 10, la afirmación mejor valorada. También señalaron lo que la AR no puede transmitir: el ruido de los motores y el peso del robot.
Grado medio de acuerdo de siete expertos en diseño, robótica y XR.
Implicaciones para la práctica del diseño XR
Probar en el contexto de uso
Una sala de estar responde preguntas sobre escala y trayectorias que ningún render puede responder, y la AR permite esa prueba antes de que exista el hardware.
El movimiento por sí solo no basta para la expresión
Se transmitió la presencia espacial; la emoción sutil, no. La expresión necesita sonido, un rostro y ritmo, no solo movimiento.
Adaptar el dispositivo a la pregunta de investigación
Teléfonos para el alcance y los datos cuantitativos, visores para el movimiento fino y la presencia. Una sola compilación nativa puede admitir ambos.
Limitaciones. El estudio fue pequeño y exploratorio, y todos los participantes eran jóvenes. Se realizó en iPhone; Vision Pro se usó para desarrollar y validar la experiencia, no para el estudio. El trabajo futuro llevará los estudios de preferencias anteriores a la AR y comparará la AR directamente con las pruebas en pantalla.
