ケーススタディ · 空間コンピューティング
物理プロトタイプの代わりとしての等身大ARを評価する
物理プロトタイプは制作に時間がかかり、画面では物のスケールが縮み、動きも平板になってしまいます。このiPhoneとApple Vision Pro向けのネイティブアプリは、等身大のロボットコンセプトを参加者自身の自宅に配置します。続く在宅調査では、その評価にARで十分かどうかを検証しました。
概要
デザイナー兼開発者。UNISTでの修士論文の第3段階
LiDAR搭載のiPhone、およびApple Vision Pro
Swift、SwiftUI、ARKit、RealityKit、Reality Composer Pro、USDZ
TestFlight（iOSとvisionOSでAppleの審査を通過後）
17〜29歳の参加者が、自宅で自分のiPhoneを使用
XRの実務者を含む、7人のデザイナーとエンジニア
ほとんどの製品は、動作するプロトタイプが存在するずっと前に設計されます。画面上のレンダリングでは、ある物が廊下でどれほど大きく感じられるかは伝わりません。ソファから見たときにその動きがどう映るかも同様です。ARなら、デジタルツインを本来置かれる環境に配置できます。研究上の問いは、人々がそれをデザインの意思決定に役立つほど的確に判断できるかどうかです。
リーチと忠実度を両立する2つのプラットフォーム
このアプリは、幅広い参加者に届くことと高い忠実度の両方を目指しています。iPhoneは調査を参加者の自宅に届け、Vision Proは手に持つ画面に遮られることなく同じテストを見せてくれます。
手持ちのARビューポートとしてのiPhone
最近のiPhoneに搭載されたLiDARは床面をすばやく検出し、スケールも正確に推定します。さらにスマートフォンは、ヘッドセットよりはるかに多くの参加者に届きます。その代償として、ロボットは腕を伸ばして持つ小さな画面越しに見ることになり、臨場感が薄れ、腕も疲れやすくなります。
高忠実度の臨場感を生むApple Vision Pro
ステレオパススルーと高精細ディスプレイにより、わずかな姿勢の変化や車輪の回転まで見て取れます。また、視線と手による入力がコントローラーに取って代わります。visionOS版では、メニューウィンドウとイマーシブスペースを組み合わせています。
物理的な環境を主役にするインターフェース
インターフェースは、すぐになじめるようAppleのHuman Interface Guidelinesに沿っています。半透明のLiquid Glass風パネルが、部屋を常に見える状態に保ちます。部屋こそが評価の文脈だからです。
-
1
バージョン1：カメラへのアクセスとオーバーレイの規則
ナビゲーション、カメラの許可、そしてボタンやオーバーレイを現実世界の上にどう配置すべきかのテスト。
-
2
バージョン2：ロボットモデルとアクションライブラリ
完全な3Dモデル、アクションページ、設定。「ユーザーに接近、バリエーション1」のようなバリエーションを選ぶと、そのアニメーションがARで開きます。
-
3
バージョン3：参加者向けリリース
インタラクティブな3Dプレビューと、アクションを基本・機能・表現の3種類に分類するシート。ARビューをすっきりと保ちます。
スケール知覚のための接地の手がかり
人は接触と照明の手がかりから大きさを判断します。ロボットは、カメラの前に浮いているのではなく、床に立っているように見えなければなりません。
床へのアンカー
ARKitが床として分類された水平面を検出し、ロボットの座標系はカメラではなく地面に結び付けられます。
環境照明
環境光の推定と接地影が、仮想のロボットを現実の照明と足元の面に結び付けます。
ピンチで一時停止
ピンチするとどのアニメーションも一時停止できるので、研究者は動きの要所でロボットを止め、間近で観察できます。
パイプライン
エンジニアリングCADからARまで、ひとつのアセットパイプライン
各アニメーションはロボットのエンジニアリングCADから始まり、Blenderで最適化とアニメーション制作を行い、自作のアドオンTrue RoboAnimatorで検証したうえで、USDZとして書き出します。マテリアルはReality Composer Proで調整し、その後アセットをアプリにバンドルします。
Vision Proでは、モデルはリビングルームのシーンで高さ約50センチ、家具の横で膝ほどの高さに立ち、想定されるハードウェアと一致しました。
TestFlightで配布した在宅調査
参加者はTestFlightでアプリをインストールし、自分の部屋でロボットを観察しました。若い成人を意図的に募集したのは、モバイルのインターフェースに慣れた人ほど、メディアそのものについて鋭いフィードバックをくれるからです。
動きの好み
異なるモーションコンポーネントで組み立てた同一のアクションを、10段階で評価。
動きからの感情認識
番号だけで区別した7つの表現的アクション。参加者は、感じ取った感情を書き留めました。
ARアプリのユーザビリティ
使いやすさ、操作のわかりやすさ、安定性、そしてARがロボットの理解にどれほど役立ったか。
ARはスケールと経路を伝えたが、感情は伝えなかった
AR体験に対する参加者の評価
10点満点の平均評価。参加者が自宅で自分のiPhoneを使用。
スケール、向き、経路は明確に読み取れました。参加者は自宅の家具と比べて、ロボットの大きさ、向いている方向、進んでいる先を判断できました。
動きだけでは感情は伝わりませんでした。6人の参加者は「喜び」を興奮や活発さとして読み取りましたが、「恐れ」は効率的、あるいは身構えていると読まれることが多く、速いアクションは警戒心と受け取られました。多くの参加者が「興奮した犬」のように、ペットにたとえていました。
ARでは、若い参加者は予測しやすい動きを好みました。最も評価が高かったのは、静的な姿勢、まっすぐな経路、通常の速度を組み合わせたバージョンです（10点満点中8.0）。一方、以前の調査では、高齢者はより表現豊かでダイナミックな姿勢を好んでいました。
専門家による検証
専門家はARテストを支持、ただし限界も明示
7人のデザイナーとエンジニアがフレームワーク全体をレビューしました。「ARテストは有効な知見をもたらす」という項目は10点満点中8.6で、最も高く評価された項目でした。また、ARでは伝えられないもの、つまりモーターの騒音とロボットの重さも指摘されました。
デザイン、ロボティクス、XRの専門家7人による平均同意度。
XRデザインの実践への示唆
実際に使われる環境でテストする
リビングルームは、どんなレンダリングにも答えられないスケールや経路の問いに答えてくれます。そしてARなら、ハードウェアが存在する前にそのテストができます。
表現には、動きだけでは足りない
空間的な存在感は伝わりましたが、繊細な感情は伝わりませんでした。表現には、動きだけでなく、音、顔、タイミングが必要です。
研究の問いにデバイスを合わせる
幅広い参加者と定量データにはスマートフォン、細かな動きと臨場感にはヘッドセット。ひとつのネイティブビルドで両方に対応できます。
限界。本調査は小規模かつ探索的なもので、参加者は全員が若年層でした。調査はiPhoneで実施し、Vision Proは体験の開発と検証に使用したもので、調査自体には用いていません。今後は、以前の選好調査をARに移し、ARと画面ベースのテストを直接比較する予定です。
