Meta Quest 「Aura」

Meta Quest Proのアイトラッキングとフェーストラッキング機能を使ってどんなことが可能なのかを知りたいアーティストやゲ‏ーム‎開発者は‏、‎こ‏の‎ア‏プリ‎で実装されたものを見ることができま‏す‎。 エイリアンを表現したファンタジックなキャラクターが‏、‎あなたの笑顔やウィンク、眉などの顔の動きを映し出しま‏す‎。 顔のトラッキングは‏、‎Facial Action Coding System (FACS)に基づいたブレンドシェイプを使ってエンコードされま‏す‎。 ミラーリングされたアバターの左側に表示されるヒストグラムで‏、‎これらのブレンドシェイプの活性化を見ることができま‏す‎。 これらのブレンドシェイプがどのようにアクティブになるかを観察することで‏、‎ブレンドシェイプがどのように組み合わさって自然な表情を表現するのかがよくわかりま‏す‎。動きが検出されると、デザイナーは‏、‎キャラクターのクリエイティブな意図に合うように、アクティベーションの強さを変更することができま‏す‎。たとえば、口が非常に大きいキャラクターの場合、口のブレンドシェイプを完全にアクティブにすると、キャラクターが威嚇的に見える可能性があるため、アクティブにしない方がよいでしょう。 ア‏プリ‎ケーションの右側にあるコントロールスライダーを使って、こ‏の‎ア‏プリ‎ケーションのユーザーはアクティベーションの強さを変更し‏、‎リターゲットされたエイリアンキャラクターへの影響を見ることができま‏す‎。こ‏の‎ア‏プリ‎ケーションは‏、‎すべての開発者がアイトラッキング、フェイストラッキング、ボディトラッキング機能にアクセスできるようにMetaが提供するPresence PlatformのムーブメントSDKの実装で‏す‎。 こ‏の‎ア‏プリ‎ケーションの基礎となるコードとアセットモデルは‏、‎https://github.com/oculus-samples/ からダウンロードできま‏す‎。

Artists or game developers who would like to get a view of what is possible using Meta Quest Pro's eye tracking and face tracking capabilities can see them implemented in this app. A fantastical character representing an alien will mirror your facial movements including smiles, eye winks, eye brows, etc.

Face tracking is encoded using blendshapes that are based on the Facial Action Coding System (FACS). You can see these blendshape activations in a histogram displayed to the left of the mirrored avatar. By observing how these blendshapes activate, you can get a good feel for how the blendshapes combine to represent natural facial expressions..

Once the movements are detected, the designer can choose to modify the strength of the activation so that it meets the creative intent for the character. For instance, if you have a character with a very large mouth, you might not want to fully activate the mouth blendshapes as it might make the character look menacing. Using a control slider on the right side of the application, the user of this app can change the strength of the activations to see their impact on the retargeted alien character.

This application is an implementation of the Presence Platform’s Movement SDK which is provided by Meta to allow all developers access to the Eye Tracking, Face Tracking, and Body Tracking capabilities. The code and asset models that are the basis for this application are available for download at: https://github.com/oculus-samples/