テクノロジー最前線 エンジニアリング編(6)

成熟度の高いバーチャルリアリティ(VR)システム構築理論の紹介

  • 2023-06-01

情報通信技術は近年急速に発展しており、グラフィック、インタラクションなどさまざまな領域において進化、革新が進んでいます。昨今注目されているXR(Extended Reality)もその1つであり、多様な顧客ニーズへの対応や、新しいサービスへの持続的な貢献が可能になっています。そしてXR技術は幅広い産業に適用されており、可能性は大きく広がっています。

本稿では、バーチャルリアリティ(VR)の技術成熟度評価モデルについて解説し、成熟したVRシステムを構築するための方法論とテクニックについて紹介します。

VRシステムの構成

VRシステムを構成するためには、備えておくべき基本要素が存在します(図表2参照)。

図表2 VRシステム生成のための基本要素
  • レンダリング:ディスプレイや出力インタフェースに適した形式に、モデルを変換する処理。
  • シミュレーション:時間経過やユーザーの動作・行動に応じてバーチャル世界を変化させる処理。

次に、上記の図に記載した各要素を詳細に説明します。

出力システム

まず必要な要素として、システムからユーザーへ情報を流すための装置である「出力システム」が挙げられます。これはその意味において、VR技術および人間の持つ五感に応じた情報技術と関係しています。

下記は人間の五感に基づく出力システムのインタフェース体系(図表3参照)です。感覚フィードバックをユーザーに与える出力システムの一部を紹介しています。

図表3:出力システムのインタフェース体系

感覚モダリティ

提示手法

ディスプレイ・ドライバ

視覚

両目立体視

没入ディスプレイなど

HMD(Head Mount Display)

多面体、曲面ディスプレイ

聴覚

HRTF (Head-Related Transfer Function: 頭部伝達関数)

RTF

両耳型

空間型など

前庭感覚

ウォッシュアウト、ウォッシュバックなど

モーションベース

電気刺激など

味覚

味物質の滴下など

味を合成する仕組み

嗅覚

匂い物質の気化など

噴霧する仕組み

体性感覚

皮膚感覚提示装置、

力覚提示装置

振動子、空気圧、装着型など

神経系の刺激

提示情報を電気信号に変化

小さい電極など

このような出力システムによって感覚信号がユーザーに送信されることで、ユーザーはより没入感のある体験を得ることができます。

入力システム

人間とVRシステムが相互作用する際に、人間の動きをコンピュータに伝える「入力インタフェース」が必要です。下記のとおり、人間の特性の中で検出可能なものとして、「物理的状態」「生理的状態」「心理的状態」の3つがあります(図表4参照)。

検出するもの

検出方式

認識手法

物理的状態

位置姿勢

顔の表情、視線

モーションキャプチャー

感性計測

生理的状態

生理指標

生体電気信号(心拍とか)

情緒反応

状態推定

心理的状態

脳センサ

脳波(EEG:Electroencephalogram) 、

磁気共鳴機能画像法(fMRI:functional magentic resonance imaging)、

近赤外線分光法(NIR:Near-infrared Spectrocopy)など

BMI(Brain Machine Interface)など

「物理的状態」は、直観的に現実世界において目で見える対象を計測し、人間の身体形状や動き、あるいは顔の変化や目線も検出します。「生理的状態」は、センサにより生体電信号などを検出し、その指標を分析して体内の状態を推測します。「心理的状態」は、脳活動を直接の入力手段において、コンピュータに指示を伝えることで計測します。

上述の入力システムと出力システムにより、ユーザーとVRシステム間の基本的な循環を構成しています。

次は仮想空間の構築手法、すなわち「モデリング」「シミュレーション」「レンダリング」によってVRで用いる仮想空間をどのように構成するかを説明します。

モデリング

ユーザーに現実世界と同じような体験を提供するためには、必要な情報をモデリングする必要があります。「モデリング」とは、3D空間内にCGで立体物を計算して形成する処理であり、キャラクター、背景、質感などを的確に把握し、高い表現力が求められます。

3Dデータ形式

3Dモデルのデータ形式は主に「サーフェスモデル」「ソリッドモデル」「その他のモデル」の3つが挙げられます(図表5参照)。

3Dデータ形式

表現方法

用途

サーフェスモデル

・ポリゴン

・スプライン

・サブディビジョン

・ゲーム、映像

・工業設計、デザイン

ソリッドモデル

・CSG(Constructive Solid  Geometry)表現

・境界表現

・工業製品設計

・エンジニアリング

・体積・質量計算

その他

・ワイヤーフレーム

・パーティクル

・その他

・描画

VRシステムでよく使われているのはサーフェスモデルです、サーフェスは、オブジェクトの「表面(surface)」のみの形状を表現したモデルです。

一方で同じデバイスの場合、3Dデータの精細さ(ポリゴン数、テクスチャ解像度など)が高まると、処理スピードの低下などを招きます。テクスチャとは、モデリングにおいてモデルの質感を表現するために使われる画像のことです。

座標

ボックスの中心点(ゼロ)からの位置を表すのが、XYZの「座標」となります。
XYZで表す座標には、「グローバル座標」と「ローカル座標」の2種類があります(図表6参照)。

図表6 グローバル座標とローカル座標の説明
  • グローバル座標(ワールド座標/世界座標)
    3D空間ボックスのXYZ座標は、空間そのものが持つ唯一の座標です。ワールド座標や世界座標とも言われ、地球上の経度・緯度と同様に、空間内のある1点を指し示します。例えば図表6の左側の立体において、黒い点は3D空間の「X=10、Y=5、Z=-2」の位置を表します。
  • ローカル座標(モデル座標/オブジェクト座標/ボディ座標)
    グローバル座標を持つ3D空間ボックス内に作成されたオブジェクトは、それぞれ自分専用の座標を持っています。

テクスチャマッピング

3DCGのモデルに画像を貼り付けることをテクスチャマッピング(texture mapping)、3Dモデルの表面に貼り付けられる画像のことをテクスチャと言います。テクスチャを貼ることにより、モデリングやシェーダーのみでは表現の困難な、モデル表面の細かな色彩情報や質感などを設定することができます。

コンピュータゲームやVRシステムにおいては、リアルタイムで3DCGキャラクターを描画する必要があることから、極力少ないポリゴンで作成されたモデル(ローポリゴンモデル)に、ディテールや陰影などを描き込んだテクスチャを貼り付ける手法が行われています(図表7参照)。

図表7 テクスチャマッピングの手法

シミュレーション

シミュレーションとは、入力や時間経過に応じて世界を変化させる処理のことを言います。VRシステムにおけるシミュレーションには、主に「空間シミュレーション」「物体シミュレーション」「人物シミュレーション」の3つがあります。

空間シミュレーション

VRシステムの開発において、最も重要な項目の1つはインタラクションです。体験者の意識や行動と直接関係なく、理論科学、数値計算、景観シミュレーションなどにより、時間経過も含め、空間内の座標移動、方向回転、サイズ変化に関わるインタラクションを実現します。例えば、車の動き、車輪の回転、昼夜の交替、光の強さ、色の変化などです。

物体シミュレーション

物体シミュレーションは、「剛体シミュレーション」「変形シミュレーション」「流体シミュレーション」の3つに分類できます。一般的に、コンピュータの計算力には上限があり、変形を支えるモデリングも限定されています。そのため、現在のVRシステム中に、剛体としてモデリングすることが多いことから、そして剛体シミュレーションを検討することが重要です。

人物シミュレーション

実世界の人体は非常に複雑な構造を持っています。そのため、現在よく使われているのは人体の構造を簡略化し、16の関節と40の自由度を持たせたボーンモデルです。このモデルは、剛体リンク系(articulated rigid bodies)の典型であり、計算アルゴリズムやモーションキャプチャーなどにより人体の大まかな運動を表現することができます。

レンダリング

レンダリングとは、出力インタフェースに適した形式に変換する処理のことを言います。出力インタフェースに応じて、「視覚レンダリング」「聴覚レンダリング」「力触覚レンダリング」の3つの形式があります。

視覚レンダリング

視覚レンダリングには、投影、陰面消去、輝度計算という3つの処理があります。投影処理は物体の頂点の座標を視線の座標系に変換して、図のようにスクリーン上の2次元座標を求めます。陰面消去処理は視点から見えない面を消去します。輝度計算処理はシェーディング計算(物体表面の材質や向きによる変化する輝度を計算)、シャドウイング計算(物体が他の物体に落とす影を計算)の2つ計算に分けられます(図表8参照)。

図表8 視覚レンダリングに関するアルゴリズム

聴覚、力触覚レンダリング

人間は左右2つの耳で聞いた音をもとに、音源の3D位置がどこかを知覚することができます。この知覚を再現するため、現在、音場再現モデルと両耳伝達関数モデルの2つモデルが用いられています。

力触覚レンダリングとは、仮想空間において物体の形状、硬さ、重さ、粗さなどを表現するために、適切な感覚刺激を提供することを言います。

まとめ

本稿では、VRシステムを構築するための主要なポイントを概説しました。VRシステムは、現実世界と情報世界のさまざまな情報を組み合わせることで構築されます。そのためには、開発者が望む機能をどのように実現し、違和感のない仮想空間を構築するのか、そしてユーザーにどのような体験を提供できるかが非常に重要です。VRの本質、そしてシステムを構築するプロセスを理解することで、製品の品質やユーザーの満足度を向上させることができるでしょう。

参考資料

[1] 舘 暲・佐藤 誠・廣瀬 通孝(2011),『バーチャルリアリティ学』, 日本バーチャルリアリティ学会

[2] “バーチャルリアリティー(VR)に必要なデバイスと活用の具体例”[Online].https://www.seraku.co.jp/tectec-note/industry/about-vr-oculus/

[3] D. Zeltzer: "Autonomy", interaction and presence, Presence, 1, 1, pp.127-132(1992)

執筆者

H.Wang
VR(Virtual Reality)特化ソリューション開発会社を経て現職。VR開発・デザインにおける5年経験があり、3DCG・VR・ARなどの技術を活用し、研究支援、設計支援、安全教育、アミューズメントなど幅広い分野で実績が有る。

テクノロジー最前線―先端技術とエンジニアリングによる社会とビジネスの課題解決に向けて

データアナリティクス&AI編

(1):テック人材の採用と維持における企業の課題
(2):フィーチャーエンジニアリングとは?
(3):SNSを活用したコロナ禍における人々の心理的変化の洞察
(4):自然言語処理(NLP)の基礎
(5):今、データサイエンティストに求められるスキルは何か?データサイエンティスト求人動向分析
(6):コロナ禍における人流および不動産地価変化による実体経済への影響
(7):「匠」の減少―技能継承におけるAI活用の道しるべ
(8):開示された企業情報におけるESGリスクと財務インパクトの関係性の特定
(9):ビッグデータ分析で特に重要な「非構造化データ」における「コンピュータービジョン(画像解析)」とは
(10):自然言語処理・数理最適化による効率的なリスキリングの支援
(11):スポーツアナリティクスの黎明 サッカーにおけるデータ分析
(12):AIを活用した価格設定支援モデルの検討―外部環境変化に即座に対応可能な次世代型プライシング
(13):MLOps実現に向けて抑えるべきポイントー最前線
(14):合成データにより加速するデータ利活用

エマージングテクノロジー編

(1):ブロックチェーン技術の成熟度モデルとステーブルコインの最新動向について
(2):3次元空間情報の研究施設「Technology Laboratory」のデジタルツイン構築とデータの管理方法
(3):3次元空間情報の研究施設「Technology Laboratory」における共通ID「空間ID」と自律移動体の測位技術
(4):G7群馬高崎デジタル・技術大臣会合における空間IDによるドローン運航管理

エンジニアリング編

(1):COVID‐19パンデミック下のオンプレミス環境におけるMLOpsプラクティス
(2):機械学習を用いたデータ分析
(3):AWSで構築したIoTプラットフォームのPoC環境をGCPに移行する方法
(4):テクノロジーの社会実装を高速に検証するPwCの独自手法「Social Implementation Sprint Service」-テクノロジー最前線
(5):自動車業界におけるデジタルコックピットの擬人化とインパクト
(6):成熟度の高いバーチャルリアリティ(VR)システム構築理論の紹介
(7):イノベーションの実現を加速する「BXT Works」とは
(8):Power Platformの承認機能、AI Builderを活用して業務アプリを開発する方
(9):社会課題の解決をもたらす先端テクノロジーとディサビリティ インクルージョンの可能性



本ページに関するご質問は下記にて承ります