09.03
【World MR News】おうちでVRライブ体験ができるバーチャルライブプラットフォーム「INSPIX」のこれまでと今後【CEDEC2018レポート①】
8月22日から24日まで、パシフィコ横浜 会議センターで開催された日本最大のゲーム開発者向け技術交流会の「CEDEC2018」。本稿ではその中から、初日に行われたセッション「おうちでVRライブ体験～バーチャルライブプラットフォーム「INSPIX」のこれまでと今後」の模様をお届けする。講演者は、パルス株式会社エンジニアの加田健志氏。
加田健志氏。
同社では、バーチャルライブプラットフォームの『INSPIX』を提供している。これは、仮想空間上にライブハウスや演劇のステージを作り、その中でユーザーがリアルタイムで参加できるライブなどが行えるプラットフォームだ。会場自体は仮想空間上にあるため、自宅など好きな場所から参加できるというのが特徴である。
これは単純に動画を視聴するといったものではなく、リアルタイムにアクターとユーザーや、ユーザー同士のインタラクションが楽しめるものだ。
今年の8月には、岩本町芸能社所属のVRアイドル「えのぐ」のVRライブも実施している。このときは、ヘッドマウントディスプレイで楽しめるVRライブとYouTubeの配信、ライブビューイングの3会場で同時に行われている。
VRでの参加者はコントローラーのようなものを手に持ってライブを楽しむのだが、それがVR上ではサイリウムになり、それを振りながら応援できるようになっていた。
様々なタイプの「モーショントラッキングシステム」を検討
アクターの動きを取り込むために利用されたのが、「モーショントラッキングシステム」だ。ゲームや映画などでキャラクターの動きを付けるのに利用されることが多いので、1度は耳にしたことがあるという人も多いことだろう。最近はVTuberブームということもあり、再び注目を集めている。
これらには磁気式や光学カメラ式、VRデバイスを使ったものなどがある。いずれの場合も、基本的にはボームの位置や回転情報を出力して、キャラクターに当てはめていくために使われる。
本プロジェクトでは、初期の2017年夏頃は『Perception Neuron』を使用していた。これは磁気を利用して全身をキャプチャするシステムである。価格はデバイスだけで約20万円で、お手頃な部類に入る。
しかし、昨年のバージョンでは磁場によるキャプチャ崩れが発生してしまった。このキャプチャ崩れが発生すると、関節が意図していない方向に向いてしまうことがある。この磁場は、コンセントやPCなど様々なところから発生しており、それをなくすというのはかなり大変な作業となってしまう。
そこで次に試したのが『Vive Tracker』だ。これはVRデバイス『Vive』の周辺機器を利用したものだ。足や腰に装着してモーションをキャプチャするシステムである。価格はデバイスだけで約10万円でお手軽だが、ひとつのPCで使えるTracerの数に制限があるほか、重量があるためダンスなどで使用するのはあまり向いていなかった。
そして、最後に試したのが『光学式モーショントラッキングシステム』である。一般的に「モーションキャプチャ」と聞いて、真っ先にイメージするのがこちらのシステムである。
マーカーを取り付けたスーツをアクターが身につけ、そのマーカーの位置を専用のカメラで撮影しモーションをトラッキングしていくシステムだ。最大の特徴は、トラッキングスペース内であれば理論上何人でもトラッキングすることができるというところである。逆にデメリットとしては、安くても数百万円、高いと億単位になるなどかなり高価なところだ。同社で現在利用しているのは、この最後の光学式である。
アクターの練習とエンジニアリングで問題を解決
リアルタイムモーションキャプチャの難しさとしては、どのシステムを使っても常に正しい動きが出力されるわけではないというところである。通常、人間では曲がらないような方向に関節が向いてしまうことがあるのだ。
ゲームや映画などで使用するものは、キャプチャした後にアニメーターがデータの編集を行っている。しかし、リアルタイムモーションキャプチャでは、データ自体の編集は行えない。
そのため、キャラクターにモーションを適用するときに制限を加えている。具体的には、ボーンの角度制限やIKなどを使用し、キャラクターが自然に見えるような工夫が行われている。
そもそも、アクターとキャラクター自体にも対格差が出てしまう。たとえばマイクなどを持たせたときに、顔に刺さってしまうということがあるのだ。これらもIKを使って問題を解決している。
さらに、アクターのポーズとキャラクターのポーズに差異が出てしまうことがある。こちらは、キャプチャ後にキャラクターに適用されたポーズが格好良く見えるように、アクター側が練習して調整している。
リッチな体験をしてもらうために『Mirage Solo』を採用
システムの出口側に当たるのが、VRヘッドマウントディスプレイだ。しかし、アプリとして配布して、それを様々なデバイスや通信環境に対応するというのは難しい。そのため今回のVRライブでは、自社で環境を用意してユーザーに来てもらうというスタイルでイベントが行われた。そこで、ターゲットとなるVRデバイスの選定を行っている。
ライブということもあり、大人数の使用に耐えうるヘッドマウントディスプレイとして、ワイヤレスを選択。また、わざわざ会場にまで足を運んでもらうため『Cardboard』のような簡易的なものではなく、ある程度リッチな体験をしてもらう必要があった。
さらに、ライブならではということでサイリウムも振りたい。そこで、コントローラーがあるデバイスを選定している。
ちなみに、VRヘッドマウントディスプレイには「6DoF」と「3DoF」の2種類がある。「6DoF」は、頭の回転と前後左右の動きがVR内に反映される。そのため、自然に映像を見ることができるのが特徴である。
それに対して「3DoF」は、頭の回転の動きのみがVR内に反映される。音楽にのってくると、体が自然に動き出す。そのときに、頭の動きが前後左右に反映されないと気持ち悪くなってしまうのだ。そのため、今回のイベントでは「6DoF」のデバイスを採用している。
その結果、選んだデバイスが『Lenovo Mirage Solo with Daydream』だ。これは、スタンドアローンヘッドセットでありながら、6DoFを実現。ただし、コントローラーは3DoFとなっている。
中身はAndroidとSnapdragon 835で動くようになっており、2時間ほどバッテリーで稼働する。
また、ライブをするにあたり、どれぐらい長い時間連続稼働ができるのか調べる必要があった。『Mirage Solo』では、被っていない状態だとスリープする仕様となっている。その対策として、装着センサーを無効にするためシールで隠している。しかし、隠しただけでは振動がないとスリープしてしまう。そこで、ターンテーブルを購入し回し続けてエージングを行っている。
その結果、スペックどおり2時間半で電源が落ちるようになったため、1時間でのライブでは問題なく使用できるようになった。
リアルなライブ体験のためのサイリウムと音
リアルなアイドルのライブで欠かせないサイリウムだが、昔は折って化学発光させるものが使われていたが、最近は電子式で複数色切り替えられるものが使用されている。これをVR内でも再現するために、ボタンを押すことで色が変えられるようにしている。
これを使用することで、ユーザーとアクター間やユーザー同士のインタラクションの活用することができたという。
VR体験では、没入感を高めるためにもヘッドフォンがいいといわれている。しかし、ライブでは大きな音や振動、一体感が求められる。逆に、立体音響のようにどちらの方向から音がなっているのかといった指向性は求められていないのだ。
今回のイベントでは遅延などの問題でヘッドフォンを使用したが、今後はスピーカーの使用も検討しているという。
ライブ体験を損なわないために通信も工夫
VRライブでは、リアルタイム通信で送らなければいけないデータがいくつかある。アクターのモーションや表情、音楽と歌声、ライトやビジョンの演出、観客の動きなどだ。
また、アクターの動きと演出が揃っていないと、ライブ感が出ない。これを単純に送信してしまうと、音声データとモーションデータのどちらが先に届いてどれぐらい遅延しているかということは保証されない。
そこで、モーションデータにタイミング情報を付与している。これは、モーションデータに何秒目の音声の時のモーションだったかという情報だ。それを受信側でバッファしてタイミングを揃えてから再生するようにしている。
しかし、通信が不安定になると音やモーションが途切れるという不具合が発生する。これらが一瞬でも止まってしまうと、ライブ体験の質が大きく低下してしまうのだ。
そのため、通信を安定させるためにいろいろと試したところ、一番効果的だったのは通信料を減らすということだったという。通信料を減らすために、送信モーションデータを削減している。毎フレーム送るのではなく、ある程度間引いて送信し受信側で補完している。また、見た目に影響しないボーン情報も送信しないようにしている。
ボーンは回転情報であるためQuaternionだが、それをEulerで送信している。これにより、float4個からfloat3個に削減している。これにより、通信料は約90パーセント削減することができたという。
ただし、失敗談としてボーンの回転情報は365度だろうということで、byteの255段階にしても動くのではないかと試したところ、通信料の削減はできたものの動きがカクカクしてしまったという。
今後『INSPIX』が目指しているところは、より多くの人が体験できるようすることだ。まずはアプリとして一般配布を開始して、ユーザーが自宅で楽しめる環境を目指していく。また、クローズドなイベントも30～100人と規模を拡大していきたいと考えているという。
サイリウムを振ってアクターと観客や観客同士のインタラクションはあったが、こちらも改善していく。また、『Mirage Solo』以外にも、簡易的なものからリッチなものまで、様々なVRデバイスに対応していく予定だ。
Photo＆Words 高島おしゃむ
コンピュータホビー雑誌「ログイン」の編集者を経て、1999年よりフリーに。
雑紙の執筆や、ドリームキャスト用のポータルサイト「イサオ マガジン トゥデイ」の
企画・運用等に携わる。
その後、ドワンゴでモバイルサイトの企画・運営等を経て、2014年より再びフリーで活動中。
