02.04
【World MR News】東大・廣瀬教授とフェイスブック・Danielle Belko氏が日米の最新VR研究を紹介！――「InterBEE 2019 / DCEXPO 2019」レポート③
11月13日から15日まで、千葉・幕張メッセで開催された音と映像と通信のプロフェッショナル展「InterBEE 2019」。同会場内で同時開催されていた「デジタルコンテンツEXPO 2019」（DCEXPO 2019）との連携企画として11月14日に行われたセッションが、「日米最新VR研究紹介」だ。
こちらには、東京大学大学院 情報理工学系研究科 知能機械情報学専攻 教授で東京大学バーチャルリアリティ教育研究センター 機構長を務める廣瀬通孝氏と、FacebookのDanielle Belko氏が登壇した。
■第2世代を迎えたVR/AR技術
長い間VRに携わってきた廣瀬教授だが、まずは同氏から現在に至るまでの流れが紹介された。ここ数年耳になじむようになってきた「VR」という言葉だが、実はその誕生から今年で30年を迎える。VRが生まれた日も決まっており、1989年6月7日だ。
▲廣瀬通孝氏。
ヘッドマウントディスプレイやデータグローブと呼ばれる、バーチャルな空間を自由に操作できるインターフェイスが発表されたのが、この日というわけである。「バーチャルリアリティ」という言葉を作ったのは、それらを発表したVPL Research社のジャロン・ラニアー氏である。
ジャロン氏曰く、この日は「コロンバスデイ」に相当すると語っていたと廣瀬教授はいう。この「コロンバスデイ」とは、コロンバスがアメリカという新大陸を発見した日だ。そこで、「我々はバーチャルな空間の中で、仮想新大陸を発見した」ということで、大々的な宣伝が行われた。
VPL Researchという会社自体は数年で閉鎖してしまったが、その後も「バーチャルリアリティ」という言葉は現代までも連綿として引き継がれていったのだ。現在のVR技術は、第2世代と呼ばれることが多い。ロボットやAIなどもそうだが、すべての技術にはいくつかの波があり、そうしたものを経て本物になっていくのである。
VRに関する特許の出願件数は、2016年あたりから上がってきている。VR技術は、コンピューターグラフィック技術の先にあるものだと廣瀬氏はいう。当初は映画などに使われることが多く、インタラクティブなものではなかった。
それが1995年あたりからゲームに使用されるなど、インタラクティブの技術として世の中に登場してきた。そのために必要となるのが、グラフィックエンジンだ。その進化は指数関数的に向上してきている。
VRではヘッドマウントディスプレイばかりに注目がいきがちだ。しかし、VRやARなどでは位置が重要となってくる。そのため、それを測るセンシングの技術も重要となる。ヘッドマウントディスプレイに映像を供給するも重要だ。第1世代のときはすべて自分たちでやる必要があったが、最近は準天頂衛星が打ち上げられたこともあり屋外で高精度な位置測定が行えるようになった。
また、360度カメラも数万円で入手が可能になっている。3Dの空間キャプチャについては、スマートフォンだけで利用することができる。
東京大学では、30年目にして「バーチャルリアリティ教育研究センター」（以下VRセンター）を開設している。こちらはVRの教育や研究を行うセンターだと思われがちだが、そのミッションは東京大学が持つ教育システムの中において、VRを使ってどんな新しい教育システムを作ることができるかということを研究している。
平成と同時に誕生したVRだが、平成のVRは製造業のVRだと廣瀬教授はいう。それに対して、令和のVRはサービス業のVRである。このふたつの違いは、製造業VRは対象が物（プロダクト）だ。しかしサービス業VRで重要となるのは人である。対人のVRが重要となるため、アバターなどの技術が必要になるというわけだ。
サービス業VRの具体的な事例としては、サービスVRトレーナーがある。たとえばカウンター業務を従業員に教えていくOJTがあるが、それをVR化したものだ。クレーマーの客に対して、どのようなやりとりをしていくかというシミュレーションをVRで行うことができる。しっかりとした対応ができれば大丈夫だが、対応を誤ると怒り出すようになっている。
VR訓練の導入例には、ほかにも航空会社のフライトシミュレーターがある。通常、パイロットひとりを養成するのに2.4年ほど掛かってしまう。しかしフライトシミュレーターを使うことで、その期間を半年ほど短縮することができるのだ。また、養成に必要なコストも1億ほど掛かってしまうので、フライトシミュレーターの金額もそれなりのものとなっている。
しかしVRならば、数十万円で実現することができる。そうなっていくことで、お金をかけて育てるパイロットのような職種だけではなく、CAや地上職員の教育する領域まで広げていくことができるのである。
■フェイスブックが考える「ソーシャル・テレポーテーション」とは？
続いてFacebookのDanielle Belko氏から、米国の最新VR研究の紹介が行われた。同氏がいま研究しているのが、「ソーシャル・テレポーテーション」と呼ばれるものだ。これは、世界中のどこにいても社会的なコミュニケーションができる能力をさしている。距離を超えて関係性を構築するためのものである。人間は生まれたときから、社会的な動物である。そのため、人との繋がりを模索しているのだ。
なにかチャンスがあるときに、自分の故郷を離れることがある。物理的に家族や友人と離れたときであっても、これまでの関係性を維持しようと努める。
▲Danielle Belko氏。
人はこれまで、距離を超えて関係性を維持するための方法を発明してきた。最初に登場したのは郵便だが、効果的ではあるものの遅いという欠点があった。次に登場したのは、電報だ。こちらは郵便よりは早い物の、文字数に制限があった。
続いて電話だ。これにより、始めて音声でコミュニケーションが行えるようになった。現在はテレビ会議のようなシステムもあり、世界中にどこにいても相手を見て声を聞きながらコミュニケーションが行える。
それでは、その次に来るのはなんだろうか？ ここに来る物こそが、VRの力が本当に発揮することができるとDanielle氏はいう。
社会的な存在としてやりとりをするときに、現在のVRではどのように見えるのだろうか。現在は、各社から様々なVRのプラットフォームが提供されており、社会的なやりとりが行える。
これらはパターン化されスタイル化されているということもあり、本当の人間のようには見えないものばかりだ。そのため、これらのツールを実際に採用するときの面接や恋人とデートするときなどには使われない。現実には、何キロも移動して会う必要があるのだ。
遠隔地にいるメンバーがオンラインで集まっても、深い共同作業をするのは難しい。それぞれの視線も異なり、誰が話しているかもわからないからだ。つまり、様々な社会的信号を掴み切れていないのである。
先ほどの「ソーシャル・テレポーテーション」の定義は、世界中のどこにいても誰とでもリアルな世界でやりとりをしているかのような経験ができるものだ。現実世界で起こっているそのものを体験することができるのである。
2017年のシーグラフで発表したのは、Mikeというバーチャルヒューマンだ。リアルタイムで動かすことができるのだが、彼を生み出すために多くの人が協力している。2018年にはSiren、2019年にはDougが登場している。
ひとつのバーチャルヒューマンの制作には多くの人と時間が掛けられている。そのため、世界中の人たちをバーチャルヒューマン化することはできない。しかし、同社ではこの3人だけとやりとりをしたいと考えているわけではない。誰とでもやりとしたいと考えているのだ。
「Codec Avatars」と呼ばれる物が最初に登場したのは、2017年のシーグラフだ。その中心となるのはコードだ。例では説明のために一方向のみとなっているが、左にいるのがDanielle氏で、右が上司のYaser氏である。
「Codec Avatars」には、エンコーダーとデコーダーがある。Danielle氏がTransmitter（発信者）となり、様々な信号を集めてコード化しネットワークで送信する。受け取り側でそれを受信し、デコードするといった感じだ。
デコード側にはふたつの要素が必要となる。ひとつはTransmitterからのコードだ。もうひとつは、レシーバー側のコードである。これは、どんな視点でTransmitterを見るかということである。
Transmitterがどういう風に見えるかについては、多くのデータを取得しておく必要がある。そのために、Mugsyと呼ばれる360度視点で撮影可能な装置でデータを取り込んでおく。そこから3Dのメッシュを作っていく。メッシュに投影するテクスチャーを作り、全体を投影していくのだ。
どんなメッシュを受け取るかは、上司側のデータが必要となる。メッシュとどのテクスチャーのセットを使うかは、見る側の視点によって決定されるのだ。
これらのアバターをリアルタイムに操作する方法には、ヘッドマウントにセンサーを付けて表情などを読み取ってきた。これらには「Social Interactions」ということで、両方のデータが必要となる。
プロトタイプの『ヘッドマウント・キャプチャー（HMC）システム』では、4つのカメラを搭載しており、ふたつの目と目の間、口を認識することができる。そこから取得したデータをスタイルトランスファーにかけて、イメージを再現している。
▲この動画でもわかるが、目がしっかりと表情を捉えている。
先ほどのスマートフォンの次に来る物だが、今は顔だけでだが今後は体全体を再現する必要があると同社では考えている。そのため、Danielle氏が所属するFacebook Reality Labでは、次のコミュニケーション手段はVR/ARだと考えているのだ。
■Inter BEE 2019概要
名称：Inter BEE 2019／（第55回）2019年国際放送機器展
会期：2019年11月13日（水）～11月15日（金）10:00～17:30
会場：幕張メッセ
主催：一般社団法人電子情報技術産業協会（JEITA）
■デジタルコンテンツEXPO 2019概要
名称：デジタルコンテンツEXPO 2019
会期：2019年11月13日（水）～11月15日（金）10:00～17:30
会場：幕張メッセ
主催：一般財団法人デジタルコンテンツ協会
Photo＆Words 高島おしゃむ
コンピュータホビー雑誌「ログイン」の編集者を経て、1999年よりフリーに。
雑誌の執筆や、ドリームキャスト用のポータルサイト「イサオ マガジン トゥデイ」の
企画・運用等に携わる。
その後、ドワンゴでモバイルサイトの企画・運営等を経て、2014年より再びフリーで活動中。
