【World MR News】ポケット・クエリーズによる設備保全系ゲンバでのMR生の声と新MRデバイスの活用――「XR Kaigi 2019」レポートその④

World MR News

2019年12月3日、4日の2日間、東京・秋葉原で国内最大級のVR/AR/MRのカンファレンス「XR Kaigi 2019」が開催された。本稿ではその中から、12月4日に行われたポケット・クエリーズ 代表取締役の佐々木宣彦氏によるセッションの模様をお届けする。

ポケット・クエリーズでは、2年前に東京電力と共に、MR技術を設備保全にどうやって活用していくかという共同研究を開始した。そこで開発したのがMRソリューションの『QuantuMR（クァンタムアール）』だ。東京電力が持つ発電所や変電所といった現場で、どのように使って運用していくのがいいのか研究を行っている。

『QuantuMR』では、『HoloLens』を介して見える映像だけではなく、VR空間のような3D空間の情報も合わせ持っている。

MRの特徴のひとつは、リアルな世界と位置を共有することができるところだ。『HoloLens』には空間の情報をスキャンする機能がある。こちらは見るためのものというよりも、場所の情報を3次元で把握するためのものだが、そちらをPCに取り込み三人称視点で見られるようにしている。

それを活用し、現場だけではなく遠隔地からも作業場所を直接指示するなど、サポートすることも可能だ。また、AIを活用して画像認識もでき、現場で『HoloLens』をかけることでメータなどを認識して自動で数値化することもできる。

通常は現場の状況を簡略化したボックスで表示させるだけで十分だが、もっと精細な映像でみたいという要件もある。そこで、点群データを取り3Dデータ化するという方法で実現することもある。

ここで、当日別会場で行われていたイベント現場にリモートでアクセスするというデモが行われた。ちょうど来場者が『HoloLens』を装着して体験しているというタイミングだったが、こうして作業員の動きや位置を遠隔地から確認しながら様々なサポートをすることができるのである。

こうしたMRソリューションは、電力会社やガス会社など生活面のインフラを担っているところが多い。また、ビルの保全や電車なども、同様に設備を扱っているという点では同じであるため、活用することができる。少し変わったところでいうと、船舶でも利用することができる。大きな船では、内部で発電も行っている。そうした設備の現場でも利用することが可能である。

例えば設備保全系では機器を顧客に導入する際、その設備の保全をどうするのかといった話しが出る。その設備保全のツールとして、MRソリューションをセットで提供するという展開もある。

『HoloLens』が日本に入ってきたのは2017年の1月だが、世間的な認知度もなかったこともあり案件は多くなかった。2018年に入ってからテレビ番組などでも取り上げられることがあり、世間にも徐々に認知度が広がってきた。ポケット・クエリーズでも同年あたりから、MRに取り組みたいという案件が増えてきたそうだ。

2019年になると、『HoloLens』自体の入手が困難になる。2月に新モデルの『HoloLens 2』が発表され旧モデルがディスコンになったという影響もある。また、『HoloLens 2』が発表されたことで、そちらが出てからという形で話しが止まってしまうという案件もあったそうだ。

2019年10月あたりからは、『HoloLens 2』発売開始に伴い急激な盛り上がってきた。とはいえ、現在入手しているのは一部のパートナー企業で、一般で入手可能となるのは2020年春あたりからとなる。同社では、それに先行して取り組んでいこうとしている。

続いて、地中の穴を掘る掘削機を取り扱っているサン・シールドの事例が紹介された。サン・シールドでは、機器を貸し出して戻ってきたときに、分解整備を行っている。そのときに整備記録を残し、確認を顧客と一緒にやる必要がある。しかし、手間が掛かるということもあり、なかなかやりきれていないというのが現状だ。

そこで『HoloLens』を活用して、整備時に手順に従って行い記録していき、それを『HoloLens』でも確認できるようにしている。こうして作られた整備記録を、顧客に送ることもできる。また、現場ではアルバイトなどの作業員に『HoloLens』を被ってもらい、遠隔から指示をしながら作業を進めるということもできるのだ。

また、こうした業界は若い人が入ってきにくいという面もある。そこで、最先端の技術を活用していることをアピールして、業界のイメージ自体を変えていくという目的も含まれている。

ボイラや水処理製品などを扱っている三浦工業の事例では、現場で計測器を取り付ける作業員に対して、遠隔地から後方支援を行うというデモを展示会で実演している。音声で現場の作業者と会話しながら、細かな作業の指示なども行うことができるのだ。

MR導入するメリットとしては、現場の実務で作業工数を削減することができる。ヒューマンエラーなどの防止もそうだが、最も役に立つ部分は遠隔地から現場へのサポートが行えるという点だ。これにより無駄な時間を節約することができ、コスト的な削減に繋げることができる。

訓練については、可視化されるだけでもかなりの効果がある。研修前の事前の準備作業も省略できるところもメリットのひとつだ。しかし、研修の頻度自体は多いというわけではないので、効果はある程度限られる。

MR導入するときに妨げになる要素としては、『HoloLens』を被ったときに指摘される視野角の狭さだ。半分ぐらいはここでふるいにかけるそうだ。また、『HoloLens』を被ると目の前をグラスで覆うため、現場で危ないのではないかという意見が出ることがある。実際に被ってみると納得するそうだが、役職が上の人ほどなかなか被らない傾向にあるという。

現場の意見では、ホログラムが多く表示されるとそちらに気をとられてしまい危ないというものがあった。また、1日中『HoloLens』を被って作業をするという印象を持たれがちだが、一連の作業のうち重要な部分だけ使った方がいいという意見も出たそうだ。こうした話しを進めていくうちに、MRではなくてVRでもいいのではないかということになることもあるため、XRでは無いものも含めて考えている。

設備保存の現場での今後のトレンドとしては、自動車会社などは3Dを有効に活用するというやり方を数十年前から実施している。設備保全でも、サイクルが回っているなかで、現場で3Dを活用しようという意見が出てきている。こちらは3Dだけではなく、センシングやMR、AIといった注目の最先端技術をセットで取り込もうという流れが来ている。

最新MRデバイス『HoloLens 2』では「アイトラッキング」と「ハンドトラッキング」に着目

新たに登場したMRデバイスの『HoloLens 2』については、新機能の「アイトラッキング」と「ハンドトラッキング」に着目して技能検証というキーワードで活用していくことを検討中だ。こちらに関して、『HoloLens 2』と『Magic Leap One』で検証を行っている。

「アイトラッキング」では、目線で地図をスクロールさせることができる。ちなみに「アイトラッキング」は人によって目の動きが異なるため、ひとりひとりキャリブレーションを行う必要がある。

また、『HoloLens 2』では虹彩認証が採用されているということもあり、被る人が変わると自動的に人が変わったと認識してキャリブレーションが行われるアプリが起動する。それ自体は便利ではあるものの、イベント会場などのデモで体験してもらうときに、いちいちそれが起ち上がると、やや運用に支障が出るという面もある。

「ハンドトラッキング」では指の細かな動きもデバイスで取得できるようになったため、Leap Motionなどと同じぐらいの精度で利用することができるようになった。そのため、ホログラムに触って操作するといった直感的なインターフェイスも作ることが可能になっている。

『Magic Leap One』でも、概ね「アイトラッキング」も「ハンドトラッキング」も利用することができる。ただ、「ハンドトラッキング」に関しては『HoloLens 2』と比較すると、やや認識精度が甘めだ。

デモでは丸い玉を表示させて視線の位置を表示させているのだが、これが前後方向にちらつく。これは左右の目で交差しているところが見ているところという認識から、そうなっている。そのため、奥行きも含めて認識しているということがわかった。『HoloLens 2』については検証が行われていないが、同様に奥行き情報も活用できそうだという。

アイトラッキング」と「ハンドトラッキング」、そして元々からある頭の位置や向きのデータに、脳の血流を元に活性化しているか測定できる脳活動量計センシングデータを組み合わせた仕組みを開発している。こちらを元に、技能継承への活用やヒューマンエラーの防止、覚えやすい効果的なコンテンツの開発、注意力を上げる作業の設定など、さらに効果を上げるための仕組みに今後は取り組んでいく予定だ。

Photo＆Words 高島おしゃむ
コンピュータホビー雑誌「ログイン」の編集者を経て、1999年よりフリーに。
雑誌の執筆や、ドリームキャスト用のポータルサイト「イサオ マガジン トゥデイ」の
企画・運用等に携わる。
その後、ドワンゴでモバイルサイトの企画・運営等を経て、2014年より再びフリーで活動中。