06.05
【World MR News】MRTK V2のHand MenuをHoloLens1で使う――「XRミーティング 2020/05/20【AR/CR/MR/SR/VR】」レポートその①
大阪駆動開発は、5月20日にZoomを使用したオンラインイベント「XRミーティング」を開催した。こちらは月1回ほどのペースで、XR（AR/CR/MR/SR/VRの近未来技術）に関する情報共有や自作アプリなどをお披露目する場となっている。本稿では、前半に登壇した山地直彰氏、Miyaura氏、でちでち氏によるセッションの模様をお届けする。
「Holoニュースとか（今月のXRに関する情報共有）」by 山地直彰氏
山地直彰氏からは、「Holoニュースとか（今月のXRに関する情報共有）」と題して、ここ最近話題になったHoloLens関連のニュースなどについて紹介が行われた。まずは「HoloLensが5歳を迎えた」というニュースだ。4月30日に、『HoloLens』の生みの親であるアレックス・キップマンがツイートでお祝いをしている。
その最新機種である、『HoloLens2』のOSがアップデートされた。また、マイクロソフトからは、開発者というよりはユーザー向けに『HoloLens2』の基本がわかる動画が公開されている。こちらは10分ほどの動画で、全部で5本公開されている。
- ほぼ10分でサクッとわかる HoloLens 2！（全5回）
HoloLens2発表時にヘルメットの話題にも触れられていたが、ようやくヘルメット一体型のデバイス『Trimble XR10』がニコン・トリンブルから国内販売が開始された。価格は64万8000円（税別）。また、インフォマティクスでも取り扱いが開始されている。
日本マイクロソフトが、院内感染防止に向けて医療機関やNGO/NPO、ヘルスケアサービス事業向けに行っている支援として、Remote Assistで使用するための『HoloLens（第一世代）』の無償貸し出しも行われていることがわかった。
先ほどのOSアップデートにも含まれている話題だが、『HoloLens2』が5Gに対応していることがメディアで紹介されていた。
HoloLensと同様に注目を集めているデバイスに『Magic Leap 1』があるが、2020年4月に開催予定だったイベント「Magic Leap Meetup」で伝えたかった内容として、LEAP JAPANから発表される予定だった情報をまとめたものが公開されている。
- 2020年4月開催予定だった Magic Leap Meetupでお伝えしたかった内容
そのMagic Leap社だが、レイオフを実施している。これには、新型コロナウイルスなどの影響も含まれているようだ。また、注目のARデバイス『Nreal Light』を展開しているNrealの日本法人が誕生した。そちらに連動する形で、開発者向けのキットが日本語ページで注文可能になった。
さらに『Nreal Light』には、マルチプレイモードが搭載された。こちらはまだ詳細は不明とのこと。
「MRTK V2のHand MenuをHoloLens1でつかう方法」by Miyaura氏
Miyaura氏からは、「MRTK V2のHand MenuをHoloLens1でつかう方法」というテーマでセッションが行われた。
『HoloLens2』の開発などに使われるMRTK V2のなかに、「Hand Menu」と呼ばれる便利なツールがある。これは手のひらを返すことで、メニューが表示できるという機能だ。必要に応じてメニューが出せるため、視野を有効活用するのにも役立っている。
「Hand Menu」自体は、『HoloLens』のジェスチャーで動いているということもあり、基本的には『HoloLens2』でしか使うことができない。本来は『HoloLens1』では利用できないのだが、小細工することでなんとかしてみたというのが今回のテーマだ。
そもそもMRTKとは、「Mixed Reality Toolkit」の略語で、MR関連の開発に使えるOSSのライブラリのことを指している。Unity向けだが、Unreal版も用意されている。XRデバイスの固有機能を含めて、様々な機能が提供されている。
これらの中に「UX building blocks」が含まれている。こちらは、組み込み済みのUX部品群で、その中に「Hand Menu」も含まれている。
「Hand Menu」は手のひらを返すと、手に追従する形でメニューを表示させることができる。メニュー自体は部品化されており、出現する場所も自由に設定が可能だ。
しかし、左手でメニューを出した状態で操作を右手で行うと、微妙に左手側が動いてしまい操作しにくいという問題が起こる。そこで、メニューを出したときに空間にロックするようにして、閉じる時は×ボタンを押すようにすることでこうした問題を解決することができるとMiyaura氏はいう。
これを制御するには、手のひらをかえしてメニューを表示するための制御になう「Hand Constraint Palm Up」を導入することでできる。手の横に追従する部分に関しては、「Solver Handler」と「Hand Bounds」という部品を組み合わせて使用する。
しかし『HoloLens1』では、手のひらのジェスチャーは柔軟にはできないため、別の方法を用意する必要がある。
『HoloLens1』では、手を認識することができるため、メニューボタンを兼ねたマーカーを表示するようにした。そこでエアタップすることで、メニューが表示されるようにしている。『HoloLens2』の場合は、手のひらをかえすと同じメニューがそのまま出るようにしている。
「Hand Constraint Source Detected」と名付けられたこちらの機能は、手が検出されたらマーカーを表示して、タップで指定メニューが表示出来るようにしている。また、メニューには、Gaze制御用のパーツを設定している。
MRTK V2の「Hand Menu」は『HoloLens2』が前提で作られたものだが、必要に応じてメニューが表示できるのは便利だ。ARやMRデバイスの場合は視野角が話題になりがちだが、常時メニューが出ているのは使いにくい。
『HoloLens1』と『HoloLens2』では、装置自体の機能差が大きい。そのため、作りたいコンテンツによってはUXの表現が変わってくる。ある程度機能を共通化したい場合は、「Hand Menu」共有も必要だが、今後は『HoloLens2』が主流になっていくと思われるため、こうした考慮することはさほど重要ではないかもしれない。
「現場に突っ込んで改良点洗い出すついでにxR売り込んで見たお話」by でちでち氏
でちでち氏からは、「現場に突っ込んで改良点洗い出すついでにxR売り込んで見たお話」というテーマでセッションが行われた。
週に1日、『桜花広場』を使ったソリューションの開発を行っているというでちでち氏。そうしたなかで、2B向けにサクッと作った手法が、あまりにも汎用性が高く模擬難易度が低くてインパクトが大きいことから、そちらについての話題が主題となっている。
XR界隈の人ではなく、一般の人に勧めるときは常識をある程度捨て去る必要がある。ウェブカメラの接続方法やハウリングを避けるためにイヤホンを使用するといった当たり前と思われることすらわからない人が多いからだ。
しかし、今回のコロナ禍により、強制的にリモートワークをしなければならない状況が生まれてきた。
でちでち氏は、Zoomで遠隔地にいるゲストをワイプ参加できるようにした。Zoomに限らず、ビデオチャットツールで顔面の動画さえ取ることができれば、ワイプ画面として自分の配信データに載せることができる。もちろん、アバターであっても生身であっても、問題はない。
こちらは、VR界隈発展のために有用と判断された場合は、どんどんパクってほしいという。
気になる仕組みだが、VRアプリ画面やビデオ会議画面、WEBカメラなどをOBSに取り込み、それぞれの配置を設定。作成した映像を、バーチャルカメラとして配信するという単純なものだ。そのため、映像配信系アプリなら、なんでも使用することができる。
こうして上記の仕組みについて名付けられたのが、「でちでちスタイル」である。たとえばワイプを増やしたいときは、複数のZoomを立ち上げればOKだ。
Photo＆Words 高島おしゃむ
コンピュータホビー雑誌「ログイン」の編集者を経て、1999年よりフリーに。
雑誌の執筆や、ドリームキャスト用のポータルサイト「イサオ マガジン トゥデイ」の
企画・運用等に携わる。
その後、ドワンゴでモバイルサイトの企画・運営等を経て、2014年より再びフリーで活動中。
