05.01
【World MR News】3Dオブジェクトを広域な現実空間に高精度で配置できる「World Locking Tool」――「HoloLens ミートアップ@ cluster vol.1」レポートその②
HoloLensアプリ開発の有識者が登壇し、VR/MRに向いたアプリの得意やHoloLensアプリ開発に関する様々な裏話などを披露するイベント「HoloLens ミートアップ@ cluster vol.1」が、4月22日に開催された。
こちらではその中から、宮浦恭弘氏、堀尾風仁氏、ながみね氏のセッションの模様をお届けする。
「World Locking Toolを調べている話」by 宮浦恭弘氏
大阪駆動開発で活動している宮浦恭弘氏からは、「World Locking Toolを調べている話」というテーマでセッションが行われた。この「World Locking Tool」とは、3Dオブジェクトを広域な現実空間に高精度で配置できる機能だ。こちらは最近公開されたOSSのライブラリーで、元々はFrozen World Engineのラッパーとして提供されたものである。
今回は、この「World Locking Tool」の詳細というよりも、分からないところも多いためデフォルメした表現での紹介として行われている。
上記の写真で黒いすのこの部分が現実空間だと仮定して、そこで空間マッピングを行うと黒い網目状のものができる。実際には、この黒いものが現実空間にしっかり重なっていないと空間マッピングとしては成立しない。それを維持するためにピンを刺している。これにより、現実空間とデジタル空間の位置を合わせているのだ。
丸くて青いのが『HoloLens』で管理している空間だ。この中では、空間の位置はしっかりと合わせることができる。それ以上の空間については、『HoloLens』だけでは苦手だ。
『HoloLens』で移動したときに、「World Locking Tool」では『HoloLens』で検出している情報を使って実際の空間マッピングの領域を広げていってくれる。領域を広げるときに、一定間隔でピンも刺してくれる。これにより、デジタルと現実空間のマッピングを合わせてくれるのだ。
これを順次繰り返していくことで、『HoloLens』が本来持っている検出可能なトラックボールの範囲以上の空間をすべてデジタルマッピングして管理できるようになるのである。
用語としては、虫ピンに当たるものを「Space Pin」と呼んでおり、それに対して方向に対する「Ray Pin」と呼ばれるピンをふたつ持っており、固定している。『HoloLens』の空間は「Spongy空間」と呼ばれている。センサーで捕らえている範囲内しか空間を認識出来ないため、流動的な空間であることをさしている。「World空間」と呼ばれるものが、その情報を使って全面に空間を貼ったマッピング空間になっている。
実際に『HoloLens』で使用してみると、最初は普通にマッピングされるのだが。同じ道を戻っていくときに緑色のSpace Pinが設置されていることがわかる。これは自動で付けられるもので、こちらで空間の固定をしてくれている。
色分けされているところはWorld空間で、『HoloLens』の空間マッピングの情報を元に計算された、空間に紐付いたメッシュだ。こちらは、Space Pinが刺さっている場所にこうした情報が入っている。
Spongyというマーカーは、『HoloLens』が管理しているテリトリーだ。こうしたものを定期的に設置していってマッピングすることで、『HoloLens』だけでは見えている範囲内ぐらいでしか安定しなかったものが、それ以上の空間の範囲内でも安定させることができるのだ。
「World Locking Tool」に関する情報はまだまだ少なく、ネットでもあまり見かけることができない。実際にはかなり高度なことが行われているようだが、そちらに関しては使えること自体が便利であるため、あまり知らなくてもいいのではないかと宮浦氏はいう。
「AR KOBEのご紹介/Scence Understandingについて」by 堀尾風仁氏
AR KOBEの堀尾風仁氏からは、「AR KOBEのご紹介/Scence Understandingについて」というテーマでセッションが行われた。堀尾氏が主催するAR KOBEは、Kobe HoloLensミートアップを開催するために立ち上げたコミュニティだ。半年に1度程度、延べ人数75名ほどがイベントに参加している。
開場の箱が狭いと言うこともあり、参加者同士が近くアットホームな雰囲気のコミュニティになっている。
オフライン開場は50名程度入れるような場所で行われており、これまで『HoloLens』の市場動向やMRTKの開発Tips、Azure Spatial Anchorsなど、幅広いコンテンツを扱ってきた。
AR KOBEは、まだ2回しか開催したことがない若いコミュニティだ。そのため、全国各地から登壇者や参加者を募集している。
続けて「Scence Understanding」の初回が行われた。こちらは、『HoloLens2』で取得した環境センサーデータ（Spatial Mapping）を抽象化・分類して、AI推論を使い防水メッシュを作成してくれる新機能だ。
Spatial Mappingは『HoloLens1』でも見られるものだが、このメッシュから床や壁、ホログラムを置けるプラットフォームを分類することができる。また、AI推論を使い平面な四角に補完してくれる。
「Scence Understanding」はMRTKの内部の処理ではなく、『HoloLens2』に搭載されている「Scence Understanding Runtime」上で処理が行われる。
シーンオブジェクトの分類は、Spatial Mappingのデータからオブジェクト切り出して、7種類の分類で認識することができる。従来までのSpatial Mappingとの違いは、大きく分けてふたつある。
ひとつは、Spatial Mappingデータに対してのアクセス構造とシンプルさだ。ふたつ目は、データの精度と遅延である。Spatial Mapping APIを使用したときは、データへのアクセスは限定的だ。しかし「Scene Understanding SDK」を使用したときは無制限になる。これにより、より広範囲なSpatial Mappingを使用したアプリ開発が可能になる。
この機能は、まだMRTKの中には含まれていない。調査したところ、MRTK 2.4.0のmilestoneからリムーブされていることがわかった。そのため、V2.5以降で確認できるのではないかと思われる。
「福岡SR部の紹介と最近のオンライン活動」by ながみね氏
福岡XR部・FMCNのながみね氏からは、「福岡SR部の紹介と最近のオンライン活動」というテーマでセッションが行われた。
元々は、HoloLens Meetup in 福岡が開催されたときに、FMCNとして運営協力を行っていた。このFMCNは、Kinectやモーションコントロールといった領域が好きな人の集まりである。しかし、ながみね氏の興味の対象がXRになってきたことに伴い、XRに焦点を当てたコミュニティとして「福岡XR部」が誕生している。
コミュニティのコンセプトは、XR技術・表現に興味のある人なら誰でもOKで、気になるものを試したり遊んでみたりといったことが気軽にできるようにするということだ。こちらは部室になっており、そこに集まってワイワイやるイメージである。
これまで、体育館で『Blender』の勉強会を行っているほか、初めての人をターゲットにしたものや全国で展開されているイベントを福岡でも実施している。
また、ここ最近はリアルで会うのが難しくなっている情勢であるため、オンラインの活動も開始している。その中のひとつが、「ソーシャルVRお試し会」だ。今回の開場にもなっているclusterもそうだが、ソーシャルVRはいろいろとあるもののひとりでは試すことができない。そこで、みんなで試して遊んでみようという企画だ。
そこで使用したHubsが良かったため、全国のリアル開場をZoomで繋いだXRミーティングでも使用してみることにした。最近は、Zoomに個別に繋がるという形式が多いが、これではリアル開場に集まってみんなでワイワイやるという雰囲気とは少しことなる。そこで、ソーシャルVRのHubsを組み合わせて、Zoomに繋ぐようにした。
これにより、ソーシャルVRの開場に福岡の人たちが入ってコミュニケーションを取りながらZoomのほうにも参加することができるようになった。こちらは、従来のオフラインのときに近く、オンラインでもみんなで集まって画面が見られるという形式になっているというわけである。
Hubsではいろいろなことができる。たとえば、マルチウィンドウのように、スライドとZoomの画面を別々に表示することも可能だ。Hubsのいいところは、ウェブベースで作られているため、ブラウザがあれば入ることができるところだ。マルチプラットフォームになっており、PCでもスマホでも利用することができる。画面やWebCamの共有もでき、画像や動画などいろいろとインポートすることもできる。
逆に今ひとつのところは、操作性が難解で慣れるまで時間がかかるところである。また、大人数にも向いていない。
ちなみに今回のイベントはHoloLensミートアップということもあり、『HoloLens2』でHubsが動くか試している。『HoloLens』向けに『FireFox Reality』というブラウザがリリースされていることがわかり所有者に確認してもらったところ、動かなかった。さらに『Edge』でも試してみたが同じく試してみたがダメだったそうだ。
Photo＆Words 高島おしゃむ
コンピュータホビー雑誌「ログイン」の編集者を経て、1999年よりフリーに。
雑誌の執筆や、ドリームキャスト用のポータルサイト「イサオ マガジン トゥデイ」の
企画・運用等に携わる。
その後、ドワンゴでモバイルサイトの企画・運営等を経て、2014年より再びフリーで活動中。
