02.04
【World MR News】広域空間フォトグラメトリとVPSを使ったしたデジタルトランスフォーメーションの活用例――「Tokyo HoloLens ミートアップ vol.18」レポート①
HoloMagicians/TMCNは、11月16日に東京・豊洲のパーソルプロセス＆テクノロジー コラボレーションルームで「Tokyo HoloLens ミートアップ vol.18」を開催した。9月、10月と2回の台風で延期になった本イベントだが、3回目の正直と言うことで無事開催されることとなった。
ちなみに今回はGlobal MR Bootcamp2019スペシャルということで、全世界同時に行われているイベントの一環となっており、東京以外にも札幌、大阪、熊本の4拠点を中継する形で実施されている。また、それぞれの登壇者も全員会場にはおらず、オンライン経由での登壇という新しいスタイルとなっていた。
■「手持ちカメラによる広域空間フォトグラメトリ＋＋」by ノーベルチョコ氏
東京会場代表として、トップに登壇したのはノーベルチョコ氏だ。ヨーロッパからリモートでの登壇と言うこともあり、現地では朝の6時前という早さだった。今回同氏からは、「手持ちカメラによる広域空間フォトグラメトリ＋＋」というテーマでセッションが行われた。
現実空間をフォトグラメトリで3次元化して、ツイッターなどで公開しているノーベルチョコ氏。最近作成したものは『ヴェネツィアの一日』という作品で、2500枚ほどの写真からヴェネツィアのサルーテ教会をフォトグラメトリ化したものである。
この作品のポイントは、フォトグラメトリを使って時間帯など任意の雰囲気を、モデルの手作業をすることなく生成するフレームワークを作ったところだ。
ヴェネツィア・サルーテ教会周辺から見える一日の景色のモデル化したものをStylyにアップロードしました。昼間の青空から、夕焼け空、ライトアップされた宵口、真夜中の星空、明るい夜明けまで、一日の間で変わるサルーテ教会の雰囲気が味わえます。https://t.co/jmW7bTWhxt#STYLY pic.twitter.com/zPkG02vInR
— ノーベルチョコ (@nobelchoco) July 21, 2019
フォトグラメトリとは、多視点の写真から高品質な3Dモデルを生成する手法だ。ツールを利用すれば、誰でも簡単に試すことができるのが特徴でもある。最近では自然物の高精細な3Dスキャンしたアセット『Quixel Megascans』が話題となった。こちらはオブジェクトレベルのフォトグラメトリだ。
ノーベルチョコ氏が興味を持っているのが、主観視点からの空間全体フォトグラメトリである。旅行先などで気軽に3次元の空間や雰囲気を記録して、VRやARで追体験できるようにするということだ。
3次元計測はHoloLensユーザーにとっては、珍しい話しではない。画像やセンサーからの情報から周囲環境を計測する技術は、最近ではスマートフォンなどでも実現できるようになってきた。
フォトグラメトリはお手軽ではあるものの、いくつか問題もある。例えば、フォトグラメトリした後に、空との境界など形状のアーティファクトで余計な物が入ってくることがある。また、人混みの中で計測を行うと、人が残りまくってしまう。
▲地上から写真を撮るため、枯れ木の細かい形状が計測できずに荒くなってしまう。結果、木の回りがブロック状になってしまう。
▲フォトグラメトリはメッシュに穴が空いているところを無理矢理埋めようとするので、空の色などがおかしくなってしまうことがある。
こうしたものを手作業で直していくのは大変なので、ノーベルチョコ氏は自動で直す仕組みを考えた。それがセマンティックセグメンテーションを活用した、空領域判別と高精細自動マスキングである。
これは、建物、空、地面というように種類ごとに領域を分けることができるアルゴリズムだ。枯れ木の例では空だけを抜きたいので、空とそれ以外を抜いたマスクを作成する。これはピクセルレベルでがっつり抜けるというわけではなく、ある程度ノイジーにはなってしまう。
これだけでは境界の精度が不十分であるため、大雑把なマスクからImage mattingで前景なら白色、背景なら黒色、わからない場合は灰色というように精細なマスクを算出している。
このマスクをすべての入力画像に適応して、フォトグラメトリで対応するマスクを読み込ませると、バックプロジェクションされ空領域が判別され綺麗なフォトグラメトリを作ることができるのだ。
▲人混みで撮影したフォトグラメトリも、同様のやり方で綺麗に消し去ることができる。今後はこれらを簡単に扱えるソフトも開発中だ。
アニメ聖地巡礼も趣味だというノーベルチョコ氏だが、そのときにフォトグラメトリも行っているという。しかしアニメと現実のリアルさでは、イメージが異なることがある。そこで、フォトグラメトリでもアニメっぽい背景にすることができないか考えたという。そこで、「Animetized Photogrammetry」という手法を考案している。
これは、現実世界をフォトグラメトリしたものに参照アニメ画像を与えることで、その画像に近いものにフォトグラメトリを変換することができるというものだ。
これはSemantic Style Transferを利用したものだが、そのままやると人やいろんな物が混ざってしまう。それを避けるために、建物、地面、道などを推定し、手作業でセマンティックマスクも作っておく。それぞれに対応した画風に転写するようにStyle Transferを行っている。
これらの特徴は、参照画像によって春っぽくしたり冬っぽくしたりといったことが簡単に行えるところだ。そして、それを活かしたのが、最初の『ヴェネツィアの一日』でも活かされている。
■「街の体験をアップデート～ARとVisual Positioning Service技術を活用したデジタルトランスフォーメーションについて」by 服部亮太氏
続いて札幌会場から、クリプトン・フューチャー・メディア ローカルチーム マネージャーなどを務める服部亮太氏によるセッション、「街の体験をアップデート～ARとVisual Positioning Service技術を活用したデジタルトランスフォーメーションについて」が行われた。
10月16日から20日まで、札幌で行われていたイベント『NoMaps』。これは、新しいクリエイティブな発想などを、札幌を通じて発表するといったものだ。一般の人も試乗できる自動運転車を札幌で走らせたり、電動キックボードの体験会などを行ったりしていた。そこで実施されていたのが、実証実験だ。
服部氏は『NoMaps』の事務局を担当していたため、様々な相談を受けているうちに自分でもやりたくなってきたという。そこで、実証実験を行うことにしたそうだ。
KDDIとクリプトン・フューチャー・メディアが共同で行ったのが、ARとVisual Positioning Service（以下VPS）技術を活用して、スマートフォンを札幌の街にかざすと現れる「バーチャルな札幌」だ。両社は2017年より『ミク さんぽ』という取り組みからスタートしている。
その後、auが今年「渋谷エンタメテック推進プロジェクト」を渋谷区と共に行っており、札幌で行われる前に渋谷区でも同様に実証実験が行われている。
VPSは、衛星から写真データを取得しそれを元に街の3Dマップを構築していくという技術だ。そのため、建物を完全に認識することができるのが特徴である。札幌の街とは相性はいいが、雪には若干弱い。
この『NoMaps』で行われた実証実験は、札幌市や時計台の許可を得て行われている。これはXRの観光実験を見据えた上で行われたものだ。たとえば時計台にスマートフォンをかざすと、多言語情報が見られるようになっていたり、昔は別の場所にありそのときの映像が見られるようになっていたりした。
XRの得意なことを、観光体験のひとつとしてできるのではないかということを見据えた上での実証実験となっていた。そのため、建物の許可もしっかりと取った上で行われている。
これを道路などで行ってしまうと、様々な問題が出てくる。今後XRは日本の法律問題にぶつかってくるようになるが、それらを現場側でかわしていきながらできることを見せていき、実用に繋げていこうとしている。
今回の実証実験は、一般の人にまで体験してもらうことができなかったところが心残りだと服部氏はいう。しかし、来年こうしたものをスマートグラスで実施することは余裕でできるそうだ。技術はすでにあるため、それを現実への落とし込みについて行っているとのこと。
いいことばかりあったというわけではなく、課題もあった。スマートフォンを貸し出して見るという形になるため、観光利用するときはそれをどこかの窓口に置いておく必要がある。また、窓口の人がある程度知見を持っている必要も出てくる。
対応しているスマートフォンもまだまだ普及しておらず、体験出来る人が限られている。さらに、これらをビジネスにしていかないと続いていかない。現在はBtoBが対象になっているため、面白かったというだけでは続いていかない。そうしたところも課題となっている。
Photo＆Words 高島おしゃむ
コンピュータホビー雑誌「ログイン」の編集者を経て、1999年よりフリーに。
雑誌の執筆や、ドリームキャスト用のポータルサイト「イサオ マガジン トゥデイ」の
企画・運用等に携わる。
その後、ドワンゴでモバイルサイトの企画・運営等を経て、2014年より再びフリーで活動中。
