2019
09.27

【World MR News】他人のGPUでフォトグラメトリをしたい!?　「夏のxR自由研究発表祭【すたみと#3 特別編】」レポート②

World MR News

Standalone VR Meetupは、9月5日に東京・六本木のDMMグループセミナールームでXRに関する成果物や研究した知見を共有するイベント「夏のxR自由研究発表祭【すたみと#3 特別編】」を開催した。本稿ではその中から、3組の発表をピックアップしてご紹介する。

■「Photogrammetry on Cloud」by 藏内亮氏

Psychic VR Labのサーバサイドエンジニアでもある藏内亮氏からは、「Photogrammetry on Cloud」というタイトルでフォトグラメトリに関するセッションが行われた。

▲藏内亮氏。

フォトグラメトリとは、様々な方向から撮影した写真から3Dモデルを生成する技術だ。フォトグラメトリを実際にやるにはお金が掛かりそうなイメージだが、そちらについては無料で使えるオープンソースのソフトがある。

また、作るのに時間が掛かりそうだが、GPUに対応して高速化されているソフトもかなり存在する。VRエンジニアやVRアーティストは、VRChatやBeatSaber、VirtualCastなど常にGPUパワーを消費している。GPUの増設にはどうしてもお金が掛かってしまう。そこで蔵内氏が考えたことが、「他人のGPUでフォトグラメトリがしたい」ということだった。

それを実現するのが、「Google Colab」と呼ばれるサービスだ。この「Google Colab」は、Googleが提供している機会学習用のGPU環境で、ブラウザから使用することができる。料金は無料だ。

スペックは、Ubuntuに2.2GHzのCPU×2、メモリーは13GB、ストレージは360GB、GPUはNvidia Tesla T4 16GBかTesla K80 12GBという構成になっている。

AliceVisionが開発した、『MeshRoom』というOSSのフォトグラメトリソフトがある。こちらはNvidiaのGPUが必須だが、Windows版とLinux版が無料で公開されている。これを「Google Colab」上にインストールして、画像データをダウンロードしてフォトグラメトリをして、GoogleDriveに3Dモデルをアップロードするようにした。

実際にフォトグラメトリを実行した例は、iPhone Xのカメラ画質である3024×4032の画像サイズの写真を41枚使用。処理時間は1時間20分で、総頂点数95万、総ポリゴン数は190万。「Google Colab」上での画像枚数と処理時間の関係は、3枚程度なら約2分、6枚なら6分、41枚で80分ぐらい掛かる。

「Google Colab/MeshRoom」には制限があり、90分間の猶予はあるもののセッションが切れると全部のデータが飛んでしまう。そのため、常にブラウザを開いておく必要がある。また、連続稼働は12時間までだ。そのため、1度のジョブで12時間以上掛かるフォトグラメトリはできない。さらに、GPUの上位互換であるTPUは『MeshRoom』が対応して折らず、途中で強制終了してしまう。

多少の制限はあるものの、完全無料のクラウドGPU環境でも、十分にフォトグラメトリはすることができるのだ。

■「〇〇でLチカしてみた」by noria901氏

ちょっとユニークな試みでセッションをしたのがnoria901氏だ。今回は〇〇でLチカしてみた」というテーマで、すべてMR内で説明が行われた。しかし、残念ながら映像だが左右反転した状態であったため、多少見にくくなってしまっている。

ちなみにタイトルにもある「Lチカ」とは、プログラミングでいうところの「Hello World」に当たるもので、電子工作でLEDをチカチカさせてみたということをさすミームである。

▲noria901氏。

ちなみにこちらのセッションは何かを紹介するというものではなく、空間上に配置されたオブジェクトをMRで見ながら、展開していくというスタイルになっていた。noria901氏が最近趣味にしているのが、フォトグラメトリで、マンホールをいろいろと撮影しているそうだ。また、先日のコミケで、コスプレイヤーにお願いして撮影したものもフォトグラメトリ化している。

▲画面ではわかりにくいが、コスプレイヤーを背後から見たものをフォトグラメトリ化し、空間に配置している。

ここでタイトルの回収となるのだが、司会のあまおか氏がクイズに答える場面に。アメリカ横断ウルトラクイズなどでおなじみの○と×が描かれたパネルを通り抜けて解答するのだが、無事正解（!?）となり、Windows3.1の起動音が流れLEDがチカチカさせることに成功した。

今回のネタは、「MRでLチカ」をやりたかったのだと、noria901氏。同氏はMRでリッチな表現をするというのは好みではなく、現実と相互に影響を与えたいというほうが強いのだという。そこで、クイズのスイッチというメタ的なものを利用して「Lチカ」を実現している。

こうしたものを沢山やりたいときには、試作できる環境が必要だ。今回はC#は使わずに、ロジックはさておいてインタラクションの表現を考えたいと思ったとnoria901氏はいう。そこで利用したプラットフォームが『STYLY』である。

『STYLY』は、Psychic VR Labが提供しているサービスで、XRの空間をウェブで作ってマルチプラットフォームで配信することができる。MRに対応したものもリリースされる予定で、今回はビデオシースルーでMR風になる環境をPsychic VR Labに借りて行われた。

今回はそれと電子工作を組み合わせて、ネットワーク越しに「Lチカ」を実現している。こうした試みを行った理由は、電子工作界隈をXRのほうに引き込みたいという思いがあったからだという。XRの中に引きこもりがちになっているコミュニティを、『STYLY』などのサービスを利用することで、様々なコミュニティ同士がわいわいできるようになるかと考えたそうだ。

■「フォトグラメトリ×VR/MRの魅力と可能性」by Discont氏

今回のイベントのトリを務めたのは、Psychic VR LabのDiscont氏だ。普段はXRの可能性を模索してプロタイピングを行っているほか、フォトグラメトリに関するワークショップやミートアップを開催している。

▲Discont氏。

Discont氏が最近作った作品は、同社のオフィスをフォトグラメトリしたものだ。龍 lilea氏にスキャンをしてもらいデータを作成されている。同社ではイベントを開催することが多いが、VR空間で配置を試したいときに利用できるようになっている。中央に模型のようなものがあり、そこで配置を動かすことで実際の空間でも同様に配置したときの光景が見られるようになっている。

今回のイベントは「夏のxR自由研究発表祭」ということで、夏休みの間に作った作品も紹介された。社員のメンバーが少しずつ増えていき、会社の規模が大きくなっていくといったストーリーのものだが、このようにフォトグラメトリとVRやMRを組み合わせた作品やコンテンツ、プロトタイピングを行っているそうだ。

続いて、フォトグラメトリの魅力についての紹介が行われた。龍 lilea氏が、銭荒井弁天を3600枚ほど撮影して作られた作品が『STYLY』で公開されている。こちらはVRヘッドセットを被り、その世界を歩くことができるようになっている。日本の風景をフォトグラメトリしたものでここまで広範囲のものは、ほかではあまり見かけることはないという。

https://gallery.styly.cc/lilea/c61e01bd-73b4-11e9-b34d-4783bb2170d0

フォトグラメトリ自体は、高価な機械を使う場合もあるが、実際は一眼レフカメラやスマートフォンで撮影することで3Dモデルを作ることができる技術だ。Discont氏が考えるフォトグラメトリの魅力は3つある。

ひとつ目は、誰もが3Dモデルを作ることができる時代をもたらすということだ。3Dモデルを作るには技術が必要で、専門家もいる。しかし、フォトグラメトリのような代替技術が出てきたことで、写真や動画を撮るように、誰もが3Dモデルを作ることができる時代がやってくる。

ふたつ目は、そうして作られたフォトグラメトリが、写真や動画と同じように時間や空間を切り取ってアーカイブしていく、記憶装置として機能するようになることだ。3つ目は、こうした新しい技術が人間の創造性を表現する新しいメディアとして機能するということである。

https://twitter.com/VR_landscape/status/1148943698803220480?ref_src=twsrc%5Etfw

▲Discont氏が撮影した街並みの風景をフォトグラメトリにしたもの。

https://twitter.com/VR_landscape/status/1165862612720148480?ref_src=twsrc%5Etfw

▲こちらはメキシコで撮影した30程の動画を元に作られた、フォトグラメトリ。最近はスマホのアプリだけでも、こうしたものが作れるようになってきた。

▲今年の4月に火災で屋根が崩落してしまったノートルダム大聖堂だが、実はフォトグラメトリが作られていた。再建の時の参考などに使えるかもしれない。

フォトグラメトリは、デザイナーやクリエイターの創造性を豊かにする技術としても可能性を秘めている。HATRAのデザイナーであるKeisuke Nagami氏がワークショップに訪れて、石のフォトグラメトリを作っている。石に服を着せるというものだったが、新しい表現を実現している。

慣れてしまえば誰でも簡単に作ることが出来るので、興味がある人はぜひ挑戦してみてほしい。

https://twitter.com/like_amaiokashi/status/1171393680298496000?ref_src=twsrc%5Etfw

▲こちらは今回のイベントの記念写真をフォトグラメトリ化したもの。

Photo＆Words 高島おしゃむ
コンピュータホビー雑誌「ログイン」の編集者を経て、1999年よりフリーに。
雑誌の執筆や、ドリームキャスト用のポータルサイト「イサオ マガジン トゥデイ」の
企画・運用等に携わる。
その後、ドワンゴでモバイルサイトの企画・運営等を経て、2014年より再びフリーで活動中。