08.29
【World MR News】フォトグラメトリで誰でも3次元空間が再現できる【Photogrammetry Meetup vol.1】③
DoMCNは、8月10日にPsychic VR Lab:Mixed Reality Salon「TIMEMACHINE」で「Photogrammetry Meetup vol.1 at TIMEMACHINE」を開催した。本稿ではその中から、Voxel Kei氏とyuma氏によるセッションと「Photogrammetry Awards 2019」授賞式の模様を紹介する。
■「フォトグラメトリとパーソナルなススメとその応用の模索」by Voxel kei氏
Voxel kei氏からは、「フォトグラメトリとパーソナルなススメとその応用の模索」というテーマでセッションが行われた。
これまでは、立体空間を作るために3Dモデリングのスキルが必要だった。しかし、フォトグラメトリの場合はそうしたスキルがなくても、素材さえ撮れば誰でも作ることができる。また、写真から作るため、良くも悪くも作り手のフィルターが掛かりにくいとVoxel kei氏はいう。
つまり、写真と同様に何をどう切り取っていくかというところが重要となるのだ。
▲Voxel kei氏。
立体的な景観データとしては、Google Earthなどが有名だ。そうしたものとは異なり、その時その場所にいった空間を取り込むことで、パーソナルな思い出とリンクしたものにすることができるのも、フォトグラメトリの素晴らしいところである。
Voxel kei氏は、旅先などで撮影したものを立体化して友人たちと共有したいときに、いかに手間無くできるかを模索している。そこで、360カメラを使用している。
フォトグラメトリは、なんといっても素材が重要だ。直射日光がない方が良く、明るい薄曇りのときに撮影するのがベストだ。しかし、光りも影もそのまま記録してあとで見るという意味では、そこでまで気にする必要はないかもしれない。それよりも大敵になるのは、ブレやピンボケ、白飛び、黒つぶれなど画質に影響する部分である。
360カメラで撮影する場合、ピントに関してはさほど気にする必要はない。それよりも、ブレが一番の問題となる。それを抑えるために、撮影するときはブレないようにゆっくり動き、自撮り棒の持ち方なども工夫をしたほうがよい。
また、白飛びや黒つぶれについては、カメラの「HDRモード」を使うことで軽減することができる。
Voxelkei氏がYouTubeの生配信で素材からフォトグラメトリをして、VRChatのワールドとして中に入るまでを実演した動画が公開されている。
上記の動画で紹介している内容は、360カメラで動画撮影をして、各方向の静止画を切り出してツールでフォトグラメトリを作成している。使用したカメラは、『Insta360 one X』でツールは『Reality Capture』、動画から静止画を書き出すときに『Premiere Pro』を使用している。このとき『Insta360 plugin』を使うことで、直接『Insta360 one X』の動画を扱えるようになる。また、『GoPro VR Reframe』を使用することで、どの方向を書き出すかを『Premiere Pro』で指定することができる。
撮影は、360カメラを自撮り棒または一脚に取り付けて、自分が映り込む面積が少なくなるように掲げて行っている。
次に360カメラで撮影した素材から、静止画を書き出していく。『Premiere Pro』で、前後左右の4方向を1秒または2秒に1枚の静止画として出力する。ちなみにこれが10分の動画の場合は、合計2400枚になる計算だ。
このときは生放送だったため、書き出した静止画の解像度は1024×1024pixelだったが、2K×2Kがベストだ。あとは、その素材をツールに読み込ませることで、ほぼ一発で完成する。
こうした作った素材に、おきゅたんbot氏の配信で遊びに来てもらった動画もYouTubeで公開されている。こちらでは、現地にこんなお店があるという感じで、まさにリアルな場所案内するかのごとく歩くことができたそうだ。
https://www.youtube.com/watch?v=J1zy_pH703k&feature=youtu.be
この場所をフォトグラメトリ化したいというときなど、対象物がはっきりしているときや、詳細にデータ化したいときは、高解像で撮影できるカメラが圧倒的におすすめだとVoxel kei氏はいう。
▲キヤノンの一眼レフカメラEOS7Dで、横5472pixelの画像を14枚使用して作ったもの。道の反対側から建物を撮影したが、これだけ近くによってもデティールがハッキリと見える。
フォトグラメトリデータの応用例としては、現実の空間同士をワープゲートで繋ぐという作例だ。Voxel kei氏の近所にある神社とキャンプ場を繋げており、不思議な体験ができるようになっている。
▲こちらのデモは、VRChatワールド「SpatialGate demo」で体験することができる。
フォトグラメトリで作ったメッシュとテクスチャはセットで使われることが多いが、あえて別々に活用するという使い方もできる。
▲先ほどの神社にテクスチャを貼らず、真っ白なマテリアルでライティングだけを加えている。
▲こちらはメッシュデータをシェーダーに読み込ませて、パーティクルを表示している作例だ。
また、Voxel kei氏は「Scenerium（シーナリウム）」と名付けて、景観をガラス玉に入れて愛でるという作品も作っている。こちらはいわゆる、ジオラマのようにコレクションしていくといった感じのものだ。
■「Exreme Photogrammetry」by yuma氏
yuma氏からは「Exreme Photogrammetry」と題して、スペインのマヨルカ島で行われた水中遺構発掘プロジェクトでの水中フォトグラメトリの事例が紹介された。
スペイン マルヨカ島は、古くから歴史のある島だ。先史時代の紀元前4000年頃に、人類が住んでいた痕跡が見つかっている。今回発掘を行ったのは、1800年代の古代ローマ船だ。こちらは、商船などものを運んでいた船である。
遺構の場所は、海水浴者もいるようなビーチから2～30メートルほどの場所だ。推進も4メートルほどで、浅い場所にある。この周辺では、皿などがかなり綺麗な状態で発掘されている。
発掘作業では、足場となるグリッドの構築を作って行われた。これはフォトグラメトリを作るためのものだ。実際の作業では、ドレッジと呼ばれる水の流れで砂を除去するホースのような機材を使って行われた。
水中撮影用機材は、GoPro Hero 6を6台（5台＋予備1台）という構成で、動画から静止画を切り出している。解像度は4:3の4Kで撮影。できるだけ綺麗に撮りたいということで、コーデックは高効率圧縮のHEVCを使用している。
ちなみにGoProの現行機種はHero 7だが、HEVC撮影に関しては旧機種と変わらなかったため、コスト面から旧機種を採用している。
水中フォトグラメトリのワークフローは、自分の体やフォレッジホースなどが映り込んでしまうため、それらを除去するためにマスキングをしている。500枚ほどの画像があったか、それら手動で修正している。
動画から静止画への切り出しには、『FFmpeg』を使用して、コマンドラインから数値を指定して行っている。『Adobe Media Encoder』も使おうとしたが、固定値しかプリセットで指定できなかったため断念したそうだ。最終的に、動画から0.5fpsで4000枚ほどの画像を切り出している。この枚数を通常のPCで処理するのは重かったため、クラウドサーバーをレンタルして行っている。
- Porto Cristo, Mallorca Shipwreck 2019 – Download Free 3D model by yuma.jp (@YYouzhen) – Sketchfab
■「Photogrammetry Awards 2019」の受賞者発表
7名の登壇者によるセッション終了後、「Photogrammetry Awards 2019」の授賞式が行われた。これは、「フォトグラメトリが創り出すアート」をテーマに作品を募集したミニコンテンストで、審査員は、龍 Lilea氏、Looking Glass Factory、谷口暁彦氏と豪華な面々が名を連ねている。今回は31作品の中から審査員による賞を決定。その受賞者が本イベントで発表された。
■STYLY賞：「見立ての迷路」by 磯野信氏＆「A day in Basilica Salute」by ノーベルチョコ氏
STYLY賞に選ばれたのは、磯野信氏の「見立ての迷路」という作品だ。こちらは街のフォトグラメトリだが、白線の部分だけモデルが作られており、白線部分だけ崖のように浮き上がって見えるようになっている。
もうひとつのSTYLY賞は、ノーベルチョコ氏の「A day in Basilica Salute」だ。こちらはその完成度の高さから選ばれている。
▲「やりたいことの3分の1もできなかった」と語る磯野信氏。STYLY賞として、クロマパーカーが贈られた。
■Looking Glass賞：「Deeper blue memory」by akaninn0722氏
Looking Glass賞に選ばれたのは、akaninn0722氏の「Deeper blue memory」だ。同氏には、Looking Glassのスタンダード版が贈呈された。
会場にakaninn0722氏は不在だったが、Looking Glass Factory社からは、「単に現実をスキャンしてそのまま乗せるのではなく、表現を加えることで本人の記憶と結びつけているところを評価した」というコメントが寄せられていた。
■審査員賞：「九十九-TSUKUMO-」by Keisuke Itou氏
審査員賞に選ばれたのは、Keisuke Itou氏の「九十九-TSUKUMO-」だ。審査員の谷口暁彦氏からは、「フォトグラメトリに命が宿るのを見た。フォトグラメトリアワード作品であることを知らずに体験した方は、これがフォトグラメトリである事は気付かないのではないだろうか」とコメントを寄せていた。
▲Keisuke Itou氏には、審査員賞として『Oculus Quest』が贈呈された。
■谷口賞：「ARCHIVETATEISHI」by Kenichiro Hirai氏
最後は、急遽用意された谷口賞が発表された。谷口暁彦氏は審査の基準が少し人と異なることから、今回の賞が追加されたそうだ。ここで選ばれたのは、Kenichiro Hirai氏の「ARCHIVETATEISHI」だ。
急遽決まった賞であるため谷口氏のコメントや賞品はこの時点で未定だったが、谷口氏との食事などを考えているとのこと。
▲Kenichiro Hirai氏。葛飾区の立石エリアが再開発で取り壊されており、その話を聞いて昨年から撮りためたものをフォトグラメトリ化したというこちらの作品。こちらを作るためにいろんな人の力を借りたため、みんなで分けられる賞がいいと感想を述べていた。
Photo＆Words 高島おしゃむ
コンピュータホビー雑誌「ログイン」の編集者を経て、1999年よりフリーに。
雑誌の執筆や、ドリームキャスト用のポータルサイト「イサオ マガジン トゥデイ」の
企画・運用等に携わる。
その後、ドワンゴでモバイルサイトの企画・運営等を経て、2014年より再びフリーで活動中。
