08.29
【World MR News】手持ちカメラで広域フォトグラメトリを作成【Photogrammetry Meetup vol.1】②
DoMCNは、8月10日にPsychic VR Lab:Mixed Reality Salon「TIMEMACHINE」で「Photogrammetry Meetup vol.1 at TIMEMACHINE」を開催した。本稿ではその中から、ノーベルチョコ氏とmasanaga氏によるセッションの模様を紹介する。
■「手持ちカメラのよる広域フォトグラメトリ」by ノーベルチョコ氏
ノーベルチョコ氏からは、「手持ちカメラのよる広域フォトグラメトリ」というテーマでセッションが行われた。事例として取り上げられたのは、同氏が作成したサルーテ教会モデルの作成だ。
こちらは、教会とその周辺を手持ちカメラで2500枚ほど撮影、それ以外の部分付いては水上バスから1800枚ほど撮影してReality Captureで処理を行っている。
広域フォトグラメトリを撮影するときのコツは、まず隣り合う写真同士の視野が60パーセント重なるようにしていく。可能ならば、広画角で歪みの少ないレンズを装着して撮影するのがベストだ。また、ボケやモーションブラーがないように撮影していくほうがいい。
回りの見回すように撮るのではなく、平行移動しながら撮影を行う。さらに、往復はせずひと筆書き上に移動して撮影するのがコツだ。フォトグラメトリの流れは、入力画像群に3次元点群を生成してカメラ位置姿勢を推定。そこから密な点群とメッシュを生成する。特にフォトグラメトリの成功と失敗に影響するのは、前半の部分だ。
フォトグラメトリでは、最初に特徴点を検出し特徴点のマッチングを行う。この特徴点は、画像が回転やスケール変化、輝度変化がある場合でもマッチングできるという特性がある。
マッチングできたら、まだ間違っているところもあるため、ランダムに対応点組をピックアップし、良さそうな組から2画像間の相対的な位置と姿勢を求めていく。次に三角測量をすることで、3次元の点群がわかるようになる。続いて再投影して画像のズレがなくなるように、繰り返し修正をしていく。
撮影時に広角レンズを選んだ方がいい理由は、少ない枚数で広範囲の特徴点を検出しマッチングできるからだ。また、画像間相違位置姿勢推定で近い点と遠い点が同時に見えた方が、位置姿勢推定の計算が安定するというのも理由のひとつである。
広角と標準では、同じ位置から撮影しても画像の見え方が異なる。標準ではカメラから遠いものしか写らず、広角の場合は手前のオブジェクトも撮影することができる。このように、近い点があることで、平行移動推定の精度を上げることができる。
これは、視点位置が限定されやすい手持ちカメラによる風景フォトグラメトリ作成では重要な要素となる。
撮影時に、回りを見渡すように撮るのではなく平行移動するようにしたほうがいい理由は、前者の場合、視点間の距離が小さくなって三角測量の不確かさが上がってしまうからだ。三角測量の不確かさの範囲が上がると、ノイズ化されてしまうのである。
このように、アルゴリズムを意識することで撮影することで、より正確なフォトグラメトリを作ることができるのだ。
撮影時に往復するのがダメな理由は、行きと帰りで視野を共有している視点間のシーングラフが繋がらないからである。これは、特徴点マッチングが見る向けの変化に弱いからだ。
▲撮影する方向が異なると見え方も異なる。
この問題を解決するには、別角度の画像を撮影することでシーングラスが繋がるようにすることができる。
これらのことから、視野を共有しつつ、適度に視差を付けながらひたすら撮影するというのが広域フォトグラメトリにおける写真撮影のコツとなる。そのときに、なるべくシーングラフが繋がるということを意識するということが重要となるのだ。
■「何をフォトグラメトるのか?」by masanaga氏
masanaga氏からは、「何をフォトグラメトるのか?」をテーマにセッションが行われた。
▲masanaga氏。
一般的にフォトグラメトリは、アセットやテクスチャーを作ったり、3Dプリントをしたりというのが一般的だ。しかし、masanaga氏が始めたきっかけは時間と空間をフォトグラメトリすることだったという。
最初にフォトグラメトリしたのは、東急池上線の池上駅だった。その時に、空間を再構築出来たことに感動したそうだ。このフォトグラメトリを作ったときは、すでに建て替え工事が始まっており、存在しない空間となっていた。このときの体験から、空間を作るという楽しみ方ができたという。
その後、2018年3月に閉店してしまったかんだ食堂などもフォトグラメトリで撮影。当時の形を残しておいただけではなく、更地になったあとも同じ場所でフォトグラメトリを撮影している。
▲建物があったときとなくなったときでセットになっている。
また、まもなく再開発で通行止めになる高輪橋架道橋でも撮影。高さが1.5メートルと狭いことで有名なトンネルだが、それを空間として残しておきたいという思いからフォトグラメトリ化している。
masanaga氏は他にも建物をフォトグラメトリ化しているが、いずれも共通点がある。それは歩道が入っていることだ。これは建物だけではなく、歩道とセットにすることでそこに立っていたという空間を表現することができるからだ。
最近撮影したという中華料理屋は、若干形がおかしく右に傾いている。CGではこうした歪んだ時間の表現は難しいく、モデリングで作ってもただ歪んでいるだけにしか見えない。しかし、フォトグラメトリならば時間の経過も残すことができるのである。
ちなみにこちらは『Reality Capture』で作られている。同ソフトは水平と垂直を出すのが優秀なのだが、この建物を読み込ませたところ90度にひっくり返ってしまったという。
さらに、横浜駅裏手の横浜西口五番街もフォトグラメトリ化している。こちらはmasanaga氏が個人的にお気に入りの空間で、それをまるごと取り込んでみたそうだ。
Photo＆Words 高島おしゃむ
コンピュータホビー雑誌「ログイン」の編集者を経て、1999年よりフリーに。
雑誌の執筆や、ドリームキャスト用のポータルサイト「イサオ マガジン トゥデイ」の
企画・運用等に携わる。
その後、ドワンゴでモバイルサイトの企画・運営等を経て、2014年より再びフリーで活動中。
