05.01
【World MR News】『PIFu』で1枚の写真から3Dアバターを作成――「HoloLens ミートアップ@ cluster vol.1」レポートその①
HoloLensアプリ開発の有識者が登壇し、VR/MRに向いたアプリの得意やHoloLensアプリ開発に関する様々な裏話などを披露するイベント「HoloLens ミートアップ@ cluster vol.1」が、4月22日に開催された。今回はなんと、初のバーチャルSNS『cluster』を使用したオンライン開催となっており、通常のオフラインイベントよりも多い400名以上が事前に登録して参加していた。
こちらではその中から、miyamo氏、Junya Ishioka氏、山地直彰氏のセッションの模様をお届けする。
「一枚の人物写真から3Dモデルを生成する『PIFu』で遊んでみた話」by miyamo氏
普段は札幌を拠点に活動を行っているmiyamo氏からは、「一枚の人物写真から3Dモデルを生成する『PIFu』で遊んでみた話」というテーマでセッションが行われた。
ARやVRでコミュニケーションをするときに欠かせないのがアバターだ。作る方法はいろいろとあるが、今回は『PIFu』を使用して作成した話題がメインとなっている。この『PIFu』とは、1枚の写真から人物の3Dモデルを作るといった研究だ。
1枚の写真が作ることができるため、miyamo氏も試してみることにした。『PIFu』に必要な情報は、人物写真1枚のほか、人物写真を切り取ったマスク画像だ。このふたつの画像から3Dモデルを作ることができる。
miyamo氏は、自宅で『PIFu』用の写真をスマートフォンで撮影。後でアバターとして使いやすいように、RIGを入れやすいように手と足を離して撮影している。撮影した画像を、「remove.bg」というサイトで背景のみ削除を行っている。
そこからマスク画像を作成し、その2枚の画像を『PIFu』に入れることで3Dモデルが出来上がる。ちなみに、このときは『Mirage Solo』を被って写真を撮ったため、顔を後頭部と認識してしまったようだ。そのため、3Dモデルでは前後逆になっているが、それでもかなり精巧に作れることがわかった。
この『PIFu』で作成した3Dモデルに対して、半自動でRIGを入れてくれる「Mixamo」というサイトを利用している。最終的には『Blender』を使ってポリゴン削減なども行っているが、こちらで作成したアバターを使ってmiyamo氏は今回のイベントも登壇していた。
実際に『PIFu』でリアルアバターを作ってみて、そのすごさを実感したmiyamo氏。リアルではなくアニメ調のアバターを作りたい人もいることから、イラストでも3Dモデルを作ることができるか試している。
作成方法はリアルアバターのとき同様に、元の絵とマスク画像の2枚を用意し、『PIFu』に流し込んでいる。
実際に完成した3Dデータはなかなかの完成度だった。しかし、手などがくっついており、RIGは入れにくいという。そのため、画像を編集して、RIG入れやすいように変更している。これにより、手と顔に関してはいまひとつの部分もあるものの、そこそこ上手く作ることができたそうだ。
「xRコミュニティの変容予測と提言」by Junya Ishioka氏
同じく北海道を拠点に活動をしているJunya Ishioka氏からは、「xRコミュニティの変容予測と提言」というテーマでセッションが行われた。今回は、地方でXRコミュニティを始めたい・続けたいと思っている人を対象にした内容となっている。
札幌XRの歴史は、2年ほど前にjojomon氏が沼に引き込まれTMCNの空気に引き込まれ、その1年後にはアレックス・キップマンと写真を撮るという実績を解除している。
自ら足を運び、様々なコミュニティを参考にして運営してきたが、ここのところの事態により原理がひっくり返ってしまった。従来までは、移動して現場に行きたくなるという状況を作りたかったものが、そちらが新型コロナウイルスなどの影響でだめになったのだ。
最近はオンラインで繋がり、そこから機会を得るというように変化してきている。
地方の問題点のひとつに、『HoloLens2』を所有している人がいないなど、実機の観測ができないという点がある。そうした中でも、地方であっても出来ていたこともあり、それぞれの属性を持った人たちが一堂に会し、体験会やトーク会を経てネットワーキングが生まれている。こうした中から転職するなど、人生も開かれていった。
しかし、今はビジネスの人がイベントに参加させないほうがいいと考え、すでにネットワーキングを持つ人たちが、高リスクのある場に来てもらえるかという疑問も出てきた。
こうしたこともあり、人的ネットワークが凍結してしまうことが考えられる。地方をまたぐことが出来ないため分断される。考え方についても、ビジネスやエンタメなどに分かれているため、分断されている。また、使用ツールについても分断されている。これでは、異文化の交流がまったく生まれないため、これから先は製品フィードバックなどが生まれないのではないかとJunya Ishioka氏は考えている。
さっぽろコミュニティでは、好奇心を伝え合い個人のチャンスを増やすことに注力していた。このやりくちは、ウイルスの感染経路と似ていた。そのため、今後は明確に分ける必要が出てきたのだ。
Junya Ishioka氏の案として、「やる気ないMRアンバサダー」が地方にいっぱいいるといいという。これは『HoloLens2』を体験させる専属アテンドのことで、Junya Ishioka氏は「必殺かぶせ人」と呼んでいる。2週間に1度ぐらいぼんやりと1～2人とだけ会える形になっており、会いすぎると平和が侵されるのでペナルティになる。会わない方が平和貢献になるため、逆ログインボーナスが付く。返上も自由といった、常識からかけ離れた人がいいという。
選定のポイントも常識外で、大企業に属さず人か個人がいいと考えている。その理由は、地域によっての感染状況に合わせて素早くON/OFFができる。また、個人でやっている人は、仕事がなくなりそもそもヒマであるためだ。
これで何が起きるかというと、マネージメントとITエンジニアがセットになっている人たちと会うと、『HoloLens』が買われていることがわかった。そこで縁ができ、紹介を経て情報網が拠点ごとにできるといったイメージだ。
こうしたネットワークがそれぞれでできるので、その状況を「かぶせ人ミートアップ」を作り、その情報を共有することで楽しいイメージが拡散できると考えている。
これによりエコシステムが出来あがり、それぞれの情報をまとめることでDX（デベロッパーエクスペリエンス)の情報を吸い上げることができるようになる。デバイスマーケティングでも、どんな組織に浸透して行きやすいかということも、エコシステムの状況を見渡していくことでデジタルトランスフォーメーションのDXの基礎データも取得することができるのではないかという。
「大阪駆動開発ってなんやねん」by 山地直彰氏
続いて、大阪駆動開発の山地直彰氏から「大阪駆動開発ってなんやねん」というテーマでセッションが行われた。大阪駆動開発は、XR技術やスマートスピーカー/VUI、VTuberなどのイベントを実施しているコミュニティだ。ここまでの2年半で、200回ほどイベントを実施している。
その中のひとつがハッカソンだ。ワイワイした雰囲気ながらも、ハッカソンらしくしっかりと開発も行われている。発表のステージでは熱演する参加者の姿もあったそうだ。
ワークショップでは、セミナー形式のものから実際にハンズオンで何かを作っていくというものまで、いろいろと実施している。展示系のイベントも実施しており、様々なイベントに出展しているほか、自らが主催して100人規模の人が訪れているそうだ。
こうした活動はメディアなどにも取り上げられることがあるが、ほかにもユニークな活動を行っている。それが『XR神社』だ。こちらは、ハッカソンなどのイベントのときにお賽銭箱を用意して、バグよけのお祈りができるというもの（!?）である。
これまで様々なイベントを実施していくなかで、多くの企業ともコラボレーションを行ってきた大阪駆動開発。実は兵庫、京都、愛知など大阪以外でも活動を行っているほか、関東支部と長野支部もあるそうなので、興味がある人は調べてみるといいだろう。
Photo＆Words 高島おしゃむ
コンピュータホビー雑誌「ログイン」の編集者を経て、1999年よりフリーに。
雑誌の執筆や、ドリームキャスト用のポータルサイト「イサオ マガジン トゥデイ」の
企画・運用等に携わる。
その後、ドワンゴでモバイルサイトの企画・運営等を経て、2014年より再びフリーで活動中。
