09.11
【World MR News】XR時代のライブ表現を紹介するイベント「パーティクルライブミートアップ vol.2 at TIMEMACHINE」が開催
Tnohito & DoMCNは、9月1日に「パーティクルライブミートアップ vol.2 at TIMEMACHINE」をPsychic VR Lab:TIMEMACHINEで開催した。
ここ最近XR世界で数多くのライブが開催されるようになってきたが、今回のテーマである「パーティクルライブ」は、現実の世界とはひと味異なるXRならではの空間を活かした表現方法として注目を集めている。2回目の開催となる今回は、7組の登壇者が登場。そのうち3組はVRChatからの参加で、実演を交えたものとなっていた。
本稿ではこの中から、4組の発表をピックアップしてご紹介していく。
▲VRChat上で行われたデモの模様。
■「VRLive Work Flow with Unity」by Mikipom氏
▲Mikipom氏。
VRライブの仕事は、会場や演出の制作者や制作進行とSlackを使いコミュニケーションを取りながら進められていく。制作で困ることがあれば、社内のエンジニアに適宜相談を行っている。制作は『clusterSDK』を使用している。これは、ビルドの時間を抑えることができるためだからだという。すべてのデザイナーがgitを利用。Unity以外の制作ツールは、人それぞれだ。
VRライブにおける演出実装では、『clusterSDK』ではshaderを使うことができる。それに対して、C#は本番の環境で確認するためにクライアントのリリースを挟む必要があり、ややコストが高くなってしまう。そのため業務でshaderを書いていくことになるのだが、様々な要望に応えられるようにあらかじめ幅を取っておいたほうがいいそうだ。
ライブ演出の中で、オブジェクトの色を曲中に変更したいという場面がある。そのときに、パラメーターを「animationclip」が作られていくことになり、管理が大変になってしまう。そこでMikipom氏は、曲の演出に「Timeline」が使われていることに着目し、「customtrack」を作ってshaderにパラメーターを渡すようにした。
この「customtrack」は、「Timeline」の拡張機能だ。これを活用することで、「animationclip」を多用することなくLEDの制御が簡単に行えるようになったそうだ。
▲Unity上でのデモ。「animationclip」を作らず、点滅パターンやLEDなどの設定が行える。
■「人と機械が楽しくセッション！ ～ピアノに合わせて歌う機械を作ってみた～」by foxcage氏
普段はソニーで画像処理系のソフトウェア開発を行っているfoxcage氏。仕事とは別に、趣味でプログラミングや電子工作を行っており、今回発表される内容もそちらで作られたものだ。
▲foxcage氏。
10年ほど前からARに興味を持ち、勉強がてらにプログラムを制作している。そうして作ったものをYouTubeやニコニコ動画で公開していたのだが、そのうち自分が弾くピアノに合わせてARの初音ミクが歌ってくれたらいいなと思い作ったのが、2012年に制作している。
この当時に作ったプログラムは、まだテンポの追従は出来ていなかった。実際の歌声のテンポは一定で、ゆっくりピアノを弾いたとしても歌声のテンポ自体は変わらない。仕組みとしては、歌後の切れ目で一時停止しており、特定の打鍵パターンをトリガーにタイミングを合わせていたからである。
しかしこの方法には弱点があり、特定の打鍵パターンを弾き損なうと認識せずに止まってしまった。そこで、次のバージョンでは、演奏のテンポを認識して歌声のテンポを調整しながら追従しているようにしている。また、間違えたときでも対応出来るようにしている。
演奏追従は、電子ピアノからMIDI経由で打鍵情報を取得し、演奏された音符と手本となる楽譜と照合している。現在の演奏位置とテンポを推定し、それに合わせて歌声を再生している。
中でも中核となる部分が、楽譜マッチング処理だ。これは、人間が演奏した音符を楽譜の音符に対応づける処理のことである。人間の演奏は楽譜と異なり、揺れや弾き漏らし、余分な音符を弾くといったミスタッチがある。この楽譜マッチング処理では、それらがあっても楽譜と対応づけてくれるのだ。foxcage氏は、これを実現するために楽譜マッチングアルゴリズムを開発している。
楽譜マッチングアルゴリズムは、今惹かれた入力打鍵が楽譜データのどのあたりになるかを推測し、これまで弾いてきた打鍵履歴と楽譜データのペアを作り、一致度を計算して一番大きくなるところを探していくというものだ。
歌声自体は、あらかじめ一定のテンポで歌った音声ファイルをWAVファイル形式で持っている。そのWAVファイルを、キーを変えずにテンポに歌声を合わせるために、可変速WAVプレイヤーを開発している。
WAVファイルから読み込んだ波形を1周期ごとに切り分けて、単位波形を作る。ゆっくり再生したいときは波形を挿入し、速く再生したいときは波形を間引くようにすることで、ピッチは変わらずに再生速度だけを調整することができるのだ。
歌声自体は、あらかじめ一定のテンポで歌った音声ファイルをWAVファイル形式で持っている。キーを変えずにテンポに歌声を合わせるために開発したのが可変速WAVプレイヤーだ。
こちらは、WAVファイルから読み込んだ波形を1周期ごとに切り分けて、単位波形を作る。ゆっくり再生したいときは波形を挿入し、速く再生したいときは波形を間引くようにすることで、ピッチは変わらずに再生速度だけを調整することができるという仕組みだ。
その後、PCレスでも気軽に演奏追従して歌わせることができるように、ハードウェア化も実現している。
▲今回の会場でもデモ展示されていた、ハードウェア化されたバージョン。Raspberry Piと3Dプリンターなどで自作されている。現在は、こちらを量産試作しているそうだ。
■「VRに効く！ライブステージを彩る照明・特殊効果基礎知識」by DJ SHARPNEL氏
DJ SHARPNEL氏からは、VR音楽イベントのリアリティアップに欠かせない、ステージライブ演出における基本的な照明や特殊効果についての紹介が行われた。
▲DJ SHARPNEL氏。
実際の音楽ライブで演出例では様々なライティングが使用されており、ステージを盛り上げている。 DJ SHARPNEL氏も、そうしたものを目指してVRで実現しようとしている。
▲こちらが実際のライブ演出の例。
▲こちらがDJ SHARPNEL氏がVR上で制作したもの。
ヴィジュアル演出の構成要素には、主に「映像演出」「照明エフェクト」「特殊効果」がある。それを実現するために、様々な機材が利用されている。映像演出は、音楽に合わせて映像作家やVJによる演出を表示するというものだ。大規模なステージではLEDビジョンや大型プロジェクターが使われている。小規模な会場では、プロジェクターやモニターが一般的だ。
LEDビジョン風に映像をVR化するときに、今主流となっているのが「Video Glitches」というUnityアセットである。これを使うことで、LEDのような粒子感のある映像にすることができる。
音楽ライブにおける照明エフェクトは、音楽に合わせて照明装置を制御したり、ステージや会場全体の空間を作ったりするほか、演者を際立たせるというものなどがある。照明エフェクトの主な種類は、下記の通りだ。
「PAR（パー）ライト」
「Prabolic Aluminized Reflector」の略語で、パラボラ上のリフレクターレンズが中に入っている照明装置のことをさす。こちらはダイナミックに動くタイプではなく、基本は会場に固定され明るさを調整するという使われ方がされている。正面から演者に当ててフロントライトにしたり、ミラーボールの光源にも利用されたりする。光り演出の基本ともいえるものだ。こちらはUnityでは「Sport Light」がそれにあたる。
「ムービング」
ヘッドとベースと呼ばれる部分があり、回転機構で様々な方向に向けることができる照明エフェクトだ。1台でも使用できるが、複数台を連動させることで空間全体の動きを作ることができるのが特徴である。
▲実際の「ムービング」の例。
Unity上で「ムービング」を再現する場合は、「PBR Stage Equipment」アセットを使用し、X軸とY軸の回転量をAnimationで制御する。
- 「スキャナー」
「スキャナー」もほぼ「ムービング」と同じだが、こちらは光源の光りを高速で動く鏡で上下左右方向飛ばすことができるというものだ。実際に使われるシーンとしては、小型のライブハウスなどが多い。
- 「レーザー」
ライブの定番演出ともいえる「レーザー」。こちらはレーザー光源から出た光の筋を鏡に反射させ、動きや広がりを作って演出を行っている。光が反射するものが空中にないと見えないため、フォグと組み合わせて使用するひつようがある。レーザーには光の強さによってクラスが分けられており、レーザーポインターがCLASS1～2、CLASS3はCLASS2の5倍以下、ライブで使用されるCLASS4は、失明や皮膚障害、火災に至る威力を持っている。
▲実際のレーザーの例。
Unity上では、「PBR Stage Equipment」アセットの「laser projector」を使用して、レーザーとして使われているテクスチャーを変更するといい感じになるそうだ。
- 「ミラーボール」
こちらも定番の「ミラーボール」だが、発泡スチロールの球に鏡のチップが貼り付けられて光を反射させる装置だ。
- 「ストロボ/フラッシュライト」
「ストロボ/フラッシュライト」は、カメラのフラッシュと同様のものだ。人に向けて光らせることで、目潰し効果を狙うことができる。
特殊効果にもいくつか種類がある。「スモーク・フォグ」は、専用リキッドを使って粒子の細かい煙を出す装置だ。主にレーザーなどを演出するときに使用される。花火演出は、低音で発火する火薬を使って行われる。こちらは、タイミングに合わせて花火を放出することで、光による目潰しや音による衝撃でステージ演出が行える。
花火の派手なバージョンが炎演出だ。光の柱や火球を打ち出すモノだが、人は火を見ると興奮する傾向にあるため、観客のテンションを上げるときなどに利用される。また、お土産として有効なのが、キャノン演出だ。炭酸ガスを利用して筒中に詰め込んだ銀テープや紙テープを会場内に降らせることができるというものである。
ステージ構成は、大型の造形物を配置し映像をどのように出すか考えながら配置して、照明装置と特殊効果をレイアウトしていく。リアルなステージではステージの骨組みにトラスシステムが使われている。VRでは不要だが、これを再現することでリアリティ感が増すのだ。
こうしたトラスを組み上げて配置していくときに、Unity上では細かい位置合わせが難しい。その場合は、「ProGrids」というアセットを使用することで、5メートル単位で規則的に配置していくことが可能だ。
■「パーティクルライブ《kaleido particle》《WAVE》について」by YORIMIYA氏
今回のイベントでトリを務めたのはYORIMIYA氏だ。大学三年生だった2018年1月に『HTC VIVE』を購入し、同年の4月からVRChatに参入。5月には初となるパーティクルライブを制作と、積極的な活動を行っている同氏。この6月に転職したXR業界に移ることを宣言していたが、本イベントでその就職先がPsychic VR Labに決まったことも明らかにされた。
今回のセッションでは、「パーティクルライブ《kaleido particle》《WAVE》について」というテーマで、これまで同氏が携わってきたパーティクルライブについての紹介が行われた。
▲YORIMIYA氏。
ひとつ目は、「STYLY ParticleLive Awards 2019」の応募作品である「パーティクルライブ《kaleido particle》」についてだ。こちらは万華鏡のような美しい世界をVRで体験できるという内容の作品で、もともとこうした名称があるというわけではなく自分で付けたという。
制作のきっかけは、VRChatでも動き、その中でも応用の利く独自のシステムを作りたかったのだという。たとえば、「パーティクル」というと星や桜が舞うようなイメージになりがちだが、そうしたものは応用が利くようで利かない。また、こうした物は誰でも作ることができる。
そこで、Unity標準でVRChatでも動き、かつ応用が利くシステムを意識して作られている。YORIMIYA氏は、パーティクルライブを作るときに、必ずひとつは新しい表現をひとつ以上取り入れることを目指している。最近は、新しい表現を実現するためにパーティクルライブを作るほどになったそうだ。
また、もうひとつの目的が、「パーティクルライブ」自体の敷居を下げることである。YORIMIYA氏は、「クォリティが低いから出したくない」という意見を耳にしたときに、そうしたことはどうでもいいということを伝えたかったのだという。
敷居が下がることで、人口を増やすことができる。YORIMIYA氏の作品もそうした意図で、最初の作品を応募している。
Kaleido Particle | jav6868 | AWRD アワード
https://awrd.com/creatives/detail/8359411
▲こちらがYORIMIYAにより初のパーティクルライブ作品。2018年4月頃のもので、木があって文字が出ているというシンプルな内容になっている。最初はこのレベルから始めるのも問題ないという例として紹介された。
もうひとつの応募作品が「パーティクルライブ《WAVE》」である。こちらの作品で意識した点は、軽量であるというところだ。VRChatでは、スタンドアロン型のVRデバイスでは上手く動作しないモノが多い。そこで、「パーティクルライブ」でありながら、パーティクルを使わないという手法を採用している。
また、同数のパーティクルと比較してパーティクルトレイルは圧倒的に軽く、フレームレートが落ちないことに気が付いたそうだ。さらに、必ずObjectを動かすということを意識して作られている。これは静止しているObjectがひとつもなく、必ず少しずつ動いているのだそうだ。
この「パーティクルライブ《WAVE》」では、他にも意識した点がある。そのひとつが、「実質的に“そのように”見える、感じる演出」だ。たとえば、奥行きを感じさせるために、少し傾けたり実際には回転させていたりするわけではない三角形のラインが回転しているように見えるというようなものだ。
▲三角形が回転しているようにしか見えない演出。アワードのサイトでどんな感じなのか、チェックして見て欲しい。
- STYLY ParticleLive Awardsteams 2019ファイナリスト作品 | STYLY
https://styly.cc/ja/awards/styly_particlelive_award_2019_finalists/
Photo＆Words 高島おしゃむ
コンピュータホビー雑誌「ログイン」の編集者を経て、1999年よりフリーに。
雑誌の執筆や、ドリームキャスト用のポータルサイト「イサオ マガジン トゥデイ」の
企画・運用等に携わる。
その後、ドワンゴでモバイルサイトの企画・運営等を経て、2014年より再びフリーで活動中。
