【World MR News】テクノロジーの力で音楽表現をアップデートするハッカソンイベント「MUSIC HACKDAY Tokyo 2019」が開催！

World MR News

音楽をテーマに、世界13ヵ国で開催されるハッカソン「MUSIC HACKDAY Tokyo 2019」が、7月13日と14日の2日間、東京・新宿のLINEで開催された。今回のテーマとなったのは、「テクノロジーで音楽表現をアップデート！」だ。ここ最近話題になっているXRや3D音響などの最新技術を活用し、それぞれが音楽表現をアップデートする作品を開発した。

今回のハッカソンのルールは、各チームとも持ち時間3分＋質疑応答で、発表する内容自体はなんでもOK。かつ、システム構成図を必ず入れるというスタイルで行われた。発表するチームは全部で13あり、それに加えてエキシビジョンチームからも発表が行われた。

今回審査員として参加したのは、メディアアーティストで妄想インベンターの市原えつこ氏と、ホロラボ CTOの島田侑治氏、VRアーティストのせきぐちあいみ氏の3名だ。発表の後は、タッチ＆トライとして審査員が各チームを回って、審査が行われた。

■『FM loop7』by kirinsan.incチーム

トップバッターとして発表を行ったのは、kirinsan.incチームだ。メンバーはひとりのチームだが、kirinsan.inc自体は実在する株式会社で、究極の目標は「世界平和」だという。

昨年度の交通事故の死亡者数は3500人だった。そこで、同チームが考えたのは、自然に自動車運転の速度制限を誘導しつつ、運転のストレスを軽減するというものだ。それを音楽で何とかしようというのがアイデアの出発点である。

車で音楽を聴くときに、よく利用されるのがラジオだ。そこで『FM loop7』を開発している。道路の白線は、高速道路と一般道ともに規格が決まっている。走行中は視覚的に流れてくるが、その白線と信号でリズムを取ることで、安全な運転になるのではないかと考えた。

音楽を聴きながらバイクに乗っているときに、停止線に止まったときにパチスロのジャグラーのビッグボーナスの音が流れてきたことがあった。その体験が超絶に気持ちよかったため、それを社会の人たちにも体験してもらいというのがテーマになっている。

■『みゅざわ』by チームレコチョク

チームレコチョクが開発したのは、ウェブアプリの『みゅざわ』だ。この名称は、「Music in the world」から取られたもので、音楽プレイヤーなどで利用される「プレイリスト」をアップデートしている。

例えば、室内のライトやお茶、などを撮影して切り取っていき、私生活の行動をスナップショップ的に取り込んでいく。その後、「プレイリスト作成」をすることで、取り込んだ画像から関連した音楽を導き出して、「プレイリスト」が作成されるというものだ。

■『リアルタイム演奏情報を用いたメディア表現の考察』by ループセッションズ

チームループセッションズが開発したのは、『リアルタイム演奏情報を用いたメディア表現の考察』だ。こちらは、コードを押すとAR上にコードが表示されるというものである。

最近のPVなどで、歌詞をユニークな方法で表示しているものがある。なかでも。ORESAMAのPVは、カスをデザインの一部にしておりアニメーションで表現しているという。そこでリアルタイムの演奏情報（コード情報）を用いた、メディア表現の方法について考察している。

iOSのアプリとMIDIキーボードで鳴らしたコードトーンを読み取り、一致するコード名をAR上にリアルタイムで表示している。メジャーキーやマイナーキーといったトーンで色彩も変化するようにしている。

■『V-Kara BOX』by チーム神ヤヤネヒ

バーチャルなキャラクターで発表を行ったのは、チーム神ヤヤネヒだ。いきなり動画に合わせて「脳みそが溶ける～」と歌い出したところからスタートするという、かなり個性的な発表となっていた。

今回テーマにしたのはカラオケだ。しかし、VTuberはあまり外に出たくない人種であるということから、新時代のカラオケボックス『V-Kara BOX』というアイデアを考案した。

これは、VR空間で派手なエフェクトが使え、現実世界とは異なる自分が試せるカラオケで、KAWAII絵を撮ったりライブ配信も行えたりするというものだ。ウェブで読み込んだ動画を、VR空間上で再生。自分の姿をスクリーンで見られるようにする。

また、オーディオビジュアライザなども作成する予定だったが、今回は間に合わなかったそうだ。

■『Live Auto Generator』by LAG

チームLAGは、ライブパフォーマンス自体を自動化するというプロダクトを作成している。最近は音楽を聴くスタイルも変わってきつつあり、サブスクリプションサービスを利用する機会も増えた。そうしたサービスでは、アーティスト単位ではなくジャンル単位で聴くことが多い。

そこで表現さえ同じであれば、アーティストであろうが機械であろうが同じであるという発想から、今回のプロダクトが生まれている。コンピューターの力だけでユーザーの情報をリアルタイムでフィードバックしながら、映像と音楽を自動生成するものを作成している。

WebRTCカメラで参加者の人数や感情を読み取り、それを元にコードを生成して配信を行う。こちらは、オンライン上でもユーザーのフィードバックが見られるのが特徴だ。今後の課題としては、さらに気持ちのいい画音が出せるようなチューニングを行うほか、YouTube Liveからのコメントも取れるようにしたいという。

■『ささやきonLine♪』by フロッグカンパニー

チームフロッグカンパニーが開発したのは、『ささやきonLine♪』だ。「ASMR」という言葉を耳にしたことはあるだろうか？　これは、バイノーラル録音を使って脳みそが溶けるような音を収録するもので、YouTubeでは咀嚼音を始め多数の動画がアップされている。

このASMRは巨大市場になると予測されており、ビジネス的にも注目を集めている。また、海外では「脳のオーガズム」だとも言われている。そこで、耳で聞く時代から脳で感じる時代にアップデートすることを目指している。

仕組みとしては、『LINE』を使ってASMR配信して人気ライバーになりたいと考えている女子高生と、おじさんたちをマッチングして聞けるようにしている。

■『Infinity Marshall』by Infinity Marshall

チームInfinity Marshallが作ったのは、『Infinity Marshall』だ。直訳すると「無限のマーシャル」という意味になるが、これは、ギターアンプとして有名な『マーシャル』のアンプを無限に積んでみたいという、ギター少年の夢を叶えるような企画である。

仕組みとしては、VRヘッドマウントディスプレイを使ってVIVEを通し、Unityでぶっ壊す（!?）というもの。音楽が流れるなか、上から『マーシャル』のキャビネット部分が降ってくるので、それをぶっ壊すというシンプルな内容だ。

応用として、オーケストラの配置シミュレーションなど無限の可能性があるという。

■『CUVR』by CUVR

演奏の音楽表現のアップデートを試みた作品はこれまでもいくつか登場している。たとえば岩井俊雄氏とヤマハがコラボした電子楽器の『TENORI-ON』だ。そこで、チームCUVRでは、今回この『TENORI-ON』をさらにアップデートしてルービックキューブ化した『CUVR（キューブイアール）』を開発している。

こちらは8×8×6個のキューブを、ON/OFFすることで音楽が奏でられるというシーケンサーである。キューブの操作はバーチャル空間内で行い、適当に操作するだけでも音楽的に成立するように作られている。また、多人数で同時に操作できるというところも特徴のひとつだ。

『TENORI-ON』の場合は、一方向のみのシーケンサーだったが、『CUVR』では縦と横方向に同時に動いて音楽を奏でることができる。また、操作を共有することで、思いもよらないシナジー効果が生まれ、音楽も異次元のものになるという。

■『EMBRION』by (E)sus5

チーム(E)sus5が開発した作品は、『EMBRION』だ。最近よく耳にする「eスポーツ」という言葉は、「スポーツ」と「ゲーム」を掛け合わしたものだ。同様に「ゲーム」と「ミュージック」を掛け合わせると「(E)MUSIC」＝「カッコイイ音楽体験」になる。そこで、音楽の中に飛び込むというものをイメージしている。

こちらは、ウィルスによって侵食された音世界を表現しており、ボスキャラクターも登場する。音に合わせて波形が変化する。DJはKinect経由で点群としてVR内に取り込まれる。MCとDJでLRという新しい音楽体験を生み出している。

■『絵の出る楽器』by Effective Instrument

チームEffective Instrumentが開発したのは、『絵の出る楽器』だ。基本的なコンセプトは、楽器が魔法の杖のようにメルヘンな世界にいざなうというものである。マイクを活用することで、クラリネットの演奏を検出して、CG演出に反映。リアルタイムで収集した『LINE』のデータによって、演奏者を盛り上げる演出を表示する。

演奏者側は、『HTC VIVE pro』を装着してVR空間内に入って演奏を行う。クラリネットの音の高さに合わせて、花や草がVR空間内に生えていく。また、『LINE』を使うことで、オーディエンスとの共有体験という付加価値も盛り込まれている。『LINE』から送られたメッセージや画像は、送信者のアイコン付きでVR空間内に表示される。

■『VRライブで一体感』by 走り続ける青春

チーム走り続ける青春が開発したのは、『VRライブで一体感』だ。音楽ビジネスの市場規模は、CDの売り上げが下がってきておりライブ・エンタテイメントが右肩上がるになっている。このライブ規模は、2017年の時点で2011年の約2倍だ。

ライブの良さは、なんといっても会場の一体感につきる。最近はVRを使ったライブも増えてきている。このVRライブが、音楽業界において重要なポジションを占めていくと同チームでは考えた。

しかし、VRライブは普通のライブと比較して一体感に掛ける部分もある。また、ライブは能動的に聞いた方が楽しい。そこでVRライブのアップデートを開発している。ひとつは、サイリウムを振ることで周りにアピールができる。もうひとつは、振らないと演奏自体が中断してしまうという機能だ。

このVRはカラオケボックスで楽しんでもらいたいと考えており、カラオケボックスならぬ「ライブ（ダンス）ボックス」というビジネスモデルも提案している。

■『IndipendentVR』by IndipendentVR

チームIndipendentVRが開発したのは、『IndipendentVR』だ。ここで目指したのは、VRライブの民主化である。動画配信とは異なり、ユーザーがVR空間内を自由に移動できるインタラクティブな体験ができるのが特徴である。

目標はVRシステムを構築してマルチプラットフォームで配信。それに加えて、ソーシャル性とリアルタイムLIVE（振り付け）までを目指したが、今回はマルチプラットフォーム配信まで完成させている。

ユーザーのインタラクティブな体験として、誰にも迷惑を掛けずに好きな場所でライブを体験することができる。羽生結弦選手のプーさんのように、ライブ中にモノを投げたり贈り物をしたりしてもライブの邪魔にはならない。また、照明を、Nintendo SwitchのJoy-Conを使用してコントロールできるようにしている。

こうしてアップデートされたものは、何かと高くつくVRコンテンツをお気軽に楽しめるようにしたところだ。環境としては、スマホのGalaxy S8で動かすことができ、しっかりとパリピ感が出せたそうだ。

■『タケモトピアノVR』by クラッピーシンドローム

チームクラッピーシンドロームが開発したのは、『タケモトピアノVR』だ。CMでおなじみの『タケモトピアノ』をイメージして、Looking Glassの中に映し出されたユニティちゃんが、ピアノの代わりに鉄琴を叩くようになっている。

それとは別に、『白井式重量制御装置』と呼ばれるぶら下がり健康器のようなものに乗りながら、VRヘッドマウントディスプレイを被ることで、小人になることができる。そのVRの中に入った人の様子を、Looking Glassを通して外から複数人で見られるようにしている。

■『酒を飲んだときだけいい音色が鳴るラッパ』by エキシビジョンチーム

エキシビジョンチームとして参加したのは、よしもとクリエイティブ・エージェンシー所属の映像作家の藤原麻里菜氏率いるチーム無駄づくりだ。Twitterで「バーベキュー」とつぶやかれるたびに、藁人形に五寸釘が打ち付けられるデバイスや、会社を休む理由を生成するマシーンなどを発表してきた藤原氏。今回は、ハッカソン中にお酒が飲みたいという理由から、「ダメ人間だけが奏でられる楽器」というアイデアを考えた。

バイトをクビになったときやクレジットカードの審査に落ちたときなど、ひとり酒をしてしまうときに寄り添う楽器を作り体というところから、開発したのが『酒を飲んだときだけいい音色が鳴るラッパ』だ。

仕組みとしてはアルコールをセンサーで検知して、小型マイクでいくの風量も検知。Pure dataでセンサーの値をMIDIに変換して、DAWから音を出すようにしている。

■最優秀賞はEffective Instrumentの『絵の出る楽器』！

タッチ＆トライなどを経て、19時48分より結果発表が行われた。その結果、チームEffective Instrumentの『絵の出る楽器』が最終優秀賞を獲得した。レコチョク賞はチームIndipendentVRの『IndipendentVR』、SME賞はチームkirinsan.incの『FM loop7』、tunecore賞はチームフロッグカンパニーの『ささやきonLine♪』にそれぞれ決定した。

■最終結果

最終優秀賞：『絵の出る楽器』by Effective Instrument

レコチョク賞：『IndipendentVR』by IndipendentVR

SME賞：『FM loop7』by kirinsan.inc

tunecore賞：『ささやきonLine♪』by フロッグカンパニー

なかなか個性豊かな作品ばかりが出揃った感じだった、今年の「MUSIC HACKDAY Tokyo」はたして、次回はどんな作品が生まれるのか今から楽しみだ。

Photo＆Words 高島おしゃむ
コンピュータホビー雑誌「ログイン」の編集者を経て、1999年よりフリーに。
雑誌の執筆や、ドリームキャスト用のポータルサイト「イサオ マガジン トゥデイ」の
企画・運用等に携わる。
その後、ドワンゴでモバイルサイトの企画・運営等を経て、2014年より再びフリーで活動中。