「バーチャル楽器の制作を挫折しました」という動画を投稿しました。
以下はその台本を加筆修正したものです。
2019年の話です。
こんにちは。作曲家のこおろぎです。
また挫折しました… というわけで今回は
バーチャル楽器制作を挫折した理由
をお話ししていこうと思います。
そもそもバーチャル楽器とは何かというと
VRヘッドマウントディスプレイをつけて、VR空間の中で演奏できるバーチャルな楽器です。
それを作ろうと思ったんですよ。 でも挫折しました。
バーチャル楽器は物理から解放される
最初にお話ししておきたいのが、バーチャル楽器で何をしたかったのか、ということです。
まず、実際にある楽器って制約が多いじゃないですか 。特に物理的な制約。
楽器って物理的な振動から音が生まれてるわけなので、物理とデザインを切り離せないんですよね。
弦とかボディとかの振動もあるし、キーとかの機構もあるし、特殊な形だと加工するのが大変だったりして。
バーチャルになると、そういった物理的な制約から解き放たれる。
そうなったときの可能性ってのは結構あるんじゃないかなと思ったんですよ。
なので、バーチャル空間で実際の楽器を再現するってのは絶対やりたくなくて、そこから解き放たれた楽器を作りたいなと思ったんです。
例えば、常に宙に浮いてる楽器とか。
例えば、めちゃくちゃでかい楽器とか。
形から演奏のしかたも再定義できるんじゃないかっていうのもあったりして 。
今、物理法則のせいで、弦をまっすぐにしないといけなかったり、ギターとか決まった弾き方だけども、その形から解き放たれると弾き方自体ももっと最適なものがあるんじゃないか。
デザインも物理から解放されるともっともっと広がると思うんですよね。
直接エフェクトがかけられる
あと、エフェクト。
今、エフェクターっていろいろあるじゃないですか。ディストーションとかリバーブとか。
そういうのって楽器から電気信号にしてエフェクターを通してつまみでいじくるわけです。
でもバーチャル楽器なら空間上にエフェクトがかかるギミックを作ってしまえばいいんじゃないかなと思ったんですよね
例えばバーチャル上の水の中に演奏中の楽器を入れたらフィルターがかかったような音になるとか
ディレイとかも実際ディレイしてる音が見えるとか。
バーチャルだと見た目でエフェクトが分かりやすく、音楽が分かりやすくなるんじゃないかなっていう風に思ってます。
キラキラとしたビジュアル的なエフェクトもできるし。
あとひとつの音を出したら色んな所が動くとかね。バーチャルだとそういうビジュアル的な分かりやすさが出せるたせるんじゃないかなと。
バーチャル楽器を売るっていうこともできるので、最終的にはBoothやTHE SEED ONLINEでバーチャル楽器を販売して、バーチャルキャストとかVR Chat とかで使ってもらうという感じにしたいなと思ってました
こういうイメージの話をした時点で、99%ぐらいの人はどういう事？っていう感じになります。
なので動画で一人で勝手に喋ることにしました。
挫折の原因
・覚えるスキルが多すぎた
・教えてもらえる人や情報がすくなかった
・実用的ではない
ここらへんですね。
結局、誰もやってないことをやろうとしたのと、知識が全くない状態でやろうとしたので、つまづいた時に手掛かりが全くなくて、進めるのがめちゃくちゃしんどかったから気力が尽きました。
開発環境を作るのが大変だった
まず開発環境の導入のハードルが高い。
音楽制作をしているパソコンだとグラフィックボードがあってなくて、VRのために専用のパソコンを一つ組みました。
Windows MRで、Windowsの環境で開発していこうと言うことなったんですけど、まず Windows MRの情報がめちゃくちゃ少なくて、
VR機器を動かすの自体にかなり時間がかかっちゃって、そのうえで、Windowsも開発者モードにしたり、Unityをいれたり、Blenderをいれたり、Visual Studioをいれたりっていうのもあって、環境を整えること自体に結構気力を持ってかれましたね。
覚えるスキルが多すぎた
あと、覚えるスキルが多すぎたこと。
バーチャル楽器を作るには
・モデリング
・絵を描く
・音を制作（サンプリング）
楽器を動作させたり実装するためにプログラミングが必要で、物体の形を作るためにはモデリングが必要、物体にテクスチャを張るために絵を描くっていうのと、サンプルの音はそのまま入れこんじゃうと二次配布になっちゃうので、自分で録音したり、音を作る必要があります。
その4つのスキルが必要になります。
特にプログラミングとモデリングはゼロからなので相当しんどかったです。
最初のうちは細かい部分はスキップしようということで、絵は書かなかったんですけど、
やっぱりそのコンセプトをスケッチをするっていうのにやっぱりその絵のスキルってな必要にはなりますね。
自分の考えてるものをざっくりと形に起こすっていう部分では絵のスキルはやっぱり必要になってきます。
おまけに、バーチャル楽器を紹介するために自分でVtuberをやる、ということもやりました。
教えてもらえる人や情報がすくなかった
教えてもらえる人や情報がすくなかった 、というのもツラかったです。
日本でバーチャル楽器を作ってる人ってほとんどいないんですよ。いても数人。
さらに、僕が作りたいものをすでに作ってる人ってほとんどいないんですね。なので、やりたいことをググっても全く情報が出てこないっていう。
だから、どんなスキルが必要なのかすらも分からない状態からはじめて。
Unityで音を出すにはどうするか、とか、そういうめちゃくちゃ基礎なところからやっていきました。
結局プログラムでどういうことができるかってのが分かんないと、頭の中で考えたものをどう実装すればいいのかっていうのが思い浮かばないので、
理想と現実がリンクしてくるまでひたすら何の役に立つかわからない基礎の部分から掘り進めていくっていう感じです。
プログラムの師匠を探せる、MENTAっていうサイトがあるんですよ。
それで募集しても誰も集まらなくて…
最後のほうには協力してくれる方がちらほら現れたんですけど、
もうその頃には気力が尽きてた感じで、一旦いいやという感じになっちゃいました。
サウンドも、既存のものを使うと二次配布になっちゃうので、実際の楽器を買ってそれをサンプリングして実装しなきゃいけないわけです。
その時点で一つのソフト音源を作るのと同じ労力がかかるわけです。
で、さらに独自のものを作るということになると、ただサンプリングするだけじゃなくて、音を混ぜたりとか、いろんなことを工夫をしなきゃいけない。
ここはのちのちサンプリングのメーカーの方と協力してやったら面白いんじゃないかなとは考えたりはしたんですけど。
加えて致命的だったのが、そもそもバーチャル楽器って今の時点ではさほど実用的ではないってことなんですよね
まず、ラグのせいで多人数で合奏しにくいんですよね。なので、演奏しても一人なので、寂しい感じになっちゃうっていう。
あと、バーチャルで何か物を叩いて音を出すっていうことをすると、身体的フィードバックがなくて演奏してて気持ちがあまり良くないし、見た目も音とぴったりリンクしないので、見てるほうも気持ち良くないんですよ。
うまく演奏するのも限界があるし。
多分、やるならコントローラーのボタンを現実で直接押して、それを木管楽器のキーみたいにして演奏するっていうのが、演奏してる側としては気持ちよくいけるかなっていう気がします。
それでも、ベロシティなどはつけれないので、表情のコントロールができる方法を開発しないといけないですね。
楽器自体もシンプルなものだとサンプリングしたものをそのままを入れるだけになっちゃうんで、演奏の表情が全然出ない。
すごく安いソフト音源みたいな。レガートとかラウンドロビンとかがないみたいな感じで。
楽器としての表情が全く出ないっていうのも魅力的じゃないし、表現力がないですよね。
それをクリアするには、ソフト音源をきちんと一つ作るみたいに、まずNI のKontaktみたいなプログラムを作って、さらに、サンプリングをきちんとやってプログラムを組むということをやるか、
プログラミングでシンセサイザーを作って、状況に応じて音が変化するような実装をした方がいいんだとは思うんですけども、
そうすると技術的な難易度が爆上がりするのでしんどすぎるなと。
実際作ったもの
実際作ったのは「無限音階楽器」という、無限音階というものを楽器として演奏できるようにしたものです。
無限に音階が下がって（上がって）いくように聞こえます。
これはうまくイメージとやれることっていうのが一致して美しくできたかなと思います。
これはTHE SEED ONLINEで公開してます 。
■『Alpha』無限音階楽器 | THE SEED ONLINE
作ろうとしてやめちゃったのがリズムマシーン。
歌とかセッションとかをする人がいると思うんで、その人のためにリズムマシンを作ろう、っていうことしようと思ったんですけど、それはできそうだったんだけどめんどくさくてやめちゃいました。
Electronauts
Electronauts(エレクトロノーツ)っていうVR ゲームがあるんですよ。
VR内でDJをするっていうゲームなんですけど、それは僕のやりたいことをかなり実装してるので、是非プレイしてもらいたいです。
そのゲームをプレイすると、VR空間で楽器を演奏するっていうことの面白さは結構体験できると思います 。
おわり
というわけで、失敗談だったんですけども。
今後モデリングをしやすくなるツールとか、セットアップをしやすくなるツールとかも出てくると思うんで、またやる気がでたらリベンジしたいかなとは思います。
実際手が動かせるよっていう人はアイデアを出せると思うのでご相談ください。
ではまた。
