これがQuest3を使ったMR DTMや！
これがMeta Quest 3で実現した複合現実DTM＋楽器演奏でできること！ pic.twitter.com/Z3rH4ehLqP
— こおろぎ 🦗 (@Kohrogi34) October 24, 2023
バーチャルのディスプレイ5枚にDAWメイン、ミキサー、メーター、プラグイン、映像、音楽素材、台本を表示。
現実世界の鍵盤、キーボード、デバイスを操作でき、サブマシンでライブ配信を見ながらスマホもいじれる。
光のチャイムが見えるので作業中に宅配が来ても反応できる。
これがワイヤレスで可能。
狭い防音室でもデスクトップのディスプレイの配置のまま表示させられたり複数のディスプレイを見やすい場所に表示させて楽器を演奏することができます。
DAWや楽譜やチューナーや動画を常に表示しながら手元も少し見える。
未来で待ってるぜ。
未来へようこそ。作曲家のこおろぎです。
Meta Quest 3を買いました。
Meta Quest 3というのは、
頭にかぶってバーチャルな世界を見ることができたり、それを現実とミックスして見ることができるヘッドマウントディスプレイ（HMD）です。
HMD自体は今までもいろいろ発売されており、ゲームなどもすでにたくさんあるんですが、このQuest3は音楽家が過去最高に恩恵を受けるHMDだなと感じました。
今回はなぜそう感じたのかを話していきます。
どうして音楽家が”最も”恩恵を受けるのか
で、どうして音楽家が最も恩恵を受けるのかというと、
MR機能が強化されたから。
MR機能というのはHMDの外の風景と中の画面を合成する機能です。
以下の写真はあとからの合成ではなく、Quest3内で見ている画面をそのままスクリーンショットしたものです。実際にはもっと視界が広い。
数年前までのコンシューマーVRHMDはVR空間の中に入って映像だけを見る、という感じだったんですね。外の風景はほとんど見えなかった。
数年前から外側も見えるようになってきて、今回Quest3で、ある程度きちんと外側の景色が見えるようになりました。
これはパススルーと言われるもので、カメラで撮った映像を再度内側に投影しています。実際の景色がそのまま透けて見えるわけではありません。
外の景色が見えるとどうなるのかというと、バーチャルと現実を接続できるようになった。
例えばパソコンでDAWを使った音楽制作だったら、
今まで使っていた自分の機材を全部利用しながらバーチャルでディスプレイを拡張するということができるようになりました。
バーチャルのディスプレイで5枚表示させながら、手元のキーボードやコントローラーが見える。
また、楽器を演奏するときには防音室で複数の画面を表示させ、楽譜や映像などを表示させてそのまま楽器の練習ができたり。
特にDTMは、今後数年間かけて多くの人がこのHMDで作業するようになると思います。
アップルもVision Proと空間コンピューティングという概念を打ち出してきました。
今まではVRはVR上だけでゲームをする、という使い方が多い機種だったんですが、今後のHMDはMR機能が搭載され、パソコンのモニターの延長線上という使い方が多くなってくるはず。
このMeta Quest3はそれが広がる最初になる機種じゃないかなと思っています。
様々な職業の中でも、特にパソコンで音楽を作っている方が使うようになるのでは、という理由が色々あります。
パソコンで音楽を作っていると
・ディスプレイよりもスピーカーを優先して配置しなければいけない
・物理ディスプレイは反響が起こったりしてサウンドにいい影響を及ばさない
・鍵盤やコントローラもあり設置する物理的スペースが制限されている
・しかしディスプレイはたくさん欲しい
うちもメインの物理ディスプレイは同時に3枚使ってるんですが、足りないと思うことが多いです。
それが、Questのimmersedというアプリを使うと最大5枚のバーチャルディスプレイを自由にカスタマイズして使えます。
バーチャルのディスプレイを使えばスピーカーの前やコントローラーの前にもディスプレイを設置できるし、
ディスプレイを映画や舞台のようにバカでかいサイズにして臨場感を感じながら楽曲を制作することもできます。
実際は狭い部屋であってもたくさんのディスプレイを表示させたりも。
モバイル用途で持ち運んで外で複数のディスプレイを使ったりということもできるし、
スタンディングで作業したい時にもすぐディスプレイの位置を変更できる。
楽器の演奏にもおすすめ
DTMだけではなく楽器の演奏にもおすすめです。
HMDの外が見えるからです。
見えるといってもそこまで高画質ではないのですが、楽器を弾くのであれば、あまり手元を見ない場合も多いので成立するはずです。
空中にディスプレイを表示させて、DAWや楽譜やチューナーや動画を表示させて練習したり演奏することができる。
防音室のような狭いところでもたくさん画面を表示できるのもいい。
デスクトップの環境をそのまま防音室に持ってきて、練習もできるしレコーディングもできる。
僕の場合は現在デスクトップのミラーの画面を防音室のディスプレイに映すようにしてるんですが、HMDを使えば防音室の中のディスプレイがいらなくなるんじゃないかなと思っています。
実写の楽器とバーチャルの背景を組み合わせて映える動画も撮れるかもしれません。
あと、人にもよると思うんですが、ヘッドセットをかぶることによって集中モードに入れるという効果もあります。
練習する時だけヘッドセットをかぶって集中しよう、という使い方もアリだと思います。
360度の写真を読み込むことができるので、コンサートホールなどの写真を読み込み、その環境で演奏している気分に浸れます。
逆に、音楽家以外だとそんなに恩恵がないんじゃないかなと感じていて、
他の作業だとスピーカーを置く位置が決まっていたり、デスクに大きなコントローラーが置いてあったり、という事はなく、ディスプレイは比較的自由に配置できるんですよね。
そもそもディスプレイの枚数がそんなにいらないとか。
あと、Quest3の解像度はそこまで高くないので、高度に視覚を使う作業にはあまり向きません。
ちょっとしたお絵描きをしたり、YouTubeを編集するくらいなら全然平気ですが、
写真を編集したり、映像作品を編集したり、のような高度に視覚を使う作業はQuest3ではやりにくい。
音楽なら音はメインスピーカーのほうから出せばいいので、画面の表示が少し荒くてもそこまで気にならない。
そして、ここまで紹介したことがすべてワイヤレスでできます。
ケーブルで繋がなくていいから楽器を弾くのにも邪魔にならなりません。
以上のことから、クリエイティブの中でも特に音楽にマッチしてるんじゃないかなと思っています。
気になった音楽家の方はぜひ試してみて欲しい。気軽に試してみるには高い金額なんですが…定価74800円。
他のデバイスは未発売のものも考慮するとimmersedが作っているメガネ形のVisorは11万円、AppleのVision Proは50万円、Meta Quest Proは15万円。
とりあえず、今出ている情報から考えられるHMDの選択肢としては、未来含めてMeta Quest3が一番安い。
あとは湾曲ディスプレイ5枚とディスプレイスタンド5つのセットを買うことに比べたら安い！
注意点
注意点や僕が気になったことを書いていきます。
HMDでの作業に慣れるかどうかはその人次第
どんな人でも快適に作業できるかというとそうではないはず。
普段からメガネをかけている方や、VRをすでに触っている方は慣れやすいかなとは思います。
僕も6年前くらいからVRをやっているので、かなりHMDに適応している方なはず。そのあたりを差し引いて感想を聞いてもらえるといいかなと。
今のところの感想としては、ギリギリ日常使いがいける。
VRに適用できてる人はいけるかもしれない。ここがバーチャル作業環境の最低ラインのスタート地点なんじゃないかなっていう感じですね。
最適化が必要
おそらくQuest 3はバーチャルデスクトップでの長時間作業には最適化がされてないと思うんですよね。
「ゲーム用途がメインだけど、ついでにデスクトップの作業ができるアプリもあるよ」くらいの感じ。
長時間作業をするとなると、それに向けて最適化しないといけない。
あとの段で買ったものを紹介します。
本体からファンノイズが出る
Quest3本体からファンの音が出るので、オーディオエンジニアさんは特に注意した方がいいです。
普段使っている限りは問題のない音量ですが、細かいノイズを聞き分けなければいけない状況だとよくないです。
エンジニアさんの場合は、PCで処理したデータをディスプレイに表示させるだけの、本体にプロセッサーが入っていないタイプのものが出るまで待ったほうがよいです。
バーチャルディスプレイは現実のディスプレイよりも大きく表示しなければいけないかも
Quest上のバーチャルディスプレイ上では文字が読みにくいです。
これは解像度が低いという感じではなく、原因は不明です。
普段僕は1920×1080、21.5インチのディスプレイを目から60cm程度の距離で作業しているんですが、
それをVR環境でそのままの大きさで表示した場合、現実よりも文字が読みにくい。
なので、バーチャル上ではディスプレイを現実の1.2〜15倍の大きさにする必要があります。
ですので、全体的に画面が大きくなり、頭を動かす角度も大きくなってしまうかもしれません。
ここは視力にも依存する部分だと思いますが、注意が必要です。
ヘッドフォンがしにくい
当然なのですが、頭にHMDをつけるのでヘッドフォンは干渉してつけにくいです。
普段からヘッドホンで作業している人にはHMDはおすすめしにくいですね。
最適化すればいけなくもないような気はします。
本体の重さはペットボトル１本ぶん
Quest3の重さは500g。2とほとんど同じです。
重めなんですが、正直慣れやバランスの取り方でなんとかなると思っています。
すでにHMDを何時間も被っている人は大勢いるので。
僕は昔コンビニでバイトをしていたんですが、最初のほうは1日何時間も立っていると疲れてくるんですよね。でも何週間か経つと立つのが全然気にならなくなってくる。
結局は筋肉なんですよね。毎日長時間使って筋肉をつければいける。はず。
immersedについて
ここまでQuest内のアプリの１つである「immersed」の話をしています。
このimmersedはバーチャル作業環境構築のためのアプリで、
・最大5枚＋スマホのバーチャルディスプレイが表示できる
・バーチャルディスプレイをそれぞれ自由な大きさ、位置、角度、曲面に変更できる。
・背景はバーチャル、現実、バーチャル＋一部現実に設定できる。自分の写真データも読み込める。
・アプリを起動すると直前の作業環境が表示される。
・簡単に接続するパソコンを変更できる
・無線と有線が自動で切り替わる
ということができます。
アップデートは割と頻繁に入っているので期待できるアプリです。動作も安定しています。
ディスプレイについて
ディスプレイを多く使うほど解像度が落ちる
これはMeta Quest 3で映像を処理しているのでしょうがない。大きく画面を使わない限りはそんなに解像度は必要ないはずです。
解像度が現実のディスプレイに依存する
HMD内に表示するディスプレイの解像度は現実のディスプレイ以上にはできません。
僕の環境は物理ディスプレイが1920×1080なので、それ以上にはなりません。
それ以下には自由に変更できます。
HMD内で画面を高解像度で見たかったら、現実のモニターを高解像度にするかサブで高解像度のバーチャルディスプレイを追加することになります。
解像度が高いと写真や動画はかなり綺麗に見えます。
写真編集や動画の編集はいまいちかなと思っていたんですが、
MacBook Air(2020 M1)の方は2,560 x 1,600の解像度なので、そちらに繋げるときれいに見えますね。
どのくらいのディスプレイの大きさ、解像度のバランスにすると最もパフォーマンスが出るんでしょうか。めんどくさいので細かくは調べませんが…
背景の自由度が高い
色々な背景を選べたり、自分で取り込んだ360度写真にしたりということができます。
加えて、すべてをパススルーで表示できたり、部分的にパススルーで覗くことができたりするので、自分が最も集中できる環境を作れます。
設定について
設定できる項目が多く、自分用に細かく設定を追い込めます。
サポートは英語のみなので、苦手な人はつらいかも。
Windowのほうも設定をしておかないと、音声やディスプレイが引っ張られてしまいPC側の設定が乱れるので注意。
すでに複数枚モニターを使っていると、起動時や解除時にうまく動作しなかったりします。
自分の環境の場合は１枚は防音室にメインのディスプレイをミラー表示しているんですが、HMDを接続するとミラーが解除され、戻りません。
アップデートは割と頻繁に入ってるっぽいんで期待できるアプリです
動作も安定してます。
Macbook Airだと起動しないときがあった
はじめてMacbook Air 2020 M1に接続したときはうまく起動しませんでした。
その後、何も考えずにOSを最新のSonomaにしたんですが、問題なく動作するようになりました。
SNSでも起動しなかったという報告を見かけたので、安全にいくならMac勢はVision proを待ったほうがいいかもしれないですね。
廉価版も発売されるという噂もありますし。
プラン
無料で3枚 有料 月4.99ドルで5枚のディスプレイが使えます。
おそらくですが、すでに物理ディスプレイを2枚以上使っている方は無料で5枚使えます。
有料は物理ディスプレイを増やしても最大5枚です。
グラス型のVisorについて
このimmesedがVisorというグラス型ディスプレイを予約開始しています。
発売は2024年内。
Quest3がすごいといってもまだまだゴツく重く、グラス型にならないかな、と思っている人は多いはず。
正直、デスクトップのディスプレイの拡張という点であれば、Quest3よりグラス型のVIsorのほうが快適な可能性が高い。
形や重さもさることながら、Questは電源を入れたあと、さらにimmersedアプリを起動しないといけないんですが、Visorならアプリを起動せずにバーチャル作業空間に入れるようです。
僕のような人間は来年の発売まで待てないのでQuest3を使っておくという感じになっています。
2024年はApple Vision Proも発売されますし、バーチャルディスプレイ界隈の盛り上がりが大爆発するかもしれない。
ディスプレイ１枚だけを表示するアプリや機材ならさらに選択肢は広がっていますし。
話が逸れました。
追加で買ったもの
度付きレンズ – 強めにしよう
Meta公式のMeta Quest 3用Zenni® VR度付きレンズを購入。
https://www.meta.com/jp/quest/accessories/quest-3-zenni-vr-prescription-lenses/
Quest本体にはめ込むレンズで、メガネをつけずにHMDを装着することができるようになります。
メガネををつけているとHMDのつけ外しが煩わしいし、フェイスガードを少し伸ばさないといけないので重量バランスが悪くなる。
で、この買い物は少し失敗しました。
レンズの度が弱かったです。
普段からかけている、日常用で弱めのメガネと同じ度数にしたんですが、度数が足りなかった。
HMDはディスプレイが目に近いので視力はいらんだろうと思われがちですが、遠くに配置したものを見るには視力が必要なんですね。
HMD上では文字が読みにくいので、レンズの度が低いとますます表示を大きくしないといけなくなります。
偶然ですが、通常掛けているメガネとQuest用のレンズの両方とも度が弱いので、両方同時に使うとちょうどよい度数になりました。
レンズは少し強めの度数にして作ることをおすすめします。
公式ヘッドストラップ – バランス△
最初はゴムっぽいのストラップが付属していますが、ややつけ外しがしにくいです。
寝て使うぶんにはよいと思いますが。
というわけで公式のMeta Quest 3Eliteストラップを購入しました。
https://www.meta.com/jp/quest/accessories/quest-3-elite-strap/
ダイヤル式で頭をガチッとホールドします。
で、これも失敗しました。
バッテリーなしは重量バランスが悪い。
バッテリー付きのほうは重心が後ろにかかるのでバランスが改善します。
長時間作業する時はバランスが命なんですよね。
HMDは重いとよく言われますが、重さを感じる原因のほとんどはバランス。
バランスをよくすれば重さはかなり軽減されるはず。
Quest3は2に比べて同じくらいの重さなのに軽く感じます。これも小型化によってバランスがよくなったからですね。
さらに後ろに重心が移動すればもっと快適になるはず。
BOBOVRヘッドストラップ – MR用に最高
BOBOVRのヘッドストラップがよいらしいので購入してみました。
後頭部とおでこで挟むタイプのストラップです。
フェイスカバーを外して使えるので、肉眼で文字キーボードや楽器を見ることができるようになりました。
メガネをつけたままつけ外しがしやすくもなりました。
レンズの間のセンサーを塞ぐと、ちょっとした付け外しをしたときにスリープせず、トラッキングがズレないのでおすすめです。
前面を跳ね上げることもできます。
後ろにバッテリーがついており、これがカウンターウエイトとして作用します。
しかしまだバランスが悪かったので、リストウエイト用のおもり250gを追加でくくりつけたら完璧な重心になりました。
ホールド感も調節でき、弱くすると頭の上にヘルメットを乗せているような感覚にできます。
ですが、総重量が約１kgになってしまったのでとにかく重い。
この重さに慣れるのには時間がかかるかも。
また、immersedをケーブル接続で使用する場合、バッテリー経由だとデータ転送ができないのでHMDに直接ケーブルを装着して使用することになり、バッテリーはただの重りになります。
総合的にみるとBOBOVR M3 ProはMR用にはかなりおすすめです。
USBケーブル – 公式のものがいい
パソコンと繋げるUSBケーブルも買いました。CtoAの5m。
アプリのimmersedは基本ワイヤレスで動作しますが、パソコンとUSBケーブルで繋ぐことによって応答速度が早くなります。画質はよくなりません。
どちらにしろ長時間作業するのであれば給電をしなければいけないので、ケーブルは必須になります。
僕の環境だと5GHzのwi-fiで137msの遅延があります。この速度だと少しもっさりしていて作業はしにくい。
それがUSBケーブルを繋ぐと1msになりました。早すぎ。
快適さが全然違います。慣れるとケーブル接続でしか作業したくない。
で、これまた失敗をしたんですが、このケーブルはデータ転送のみで給電はできないタイプでした。商品説明には給電と書いてあるんですが…
調べてみると、データ転送、給電、かつ長い（5m）のものはMeta公式が最も確実、ということで公式のLinkケーブルを購入。
価格は約１万円とお高め…
給電も行われますが、immersed使用中は間に合ってないのかできないのかわかりませんが、内蔵バッテリーが減ります。
あと、ケーブルが床に垂れていると快適さが阻害されるので、ケーブルを吊るすために防音室と壁の間に棒を突っ張り、VR専用のフックを買い、そこにケーブルをひっかける形にしました。
これでケーブルの重さや存在すら全く感じなくなりました。
部屋のほぼ中央に設置したので、ケーブルをつけたまま部屋の大体の場所をそのまま移動できます。
かなり快適です。
マイクやカメラのスタンドにひっかけて点滴みたいにするのも臨時措置としてはおすすめ。
ビスカップ – コントローラー入れに最適
ビスカップ（マルチカップ）というものを買ってみました。
元々の用途は腰に釘や工具などを入れる大工道具です。
専用のベルトで腰につけ、Quest3のコントローラーを入れます。
Questではコントローラーとハンドトラッキングのどちらかで操作をしますが、ハンドトラッキングの状態で楽器を弾くと、手の表示がチラチラ出てきて気が散ります。
なので操作はコントローラーでしたほうがよいのですが、立っていたり鍵盤の前に座っているとコントローラを置く場所がない。
そこで腰のビスカップに収納すればちょうどよいのでは？ということです。
実際の使用感としては、つけ外しが楽で、立っても座っても使えて、そこそこ硬くて形が崩れないので見なくても出し入れできる。
なかなかいい感じです。
しかし、コントローラーをビスカップに入れたまま動くとポインタが出てくるので煩わしい… 対策を考え中です。
デスクのほうには、コントローラーを置く場所がないので、手を下げる場所にビスカップを打ち付けました。ギターのエンドピンでつけたらぴったりハマった。
置き場所が決まっているとノールックで取ることができるので、今のところかなり快適です。
このマルチカップというものがシンプルなデザインで安いのでおすすめです。
色ブラック迷彩 質量(g)約130 高さH×直径(mm×Φmm)約135×110
————————————
これで以上です。
今回紹介したものは、すべて「あった方がいいんだけれども必須ではない」というものです。
人によって許容できるラインが違うと思いますので、最初は付属品を買わないで、実際の不満に合わせて徐々に揃えていくというのが金額的にもよいのかなとは思います。
おわりに：HMDが”普通”になってきた
Meta Quest 3は音楽家が今買うには最高のデバイス。
僕も慣れるために毎日使ってデスクトップの作業をするようにしています。
6年前くらいからVR機器を触ってきましたが、やっと”普通”に近づいたなという気がしています。
ヘッドセットを被ることがメガネをかける感覚になってきた。
今まで、VRはVRの世界だけで閉じていて、現実世界とのシナジーがないなと思ってたんですよね。
僕自身、VR のゲームもあまりやらないし、VRの中で楽器の演奏ができても、それを現実世界の音楽制作と繋げることができなかった。
結局、毎日何時間も触るものはパソコン。
今回、そのパソコンとHMDが合体して、やっとシナジーが出せるようになったなと感じています。
AppleもVision Proを発売しますし、数年後にはバーチャル作業環境が一般的になるはずです。
さらにViXion01のような自動ピント調節機能もここに合流してくると思うので、近視のひとや老眼が始まるおじさんは現実よりもHMD経由で見たほうが快適になる可能性が高い。
なので目が悪いおじさんはさらに恩恵をうけることになるはずです。
常時被らなくても、一つの作業をするときだけ被るというのも全然アリで、
被っているときだけ楽器の練習をするとか、そういった短時間の集中のためのツールとして使うのもいいなと思っています。
Quest 3は急いで買わなくてもいいかなとは思っていますが、買わない人もバーチャル作業環境の意識はしておいた方がよいです。
「数年後もしかしたらバーチャルのディスプレイで作業するかも」と思っておくだけで、今買う機材が変わるかもしれないから。
新しいディスプレイはなるべく買わないとか、買うとしても高解像度のものを１枚とか。
SNSに動画をアップロードすると「未来だ」と反応をもらいますが、すでにこれが普通になりつつあるんです。
とりとめがなくなってしまいましたのでここで終わります。
じゃあの！
