VtuberとMR（Mixed Reality）ライブ
最近Vtuber（バーチャルユーチューバー）にドハマりしていて、毎日のように更新をチェックしたり生放送を聞いたりしている。大変ですね。
……という感じでいたところに、つい先日アイドルマスターのMR(Mixed Reality)ライブイベントに参加する機会があって、3Dで動きまわり、またリアルタイムに会場の様子に反応するヴァーチャルなアイドルの姿を目の当たりにした。詳細は後述するが、これはかなり異常な体験だった。
ちょっとした恐怖を感じたので大仰なタイトルにした。
Vtuberの現在
今や2000を優にこえると言われるVtuberについて一絡げに語ることは難しいが、メインストリームの流れを概観すると、だいたい三つの時期に区分することができるかと思う。
キズナアイの登場：
キズナアイが史上初「バーチャルユーチューバー」を名乗る。
初期の動画は（バーチャルでない）ユーチューバーに似た傾向の動画（～やってみた、など）が多い。
スクリーンキャプチャしながらアキネイターなどのWebサービスを実演する形式の動画が定着。Vtuber四天王（ミライアカリ・シロ・ねこます・輝夜月）らの登場：
徐々に人数が増え、Vtuber界が活気づいてくる。
ゲームのプレイ動画が流行しはじめる。
この時期のゲーム実況動画は、撮影後、編集を経て公開する形式が一般的。2DVtuberも登場、群雄割拠の時代
Vtuberが爆発的に増加する。
これまでは3Dモデルをモーションキャプチャするのが主流だったところに、FacerigとLive2Dの組み合わせ、またiPhoneXのAR機能を使った「にじさんじ」などのフェイストラッキングのみの低コストな2DVtuberが増えはじめる。
この頃から動画の配信形式として、（ゲーム実況・雑談などの）ライブ配信が流行しはじめる。
ライブ配信のプレイ動画をそのままアーカイブとしてアップする形式が定着。
質的に異なる二つの「Vtuber」
全体の流れを追うと、昨今のVtuberの興隆には、低コスト化とそれに伴う参入障壁の低下が大きく寄与していそうである。
また、②と③の間には「配信者が用いる主なメディアが、投稿動画かLIVE配信動画か」という大きな断絶が存在している。
この断絶については思うところがある人が多いようで、古参のVtuberファンの中には、3Dモデルや動画編集にくらべて低コストで手間がかかっていないLIVE配信者をこころよく思わないというような意見もあるようだ。
同じVtuberという括りで扱われていること、近ごろでは従来のバーチャルユーチューバーも積極的にLIVE配信を行うようになってきたことなどから状況が錯綜しているので、従来式の編集動画投稿型の配信者をバーチャルユーチューバー、LIVEが主体の配信者をバーチャルライバーと呼んで区別してみることにしよう。
編集が可能であるがゆえに、場合によっては綿密な台本まで用意するプロジェクト型のバーチャルユーチューバーが「（設定された）キャラクター」的にふるまいがちなのに対して、リアルタイムに流れるコメントへの反応やハプニングへの対応をするバーチャルライバーは、より配信者に属人的な傾向があるようである。
「LIVE配信」の効能
このようなバックグラウンドをあわせて考えると、リアルタイムの音声ストリーミング／モーションキャプチャ／フェイストラッキング技術を使ったVtuberのLIVE配信には、まったく反対の二つの性質があることが浮かび上がってくる。
ひとつは、すぐ上で述べた、生の人間をキャラクター化する過程、つまり現実を仮想化する過程としての性質である。
キャラクター化の恩恵には、視聴者層の拡大や、配信者の匿名化が可能であることなどがあり、これによって野に眠っていた多くの才能がざくざくと頭角をあらわしてきているようだ。こちらは主にバーチャルライバーのほうに特に顕著な傾向のように思う。
そもそもの話、ぽんぽこ24（2018/05/03～2018/05/04にチャンネル「甲賀流忍者ぽんぽこ」で行われた24時間コラボ企画）のコーナー「Vtuber有識者会議」でも言及されていたように、バーチャルライバーの隆盛は従来のバーチャルユーチューバーの系譜というよりは、（生配信はやってみたいがフィルタを通してキャラクター化したほうがやりやすい配信者／実在人物の生声配信よりキャラクターのフィルタを通した配信を好む視聴者）の需給の一致によるものが大きいように見える。
（ただし、こちらは決してLIVE配信に限った話というわけではない。）
こちらの側面については語るべきことがたくさんあるが、今回の趣旨とはすこし外れるので、また別の機会にあたることにしたい。
そして、こららの技術がもつもうひとつの側面が、すでに確立したキャラクターを現実の時間スケールに飛び出させる仕掛け、いわば、仮想を現実化する過程としての性質である。
「そのキャラクターがどのような存在か」ということが視聴者によく周知されている場合、LIVE配信によってキャラクターと視聴者の時間軸が共有されることによって両者の関係性は劇的に変化する。彼らはキャラクターでありながら、我々の行動に対してリアルタイムに応答するのである。
キャラクターをリアルタイムに現界させる技術がもたらす認知への強烈なハックは、Vtuberではない他の世界にも革命をもたらした。
さあ、もう一つのリアルタイム・音声ストリーミング／モーションキャプチャ／フェイストラッキング技術の結晶、THE IDOLM＠STER MR ST@GE!! MUSIC GROOVEの話をしよう。
THE IDOLM＠STER MR ST@GE!! MUSIC GROOVE
THE IDOLM＠STER MR ST@GE!! MUSIC GROOVE、というのは2018年の5月に横浜のDMM VR THEATERで行われたアイドルマスター初のMR（Mixed Reality）ライブイベントのことである。聞き覚えのない単語がたくさんあるのでひとつずつ順を追って説明する。
アイドルマスターと一口に言っても、最近ではシンデレラガールズ・ミリオンライブ・SideM・シャイニーカラーズなどなど手広く展開していて、総数も軽く500人を超えそうな一大コンテンツである。
THE IDOLM＠STER MR ST@GE!! MUSIC GROOVEではその中でも元祖（765ASと呼ばれる、アイドルマスターSPまでに揃ったメンバー）の13人が出演するライブイベントである。PS4のコンシューマゲームがあるために、彼女たちにはアイドルマスターシリーズの中で一番デティールの優れたリッチな3Dモデル・3Dダンスのモーションデータが存在している。
DMM VR THEATERは、ハーフミラーによって3Dオブジェクトを実際に存在しているかのように見せる「ホログラフィック映像」を売りに2015年に作られた新しい劇場で、これまでにも演劇やライブなど、3D投影を活かしたさまざまなイベントが開催されている。
http://realsound.jp/movie/2017/09/post-113222.html
要は3Dオブジェクトを実空間に投影できるすごい劇場、と思っておけばだいたいOK。
5/12のライブ体験
5/12の夜、如月千早センター回、このMRライブを実際に体験した。
VRのイベントもアイドルマスターのイベントもこれが初めてだったので、いったいどのようなものになるのかなと気もそぞろにメロンソーダをすすっているとまもなくイベントがはじまり、あたりの人々が立ち上がったのであわてて一緒に立ち上がった。ステージ上では3Dで投影されたアイドルたちが踊りはじめていた。
3Dモデルがステージ上を動いている！ という感動はあるものの、3Dモデルの見覚えのあるモーション（多少の調整はしているだろうが、おそらくPS4のダンスモーションからの流用）と聞き覚えのある音源に、初見の印象は決してよいものではなかった。どうやら標準装備らしい光る棒を持っていなくて気まずかったのもあって、私は会場の端のほうの席でいまいちノリきれないまま、こんなものかと重いながらまわりにあわせて体をゆすっていた。
光学装置で投影している以上しかたない面もあるとは思うものの、曲と曲の間の暗転でアイドルたちの姿がフッと虚空に消えるのも気になる。
3Dのアイドルがステージ上を走り回っていたのはなるほど目新しかったが、それはあくまでよい再生環境を使った見覚えのある動きの再演に過ぎず、それは決して私が期待していた「ライブ」ではなかった。
リアルタイム・キャラクター
変化があったのは10曲ほど終えたあと、MCパートからのことだ。如月千早がリアルタイムに応答していた。ここからがMRライブの本領だった。
「声出しをしたいんですが、何の歌でやればいいでしょうか？」
の問いに会場からの「インフェルノ！」の声が大きかったのを拾ってInfernoの一節を歌ってみたり、
「実は今日、あまり声の調子がよくないんです……、最後の曲は「眠り姫」にしようと決めているのですが、ちゃんと歌えなかったらどうしましょう……」
の発言に対する一ファンの「オレが歌う！」というトンチキな叫びに「プロデューサーが歌う？！ 大丈夫ですか？ 歌詞は覚えていますか？」と返してみたり、
たまに台詞を噛んでわたわたしたりしていた。
MCの後は千早の「Arcadia」ソロ歌唱パート。アイドルマスターにはダンスモーションの既存データが存在しない曲（音源だけはCDで出ているものの、ゲームでプレイアブルでないもの）が一定数あり、Arcadiaはその中の一つである。必然的にこれはライブ初公開の新作ダンスモーションということになる。
アイドルマスターにおける「理想的なダンス」
MRライブで行われたダンスの話をする前に、「アイドルマスター」というゲームにおけるダンスの特性を振り返ってみよう。
そもそもの前提として、アイドルマスターのゲームの既存のダンスモーションは、客席とのインタラクションがないのを差し引いても、現実のライブにおけるそれと質的に異なる点がある。
- 音とモーションが別撮りなので、ライブにおける「マイクを持つ必要がある」といった制約がない
- モーションに偶発的に生じるはずの「ブレ」がない
まず前者について。アイドルマスターのダンスはマイクを持たず体全体を使って行われる。音楽とモーションはそれぞれの内部で最適化されており、ゲーム内のダンスはライブ映像というよりどこかMVに近い性格がある。
（※例外的に、「MUSIC♪」の振り付けはマイクを持って歌うことを意識して作られている。）
後者について。アイドルマスターのダンスモーションでは、人間が動くときに偶発的に生じうる「ブレ」のようなものが排除されている。わかりやすい例を挙げると、ダンス最後の決めポーズの部分では止まるべきところは完全に静止しており、ぷるぷる震える、あげていた手がちょっとずつ下がってしまう、などということはない。
両者とも、ある意味「理想的」な動きであるがゆえに「ライブ的」、「身体的」でない、と捉えられてしまう側面ととれる。
前回の記事では「仮想空間が身体性を獲得しつつある」という話題に触れた。 xcloche.hateblo.jp
アイドルマスターにおいても、モーションキャプチャ技術自体はハードがPS3になったあたりからダンスモーションの作成に使われているようだ。
https://www.famitsu.com/game/news/1210850_1124.html
しかし、そうして動きをデータとして取り込んだ後、編集の過程で偶発的なブレはきれいに脱臭されて失われ、「理想的なダンス」が作り上げられてきたのだろう。ただし、ゲームというメディアに関しては、身体性が多少欠落したとしても、見た目が洗練されることのほうが望ましいという可能性もある。あるいは今後、そうした「人間的なブレ」までもがモーションとして取り入れられていく可能性もある。
"ライブ的" なライブ
ライブの話に戻ろう。結論から言えば、MRライブのソロ歌唱パートでは、声優によるリアルタイムの音声ストリーミング（いわゆる「生歌」）、モーションアクター（おそらく声優が兼任）による（おそらく）リアルタイムのモーションキャプチャーが行われていた。
不覚にも無念の落涙をしていて詳しいことをあまり覚えていないのだが、MCパートと同じく歌唱中にも会場とのインタラクションがあるように感じたし、歌声とモーションは強く相関しているように見えたし、モーションは「身体的」にブレまくっていた。
印象的だったのが、曲の終了後暗転せずなめらかにMCパートに接続されたこと。歌い終わった彼女の脚はたしかにふるえており、ただ肉がないという一点を除いて、仮想のアイドルがそこに現界していた。
これまでのアイドルマスターのライブ（声優がパフォーマーとして出演するもの）では、よく「（パフォーマーに）キャラクターが憑依している」というような言い回しが使われてきたそうだ。
いま、劇場にいたキャラクターの3Dモデルはゲームで用いられているものと同一のものである。ゲームの「物語の登場人物」としての存在と、リアルタイムに目の前でいきいきと動く姿とがシームレスに接続され、認知が変化するのがはっきりと自覚された。
アイドルマスターの言葉を借りれば、まさしくこれは「ライブ革命」だった。
総括
技術的に、表情表現の相当の部分がフェイストラッキングで拾えるようになってきたし、適当な設備さえあれば、体の動きもモーションキャプチャでかなり微細に拾えるようだ。声をそのまま使うのも合わせれば、人間の感情表現の大半をアバターで代替可能な時代はすでに到来している。
この技術は、人間がアバターをフィルタとして用いて発信するのにも有用だし、物語上のキャラクターを現実の時間軸に連れてくる未知の領域の体験をも可能にするものだ。これからもどんどん面白い展開がなされていくだろうし、そうなっていくことを期待したい。
