超高臨場UXサービスの実現

「“Kirari! ”は新しいメディアをつくろうという試みです」
超高臨場感通信技術であるKirari! について外村はまずそう話してくれた。
「今までラジオ、テレビ、Webなど、さまざまなメディアが生まれて社会に届けられてきました。Kirari! はその先の、さらに新しいメディアとなることをめざしています」（外村）
Kirari! が何であるかを説明すれば、「新たな感動を生む高臨場UXサービス」ということになる。けれどその臨場感については辞書的な言い回しでは伝わりづらい。体育館や競技場、ステージで行われるパフォーマンスの映像・音声など、さまざまな情報を「収集」し、それをリアルタイムに同期して「伝送」、そして遠隔地でその空間を丸ごと「再現」する。遠く離れた場所での競技やライブをすっかりそのまま再現して味わえるメディア、それがKirari! だ。

遠く離れた舞台に立つ役者が、まるで自分の目の前のステージに立っているような臨場感を実現するには、背景から役者だけを切り出した映像を用意する必要がある。しかもリアルタイムに。柿沼は、深層学習のアルゴリズムを活用して、グリーンバックなどの環境を用いずにカメラの映像から対象の人物のみをリアルタイムに抽出する画像処理技術を研究。ニコニコ超会議の「超歌舞伎」ではすでに、舞台上の演者のさまざまな立廻りを背景から切り出してリアルタイム抽出することに成功している。
「赤外光カメラやステレオカメラを用いて、インプットの情報を増やせば、対象者と背景を切り分ける深層学習の材料も増えるので精度は上がります。けれど組み合わせる情報が多ければ多いほどリアルタイムに処理するのが難しくなります。精緻に人物だけを抽出できなければ臨場感は減少してしまいますから、さらに正確な抽出が実現できるように努力しています」（柿沼）
巻口は競技をするスポーツ選手などの映像を、3D用のメガネを装着しなくても、どんな角度からでも立体に見えるような3D映像表示技術の確立に励んでいる。
「特別なスクリーンと複数のプロジェクタを活用して、例えばサッカーなどのスポーツイベントを、目の前のテーブルの上であたかもミニチュアの選手達がプレーしているかのように3D映像で表示する技術を研究しています。重なり合う映像の輝度を人間の視覚メカニズムに合わせた比率に調整し、最新光学メカニズムでそれを再現することで、従来の3D映像に比べて1/10程度の数のプロジェクタで3D映像を実現し、さらに全方位から見ても映像が歪まない投影構造も実現しました」（巻口）

堤が進めるのは音声の臨場感に関する研究だ。
「これまでは横や縦に『動く』音響をつくることはできても、それが近くまで飛び出してくるような感覚を表現することはできませんでした。そこで奥行き方向の制御も実現可能な波面合成音響技術の検討を進め、客席近くまで飛び出てきて、あたかもすぐ近くで音が鳴っているように感じる、臨場感の高い音響再生を実現しました」（堤）
これによって、例えばスポーツの映像を見ている場合、プレーの音声は選手達から聞こえるが、見せ場になった途端、観客の歓声が自分のすぐそばから聞こえる。そんな臨場感の再現が可能になった。
Kirari! はこれらのさまざまな技術をつなぎ合わせることによって実現するメディアである。外村が担う役割は、こうしたさまざまな情報を同じタイミングで統合する技術の研究だ。
「私は映像や音声を構築するさまざまな情報を、すべてグローバルクロックに合わせて同期できる技術の研究を進めています。被写体の映像、被写体以外の映像、音声など、さまざまな要素が少しでもずれれば臨場感は生まれません。完璧に情報を同期することで、高い臨場感の実現をめざしています」（外村）
さらに、現在は過去の映像とリアルタイムの映像を完全に同期させる技術にもチャレンジしている。Kirari! を単なる距離を超えて臨場感を伝えるメディアではなく、時間をも超えて臨場感を生み出すメディアへとさらに進化させようとしている。