CLOSE

当社にご興味をお持ちいただきましてありがとうございます。
以下メニューより選択いただきお進みください。
Thank you for your interest in NTT R&D. Please select from the menu below and proceed.

2026年度3月までに卒業見込みの方はこちら

Click here to new registration for the Career Education My Page

2026年3月以降に四年制大学・大学院修士課程・大学院博士課程を卒業(修了)見込みの方が対象となります。
This entrance is for those who are expected graduated from a four-year university or completed a master's/doctor's program after March 2026.

Click here if you have already registered for the Career Education My Page2026

インターンシップなど各種イベントへのエントリーはキャリア教育マイページよりお願いいたします。
To apply for internships and other events, please visit your Career Education My Page.

2025年度3月までに卒業見込みの方はこちら

Click here for new registration on My Page for new graduates

2025年3月までに四年制大学・大学院修士課程・大学院博士課程を卒業(修了)見込みもしくは卒業(修了)済みの方が対象となります。
This entrance is for those who are graduated from a four-year university or completed a master's/doctor's program by March 2025.

Click here if you have already registered for the new graduates My Page2025

2025年卒新卒採用マイページへご登録済みの方は、こちらよりログインをお願いいたします。
If you have already registered for the 2025 New Graduate Recruitment My Page,please log in here.

超高臨場UXサービスの実現

  • #ネットワーク
  • #メディア処理
  • #人間情報研究所

人間情報研究所

外村 喜秀、柿沼 弘員、巻口 誉宗、堤 公孝

01.これまでにない新しい臨場感メディアKirari!

「“Kirari! ”は新しいメディアをつくろうという試みです」
超高臨場感通信技術であるKirari! について外村はまずそう話してくれた。
「今までラジオ、テレビ、Webなど、さまざまなメディアが生まれて社会に届けられてきました。Kirari! はその先の、さらに新しいメディアとなることをめざしています」(外村)
Kirari! が何であるかを説明すれば、「新たな感動を生む高臨場UXサービス」ということになる。けれどその臨場感については辞書的な言い回しでは伝わりづらい。体育館や競技場、ステージで行われるパフォーマンスの映像・音声など、さまざまな情報を「収集」し、それをリアルタイムに同期して「伝送」、そして遠隔地でその空間を丸ごと「再現」する。遠く離れた場所での競技やライブをすっかりそのまま再現して味わえるメディア、それがKirari! だ。

02.リアルタイムに背景から人物を切り出す/
メガネのいらない3D映像

遠く離れた舞台に立つ役者が、まるで自分の目の前のステージに立っているような臨場感を実現するには、背景から役者だけを切り出した映像を用意する必要がある。しかもリアルタイムに。柿沼は、深層学習のアルゴリズムを活用して、グリーンバックなどの環境を用いずにカメラの映像から対象の人物のみをリアルタイムに抽出する画像処理技術を研究。ニコニコ超会議の「超歌舞伎」ではすでに、舞台上の演者のさまざまな立廻りを背景から切り出してリアルタイム抽出することに成功している。
「赤外光カメラやステレオカメラを用いて、インプットの情報を増やせば、対象者と背景を切り分ける深層学習の材料も増えるので精度は上がります。けれど組み合わせる情報が多ければ多いほどリアルタイムに処理するのが難しくなります。精緻に人物だけを抽出できなければ臨場感は減少してしまいますから、さらに正確な抽出が実現できるように努力しています」(柿沼)
巻口は競技をするスポーツ選手などの映像を、3D用のメガネを装着しなくても、どんな角度からでも立体に見えるような3D映像表示技術の確立に励んでいる。
「特別なスクリーンと複数のプロジェクタを活用して、例えばサッカーなどのスポーツイベントを、目の前のテーブルの上であたかもミニチュアの選手達がプレーしているかのように3D映像で表示する技術を研究しています。重なり合う映像の輝度を人間の視覚メカニズムに合わせた比率に調整し、最新光学メカニズムでそれを再現することで、従来の3D映像に比べて1/10程度の数のプロジェクタで3D映像を実現し、さらに全方位から見ても映像が歪まない投影構造も実現しました」(巻口)

03.すぐそばまで飛び出す音響/
あらゆる情報を完全に同期

堤が進めるのは音声の臨場感に関する研究だ。
「これまでは横や縦に『動く』音響をつくることはできても、それが近くまで飛び出してくるような感覚を表現することはできませんでした。そこで奥行き方向の制御も実現可能な波面合成音響技術の検討を進め、客席近くまで飛び出てきて、あたかもすぐ近くで音が鳴っているように感じる、臨場感の高い音響再生を実現しました」(堤)
これによって、例えばスポーツの映像を見ている場合、プレーの音声は選手達から聞こえるが、見せ場になった途端、観客の歓声が自分のすぐそばから聞こえる。そんな臨場感の再現が可能になった。
Kirari! はこれらのさまざまな技術をつなぎ合わせることによって実現するメディアである。外村が担う役割は、こうしたさまざまな情報を同じタイミングで統合する技術の研究だ。
「私は映像や音声を構築するさまざまな情報を、すべてグローバルクロックに合わせて同期できる技術の研究を進めています。被写体の映像、被写体以外の映像、音声など、さまざまな要素が少しでもずれれば臨場感は生まれません。完璧に情報を同期することで、高い臨場感の実現をめざしています」(外村)
さらに、現在は過去の映像とリアルタイムの映像を完全に同期させる技術にもチャレンジしている。Kirari! を単なる距離を超えて臨場感を伝えるメディアではなく、時間をも超えて臨場感を生み出すメディアへとさらに進化させようとしている。

※写真左から柿沼 弘員、巻口 誉宗、外村 喜秀、堤 公孝

KEY WORD
  • デジタルツイン
  • シミュレーション
  • 音声認識・合成
  • 行動モデリング
  • 感性メディア処理
  • 自然言語処理
  • 対話
  • 身体運動制御
  • 身体遠隔化
  • 身体知
  • リモートワールド
  • UI/UX
  • 空間メディア処理

人を中心とし、人の能力を最大限に活かすICTの研究開発を通して、
新たな価値を創造し豊かな社会の実現をめざす

リアル・サイバー共生世界における人間中心の豊かな社会実現をめざし、「人間中心を基本原則として、ヒトを情報通信処理可能にする」ことをミッションとし研究開発を推進しています。具体的には、人の知覚・思考・感情・身体・行動などの情報通信処理、すなわち、データ化とアルゴリズム化を、人工知能、集団思考・行動分析、サイバネティクス、メディア処理、空間情報処理、マンマシンインタフェースといったテクノロジーを強みに、認知科学、心理学、デザイン、アートなどを組み合わせ、学際的・総合的に取り組んでいます。

※記事本文中の研究所名や社員の所属組織などは取材時のものであり、
旧研究所名の場合がございます。

記事一覧
PAGE TOP