NTTドコモは、2020年春に商用サービスを開始する5GやAI、IoTなどの最新技術を活用したさまざまなサービス・ソリューションの技術展「DOCOMO Open House 2020」を2020年1月23日から1月24日まで東京ビッグサイトで開催した。同技術展は2009年に神奈川県の同社研究開発拠点を会場にスタートし、毎年開催が行われている。年々規模が大きくなり、近年は東京ビッグサイトの展示会場を使った技術やビジネスソリューションを一同に披露する大型展示会となっている。
特に今年は、2020年春に開始する5Gのサービス体験の展示で盛り上がっていた。展示会場の中から、特に目についた映像関連の活用をピックアップして紹介しよう。
音楽ライブイベントをアストロデザインの8Kカメラ「CM-9010-B」2台で撮影し、5Gで配信。その様子をブースにて3DVRでライブ体験できた
「3DVRライブ映像配信・視聴システム」は、8Kカメラで撮影した音楽ライブ映像が5Gでリアルタイム配信され、VRで楽しめる実証実験/PoC段階システムだ。音楽ライブやスポーツイベントを3DVRでライブ配信可能で、どこにいてもライブ会場にいるかのような臨場感ある映像、音響を楽しめるという。
2019年10月に名古屋市中区栄の久屋大通公園で行われた「東海テレビふるさとイッチー祭2019」で同システムを使った実証実験が行われ、その時の3D映像はアストロデザイン開発の8Kカメラ2台で撮影し、音響はヤマハ開発のViRealマイクで収録した立体音響を使用している。
展示会場のブースで、実際にVRゴーグルVIVE Proをかけて同システムを体験してみると、首を振ってステージを180°周りを見渡すことができた。ライブ会場にいる感じで、特に男性アイドルがこちらに近づいてくる様子は非常にリアルだった。
このシステムを使えば将来、名古屋や大阪で行われているイベントをリアルタイムに5Gを使って配信し、東京にいながら会場にいるかのようなリアルなVR体験が可能になるとのこと。
ワイド映像をライブ配信する別バージョン。裸眼でもVRのような臨場感のある映像配信が可能
また、同コーナーでは、8Kカメラを使って撮影した4Kカメラを3台使ってリアルタイムにステッチングして10K相当の映像を配信するシステムの紹介も行われていた。システム的には8Kライブ配信システムと同じで、同システムのワイド映像版とのことだ。
ボードゲーム上に選手が立体で動いているように見える
「テーブルトップ3Dプロジェクション」は、3Dプロジェクターの映像を鏡を使って反射させて平面に映像投影する専用筐体の3Dプロジェクションだ。映像をシャッターメガネ方式を通して撮影ポジションから映像を覗き込むと、中継映像を3Dで視聴可能。2台の4Kカメラを使い、左右の距離を数メートル離して巨人の目で観ているような撮影によって実現している。
実際に観てみると、平面ディスプレイでは味わえない臨場感が面白い。特に俯瞰して試合が観られるので、試合の状況が一目でわかる。戦術理解に使うと面白そうだ。
Gravity SketchによるVRモデリング。5Gを使ってマルチユーザーで作業を行うことが可能
「3Dデザインソリューション」は、複数拠点に存在するデザイナー同士が1つのVR空間で3Dオブジェクトをデザインするというもの。ブースのスタッフによると、最近のデザイン現場では3Dのものを3Dのままデザインできるのを理想としており、一部はVR3D空間の中でデザインや描画をする方向へシフトしているという。ブースでは、3Dで作成、共同作業、レビューを行える環境を実現する設計プラットフォーム「Gravity Sketch」を使ったデモが行われていた。
このデモの特長は、マルチユーザーの実現だ。将来、遅延の少なさや大容量でもスムーズに動くという5Gの特長を使って遠隔地にいるデザイナーが同じ画面を共有してコラボレーション可能。それぞれが得意な分野を分担しながら、同じものを仕上げる。スピードアップやクオリティの向上を実現できるという。
空間結像アイリス面型スクリーンは、3Dメガネをつけず、裸眼でどこからでも3D映像を楽しめるというもの。井戸を覗くような感じで中を見てみると、映像に厚みがある感じでコンテンツを楽しめる。同時に多人数でコンテンツが楽しめるのも特長だ。
プロジェクターから投影された光はスクリーン上で反射し、スクリーンを挟んで対面に位置する空間上の集光する。これにより、プロジェクターのアイリス面が空中に結合され、観察者はこの範囲内でのみ投影映像を視認できる。
このスクリーンの凄いところは、プロジェクターを60台使って円形に並べて映像を実現しているところだ。ただ、こちらの技術は、目と目の間の距離より狭くプロジェクターを配置しなければならなく、当初300台のプロジェクターを必要としていた。そこで、映像をぼかして映像と映像の隣り合った映像がオーバーラップしやすいようにすることで、60台での実現を可能にした。
60台のプロジェクターには、それぞれの映像を出すためのマイコンを内蔵。HDに満たない解像度の映像を投影して、実現しているという。
入力された映像はクラウドでスイッチングする。デモの様子は撮影不可のために、写真は掲示板のみ
VIRTUAL Productionは、スポーツやバンドのライブイベントなど、予算と人材が限られた場面で、複数のカメラとウェブブラウザだけでライブ映像中継や配信が手軽に行える。展示ブースには、2台のネット接続したカメラと2台のスマホ、合計4台のカメラがあり、4つのカメラの映像をクラウドで切り替えて配信する様子をデモしていた。
特長は、物理的なハードウェアのスイッチャーを必要としないところだ。必要な機能は協創プラットフォームのドコモオープンイノベーションクラウド上にあり、そこにインターネット経由で接続できるノートパソコンが1台あればWebブラウザからカメラ映像の切り替え作業がどこでも行える。低遅延などを特長にしているものではなく、手軽さ、低コスト、簡単に使えるというのがウリだという。
サーフィン大会を8Kカムコーダ8C-B60Aで撮影。TamazoneWorkstationによるリアルタイムHD切り出しを行う
8K動画から必要な箇所・シーンの切り出すという構想/研究段階のデモだ。ブースではサーフィン大会を8Kで撮影。8K動画から必要な箇所・シーンの切り出しを行うというもの。AIを使って人を検出することが可能で、選手のライディング映像の切り出しや選手の位置の認識が行える。大会のハイライト映像の自動作成や大会運営の効率化等などが実現可能。
別の使い方として、近い将来サッカーの試合を8Kカメラ1台で全体を撮影し、視聴者側が「この選手を観たい」と指定すると、その選手を追っかけていくことができるのではないかとのこと。
また、現在は一人しか切り出せないが、2人同時に切り出す、3人同時に切り出すということも可能になるのではないかとのことだ。
4Kと4Kの映像を合成して、8Kの綺麗な映像を切り出して、スマートフォンに配信。手を振ってみるがぜんぜん遅延がない
ローカルMECは、スタジアムでのスポーツ競技やアーティストのコンサートにおける、特定エリアの不特定多数への来場者に超低遅延のサービスを実現する構想/研究段階のもの。これまでの映像配信は手を振った様子を配信すると、手の動きのディレイが多少生じるが、ローカルMECと呼ばれる技術により、手の動きと実際に見える映像に遅延がないサービスのデモが行われていた。
たとえば、スタジアムで選手が見えないような悪い席に座っていたとしても見渡しのいい席のカメラ映像をスマートフォン向けに配信する。ローカルMECならば、スタジアムのプレーと配信映像に遅延がなく、プレーと映像を同時に楽しんだ場合でも違和感のない体験ができるとのことだ。
オムロンは、実証実験/PoC段階の卓球ロボット「FORPHEUS」を展示。展示をしていたのは、第5世代の卓球ロボット。先日、アメリカで行われたCESでは第6世代の卓球ロボットを展示したが、それとは違うバージョンとのこと。
実際にロボットのプレーをみてみると、かなりうまい。スタッフによると、温泉卓球の世界の中ではかなり強いほうだという。プロのプレーヤーを相手にすると勝てないが、一般者相手には十分手応えのあるラリーができるのではとのことだ。
驚くのは、このロボットに用いられているカメラやロボット、PLCは、すべて産業用の工場で動いているもので、卓球ロボットのために特別にカスタマイズしたものは1つもない。すべてはオムロンのカタログに載っている製品を組み合わせて実現しているという。
たとえば、ロボットの部分は、パラレルリンク機構と呼ばれるロボットで、ピックアンドプレースと呼ばれる工場内で物を掴んで別のところに置くという装置を使ったもの。カメラに関しては、オムロンではものを見るカメラというのをたくさんラインナップしており、その中の1つが使われているという。
センシングに関しては、5台のカメラを使用し、2台のカメラでボールの位置を検出、1台のカメラでプレーヤーの持っているラケットの位置や姿勢を検出、2台のカメラでプレーヤーの動きをセンシングしているという。
オムロンとしては卓球ロボットの販売予定はなく、ロボットを無敵レベルに強くする開発は考えてはいない。オムロンが目指しているのは人と機械の融和で、よりプレーヤーを見るロボットの開発を考えているという。今後は、よりプレーヤーを楽しませて、プレーヤーをもっともっと成長させていくようなロボットの開発に力を入れているとのことだ。
すでに実用化が始まっている次世代警備ロボットを展示。巡回点検や扉の開閉確認、電気の消灯確認を自動走行しながら行える。カメラを6台搭載しており、データを送って顔認証を行ったり、赤外線カメラや温度の測定を行って各種確認を行う機能を搭載している。また、掃除機のルンバと同じように、充電台に自動的に元って自動充電が可能。連続走行が8時間可能となっている。
鍵の開閉チェックは、正常の画像と現状の画像を比較して、「差異がでてたら鍵が開いていますよ」とレポートする。電気の消灯チェックも、光っている状態と消えた状態の異差によってチェックしている。異常箇所があれば、警備員がそのレポートをみて消しに行くという形で使われているとのことだ。
写真中央のバーチャル警備システムに近づくと、等身大の警備員の目線がこちらを向く。人間と同じ警備員のような視線が感じられるというのも特長だ
バーチャル警備システムは、オフィスビルや工場の入り口に立っている人間の常駐警備員の一部の役割をバーチャルキャラクターが担うというものだ。
実際に人が立って警備する目的は、姿を示すことで良からぬ人間が近づいてきたときでも思いとどまらせる意味があるという。そこで、等身大キャラクターのバーチャル警備システムでも目線で人を追いかける機能を搭載。近づいた人は、実際の人に見られている印象を感じる。心理的に人間の警備と同じような効果を発揮できるという。
また、「トイレはどこですか？」や「近くのコンビニどこですか？」といった警備員が立つ場所で頻繁に聞かれる定形の質問に関しては、音声認識とAIの技術によってバーチャル警備員が自動的に対応可能。
ビルの入り口に立つのであれば、VIPや頻繁に出入りする業者の顔を登録して、ドアを開ける、鍵を解除する、直接社員の関係者に知らせて特別に対応するという。
バーチャル警備で対応できない倒れている人がいたり、騒いでいる人がいるといった場合は、実際の常駐警備員がマイクごしに遠隔で対応したり、直接かけつけて対応するなどの方法になるという。
近い将来、ビルの3箇所の入り口に3人の警備が必要な場合は、3台のバーチャル警備を配置しておき、一人のオペレーション卓でフォローする。人間の常駐警備員が3人必要だったところが一人で済むようになり、今後の人手不足の時代に対応しやすくなるだろうとのことだ。
ものを掴んで重ねる、遠隔からの組み立て作業のデモ
遠隔操作に関わるデモは多かった。力触覚技術と遠隔操作ロボットを組み合わせて、遠隔操作をする構想/研究段階の体験型遠隔操作ロボットのデモが行われていた。力触覚とは、人間の感覚でいうと柔らかい、硬いという感覚のこと。力触覚伝達技術を使うことにより、遠隔地にいるこのオペレーターには硬い、柔らかいのように、その場にいる感覚が得られる。つまり、伝達技術を使うことにより、ロボットがハンドで握って、柔らかさ、硬さをグリップのほうに伝えることが可能になるということだ。
感覚の伝達により、紙コップのような柔らかいものでも、リアルタイムに配信される映像を観ながら、ハンドを通じて潰さずに持つことが可能。もし、力触覚がなかったら、握りつぶしても全く感覚がないという。これによって、柔らかい食品などでもロボットハンドを通じて掴むことが可能になるとのことだ。