[新規]喋るんディス

①アイデアの概要：映像自体が喋る（音を出す）機能を付加した大画面ディスプレイ。（※具体的には、「映像の表示位置」と「音声の出力位置」を一致させる機能を付加した大画面ディスプレイ。）
②発案の背景：ディスプレイの大画面化は「映像面の臨場感（リアリティ）」を高める一方で、「映像と音声の一体感（全体的な臨場感）」を低下させます。（※左右のスピーカー間隔が広がるため。）そのため、等身大の人物映像が表示されていても、期待したほどのリアリティ（その人物が喋っているような臨場感）は感じられません。そこで、喋っているように感じられないのであれば、直接、映像自体に喋らせてしまおうと考えました。


ジャンル：携帯・PC・家電
タグ：ディスプレイ 喋る

③技術的な要件：本アイデアの技術的な要件は、「ハード（表示・出力デバイス）の融合」と「ソフト（表示・出力プログラム）の連動」２つとなります。（※技術的なイメージとしては、障子の裏に立った人物が喋ると、その顔の位置のマス目から声が聴こえる様子を想像して下さい。）「ハードの融合」については、フラットパネルスピーカーの原理（※ＰＣや携帯のディスプレイをスピーカー化して画面から直接、音を出す技術）を応用することで、大画面ディスプレイの内部にスピーカーアレイ（スピーカーの集合体）を組み込みます。このことで、画面上の任意の位置（領域）から直接、音を出す（喋らせる）ことが可能となります。

「ソフトの連動」については、デジタルの特性（プログラムによる制御が容易なこと）を活用することで、音声の出力先を映像フレーム単位で変動制御します。このことで、映像の動き（「映像の表示位置」の変化）に「音声の出力位置」を追随させることが可能となります。
④アイデアの効果：本アイデアは、現状のリアリティ（高画質・高音質など）を遙かに超えるリアリティ（まるで、その場に実物が存在するような生々しい臨場感）を実現できます。

フラットパネルスピーカー内蔵ディスプレイなんかは
NECがすでにかなりまえから発売していますね。
口の検出ですが、openCVなどの技術で可能だとおもいます。
ただ、リアルタイム処理は難しいですね。
1人なら良いですが、複数人のときや、映ってない人が話しているときなどの認識はリアルタイムに識別できません。
あらかじめ、ソースにその位置情報を入れたトラックなど用意するような感じで配信側がデーターを入れる必要があります。
でも、その情報があれば吹き替えで他の言語でも流用できますが。

でもスピーカーはそれを利用するより
パラメトリックスピーカーをつかって、その音をディスプレイの該当箇所狙って出して反射させる方が、コスト的にも安く臨場感も大きいと思います。