【発明の詳細な説明】 【０００１】 【発明の属する技術分野】本発明は、番組に出演している出演者、或いは、番組を視聴している視聴者等の人物を擬似的に出張させる情報を送信する擬似出張用情報送信方法、擬似出張用情報送信装置、擬似出張用情報送信プログラムおよび当該人物を擬似的に出張させる情報を再生する擬似出張用情報再生方法、擬似出張用情報再生装置、擬似出張用情報再生プログラムに関する。 【０００２】 【従来の技術】従来、視聴者を参加させる視聴者参加型番組では、当該番組を視聴している視聴者に対し、以下に示す手法が取られ、当該番組に出演している出演者と一緒になって番組を制作している（番組に参加している）という臨場感を視聴者に持たせる工夫がなされていた。 【０００３】例えば、（１）この番組に出演している出演者が、予め葉書等で自身の電話番号を知らせてきた視聴者に対し、電話（テレビ電話を含む）をして話をすることや、視聴者から当該番組内で指定された電話番号に電話して話をする。 （２）当該番組内で指定されたＦＡＸ番号に、番組を視聴している視聴者がＦＡＸ送信することで、リアルタイムに当該番組に意見を述べたりする。 【０００４】（３）番組を制作している制作者側からデータ放送等を利用してクイズが出題され、インターネット等の双方向の通信回線網を介して視聴者がクイズの解答をすること等の手法が挙げられる。 また、より大がかりなものでは、（４）番組に参加してもらう視聴者の家庭に、番組制作者側から中継クルーを派遣して、この家庭と番組を撮影しているスタジオとを結んで、視聴者が番組に参加するといった手法が用いられている。 【０００５】さらに、（５）番組に出演している出演者と、視聴者とが対話する場合、視聴者が番組を撮影している撮影現場であるスタジオに赴き出演する手法や、出演者がレポーターとなって、視聴者宅を訪問する手法がとられている。 【０００６】 【発明が解決しようとする課題】しかしながら、従来の視聴者参加型番組では、以下に示す問題点がある。 （１）視聴者参加型番組に視聴者が電話によって参加する場合には、番組を視聴している他の視聴者（電話している視聴者以外の者）にとっては、電話をしている視聴者の表情や、姿が見えないため、臨場感の再現には限界がある。 【０００７】（２）ＦＡＸによって参加する場合には、
視聴者の表情や、姿が見えないことと併せて、番組中の出演者がリアルタイムに反応することも困難である。 （３）データ放送による方式では、インターネット等の双方向の通信回線網を介して参加している視聴者のアイデンティティ（どんな視聴者なのか）が、番組を視聴している他の視聴者には解りづらい。 【０００８】（４）中継クルーを視聴者の家庭（視聴者宅）に派遣することは、撮影装置の移動等コストがかかる。 （５）番組の出演者が視聴者宅を訪問する場合、一人のレポーターが訪問できる視聴者宅は、生番組の場合、せいぜい一カ所であって、多くの視聴者に参加してもらうことを想定すると、複数のレポーターを用いるか、予め収録しておくしかない。 また、視聴者が番組を撮影している撮影現場であるスタジオに出向く場合も、当該スタジオが、視聴者の住んでいる場所から近くならばいいが、遠方にある場合、視聴者にとって大変な負担となる。 【０００９】さらに、従来の視聴者参加型番組では、番組に参加している参加者（出演者、視聴者）の姿（動作）や音声を、番組制作者である放送局から送信する方式では、当該参加者の肌の暖かさや緊張感のような感性、感覚情報をより直接的に一般の視聴者に伝えることができないという問題がある。 【００１０】そこで、本発明の目的は前記した従来の技術が有する課題を解消し、番組に出演している出演者と、当該番組を視聴している視聴者とによって臨場感のある番組を生成することができる擬似出張用情報送信方法、擬似出張用情報送信装置、擬似出張用情報送信プログラムおよび擬似出張用情報再生方法、擬似出張用情報再生装置、擬似出張用情報再生プログラムを提供することにある。 【００１１】 【課題を解決するための手段】本発明は、前記した目的を達成するため、以下に示す構成とした。 請求項１記載の擬似出張用情報送信方法は、番組を撮影している撮影場所にいる人物を、当該番組を視聴している人物がいる視聴場所に、または、前記番組を視聴している人物を前記撮影場所に、擬似的に出張させる情報である擬似出張用情報を送信し、前記撮影場所または前記視聴場所に備えられている制御信号を受信可能な周辺機器を、前記擬似出張用情報に基づいて制御させることで、前記人物を擬似的に出張させる擬似出張用情報送信方法であって、
前記人物の映像、音声、ジェスチャに関する基本人物情報を入力する入力ステップと、この入力ステップにおいて入力された基本人物情報を分析して擬似出張用情報を生成する分析ステップと、この分析ステップにおいて分析された擬似出張用情報を符号化する符号化ステップと、この符号化ステップにおいて符号化された擬似出張用情報を送信する送信ステップと、を含むことを特徴とする。 【００１２】この方法によれば、入力ステップにおいて、人物の映像、音声、ジェスチャに関する基本人物情報が得られる。 人物の映像によって、人物の肌の色、髪の毛等のカラー情報や、人物の身長、体型等の形状情報が得られる。 そして、分析ステップにおいて、入力ステップで得られた基本人物情報が分析されて擬似出張用情報が生成される。 続いて、符号化ステップにおいて、擬似出張用情報が符号化される。 その後、符号化された擬似出張用情報が、送信ステップにおいて、送信する経路（放送波、通信回線網）に応じて変調され、送信される。 【００１３】また、請求項２記載の擬似出張用情報送信装置は、番組を撮影している撮影場所にいる人物を、当該番組を視聴している人物がいる視聴場所に、または、
前記番組を視聴している人物を前記撮影場所に、擬似的に出張させる情報である擬似出張用情報を送信し、前記撮影場所または前記視聴場所に備えられている制御信号を受信可能な周辺機器を、前記擬似出張用情報に基づいて制御させることで、前記人物を擬似的に出張させる擬似出張用情報送信装置であって、前記人物の映像、音声、ジェスチャに関する基本人物情報を入力する入力手段と、この入力手段で入力された基本人物情報を分析して擬似出張用情報を生成する分析手段と、この分析手段で分析された擬似出張用情報を符号化する符号化手段と、この符号化手段で符号化された擬似出張用情報を送信する送信手段と、を備えることを特徴とする。 【００１４】かかる構成によれば、入力手段で、人物の映像、音声、ジェスチャに関する基本人物情報が得られる。 そして、分析手段では、入力手段で得られた基本人物情報が分析されて、擬似出張用情報が生成される。 続いて、符号化手段で、擬似出張用情報が符号化される。
その後、符号化された擬似出張用情報が、送信手段で、
送信する経路（放送波、通信回線網）に応じて変調され、送信される。 【００１５】請求項３記載の擬似出張用情報送信装置は、請求項２に記載の擬似出張用情報送信装置において、前記入力手段に、体温、心拍数等の生理データ、前記人物の感情を類推可能な感性データの少なくとも一方のデータである関連人物情報を入力し、前記分析手段で、前記関連人物情報を分析して擬似出張用情報を生成するることを特徴とする。 【００１６】かかる構成によれば、入力手段に、体温、
心拍数等の生理データと人物の感情を類推可能な感性データの少なくとも一方のデータである関連人物情報が入力される。 そして、分析手段で、関連人物情報が分析され、擬似出張用情報が生成される。 なお、感性データは、前記した顔の表情分析、人物を撮像した映像の周波数分析等によって得られる。 【００１７】感性を表す感性データとは、人物を撮像した結果、当該人物の顔の表情分析に基づいて、人物が楽しんでいる様子や、リラックスしている様子や、うれしがっている様子から、「楽しさ」、「心地よさ」、「うれしさ」の程度を数値化して抽出したものである。 より具体的には、感性データは、人物の顔に着目して得られるもので、顔の表情解析として、マユの動き、目の動き、口元の動き、額のしわ、鼻唇部のしわ、顔面の温度変化等が解析される。 この解析では、主に多変量解析によって行われ、さらに、撮像した顔画像を周波数分析して、垂直方向の周波数成分が増加している場合には、当該人物は怒っていると類推され、水平方向の解像度が増加している場合には、当該人物は笑っていると類推される。 【００１８】或いは、擬似出張用情報を受信する受信側に備えられている周辺機器が既知の場合であって、当該周辺機器で表現できる擬似的な人物（例えば、表示装置で表示されるＣＧキャラクタ、人物ロボット）の表情が決まっている場合には、当該人物を撮影した者の主観評価によって、人物の感性データを統計的に決定してもよい。 【００１９】請求項４記載の擬似出張用情報送信装置は、請求項３に記載の擬似出張用情報送信装置において、前記分析手段には、前記人物の映像を分析する三次元分析手段と、前記人物の音声を分析する声質分析手段と、前記人物のジェスチャを分析する表情動作分析手段とを備え、さらに、前記生理データを分析する生理データ分析手段と前記感性データを分析する感性情報分析手段との少なくとも一方を備えたことを特徴とする。 【００２０】かかる構成によれば、分析手段には、基本人物情報を分析する三次元分析手段、声質分析手段および表情動作分析手段が備えられており、関連人物情報を分析する生理データ分析手段または感性情報分析手段が備えられているので、一方の場所にいる人物の状況が過不足なく隅々まで分析される。 【００２１】さらに、請求項５記載の擬似出張用情報送信プログラムは、番組を撮影している撮影場所にいる人物を、当該番組を視聴している人物がいる視聴場所に、
または、前記番組を視聴している人物を前記撮影場所に、擬似的に出張させる情報である擬似出張用情報を送信し、前記撮影場所または前記視聴場所に備えられている制御信号を受信可能な周辺機器を、前記擬似出張用情報に基づいて制御させることで、前記人物を擬似的に出張させる装置を、以下に示す手段として機能させることを特徴とする。 当該装置を機能させる手段は、前記人物の映像、音声、ジェスチャに関する基本人物情報を入力する入力手段、この入力手段で入力された基本人物情報を分析して擬似出張用情報を生成する分析手段、この分析手段で分析された擬似出張用情報を符号化する符号化手段、この符号化手段で符号化された擬似出張用情報を送信する送信手段、である。 【００２２】かかる構成によれば、入力手段で、人物の映像、音声、ジェスチャに関する基本人物情報が得られる。 そして、分析手段では、入力手段で得られた基本人物情報が分析されて、擬似出張用情報が生成される。 続いて、符号化手段で、擬似出張用情報が符号化される。
その後、符号化された擬似出張用情報が、送信手段で、
送信する経路（放送波、通信回線網）に応じて変調され、送信される。 【００２３】請求項６記載の擬似出張用再生方法は、請求項１に記載の擬似出張用情報送信方法によって送信された擬似出張用情報に基づいて、制御信号を受信可能な周辺機器を制御することで、前記人物を擬似的に出張させる擬似出張情報再生方法であって、前記擬似出張用情報を受信する受信ステップと、この受信ステップにおいて受信した擬似出張用情報を復号する復号ステップと、
この復号ステップにおいて復号された擬似出張用情報に基づいて、前記周辺機器を制御する制御信号を合成する合成ステップと、この合成ステップにおいて合成された制御信号を前記周辺機器に出力する出力ステップと、を含むことを特徴とする。 【００２４】この方法によれば、まず、受信ステップにおいて、符号化された擬似出張用情報が受信される。 そして、復号ステップにおいて、符号化された擬似出張用情報が復号される。 続いて、合成ステップにおいて、復号された擬似出張用情報に基づいて、周辺機器を制御するための制御信号が合成される。 出力ステップにおいて、合成された制御信号が周辺機器に出力される。 【００２５】また、請求項７記載の擬似出張用再生装置は、請求項２から請求項４のいずれか１項に記載の擬似出張用情報送信装置によって送信された擬似出張用情報に基づいて、制御信号を受信可能な周辺機器を制御することで、前記人物を擬似的に出張させる擬似出張情報再生装置であって、前記擬似出張用情報を受信する受信手段と、この受信手段で受信した擬似出張用情報を復号する復号手段と、この復号手段で復号された擬似出張用情報に基づいて、前記周辺機器を制御する制御信号を合成する合成手段と、この合成手段で合成された制御信号を前記周辺機器に出力する出力手段と、を備えることを特徴とする。 【００２６】かかる構成によれば、受信手段で、符号化された擬似出張用情報が受信される。 そして、復号手段で、符号化された擬似出張用情報が復号される。 続いて、合成手段で、復号された擬似出張用情報に基づいて、周辺機器を制御するための制御信号が合成される。
出力手段で、合成された制御信号が周辺機器に出力される。 【００２７】請求項８記載の擬似出張用再生装置は、請求項７に記載の擬似出張用情報再生装置において、前記合成手段には、前記人物の映像を合成する三次元合成手段と、前記人物の音声を合成する声質合成手段と、前記人物のジェスチャを分析する表情動作合成手段とを備え、さらに、前記生理データを合成する生理データ合成手段と前記感性データを合成する感性情報合成手段との少なくとも一方を備えたことを特徴とする。 【００２８】かかる構成によれば、合成手段には、基本人物情報を合成する三次元合成手段、声質合成手段および表情動作合成手段が備えられており、関連人物情報を合成する生理データ合成手段または感性情報合成手段が備えられているので、一方の場所にいる人物の状況が十分に再現される。 【００２９】請求項９記載の擬似出張用再生装置は、請求項７または請求項８に記載の擬似出張用情報再生装置において、前記周辺機器が、前記制御信号に基づいて生成されるＣＧキャラクタを表示させる表示装置、または、前記制御信号に基づいて動作する人型ロボットであることを特徴とする。 【００３０】かかる構成によれば、合成手段で生成された制御信号によって制御される周辺機器が表示装置か人型ロボットとされる。 この場合、合成手段では、擬似出張用情報が表示装置に表示されるＣＧキャラクタを生成可能な情報（映像音声情報）に合成される。 或いは、擬似出張用情報が人型ロボットを制御可能な制御信号に合成される。 【００３１】請求項１０記載の擬似出張用再生プログラムは、請求項５に記載の擬似出張用情報送信プログラムによって送信された擬似出張用情報に基づいて、制御信号を受信可能な周辺機器を制御することで、前記人物を擬似的に出張させる装置を、以下に示す手段として機能させることを特徴とする。 当該装置を機能させる手段は、前記擬似出張用情報を受信する受信手段、この受信手段で受信した擬似出張用情報を復号する復号手段、この復号手段で復号された擬似出張用情報に基づいて、前記周辺機器を制御する制御信号を合成する合成手段、この合成手段で合成された制御信号を前記周辺機器に出力する出力手段、である。 【００３２】かかる構成によれば、受信手段で、符号化された擬似出張用情報が受信される。 そして、復号手段で、符号化された擬似出張用情報が復号される。 続いて、合成手段で、復号された擬似出張用情報に基づいて、周辺機器を制御するための制御信号が合成される。
出力手段で、合成された制御信号が周辺機器に出力される。 【００３３】 【発明の実施の形態】以下、本発明の一実施の形態について、図面を参照して詳細に説明する。 この実施の形態の説明では、まず、擬似出張用情報送信再生システム（擬似出張用情報送信装置と擬似出張用情報再生装置とを包含）の構成を説明し、続いて、擬似出張用情報送信装置の動作、擬似出張用情報再生装置の動作を説明し、
最後に、擬似出張用情報送信再生システムの具体的な使用例１［視聴者→スタジオ］、使用例２［出演者→視聴者宅］を説明する。 【００３４】（擬似出張用情報送信再生システム）図１
は、擬似出張用情報送信再生システムのブロック図である。 この図１に示すように、擬似出張用情報送信再生システム１は、擬似出張用情報送信装置３と擬似出張用情報再生装置５とを備えている。 そして、この擬似出張用情報送信装置３には、擬似的に出張させる人物の様々な情報を取得する人物情報入手用外部装置２７が接続されている。 この人物情報入手用外部装置２７には、撮影カメラ、集音用のマイク、赤外線カメラ、体温検出センサ、脈拍数検出センサ、血圧測定センサ等が挙げられる。 また、擬似出張用情報再生装置５には、擬似出張用情報送信装置３から送信された擬似出張用情報を再現する周辺機器２９が接続されている。 この周辺機器２９には、表示装置、人型ロボット等が挙げられる。 【００３５】この擬似出張用情報送信再生システム１
は、ある場所にいる人物を、別の場所に擬似的に移動させる（出張させる）擬似出張用情報を送信側（擬似出張用情報送信装置３）で生成して送信し、当該情報を受信した受信側（擬似出張用情報再生装置５）で当該擬似出張用情報を合成し、周辺機器２９である表示装置に当該人物を模したＣＧキャラクタとして表示させたり、また、周辺機器２９である人型ロボットを動作させたりすることで、送信側にいる人物をあたかも受信側にいるように感じさせるものである。 【００３６】（擬似出張用情報送信装置の構成）擬似出張用情報送信装置３は、擬似出張用情報を生成して送信するものであって、入力部７と、分析部９と、符号化部１１と、送信部１３と、記憶部１５とを備えている。 【００３７】入力部７は、撮影カメラ、集音用のマイク、赤外線カメラ、体温検出センサ、脈拍数検出センサ、血圧測定センサ等の人物情報入手用外部装置２７から得られた基本人物情報と関連人物情報と、各種センサ（図示せず）から得られた人物がいる周辺の温度、湿度、照度、風向き、臭い等の環境データが入力されるものである。 この入力部７に入力されるデータを具体的に列記すると、基本人物情報として、擬似出張用情報に符号化したい人物の映像データ、音声データがあり、関連人物情報として、体温、脈拍数、血圧等の生理データ、
人物の感性を表す感性データがある。 なお、この入力部７が請求項に記載した入力手段に相当するものである。 【００３８】分析部９は、入力部７に入力された基本人物情報と関連人物情報とを分析し、擬似出張用情報として、符号化部１１に出力するものであって、三次元分析手段９ａと、声質分析手段９ｂと、表情分析手段９ｃ
と、動作分析手段９ｄと、生理データ分析手段９ｅと、
感性情報分析手段９ｆと、環境情報分析手段９ｇとを備えている。 なお、この分析部９が請求項に記載した分析手段に相当するものである。 【００３９】三次元分析手段９ａは、入力部７で得られた映像データを分析するものであって、当該映像データから、人物の顔・毛髪の色、人物が着ている服装、人物の体格等の三次元形状に関わる特性を分析した三次元分析結果を算出するものである。 【００４０】声質分析手段９ｂは、入力部７で得られた音声データを分析するものであって、当該音声データから、人物の声の高さ、抑揚、周波数特性等の声質に関わる特性を分析した声質分析結果を算出するものである。 【００４１】表情分析手段９ｃは、入力部７で得られた映像データを分析するものであって、当該映像データから、人物の顔面部分の画像を抽出し、人物の表情、例えば、楽しそう、悲しそう、怒っている、冷淡、無表情等を分析して、数値化し、客観的なデータとした表情分析結果を算出するものである。 なお、この表情分析手段９
ｃでは、マユの動き、目の動き、口元の動き、額のしわ、鼻唇部のしわ、人物情報入手用外部装置２７である赤外線カメラで検出された顔面の表面温度等に基づいて、多変量解析により人物の表情が分析される。 また、
映像データから人物の顔面部分の画像を周波数分析して垂直方向の周波数成分が増加していれば怒っていると、
水平方向の解像度が増加していれば笑っていると人物の表情が分析される。 【００４２】動作分析手段９ｄは、入力部７で得られた映像データを分析するものであって、当該映像データから、人物の動作（人物のジェスチャ）、例えば、人物の手や足の動きや、首を振ったり頷いたりするジェスチャ等を分析した動作分析結果を算出するものである。 【００４３】生理データ分析手段９ｅは、入力部７で得られた映像データおよび生理データを分析するものであって、当該映像データおよび生理データから、人物の目の動き、瞬き、体温、脈拍数、血圧、呼吸数、顔の表面温度（人物情報入手用外部装置２７である赤外線カメラで検出された）等を分析した生理データ分析結果を算出するものである。 【００４４】感性情報分析手段９ｆは、入力部７で得られた生理データを分析するもの（映像データと音声データと参照して）であって、当該生理データから、擬似出張用情報に符号化する人物の表情に表れない感性、例えば、現在快適に感じているか、当該人物が視聴しているものに共鳴しているかどうか等を分析した感性情報分析結果を算出するものである。 【００４５】環境情報分析手段９ｇは、入力部７で得られた環境データを分析するものでああって、当該環境データから、人物の周辺温度、湿度、照度等を分析した環境情報分析結果を算出するものである。 【００４６】符号化部１１は、分析部９の各手段９ａ〜
９ｇで分析された分析結果（三次元分析結果、声質分析結果、表情分析結果、動作分析結果、生理データ分析結果、感性情報分析結果、環境情報分析結果）である擬似出張用情報を符号化するものである。 なお、この符号化部１１では、例えば、ＭＰＥＧ−２等の圧縮符号化技術が採用されている。 また、この符号化部１１が請求項に記載した符号化手段に相当するものである。 【００４７】送信部１３は、符号化部１１で符号化された擬似出張用情報を伝送する伝送路（放送波またはインターネット等の通信回線網）に応じて変調して送信するものである。 なお、この送信部１３が請求項に記載した送信手段に相当するものである。 【００４８】記憶部１５は、一般的なハードディスク等で構成され、人物情報入手用外部装置２７で得られた映像データ、音声データ、生理データ、感性データおよび環境データと、分析部９の各手段９ａ〜９ｇの分析結果とを記憶するものである。 【００４９】この擬似出張用情報送信装置３によれば、
入力部７で、擬似出張用情報に符号化される人物の映像、音声、ジェスチャに関する基本人物情報と、体温、
心拍数等の生理データと人物の感性を表す感性データの少なくとも一方のデータが関連人物情報とが得られる。
そして、分析部９では、入力部７で得られた基本人物情報と関連人物情報とが分析されて、擬似出張用情報が生成される。 続いて、符号化部１１で、擬似出張用情報が符号化される。 その後、符号化された擬似出張用情報が、送信部１３で、送信する経路（放送波、通信回線網）に応じて変調され、送信される。 このため、一方の場所にいる人物を他方の場所に擬似的に出張させる擬似出張用情報として生成して送信することができる。 【００５０】また、この擬似出張用情報送信装置３によれば、分析部９には、基本人物情報を分析する三次元分析手段９ａ、声質分析手段９ｂ、表情分析手段９ｃおよび動作分析手段９ｄが備えられており、関連人物情報を分析する生理データ分析手段９ｅと感性情報分析手段９
ｆが備えられているので、一方の場所にいる人物の状況を映像データ、音声データ、生理データ等に基づいて過不足なく隅々まで分析することができる。 【００５１】（擬似出張用情報再生装置の構成）擬似出張用情報再生装置５は、受信した擬似出張用情報（変調擬似出張用情報）を再生するものであって、受信部１７
と、復号部１９と、合成部２１と、出力部２３と、記憶部２５とを備えている。 【００５２】受信部１７は、送信側の擬似出張用情報送信装置３から送信された変調擬似出張用情報を受信し復調するものである。 この受信部１７は、変調擬似出張用情報が放送波、通信回線網のどちらの伝送路から送信されても受信できるように構成されている。 なお、この受信部１７が請求項に記載した受信手段に相当するものである。 【００５３】復号部１９は、受信部１７で受信された変調擬似出張用情報を擬似出張用情報に復号するものである。 なお、この復号部１９では、例えば、ＭＰＥＧ−２
等の圧縮復号技術が採用されている。 また、この復号部１９が請求項に記載した復号手段に相当するものである。 【００５４】合成部２１は、復号部１９で復号された擬似出張用情報に基づいて、周辺機器２９を制御するための制御信号を合成するものであって、三次元合成手段２
１ａと、声質合成手段２１ｂと、表情合成手段２１ｃ
と、動作合成手段２１ｄと、生理データ合成手段２１ｅ
と、感性情報合成手段２１ｆと、環境情報合成手段２１
ｇとを備えている。 なお、この合成部２１では、多変量解析の逆ルーチンによる手法が用いられている。 【００５５】三次元合成手段２１ａは、復号部１９で復号された擬似出張用情報に含まれている三次元分析結果に基づいて、送信側（擬似出張用情報送信装置３側）に存在している人物の顔の形状、体格、顔・毛髪の色、着ている服装等の三次元形状、色彩に関わる特性を再現する映像再現信号を合成するものである。 周辺機器２９に表示装置が含まれている場合、この三次元合成手段２１
ａでは、送信側にいる人物を擬似的に表現したＣＧキャラクタを表示させる映像再現信号が合成される。 【００５６】声質合成手段２１ｂは、復号部１９で復号された擬似出張用情報に含まれている声質分析結果に基づいて、送信側（擬似出張用情報送信装置３側）に存在している人物の声を再現する音声再現信号を合成するものである。 【００５７】表情合成手段２１ｃは、復号部１９で復号された擬似出張用情報に含まれている表情分析結果に基づいて、送信側（擬似出張用情報送信装置３側）に存在している人物の表情を再現する表情再現信号を合成するものである。 周辺機器２９に人型ロボットが含まれている場合、この表情合成手段２１ｃでは、送信側にいる人物の表情、例えば、楽しそうな顔、悲しそうな顔、怒っている顔、冷淡な顔、無表情な顔を擬似的に表現させる表情再現信号が合成される。 【００５８】動作合成手段２１ｄは、復号部１９で復号された擬似出張用情報に含まれている動作分析結果に基づいて、送信側（擬似出張用情報送信装置３側）に存在している人物の動作を再現する動作再現信号を合成するものである。 周辺機器２９に人型ロボットが含まれている場合、この動作合成手段２１ｄでは、送信側にいる人物の動作、例えば、手や足の動き、首を振ったり頷いたりするジェスチャを擬似的に表現させる動作再現信号が合成される。 【００５９】生理データ合成手段２１ｅは、復号部１９
で復号された擬似出張用情報に含まれている生理データ分析結果に基づいて、送信側（擬似出張用情報送信装置３側）に存在している人物の目の動き、瞬き、体温、脈拍数、呼吸数、顔面の温度等の特性を再現する生理データ再現信号を合成するものである。 【００６０】周辺機器２９に人型ロボットが含まれている場合であって、この人型ロボットの皮膚（手のひら等）に相当する部分に温度センサ、ペルチェ素子等および発光素子等が内蔵されている場合、生理データ合成手段２１ｅでは、ペルチェ素子等によって体温や顔面の温度を制御させると共に、発光素子等によって皮膚の色を色彩変化させる生理データ再現信号が合成される。 【００６１】また、周辺機器２９に人型ロボットが含まれている場合であって、当該人型ロボットの胸部や腕部にアクチュエーターが内蔵されている場合、生理データ合成手段２１ｅでは、このアクチュエーターの振動によって脈拍数の増減を表現させる生理データ再現信号が合成される。 【００６２】或いは、周辺機器２９に人型ロボットが含まれている場合であって、当該人型ロボットの腹部にアクチュエーターが内蔵されている場合や、当該人型ロボットの頭部に鼻部（空気孔）が備えられている場合、このアクチュエーターの振動によって呼吸数の増減を表現させる生理データ再現信号や、鼻部から排出される空気量の増減によって呼吸数の増減を表現させる生理データ再現信号が合成される。 【００６３】さらに、周辺機器２９に表示装置が含まれている場合、この生理データ合成手段２１ｅでは、送信側にいる人物を擬似的に表現したＣＧキャラクタに、ハート形状をしたオブジェクト映像を付加して脈拍数の増減を表現させる生理データ再現信号が合成される。 或いは、この生理データ合成手段２１ｅでは、送信側にいる人物を擬似的に表現したＣＧキャラクタに、当該ＣＧキャラクタの腹部に相当する箇所をデフォルメしたオブジェクト映像や、当該ＣＧキャラクタの口部に相当する箇所に吹き出し等のオブジェクト映像を付加して呼吸数の増減を表現させる生理データ再現信号が合成される。 【００６４】感性情報合成手段２１ｆは、復号部１９で復号された擬似出張用情報に含まれている感性情報分析結果に基づいて、送信側（擬似出張用情報送信装置３
側）に存在している人物の感性を再現する感性情報再現信号を合成するものである。 【００６５】環境情報合成手段２１ｇは、復号部１９で復号された擬似出張用情報に含まれている環境情報分析結果に基づいて、送信側（擬似出張用情報送信装置３
側）に存在している人物の周辺の環境を再現する周辺情報再現信号を合成するものである。 【００６６】出力部２３は、合成部２１の各手段２１ａ
〜２１ｇで合成された再現信号（映像再現信号、音声再現信号、表情再現信号、動作再現信号、生理データ再現信号、感性情報再現信号、環境情報再現信号）を周辺機器２９に出力するものである。 【００６７】記憶部２５は、擬似出張用情報と合成部２
１の各手段２１ａ〜２１ｇで合成された再現信号（映像再現信号、音声再現信号、表情再現信号、動作再現信号、生理データ再現信号、感性情報再現信号、環境情報再現信号）とを記憶するものである。 【００６８】この擬似出張用情報再生装置５によれば、
受信部１７で、変調擬似出張用情報が受信される。 そして、復号部１９で、符号化されている擬似出張用情報が復号される。 続いて、合成部２１で、復号された擬似出張用情報に基づいて、周辺機器２９を制御するための再現信号が合成される。 出力部２３で、合成された再現信号が周辺機器２９に出力される。 このため、周辺機器２
９が再現信号に基づいて動作することで、送信側に存在している人物を擬似的に出張させることができる。 【００６９】また、擬似出張用情報再生装置５の合成部２１には、基本人物情報を合成する三次元合成手段２１
ａ、声質合成手段２１ｂ、表情合成手段２１ｃおよび動作合成手段２１ｄが備えられており、関連人物情報を合成する生理データ合成手段２１ｅまたは感性情報合成手段２１ｆが備えられているので、一方の場所にいる人物の状況を十分に再現することができる。 【００７０】さらに、擬似出張用情報再生装置５の合成部２１で生成された制御信号によって制御される周辺機器２９が表示装置か人型ロボットとされる。 この場合、
合成部２１では、擬似出張用情報が表示装置に表示されるＣＧキャラクタを生成可能な情報（映像音声情報）に合成される。 或いは、擬似出張用情報が人型ロボットを制御可能な制御信号に合成される。 このため、周辺機器２９が表示装置である場合には、送信側に存在している人物を擬似的なＣＧキャラクタとして表示することで、
擬似的に（仮想的に）出張させることができるし、周辺機器２９が人型ロボットである場合、送信側に存在している人物の表情や動作を当該人型ロボットに表現させることで、当該人物を擬似的に（仮想的に）出張させることができる。 【００７１】（擬似出張用情報送信装置の動作）次に、
図２に示すフローチャートを参照して、擬似出張用情報送信装置３の動作について説明する（適宜、図１参照）。 まず、擬似出張用情報送信装置３の入力部７に、
人物の映像、音声、ジェスチャに関する基本人物情報が入力されたかどうかが判断される（Ｓ１）。 入力されるまで待機され（Ｓ１、Ｎｏ）、入力されたと判断された場合（Ｓ１、Ｙｅｓ）、擬似出張用送信装置３の主制御部（図示せず）によって、体温、心拍数等の生理データ、前記人物の感性を表す感性データの少なくとも一方のデータである関連人物情報を必要とするかが判断される（Ｓ２）。 関連人物情報を必要としないと判断された場合（Ｓ２、Ｎｏ）、分析部９に基本人物情報が入力され、この分析部９の三次元分析手段９ａ、声質分析手段９ｂ、表情分析手段９ｃ、動作分析手段９ｄで分析され、擬似出張用情報が生成され、符号化部１１に出力される（Ｓ３）。 【００７２】また、Ｓ２にて、関連人物情報を必要とすると判断された場合（Ｓ２、Ｙｅｓ）、入力部７に関連人物情報が入力されたかどうかが判断される（Ｓ４）。
入力部７に関連人物情報が入力されるまで待機され（Ｓ
４、Ｎｏ）、関連人物情報が入力されたと判断された場合（Ｓ４、Ｙｅｓ）には、分析部９に基本人物情報および関連人物情報が入力され、この分析部９の三次元分析手段９ａ、声質分析手段９ｂ、表情分析手段９ｃ、動作分析手段９ｄ、生理データ分析手段９ｅ、感性情報分析手段９ｆ、環境情報分析手段９ｇで分析され、擬似出張用情報が生成され、符号化部１１に出力される（Ｓ
５）。 【００７３】すると、符号化部１１で、入力された擬似出張用情報が符号化され送信部１３に出力される（Ｓ
６）。 その後、送信部１３で、擬似出張用情報が変調されて送信される（Ｓ７）。 【００７４】（擬似出張用情報再生装置の動作）次に、
図３に示すフローチャートを参照して、擬似出張用情報再生装置５の動作について説明する（適宜、図１参照）。 【００７５】まず、擬似出張用情報再生装置５の受信部１７で、擬似出張用情報が受信されたかどうかが判断される（Ｓ１１）。 擬似出張用情報が受信されたと判断されるまで待機され（Ｓ１１、Ｎｏ）、擬似出張用情報（変調擬似出張用情報）が受信されたと判断された場合（Ｓ１１、Ｙｅｓ）には、復号部１９に変調擬似出張用情報が出力され、復号部１９で変調擬似出張用情報が復調され、合成部２１に出力される（Ｓ１２）。 【００７６】合成部２１では、入力された擬似出張用情報が、三次元合成手段２１ａ、声質合成手段２１ｂ、表情合成手段２１ｃ、動作合成手段２１ｄ、生理データ合成手段２１ｅ、感性情報合成手段２１ｆおよび環境情報合成手段２１ｇで適宜合成され、合成された再現信号が出力部２３に出力される（Ｓ１３）。 【００７７】すると、擬似出張用情報再生装置５の主制御部（図示せず）によって、再現信号が入力された出力部２３に接続されている周辺機器２９に出力可能な再現信号であるかどうかが判断される（Ｓ１４）。 周辺機器２９に出力可能な再現信号があると判断されない場合（Ｓ１４、Ｎｏ）、合成部２１で再現信号を変換してから出力部２３で出力するかどうかが判断される（Ｓ１
５）。 【００７８】そして、再現信号を変換してから出力すると判断されない場合（Ｓ１５、Ｎｏ）には、擬似出張用情報再生装置５の使用者に対し、エラー表示がなされ（Ｓ１６）、再現信号を変換してから出力すると判断された場合（Ｓ１５、Ｙｅｓ）には、合成部２１で再現信号を変換した後、出力部２３から周辺機器２９に出力される（Ｓ１７）。 【００７９】また、Ｓ１４にて、周辺機器２９に出力可能な再現信号があると判断された場合（Ｓ１４、Ｙｅ
ｓ）には、出力部２３から再現信号が周辺機器２９に出力される（Ｓ１８）。 再現信号を受信した周辺機器２９
は、この再現信号に基づいて動作する。 【００８０】（擬似出張用情報送信再生システムの具体的な使用例１［視聴者→スタジオ］）次に、擬似出張用情報送信再生システム１の具体的な使用例１として、視聴者がスタジオに出張する場合について図４を参照して説明する。 このスタジオでは、番組を制作しながら放送する、いわゆる生番組が制作されており、この図４は、
当該生番組を視聴している視聴者の部屋を概略的に図示したものである。 【００８１】この図４に示すように、視聴者の部屋には、擬似出張用情報送信再生システム１の擬似出張用情報送信装置３と、生番組を放映しているテレビ３１（テレビ画面３１ａ、３１ｂ、３１ｃ）とが設置されており、スタジオ側に擬似出張用情報再生装置５が設置されている。 擬似出張用情報送信装置３には、人物情報入手用外部装置２７として、当該生番組を視聴している視聴者を撮影するカラーカメラ２７ａ、この視聴者の発した音声を集音するマイク２７ｂ、視聴者の生理データを採取する体温・脈拍数・血圧センサー２７ｃ、視聴者の顔面の温度を測定する赤外線カメラ２７ｄが接続されている。 【００８２】また、擬似出張用情報再生装置５には、周辺機器２９として、別のテレビ２９ａ（テレビ画面２９
ａ）と、人型ロボット２９ｂ（視聴者アバター）とが接続されている。 そして、テレビ画面３１ａに映っているスタジオでは、出演者が人型ロボット２９ｂを一視聴者とみなして、会話することで、当該生番組の進行をしている。 或いは、テレビ画面３１ｂに映っているスタジオでは、出演者が別のテレビ２９ａに映っているＣＧキャラクタを一視聴者とみなして、会話することで、当該生番組の進行をしている。 【００８３】さらに、テレビ画面３１ｃに映っているスタジオでは、出演者が人型ロボット２９ｂまたは別のテレビ２９ａに映っているＣＧキャラクタを一視聴者とみなして会話して当該生番組を進行しつつ、テレビ画面３
１ｃには、当該人型ロボット２９ｂまたは別のテレビ２
９ａが消去されると共に、当該視聴者をＣＧキャラクタにした映像と出演者とが画像処理（合成処理）された映像が表示されている。 【００８４】つまり、擬似出張用情報送信装置３によれば、擬似出張用情報に符号化される対象となる人物が、
当該番組を視聴している視聴者であるので、スタジオ等の番組撮影場所と視聴者宅との間で、視聴者を擬似的に出張させることができ、番組制作時の臨場感や、出演者と視聴者との人間的な触れ合い感を、擬似的ながら再現することができる。 【００８５】また、擬似出張用情報再生装置５によれば、当該擬似出張用情報再生装置５によって生成される制御信号で制御される周辺機器２９が人型ロボット２９
ｂであって、この人型ロボット２９ｂが擬似出張用情報に基づいて動作するので、あたかも視聴者が生番組に参加しているような臨場感を得ることができる。 【００８６】（擬似出張用情報送信再生システムの具体的な使用例２［出演者→視聴者宅］）次に、擬似出張用情報送信再生システム１の具体的な使用例２として、出演者が視聴者宅に出張する場合について図５を参照して説明する。 この出演者が出演している番組は、リアルタイムでスタジオにて制作している生番組であって、この図５は、当該生番組を視聴している視聴者の部屋を概略的に図示したものである。 【００８７】この図５に示すように、視聴者の部屋には、擬似出張用情報送信再生システム１の擬似出張用情報再生装置５と、生番組を放映しているテレビ３１（テレビ画面３１）とが設置されており、スタジオ側に擬似出張用情報送信装置３が設置されている。 擬似出張用情報再生装置５には、周辺機器２９として、別のテレビ２
９ａ（テレビ画面２９ａ）と、人型ロボット２９ｂ（出演者アバター）が接続されている。 【００８８】また、擬似出張用情報送信装置３には、人物情報入手用外部装置２７として、当該生番組に出演している出演者のみを撮影するカラーカメラ２７ａ、この出演者の発した音声を集音するマイク２７ｂ、出演者の生理データを採取する体温・脈拍数・血圧センサー２７
ｃ、出演者の顔面の温度を測定する赤外線カメラ２７ｄ
が接続されている。 そして、スタジオには、複数の人型ロボット２９ｂが視聴者アバターとして、当該生番組に出演している。 【００８９】つまり、擬似出張用情報再生装置５によれば、当該擬似出張用情報再生装置５によって生成される制御信号によって制御される周辺機器２９がテレビ画面２９ａと人型ロボット２９ｂであって、テレビ画面２９
ａには、擬似出張用情報に基づいて、出演者の特徴がデフォルメされたＣＧキャラクタが表示され、人型ロボット２９ｂが擬似出張用情報に基づいて動作するので、あたかも出演者が視聴者宅に出張しているような臨場感を得ることができる。 【００９０】また、擬似出張用情報送信装置３によれば、擬似出張用情報に符号化される対象となる人物が、
番組に出演している出演者であるので、スタジオ等の番組撮影場所と視聴者宅との間で、出演者を擬似的に出張させることができ、番組制作時の臨場感や、出演者と視聴者との人間的な触れ合い感を、擬似的ながら再現することができる。 【００９１】以上、一実施形態に基づいて本発明を説明したが、本発明はこれに限定されるものではない。 擬似出張用情報送信装置３または擬似出張用情報再生装置５
の各構成を一つずつのステップと捉え、擬似出張用情報送信方法または擬似出張用情報再生方法とみなすことも可能であり、擬似出張用情報送信装置３または擬似出張用情報再生装置５の各構成を汎用的なコンピュータ言語で記述した擬似出張用情報送信プログラムまたは擬似出張用情報再生プログラムとみなすことも可能である。 これらの場合、擬似出張用情報送信装置３、擬似出張用情報再生装置５と同様の効果を得ることができる。 【００９２】 【発明の効果】請求項１、２、５記載の発明によれば、
人物の映像、音声、ジェスチャに関する基本人物情報が得られる。 基本人物情報が分析されて、擬似出張用情報が生成され符号化される。 その後、符号化された擬似出張用情報が送信される。 このため、撮影場所にいる人物を視聴場所に、または、視聴場所にいる人物を撮影場所に擬似的に出張させる擬似出張用情報として生成し送信することができる。 また、擬似出張用情報に符号化される対象となる人物が、番組に出演している出演者、または、当該番組を視聴している視聴者ということになるので、スタジオ等の番組撮影場所と視聴者宅との間で、出演者または視聴者を擬似的に出張させることができ、番組制作時の臨場感や、出演者と視聴者との人間的な触れ合い感を、擬似的ながら再現することができる。 【００９３】請求項３記載の発明によれば、体温、心拍数等の生理データと人物の感情を類推可能な感性データの少なくとも一方のデータである関連人物情報が得られ、この関連人物情報が分析され擬似出張用情報が生成される。 このため、撮影場所にいる人物を視聴場所に、
または、視聴場所にいる人物を撮影場所に擬似的に出張させる擬似出張用情報として生成し送信することができる。 【００９４】請求項４記載の発明によれば、分析手段には、基本人物情報を分析する三次元分析手段、声質分析手段、表情動作分析手段が備えられており、関連人物情報を分析する生理データ分析手段と感性情報分析手段が備えられているので、一方の場所にいる人物の状況を映像データ、音声データ、生理データ等に基づいて過不足なく隅々まで分析することができる。 【００９５】請求項６、７、１０記載の発明によれば、
擬似出張用情報が受信され、復号される。 続いて、復号された擬似出張用情報に基づいて、周辺機器を制御するための制御信号が合成され周辺機器に出力される。 このため、周辺機器が制御信号に基づいて動作することで、
送信側に存在している人物を擬似的に出張させることができる。 【００９６】請求項８記載の発明によれば、合成手段には、基本人物情報を合成する三次元合成手段、声質合成手段、表情動作合成手段が備えられており、関連人物情報を合成する生理データ合成手段または感性情報合成手段が備えられているので、一方の場所にいる人物の状況を十分に再現することができる。 【００９７】請求項９記載の発明によれば、合成手段で生成された制御信号によって制御される周辺機器が表示装置か人型ロボットとされる。 この場合、合成手部では、擬似出張用情報が表示装置に表示されるＣＧキャラクタを生成可能な情報（映像音声情報）に合成される。
或いは、擬似出張用情報が人型ロボットを制御可能な制御信号に合成される。 このため、周辺機器が表示装置である場合には、送信側に存在している人物を擬似的なＣ
Ｇキャラクタとして表示することで、擬似的に（仮想的に）出張させることができるし、周辺機器が人型ロボットである場合、送信側に存在している人物の表情や動作を当該人型ロボットに表現させることで、当該人物を擬似的に（仮想的に）出張させることができる。

【図面の簡単な説明】 【図１】本発明による一実施の形態である擬似出張用情報送信再生システム（擬似出張用情報送信装置、擬似出張用情報再生装置）のブロック図である。 【図２】図１に示した擬似出張用情報送信装置の動作を説明したフローチャートである。 【図３】図１に示した擬似出張用情報再生装置の動作を説明したフローチャートである。 【図４】擬似出張用情報送信再生システムの具体的な使用例１［視聴者→スタジオ］を概略的に説明した説明図である。 【図５】擬似出張用情報送信再生システムの具体的な使用例２［出演者→視聴者宅］を概略的に説明した説明図である。 【符号の説明】 １ 擬似出張用情報送信再生システム３ 擬似出張用情報送信装置５ 擬似出張用情報再生装置７ 入力部９ 分析部９ａ 三次元分析手段９ｂ 声質分析手段９ｃ 表情分析手段９ｄ 動作分析手段９ｅ 生理データ分析手段９ｆ 感性情報分析手段１１ 符号化部１３ 送信部１７ 受信部１９ 復号部２１ 合成部２１ａ 三次元合成手段２１ｂ 声質合成手段２１ｃ 表情合成手段２１ｄ 動作合成手段２１ｅ 生理データ合成手段２１ｆ 感性情報合成手段２３ 出力部

───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl. ⁷識別記号 ＦＩ テーマコート゛(参考） Ｇ１０Ｌ 11/00 Ｈ０４Ｎ 7/08 Ｚ ５Ｌ０９６ 19/00 Ｇ１０Ｌ 3/00 Ｎ Ｈ０４Ｎ 7/08 9/18 Ａ 7/081 9/00 Ａ (72)発明者 清水 俊宏 東京都世田谷区砧一丁目10番11号 日本放 送協会 放送技術研究所内(72)発明者 大谷 明 東京都世田谷区砧一丁目10番11号 日本放 送協会 放送技術研究所内Ｆターム(参考） 5B050 AA10 BA09 BA12 EA04 EA10 5B057 AA05 CA12 CB13 CG01 CH01 CH11 DA16 DC30 5C063 AB03 AC01 AC05 CA11 CA23 DA07 DA13 DB10 5C064 BA01 BB10 BC16 BC23 BC24 BC27 BD05 BD08 BD14 5D045 AB26 DA20 5L096 BA20 CA02 DA04 EA24 JA11