【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、動画像を送受信するテレビ電話システムに関する。

【０００２】

【従来の技術】テレビ電話やテレビ会議システムでは、
撮像装置で撮像された映像信号を符号化し、ISDN等の伝送路を使って伝送する。 例えば、コンポーネントNTSC信号は圧縮しない場合カラーテレビのスタジオ規格では、
伝送データのビット数が216[Mb/s]となり、いかに効率よく符号化し伝送データのビット数を少なくするかが課題となっている。 符号化の方式としては、テレビジョン学会誌1991,Vol.45,No.7,pp.793-799に記載されているように、動いた部分だけを伝送するフレーム間予測による条件付き画素補充方式を基本として、これに動き補償や、DCT（離散コサイン変換）等の他の符号化方式を組み合わせたものが主流となっている。 このような高能率符号化技術の進歩によりビジネスや、産業分野ではISDN
回線を用いたテレビ電話やテレビ会議システムが普及してきた。

【０００３】

【発明が解決しようとする課題】しかしながら、低コストで実現可能なものとして、アナログ伝送によるテレビ電話等もあるが、低レートでの伝送を実現するため、画質をかなり犠牲にしていた。 そのため、特に人物の顔に於いては表情がわからない、表情の変化がリアルタイムで伝わらないため不自然であるという問題があった。

【０００４】本発明の目的は、上記した問題点を解決し、アナログ電話回線のような伝送レートの低い回線においてもリアルタイムで高品質な映像のテレビ電話システムを提供することである。

【０００５】

【課題を解決するための手段】上記目的を達成するため、被写体に関するモデル知識を蓄えているデータベースと、撮影した被写体を抽出し、その特徴を演算する抽出処理手段と、前記抽出処理手段より出力される前記被写体特徴を分析して前記データベースに対応する知識記述に変換する符号化手段とを持つビデオカメラと、前記符号化手段が生成する知識記述を伝送経路に合わせた信号方式に変換し受信側に知識記述を伝送、および、送信側から送られてきた信号を知識記述に変換するインターフェース手段と、送信側から伝送されてくる知識記述から、前記データベースを参照して映像信号を合成する復号化手段とでテレビ電話システムを構成する。

【０００６】

【作用】上記目的を達成するための手段は以下のように作用する。

【０００７】送信側が映像を送信する時、抽出処理手段と符号化手段、ディジタルビデオカメラに公知の信号処理回路や制御回路からなるビデオカメラは、撮像信号に公知の信号処理を行いビデオ信号等の映像信号を生成する。 抽出処理手段は信号処理回路の生成する映像信号から被写体を抽出し、抽出した被写体を構成する要素の大きさ、形、色、重心座標、傾き等の特徴量を演算する。
マイクロコンピュータ等からなる符号化手段は抽出処理手段から得られる特徴量の情報を分析し、被写体を構成する要素が何であり、それがどういう状態にあるか等を認識し、被写体モデル知識を蓄えているデータベースに対応する知識記述に変換する。 そして、インターフェース手段で、符号化手段が生成した知識記述を伝送経路に合わせた信号方式に変換し、伝送経路に出力する。

【０００８】受信する時は、伝送経路を伝送されてくる信号をインターフェース手段で、知識記述に変換する。
復号化手段は、変換された知識記述をもとに送信された映像を復元する。 この時、被写体に関するモデル映像を多数蓄えているデータベースから送信側が伝送した映像を構成する要素に対応する画像データを選択し、それらを合成して映像を復元する。

【０００９】すなわち、送信側は映像そのもの伝送するのではなく、送信する被写体（人物の顔等）の映像を、
それを表現する知識記述に変換し伝送データとして出力する。 受信側では、伝送された知識記述を用い送信側が伝送した被写体映像を復元する。

【００１０】このようにすることで、伝送するデータ量を非常に少なくすることが可能となり、アナログ電話回線などのデータ伝送レートの低い回線を用いてもリアルタイムで高品質な映像のテレビ電話システムが可能になる。

【００１１】

【実施例】以下、本発明を図示した各実施例によって説明する。

【００１２】図１は、本発明の一実施例にかかるテレビ電話システムのブロック図である。 同図において１は被写体に関するモデル知識を蓄えているデータベースであり、２は送信側が送信する映像を撮影するビデオカメラであり、３はインターフェース手段で、４は知識記述から映像信号を合成する復号化手段であり、１７はここには記載していない表示手段に合成した映像信号を出力するアナログビデオ出力端子である。 また、ビデオカメラ２は、５のレンズ、６のＣＣＤ型やＭＯＳ型の撮像素子、７のＡ／Ｄ（アナログ／ディジタル）変換回路、８
の信号処理回路、９のＤ／Ａ（ディジタル／アナログ）
変換回路、１０のマイクロコンピュータ等で構成される制御回路、１１の抽出処理回路、１２は符号化手段で構成される。 １３はアナログビデオ信号出力端子、１４は知識記述を出力する端子である。

【００１３】上記した構成において、ビデオカメラ２を構成する抽出処理回路１１と符号化手段１２以外の部分は、ビデオカメラに公知の信号処理を行いアナログビデオ信号を生成し、アナログビデオ信号出力端子１３から出力する。

【００１４】ここで、上記した映像信号処理回路８からの出力されるディジタル映像信号が入力される抽出処理回路１１は被写体を抽出するための画像処理を行う回路であり、目的の被写体を抽出し、その形、大きさ、重心座標などの特徴量を求めて出力する。 被写体を検出し、
その被写体の特徴量を求める方法に関しては、例えば前記した特開昭59-208983号公報に述べられているような一定間隔でサンプリングした画像の差分から求める方法もあるし、特開平4-205070号公報に述べられているように、あらかじめ設定された条件、例えば輝度信号と色差信号で特定した条件を満たす映像信号の部分を被写体と判定し被写体候補とし、すでに記憶手段に記憶されている一定時間前の被写体領域と現在抽出されている被写体候補領域を比較し両方の領域が重なった領域の１回り大きい領域をの被写体領域として抽出する方法など様々な方法がある。

【００１５】また、マイクロコンピュータ等で構成される符号化手段１２には、抽出処理回路１１が出力する被写体の特徴量が入力され、その特徴量を分析して被写体を構成する要素が何であり、それがどういう状態にあるか等を認識し、知識データベース１に対応する知識記述に変換してして１４の出力端子から出力する。 そして、
インターフェース手段３で、符号化手段が生成した知識記述を伝送経路に合わせた信号方式に変換し、伝送経路に出力する。

【００１６】受信する時は、伝送経路を伝送されてくる信号をインターフェース手段３で、知識記述に変換する。 復号化手段４は、変換された知識記述をもとに送信された映像を復元する。 この時、被写体に関するモデル映像を多数蓄えているデータベースから送信側が伝送した映像を構成する要素に対応する画像データを選択し、
それらを合成して映像を復元する。

【００１７】人物を知識記述に変換する方法の一例を図２を用いて説明する。 図２(a)は人物を撮影している場合の被写体の映像である。 このような映像から人物を抽出し、図２(b)に示すように髪、顔、目、口、体等の構成要素に分解し、重心座標、幅、高さ、大きさ、色等の特徴量を求める。 また、目、口に関しては黒目や口の中の幅、高さ、そして、目、眉に関しては傾きも特徴量として求める。 この特徴量をもとに図３に示すようなデータベースに対応する要素番号に変換する。

【００１８】図４は知識記述の一例である。 記述は各要素ごとに（要素番号、色(ry,by)、位置(△x,△y)、大きさ）で１セットとする。 ここで位置は、被写体の重心座標と各要素の重心座標との差である。 図４に示すように１フレーム毎の被写体構成要素の知識記述データをフレーム区切り符号に続けて記述する。 例えば、被写体が１０個の構成要素で構成され、要素番号などを各々８bi
tデータで記述するとすると、１フレーム当りのデータ量は４８０bitとなる。 このように映像を知識記述に変換するとデータ伝送量を大幅に減らすことが可能になる。 更に、データを伝送する時に変化のあった構成要素部分の知識記述だけを伝送すれば、より一層伝送データ量を減らすことができる。

【００１９】知識記述から映像を復元する時は、要素番号に対応する映像をデータベースから選び出し合成する。 各々の構成要素の画面上での位置は、知識記述で書かれている位置(0,0)が画面中心にくるように配置する。 位置は、上記したように、被写体の重心座標と各要素の重心座標との差であるから、位置(0,0)は被写体の重心となり、このようにすることで、常に被写体が画面中央にくるように位置補正することもできる。

【００２０】画面上での深さ方向の位置関係は大きさの小さいものほど上層にくるように配置する。 また、データベース上での構成要素画像の色、例えば、肌や唇、瞳の色を知識記述に記述されている色に置き換えれば、より送信側の画像に近い映像を復元できる。

【００２１】このように、映像ではなく、送信する被写体（人物の顔等）の映像を、それを表現する知識記述に変換し伝送データとして出力し、受信側では、伝送された知識記述を用い送信側が伝送した被写体映像を復元するので、伝送するデータ量を非常に少なくすることが可能となり、アナログ電話回線などのデータ伝送レートの低い回線を用いてもリアルタイムで高品質な映像のテレビ電話システムを提供できる。

【００２２】図５を用いて本発明の他の実施例について説明する。 図５において図１の一実施例と同じ機能のものは同じ番号で示す。 １６は復号化手段４が出力する映像と画面全体の映像を合成する合成手段である。

【００２３】本実施例では被写体の重要な要素を知識記述として伝送し、そのほかの部分は映像信号として伝送する。 この時、知識記述はリアルタイムで伝送し、画面全体の画像情報は伝送経路の伝送レートの範囲でゆっくり伝送する。 例えば人間の映像を伝送するときには、コミュニケーションに重要な要素である目や口は知識記述でリアルタイムで伝送する。 更に、抽出処理回路１１で画面全体の映像はから被写体部分を抽出し、それ以外の領域を１色に置換する処理を行うと伝送データの圧縮効果が上がる。

【００２４】しかし、本実施例のような方法では、画面全体の情報の伝送が遅いので回線がつながった直後は図６のように目や口しか画面に表示されずかなり不自然な映像となる。 そこで、データベース１に人物頭部のモデル映像を用意し、回線接続直後は図７(a)のように、モデル映像にリアルタイムで伝送される知識記述から復元した目や口を合成して表示してもよい。 そして、図７
(b)の用に順次伝送された映像に置き換えると回線接続直後も不自然な映像にならず、徐々にモデル映像から送信側の人物の映像に変化するので違和感がない。

【００２５】このようにすることで、アナログ電話回線などのデータ伝送レートの低い回線を用いても、画面全体の映像データを伝送しながら、人物の顔の表情などコミュニケーションに重要な要素はリアルタイムで伝送することができ、図１の実施例と同等の効果が得られる。

【００２６】

【発明の効果】以上のように、本発明によれば、送信側は映像ではなく、送信する被写体（人物の顔等）の映像を、それを表現する知識記述に変換し伝送データとして出力し、受信側では、伝送された知識記述を用い送信側が伝送した被写体映像を復元するので、伝送するデータ量を非常に少なくすることが可能となり、アナログ電話回線などのデータ伝送レートの低い回線を用いてもリアルタイムで高品質な映像のテレビ電話システムを提供することができる。

【図面の簡単な説明】

【図１】本発明の一実施例にかかるテレビ電話システムのブロック図である。

【図２】本発明の一実施例にかかる知識記述への変換方法の例を説明する図である。

【図３】本発明の一実施例にかかるデータベースの一例を示す図である。

【図４】本発明の一実施例にかかる知識記述の一例を示す図である。

【図５】本発明の他の実施例にかかるテレビ電話システムのブロック図である。

【図６】本発明の他の実施例にかかるテレビ電話システムのの回線接続直後の受信側の映像を示す図である。

【図７】本発明の他の実施例にかかる映像受信方法の一例を説明する図である。

【符号の説明】

１…データベース、 ２…ビデオカメラ、 ３…インターフェース手段、 ４…復号化手段、 ５…レンズ、 ６…撮像素子、 ７…Ａ／Ｄ（アナログ／ディジタル）変換回路、 ８…信号処理回路、 ９…Ｄ／Ａ（ディジタル／アナログ）変換回路、 １０…制御回路、 １１…抽出処理回路、 １２…符号化手段、 １３、１５、１７…アナログビデオ信号出力端子、 １４…出力端子、 １６…合成手段。