【発明の詳細な説明】

【０００１】

【産業上の利用分野】この発明は、ＩＤチェック、安全監視、光デスク画像ファイリングシステムなどに適用される、ニューラルネット情報処理機構を用いて顔画像を検索する装置に関するものである。

【０００２】

【従来の技術】従来、公共もしくは不特定、特定多数の人々が利用する施設、装置において、特定人物の同定チェック、ＩＤチェック等は、磁気カード、ＩＣカード等の所持でき、移動の可能なＩＤカード形式によって行なわれていた。

【０００３】図４は、従来の電話機による相手先登録の例である。 この例では、登録した相手は、その電話番号や、名前を、画面２０に文字で表示する事によって、そのボタン２１の内容を、列挙し、目的の相手に電話をする事が可能となっている。 ここに示すものは、各個人が、その手元においている電話機である。 しかし、その使用者が構内で移動した場合、その移動先の場所で、そこにある電話機を、自分用に設定したい場合、通常は出先場所にて、電話機もしくはＴＶ電話機を、自分仕様に設定する為、磁気又はＩＣカード化されたＩＤカード２
２を差し替えて、電話機に挿入し、設定していた。

【０００４】図７（ａ）は、従来の勤務時間管理をする為のタイムカード機の例である。 従来は、各自が持っている磁気カードやＩＣカード等のカード２２を、カード機２８に挿入して、機械的、もしくは、電気的刻印を行なっていた。

【０００５】図８（ａ）は、従来の極秘データ管理室への特定人物の入出室時のＩＤチェックの例である。 各自が磁気又はＩＣカード化されたＩＤカード２２を持ち、
これを検査機２９に挿入し、電気的チェックを行なう事によって判定し入室許可を与えられていた。

【０００６】図９（ａ）は門塀３０に設けられたインターホンの例で、従来は、防犯の為の遠隔ＴＶ監視装置２
１だけであった。 また、従来の銀行等の金融機関での監視業務では、一般的に、警備室等に、各所に配置された、監視カメラからの映像出力が、集中的にモニタ画面に映し出されて、何か、不正が行なわれているか、もしくは、その危険性があるか絶えず見ている。

【０００７】一方、顔画像の識別には、その顔自体が、
もともと頭を含む３次元的な要素である為、非常に識別が困難である。 そのため、従来の顔画像検索装置は、角「並行トップダウン処理方式による顔画像の解析」電子情報通信学会 コンピュータビジョン６１ー３ 、永嶋「顔の３次元モデルの自動生成法に関する検討」電子情報通信学会 ＯＳ９０−３１，ＩＥ９０−４６，沼崎「モデルに基ずく顔画像からの人物識別」電子情報通信学会ＩＥ８７−１３６ に示す様に３次元データの処理となってしまう。

【０００８】図１１（ａ）は、従来の３次元モデルに基ずく顔画像からの人物識別の方法で、予め頭部の３次元基本モデルを数値データとして作成して置き、入力された顔画像に対し、モデルを合わせる様に変形し、さらに顔の正面方向に対し、方向変形を行ない、これに、さらに、この変形したモデルと、すでに登録しておいた２次元画像から、比較を行ない、照合結果で、識別する。

【０００９】図１１（ｂ）は、従来の臨場感会議通信を行なう為の顔の３次元モデルの自動生成の検討段階での顔の特徴点の図で、この場合も同様に頭部の標準３次元モデルデータを、石膏のレーザスキャンで得て、横顔の入力画像では曲率で、正面顔では輪郭線から、誘導された各特徴点と、モデルの特徴点を合致する様に変形をし、これで得られた３次元データを用いて、仮想会議空間に転写している。

【００１０】図１１（ｃ）は、従来の並行述語トップダウン処理による顔画像の解析法の例で、入力した顔画像に対し、画像信号処理にて抽出された輪郭線を、述語論理的手段で、予め作っておいた、知識ルールベースに対し、プロダクション型実行で検索し、パターン照合を行なう。 この処理を、予め登録しているそれぞれの顔知識データベースに対して、並列処理、並行実行の形式で処理する。 ゴールが得られない各実行に対しては、全く無駄となるが、本方式では、アルゴリズム切り替えの複雑な制御が不要である。 それ故、高速サーチが、達成される。

【００１１】

【発明が解決しようとする課題】従来の電話機や、各種のＩＤチェック機器は、以上の様に、各自の設定仕様にする為や、ＩＣカード等を用いていた。 しかし、移動する度にＩＣカードを、持ち歩く必要があり、紛失等の危険性があり、もし、紛失してしまった場合、その再発行処理が即時に行なえなく、また、設定仕様の再生も不可能であるなど、様々な制約があった。 これらの危険性は、何も電話機のみならず、入室ＩＤカード等にもその危険性があり、種々の問題点があった。

【００１２】また、顔画像の検索処理は３次元のデータ処理となるので、複雑であり、識別が困難であるという問題点があった。 この発明はニューラルネット型の情報処理機能を利用して顔画像検索をし、顔画像の合致によるＩＤチェックの機能により、入室管理、電話機の自分仕様化、容疑者チェック、訪問者識別を可能とする事を目的とする。

【００１３】

【課題を解決するための手段】この発明における顔画像検索装置は、カメラ及び密着型画像入力装置により入力した画像をデジタルイメージに変換する機構と、顔画像部分を抜き出しする機構と、該抜き出した顔画像をニューラルネット機構の入力層に入力する機構と、顔判定用の教師顔画像信号をニューラルネットに埋め込む手段と、誤差逆伝搬型系アルゴリズムにより処理を行なうニューラルネット情報処理機構とを備えたものである。

【００１４】また他の発明における顔画像検索装置は、
請求項１記載の該検索装置において、抜き出し顔画像のニューラルネット機構入力手段に、画像デジタルイメージを軸変換する座標軸変換装置と、軸変換された該デジタルイメージを情報をそのまま圧縮、変換処理を施してニューラルネットに入力する圧縮、変換処理手段とを有するものである。

【００１５】

【作用】この発明における、画像検索装置のニューラルネット機構入力手段はカメラもしくはイメージスキャナ装置等から取り込んだ顔画像信号をニューラルネットに登録、埋め込みをする。 またＢＰ型ニューラルネット機構は、情報比較機能を用いて、ニューラルネット処理の即時性、非線形性を利用し、アナログ量的なデジタル値で出力する非線形な類似度測度により、入力信号に多少の変形を含んでいても、当事者の識別動作が可能になる。

【００１６】また他の発明における画像検索装置の座標軸変換手段は、画像デジタルイメージの画像信号を全包囲角度の座標軸で軸変換し、圧縮、変換処理手段は軸変換された該デジタルイメージを情報をそのまま圧縮、変換処理を施してニューラルネット機構に入力する。

【００１７】

【実施例】

実施例１、図１〜図３に、それぞれ、この発明の実施例を示す。 図１は、この発明に用いられる方式の基本的概念を示すもので、ニューラルネットの処理形態の概念図である。 この図１において、１は入力層のニューロン機能素に相当し、これはデータ蓄積機能も持ち、これには、入力画像のアナログ量に相当するデジタル値を入力する。 この１の入力層からの信号は、シナプスと呼ばれる可変の重み係数を含む入力側シナプス伝達系４に、送られる。 そして、この入力側シナプス伝達系４は、それぞれの入力層ニューロン素１から、中間層ニューロン素２に対し、総当たり的に接続されており、中間層ニューロン素２は、さらにその次の中間層ニューロン素、もしくは、最終出力層ニューロン素３に接続されている。 この中間層ニューロン素２はその層の個数に制限はなく、
要求される入力カテゴリーと、要求される教師要素によって、適宜、決定されるものである。

【００１８】この全体の伝達系４、５は、それぞれ、入力層ニューロン素１から、出力層ニューロン素３に向けて、全多重並列的に信号が伝達される。 そして、その最終結果が、埋め込み後の結果として現れる。 一方、この信号伝達系は、教育モードの時は、その模範教師信号１
８と、入力カテゴリー１４からの出力値との誤差で、間接的に反映して、帰還１５し、重み係数を変化させる。
それゆえ系全体が最急降下的に任意の安定状態に、漸近的に向かう事となり、最終安定状態で保持される事となる。

【００１９】図２（ａ）は本発明の画像処理の為の概念図である。 ６は入力画像信号系を、トランスペアレンシーとして、形式的に表わしている。 このトランスペアレンシー６を透過した信号は、９のニューラルネット処理系で処理される。

【００２０】図２（ｂ）は上記の関係を、側面図として示したもので、トランスペアレンシー６の前から、コヒーレントな照明光８を与え、そのままの画像信号をニューラルネット９に与える。

【００２１】図２（ｃ）は、同様に側面図で示したものである。 先と同様な配置であるが、これで異なるのは、
１０で示された座標軸変換機能装置であって、これは、
便宜的に光学系の凸レンズで表わしている。 そして、その配置は、コヒーレント光８でトランスペアレンシー６
を透過した画像信号入力は、該レンズ機能１０の焦点位置で、第２の散乱型トランスペアレンシー７に入射し、
このトランスペアレンシー７を通した出力は、第１の画像信号を、全包囲角度の座標軸で、フーリエ変換された、信号となっており、これが、入力層ニューロン素１
に入力される。 このような変換処理は、入力画像で、目的の画像要素が、その位置に係わる不適合性がある為、
これを防ぐ為に行なわれるが、これは、何もフーリエ変換に限定されるべきものでも無く、他の軸変換手法でも良い。

【００２２】図３は上記の基本原理をもとに、実際のシステムを構築する際の、機能ブロックの構成図である。
１１はＴＶカメラ、１２はイメージリーダ装置、１３は画像アナログ信号をデジタルイメージに変換する為のＡ
／Ｄ変換器であり、１４はそのイメージデータから顔部分のみを取り出す画像切り出し装置である。 画像切り出し装置１４によって取り出された顔画像データは、ニューラルネット９により処理される。 信号端子１８は教師信号用であり、動作モード切り替えＳＷ１９が、教育モード側に接続されていると、教師信号１８とのニューラルネット出力結果との誤差を、画像切り出し装置１４の逆方向に伝達素４の重み係数を変化させるという動作で、状態帰還をさせている。 １７は学習の達成度をチェックする為の監視用誤差信号、１５は誤差逆伝搬部分、
１６は検索モード時の結果の出力端子である。

【００２３】以下、６つの適用例を示す。 適用例１、図５（ａ）はＩＣカードを使わずに、設定する事が可能な本発明の適用実施例で、まずあらかじめ登録している相手先は、可能な限り、顔画像を入手し、これを画面上に提示する事によって、ビジュアルに対応可能としている。 この事によって、もっと親密性のあるＴ
Ｖ電話機が実現できる。

【００２４】図５（ｂ）は、本発明のＴＶカメラからの画像によって、自分専用の電話機に、設定する過程を示した図である。 付属のＴＶカメラ２１によって、設定しようとする本人２５の顔画像を入れ、この顔画像は、デジタルイメージに変換され、そのイメージ２３は、交換器２２に送られる。 この交換器２２側では、電話機から送られて来た画像と似たものを検索し、その候補２４
を、電話機側に送り返す。 もし、候補が唯一個であれば、返送せずに、そのまま、その候補に相当する一連の関連する登録されている顔画像データを連続して送り返してくる。 これによって設定され、自分用の設定となる。 これによって、従来の様にＩＣカードを持参して、
挿入する事なく、出先で自由に自分用に設定出来る。

【００２５】適用例２、図６は、銀行等の金融機関での監視装置に適用している例である。 まず、カメラ２１
で、銀行の窓口の画像が、モニタＣＲＴ２６に映されると集中監視室で監視している。 この映像信号は分岐して取り出され、Ａ／Ｄ変換器１３でＡ／Ｄ変換しデジタルイメージにされる。 このデジタルイメージの中から、画像切り出し装置１４で必要な顔画像部分を、デジタル的に抜き出す。 この抜き出された顔画像部分をニューラルネット情報処理機構９に入力する。 ２７はその出力を、
ＬＥＤで表示したもので、実際は、ＣＲＴ上で警告表現すれば良い。 １１、１２はニューラルネットに容疑者の顔を、埋め込む為の顔画像の入力装置である。 画像切り出し装置１４での画像データと、ニューラルネット情報処理機構９での画像データを比較する事によって、同様な顔があれば、警告を発するのである。 本実施例では、
従来の銀行等の金融機関での監視業務の一部を代行する機能を持つ。

【００２６】まず複数の銀行強盗等の容疑者の顔写真を、入力装置１１又は１２から入力し、 ニューラルネット情報処理機構９に学習させ埋め込ませる。 その後、
チェックモードに戻し、監視業務に導入する。 この状態にして置くと、突然、容疑者が銀行を訪れた時、ただちに、警報をだす。 これによって、警備陣はただちに警戒態勢を敷く事が可能となり、容疑者にその気配があれば、ただちに逮捕可能となる。 この早期警戒、監視の可能であるか否かは、非常に重要で、これによっては、非常に多くの犯罪を未然に、もしくは、甚大な被害を出さずに防ぐ事が可能となる。

【００２７】適用例３、図９（ａ）は、一般家庭での応用例である。 門３０において、ＴＶカメラ２１付きの門塀インターホンが設置されている。 ここでは、このＴＶ
カメラ付きのインターホンに、留守番機能を持たせる事を特徴とする。 この機能を持つことによって、たとえ、
留守中に人が訪ねて来ても、その人に相当した対応をする事が可能となる。 例えば、いつもの酒屋さんが、注文をとりにきても、それと分かれば、予め録音しておいた伝言を流す事によって、日常雑事が円滑に済み、全く見知らぬ訪問者が来ても、それに対応する留守番電話的な、相手の伝言を記録するような、機能を持たせる事が可能となる。

【００２８】図９（ｂ）は、カメラ２１とモニタ２６
は、ＴＶインターホンの構成要素で、これに、画像切り出し装置１４、ニューラルネット情報処理機構９の、デジタルイメージ化装置や、ニューラルネット型、顔画像検索機能要素を付ける事によって、訪問者識別を行なう。 この事に依って、マイクロＣＰＵによって、録再の箇所が自由に制御できる録音機を設置し、訪問者個別の、対応の録再対応が出来る。 なお、３１はＣＰＵで制御可能なテープレコーダ、３２は門塀ＴＶインターホンのスピーカである。

【００２９】適用例４、第７（ｂ）図は、カメラ２１
と、ニューラルネットを用いた勤務時間管理をする為のタイムレコーダ２８の例である。 カメラ２１に映る顔画像を、ニューラルネットで確認し、打刻する。

【００３０】適用例５、図８（ｂ）は、本発明を用いて入室管理への適用を行なったもので、カメラ２１とニューラルネットを用いてＩＤチェック機能のみを代行し、
入室許可を与えているものである。 この場合も、ＩＤカード等を持ち歩く必要が無い。

【００３１】適用例６、図１０は、光ディスク画像ファイリングシステムで適用した例である。 これらは、例えば会社においては、社員の個人情報を顔画像とともに蓄積しており、ＩＤカードの再発行、新入作成、検索したり等の、社員の人事情報の処理を行なう。 構成を詳述すると、ＣＲＴ２６は顔画像や種々の情報の表示器で、カメラ１１や、イメージリーダ１２を介して、顔画像を光ディスクドライブ３４に、録画、再生させる。 ３３はその制御部である。 また３５はＬＡＮ回線接続である。 そして、これらの画像データは、ＬＡＮ回線を通して、アクセスする事が可能で、社員が、出張等で、社内関連場所に出かけたとしても、その遠隔地から、社内コンピュータ網を、介して、本画像システムをアクセスする、この事によって、遠隔地のＴＶ電話型コンピュータ端末３
６から、通常のＩＤカードを使用しなくても、個人同定が可能となり、またその個人に応じたデータ接触クラスも、設定されており、アクセス記録とともに、極秘データの漏れ対策も、可能となる。 このシステムでの第２の応用例は、警察等での、容疑者を洗い出しに利用する例である。 ある犯行の現場写真、もしくは、監視用ビデオ画像を使用して、顔画像を入力する事によって、ただちに、類似度の高い疑わしい容疑者候補を、取り出す事が可能となる。

【００３２】

【発明の効果】以上のように、この発明によれば、ニューラルネット情報処理機構によって、短時間で顔画像の判定が可能となり、また、提示された画像が、教育モードで使用された画像と、全く同一でなくても、その類似度比較を非線形的に行ない、アナログ量的デジタル値で報告してくる。 また、上記非線形の類似度比較をする為、顔の一部をマスクした画像であっても、判定が可能となる柔軟性がある。

【００３３】さらに、別な発明においては、画像デジタルイメージを軸変換し、軸変換された該デジタルイメージを情報をそのまま圧縮、変換処理を施してニューラルネットに入力しているので、入力画像で、目的の画像要素が、その位置に係わる不適合性があっても当事者の識別動作が可能になる。

【００３４】

【図面の簡単な説明】

【図１】ニューラルネットの基本的構成図。

【図２】（ａ）は画像処理の為の画像のニューラルネットへの入力形態の３次元表現図。 （ｂ）は画像のピクセルそのままの入力形態図。 （ｃ）は画像の入力の座標軸変換した入力形態図。

【図３】ニューラルネットを用いた顔画像の検索の為の機能ブロック図

【図４】従来の電話機の機能の自分仕様化に設定する従来の方法図。

【図５】（ａ）は本発明を用いた顔画像制御によるＴＶ
電話機の自分仕様化の方法図。 （ｂ）は本発明を用いた顔画像制御によるＴＶ電話機の自分仕様化の方法図。

【図６】銀行の防犯監視に応用した場合の機能回路ブロック図。

【図７】（ａ）は勤務管理の為の従来のタイムレコーダ斜視図。 （ｂ）は勤務管理の為の本発明のタイムレコーダ斜視図。

【図８】（ａ）は極秘データ室への従来の入出管理装置の斜視図。 （ｂ）は極秘データ室への本発明の入出管理装置の斜視図。

【図９】（ａ）は家庭用の門塀インターホンに応用した斜視図。 （ｂ）は家庭用の玄関インターホンに応用する例の内部ブロック図

【図１０】光ディスク画像ファイリングシステムを用いた、社員ＩＤカード作成、人事データ処理システムブロック図。

【図１１】（ａ）は従来のモデルに基ずく顔画像からの人物識別の方法を示す図。 （ｂ）は従来の顔の３次元モデルの自動生成法での顔の特徴点部分を示す図。 （ｃ）
は従来の並行トップダウン処理による顔画像の解析法を示す図。

【符号の説明】

１ ニューラルネットの入力層のニューロン素 ２ ニューラルネットの中間層のニューロン素 ３ ニューラルネットの出力層のニューロン素 ４ ニューラルネットの入力側シナプス伝達系 ５ ニューラルネットの出力側シナプス伝達系 ６ 直接入力画像のトランスペアレンシー ７ 軸変換画像入力のトランスペアレンシー ８ コヒーレント照明光 ９ ニューラルネットの３次元表示 １０ 凸レンズもしくは、フーリエ変換器 １１ ＴＶカメラ １２ イメージリーダ装置 １３ ビデオ信号のＡ／Ｄ変換器 １４ 画像の切り出し装置 １５ 誤差逆伝搬部分 １６ 結果送出部 １７ 学習度評価の為の誤差出力 １８ 教師信号入力 １９ ニューラルネット処理結果 ２０ ＴＶ電話機の画像表示器 ２１ ＴＶ電話機の付属のカメラ部 ２２ ＴＶ電話機用のＩＣカード ２３ 自分仕様化の為の交換機へ送るＴＶ電話機付属のカメラからの画像 ２４ 交換機から送られて来る目的の仕様に即した設定用の画像群 ２５ 新しい使用者 ２６ 防犯監視の為のモニタＴＶＣＲＴ群 ２７ ニューラルネットからの警報出力 ２８ 勤務管理の為のタイムレコーダ ２９ 極秘室へのＩＤチェック機 ３０ 家庭の玄関 ３１ ＣＰＵで制御可能な録再テープレコーダ ３２ 玄関ＴＶインターホンのスピーカ ３３ 光ディスク画像ファイリングシステムの制御機 ３４ 光ディスク画像ファイリングドライブ ３５ コンピュ−タＬＡＮ回線 ３６ 遠隔地のＴＶ電話型コンピュータ端末器

───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl. ⁵識別記号 庁内整理番号 ＦＩ 技術表示箇所 Ｈ０４Ｌ 9/00 9/10 9/12