首页 / 专利库 / 人工智能 / 机器学习 / 人工神经网络 / 自组织映射 / Method for compressing picture information, compressed picture information recording medium, and compressed picture information reproducing device

Method for compressing picture information, compressed picture information recording medium, and compressed picture information reproducing device

阅读:253发布:2021-12-12

专利汇可以提供Method for compressing picture information, compressed picture information recording medium, and compressed picture information reproducing device专利检索,专利查询,专利分析的服务。并且PURPOSE:To provide the method for compressing picture information, especially for compressing moving picture information at a high compression rate, the compressed picture information recording medium recording the compressed picture information and the device for reproducing the compressed picture information at a high speed. CONSTITUTION:Each picture frame forming moving picture information is divided into a key frame and a motion compensation frame, and the key frame is divided into blocks, and a picture pattern of each block is subjected to vector quantization by employing the Khonen's self-organizing characteristic mapping algorithm. A motion vector is decided for each block of the motion compensation frame, and a motion vector pattern of each block forming a large block is subjected to vector quantization by employing the Khonen's self-organizing feature mapping algorithm. A compressed picture information recording medium includes an index recording area recording a representative number of each block or large block and a representative vector recording area recording area recording the information corresponding to a code book. The compressed picture information reproducing device includes a data read means, a key frame restoring means and a motion compensation frame decoding means.,下面是Method for compressing picture information, compressed picture information recording medium, and compressed picture information reproducing device专利的具体信息内容。

【特許請求の範囲】
  • 【請求項1】 複数個の画像フレームから成る動画像情報を圧縮する方法であって、 a)前記動画像情報を構成する複数個の画像フレームをキーフレームまたは動き補償フレームのいづれかとして決定する工程と、 b)前記複数個の画像フレームを縦、横それぞれ所定個数の画素から成る複数個のブロックに分割する工程と、 c)前記工程a)で決定された各動き補償フレームの各ブロックに対し、直前のキーフレームに対する動きベクトルを決定する工程と、 d)各動き補償フレームを縦、横それぞれ所定個数の前記ブロックから成る大ブロックに分割し、各大ブロックを走査する事により複数個の動きベクトルパターンベクトルを得る工程と、 e)前記工程d)で得られた複数個の動きベクトルパターンベクトルを代表する複数個の代表ベクトルを決定し、前記動画像情報の前記動き補償フレームのベクトル量子化のためのコードブックを作成する工程と、 f)前記工程d)で得られた動きベクトルパターンベクトルを代表する代表ベクトルを前記工程e)で作成されたコードブックから1個、選択して前記動きベクトルパターンベクトルを、選択された代表ベクトルの番号で符号化する工程と、 を備える画像情報圧縮方法。
  • 【請求項2】 前記工程e)は、 e1)3次元以上の空間の格子点に配置された複数個のユニットの荷重ベクトルであって、前記サンプル動きベクトルパターンベクトルの次元と等しい次元の入力ベクトルを前記各ユニットにそれぞれ結合する荷重ベクトルを初期化する工程と、 e2)前記工程d)で得られた動きベクトルパターンベクトルの内の1個と前記各荷重ベクトルの距離を計算する工程と、 e3)前記工程e2)で計算された距離の最小値を与える勝者ユニットを決定し、前記勝者ユニットの近傍のユニットの荷重を更新する工程と、 e4)前記工程e2)、e3)を複数個の動きベクトルパターンベクトルについて反復し、この結果得られる各ユニットの荷重ベクトルを代表ベクトルとする前記コードブックを作成する工程と、 を備える請求項1記載の画像情報圧縮方法。
  • 【請求項3】 前記工程a)で決定された各キーフレームについて g)複数個のキーフレームを、縦、横それぞれ所定個数の画素から成る複数個のブロックに分割する工程と、 h)前記各キーフレームの各ブロックを走査し、ブロック画像パターンベクトルを得る工程と、 i)3次元以上の空間の格子点に配置された複数個のユニットの荷重ベクトルであって、前記ブロック画像パターンベクトルの次元と等しい次元の入力ベクトルを前記各ユニットにそれぞれ結合する荷重ベクトルを初期化する工程と、 j)前記工程h)で得られたブロック画像パターンベクトルの内の1個と前記各荷重ベクトルの距離を計算する工程と、 k)前記工程j)で計算された距離の最小値を与える勝者ユニットを決定し、前記勝者ユニットの近傍のユニットの荷重を更新する工程と、 l)前記工程j)、k)を複数個のブロック画像パターンベクトルについて反復し、この結果得られた各ユニットの荷重ベクトルを代表ベクトルとして決定し、前記キーフレームの画像情報のベクトル量子化のためのコードブックを作成工程と、 m)前記各キーフレームの各ブロックのブロック画像パターンベクトルを代表する代表ベクトルを前記コードブックから選択し、前記ブロック画像パターンベクトルを、選択された代表ベクトルの番号によって符号化する工程と、 を備える請求項1記載の画像情報圧縮方法。
  • 【請求項4】 少なくとも1個の画像フレームから成る画像情報を圧縮する画像情報圧縮方法であって、 o)複数個のサンプル画像フレームを、縦、横それぞれ所定個数の画素から成る複数個のブロックに分割する工程と、 p)前記サンプル画像フレームの各ブロックを走査し、
    所定次元の複数個のサンプルブロック画像パターンベクトルを得る工程と、 q)3次元以上の空間の格子点に配置された複数個のユニットの荷重ベクトルであって、前記サンプルブロック画像パターンベクトルの次元と等しい次元の入力ベクトルを前記各ユニットにそれぞれ結合する荷重ベクトルを初期化する工程と、 r)前記工程p)で得られたサンプルブロック画像パターンベクトルの内の1個と前記各荷重ベクトルの距離を計算する工程と、 s)前記工程r)で計算された距離の最小値を与える勝者ユニットを決定し、前記勝者ユニットの近傍のユニットの荷重を更新する工程と、 t)前記工程r)、s)を各サンプルブロック画像パターンベクトルについて反復し、この結果得られた各ユニットの荷重ベクトルを代表ベクトルとして選択し、前記画像情報のベクトル量子化のためのコードブックを作成する工程と、 u)前記画像情報の画像フレームを前記コードブックを使用してベクトル量子化する事により符号化する工程と、 を備える画像情報圧縮方法。
  • 【請求項5】 請求項3の画像情報圧縮方法により圧縮された動画像情報を記録する圧縮画像情報記録媒体であって、 前記工程f)および工程m)で決定された代表ベクトル番号を記録するインデックス記録領域と、 前記工程e)および工程l)で作成されたコードブックをそれぞれ所定のアドレスに記録する代表ベクトル記録域と、 を備える圧縮画像情報記録媒体。
  • 【請求項6】 請求項5の圧縮画像情報記録媒体に記録された動画像情報を再生する装置であって、 前記インデックス記録領域に記録された代表ベクトル番号を読み出すベクトル番号読出手段と、 ベクトル番号読出手段によって読み出された代表ベクトル番号に基づいて前記コードブックの前記代表ベクトル番号に対応する代表ベクトル成分アドレスを計算する代表ベクトル成分アドレス計算手段と、 代表ベクトル成分アドレス計算手段で計算された代表ベクトル成分アドレスに対応する代表ベクトル成分を読み出す代表ベクトル成分情報読出手段と、 代表ベクトル成分情報読出手段で読み出された代表ベクトル成分に基づきキーフレームを復元するキーフレーム復元手段と、 代表ベクトル成分情報読出手段で読み出された代表ベクトル成分に基づき動き補償フレームを復元する動き補償フレーム復元手段と、 を備える圧縮画像情報再生装置。
  • 说明书全文

    【発明の詳細な説明】

    【0001】

    【産業上の利用分野】この発明は画像情報、特に動画像情報の圧縮方法、圧縮された画像情報を記録する圧縮画像情報記録媒体、圧縮画像情報記録媒体に記録された画像情報を伸張・再生する圧縮画像情報再生装置に関する。

    【0002】

    【従来の技術】アナログ画像情報をディジタル信号に変換して記録・再生する装置は公知である。 この場合、ディジタル画像はアナログ信号を標本化、量子化処理する事によって得られ、縦、横それぞれ所定数の画素から成る。 ディジタル画像の各画素は例えばRGB(赤・緑・
    青色)各8ビットからなり、それぞれ256の信号レベルを表現する。

    【0003】しかし動画像情報の場合、1秒当たり例えば30フレームの画像フレームが必要であり、動画像情報をディジタル信号で表現する情報量が膨大になり、大きなな記憶容量が必要と成る。 このためディジタル画像情報を効率的に圧縮する種々の方法が考えられているが、このような圧縮方法の一つにベクトル量子化による方法がある。 次に画像情報のベクトル量子化について説明する。

    【0004】ここではアナログ動画像情報から既にディジタル動画像情報が得られているものとする。 そこでまずディジタル動画像情報信号の各画像フレームを複数のブロックに分割する。 図18は各画像フレームのブロック分割を示す図である。 例えば縦640画素(X=64
    0)、横480画素(Y=480)の画像フレーム1を縦、横4画素(x=4、y=4)のブロック2B ijに分割する。 各ブロック2B ijは、縦、横4×4画素の16
    画素から成る。 ここで各ブロック2を例えば図19に示すように各画素3(P ij )をジグザグ走査する。 この結果、各ブロックB ijの16画素から成る画像パターンは、16次元のベクトルX=(x 1 ,x 2 ,・・・,x 16
    で表現される。 ここにベクトルXの各成分x 1 ,x 2 ,・・
    ・,x 16は、ブロックB ijの画素P 11 ,P 21 ,P 12 ,・・
    ・,P 44における信号レベルを表現する。

    【0005】図20は信号空間におけるブロック画像パターンベクトルの分布を摸式的に示す図である。 上のようにして得られた多数の画像パターンベクトルX=(x
    1 ,x 2 ,・・・,x k ,・・・,x 16 )を16次元の信号空間に分布する。 図20はこの分布を摸式的に示す。 RGB
    (赤・緑・青色)各信号について各画素が0〜255の256レベルで表現されるとすれば、各信号について各ブロックB ijの画像パターンベクトルX=(x 1 ,x 2 ,・
    ・・,x k ,・・・,x 16 )は、一辺が255の16次元の立方体(0≦x 1 ,x 2 ,・・・,x k ,・・・,x 16 ≦25
    5)の信号空間内に分布する。 この画像パターンを表現する16次元立方体は、255 16個の点を含むが、ブロック画像パターンベクトルは、比較的まとまった数百個程度のクラスタC 1 ,C 2 ,・・・,C i ,・・・を形成しているものと考えられる。

    【0006】そこでベクトル量子化は次のように行われる。 各クラスタC 1 ,C 2 ,・・・,C i ,・・・に対してそれぞれ少なくとも1個の代表ベクトルR 1 ,R 2 ,・・・,
    i ,・・・を選択してコードブック(代表ベクトルの表)を作成する。 次に各画像フレームの各ブロックB ij
    のブロック画像パターンベクトルXに対し、コードブックに含まれる代表ベクトルのなかからXにもっとも近い代表ベクトルをけってし、各ブロックの画像情報を決定された代表ベクトルの番号で符号化する。 これがベクトル量子化である。

    【0007】以上のようにしてベクトル量子化を行う場合、コードブックに含まれる代表ベクトルの個数を数百程度とすれば代表ベクトルの番号は例えば9ビットで表現でき、各ブロックの画像情報を大幅に圧縮できる。 なおこのベクトル量子化による圧縮は静止画像情報にもそのまま適用できる。

    【0008】動画像情報の圧縮方法としてはまた動き補償フレームを使用する方法がある。 動き補償フレームを用いる場合、1秒間に含まれる30フレームのうち例えば5フレーム程度をキーフレーム(通常の画像情報を保持するフレーム)とし、キーフレームの間に挟まれた画像フレームを動き補償フレームとしてキーフレームに対する画像の運動状態を記述する。 動き補償フレームは次のようにして作成される。

    【0009】まず図18に示すように各動き補償フレームを縦、横それぞれ所定画素数から成るブロックB ijに分割する。 また図21に示すように、現在処理中の動き補償フレームのブロック5(B ij )を中心とする動き補償範囲4の縦、横方向の動き補償範囲6a、6bを±v
    0画素とし、動き補償範囲4に含まれる直前のキーフレームのブロックB(V)から現フレームブロック5への動きベクトル8をVとする。 よって、V=(v 1 ,v 2
    とすると、−v 0 ≦v 1 ,v 2 ≦+v 0であり、現フレームブロック5(B ij )を構成する画素P kl (P kl ∈B ij
    に対し、キーフレームブロック7(B(V))を構成する画素P mn (P mn ∈B(V))の添字m、nはm=k−
    1 ,n=l−v 2で与えられる。

    【0010】この時、現動き補償フレームのブロック5
    (B ij )の動き補償範囲4に含まれるキーフレームブロック7(B(V))の内でもっとも現フレームブロック5(B ij )の画像パターンに近い画像パターンを有するブロック7を決定し、この時のブロック7(B(V))
    のベクトルVを現フレームブロック5(B ij )の動きベクトル8とする。 動き補償フレームの画像情報を再生する場合には、各ブロックB ijの動きベクトルV=(v 1 ,
    2 )を用い、再生中の現フレームブロック5(B ij
    を含む動き補償フレームの直前のキーフレーム7の対応ブロックB(V)の画素P mnを各P kl ∈B ijに対し、m
    =k−v 1 ,n=l−v 2で決定し、キーフレームのブロック7(B(V))の画像パターンを現フレームブロック5(B ij )のパターンとしてに再生する。

    【0011】なお動画像情報について動き補償フレームを使用する場合も、キーフレームについては上に述べたベクトル量子化の方法を用いて画像情報圧縮を行う事ができる。 また動き補償フレームの現フレームブロック5
    (B ij )に十分にマッチする動き補償範囲のキーフレームのブロック7(B(V))が存在しない場合は、現フレームブロック5(B ij )の画像パターンをキーフレームの場合と同様にベクトル量子化して圧縮する事ができる。

    【0012】

    【発明が解決しようとする課題】ベクトル量子化は高度な画像情報圧縮を可能にする。 しかしベクトル量子化を行うためにはまずサンプルブロック画像パターンベクトルの分布が形成する各クラスタC iの代表ベクトルR iを決定しコードブックを作成する必要がある。 このような代表ベクトル決定のアルゴリズムとして従来使用されているものとしては例えばLBGアルゴリズムがある。 しかし上に述べたようにそれぞれの要素が256レベルの16次元ベクトルのブロック画像パターンのベクトル量子化を行うためには膨大な時間がかかり、現在の計算機の技術レベルでは殆ど実現不可能である。

    【0013】また動画像情報の場合、動き補償フレームの使用は効率的な圧縮方法であるが、圧縮には限度がある。 映画などの自然画像から成る動画像情報を記録するためには大きな記憶容量が必要であり、例えばROM
    (読出し専用記憶装置)にこのような動画像情報を記録する携帯可能な再生装置を得る事は現在の技術レベルでは困難である。

    【0014】従ってこの発明は、画像情報、特に動画像情報の高度な圧縮を実現する画像情報圧縮方法、圧縮画像情報記録媒体、圧縮画像情報再生装置を提供する事を目的とする。

    【0015】

    【課題を解決するための手段】複数個の画像フレームから成る動画像情報を圧縮する場合、この発明に係る画像情報圧縮方法は、a)前記動画像情報を構成する複数個の画像フレームをキーフレームまたは動き補償フレームのいづれかとして決定する工程と、b)前記複数個の画像フレームを縦、横それぞれ所定個数の画素から成る複数個のブロックに分割する工程と、c)前記工程a)で決定された各動き補償フレームの各ブロックに対し、直前のキーフレームに対する動きベクトルを決定する工程と、d)各動き補償フレームを縦、横それぞれ所定個数の前記ブロックから成る大ブロックに分割し、各大ブロックを走査する事により複数個の動きベクトルパターンベクトルを得る工程と、e)前記工程d)で得られた複数個の動きベクトルパターンベクトルを代表する複数個の代表ベクトルを決定し、前記動画像情報の前記動き補償フレームのベクトル量子化のためのコードブックを作成する工程と、f)前記工程d)で得られた動きベクトルパターンベクトルを代表する代表ベクトルを前記工程工程e)で作成されたコードブックから1個、選択して前記動きベクトルパターンベクトルを、選択された代表ベクトルの番号で符号化する工程と、を備える。

    【0016】この際、前記工程e)は、e1)3次元以上の空間の格子点に配置された複数個のユニットの荷重ベクトルであって、前記サンプル動きベクトルパターンベクトルの次元と等しい次元の入ベクトルを前記各ユニットにそれぞれ結合する荷重ベクトルを初期化する工程と、e2)前記工程d)で得られた動きベクトルパターンベクトルの内の1個と前記各荷重ベクトルの距離を計算する工程と、e3)前記工程e2)で計算された距離の最小値を与える勝者ユニットを決定し、前記勝者ユニットの近傍のユニットの荷重を更新する工程と、e
    4)前記工程e2)、e3)を複数個の動きベクトルパターンベクトルについて反復し、この結果得られる各ユニットの荷重ベクトルを代表ベクトルとする前記コードブックを作成する工程と、を備える事が好ましい。 また前記工程a)で決定された各キーフレームについてg)
    複数個のキーフレームを、縦、横それぞれ所定個数の画素から成る複数個のブロックに分割する工程と、h)前記各キーフレームの各ブロックを走査し、ブロック画像パターンベクトルを得る工程と、i)3次元以上の空間の格子点に配置された複数個のユニットの荷重ベクトルであって、前記ブロック画像パターンベクトルの次元と等しい次元の入力ベクトルを前記各ユニットにそれぞれ結合する荷重ベクトルを初期化する工程と、j)前記工程h)で得られたブロック画像パターンベクトルの内の1個と前記各荷重ベクトルの距離を計算する工程と、
    k)前記工程j)で計算された距離の最小値を与える勝者ユニットを決定し、前記勝者ユニットの近傍のユニットの荷重を更新する工程と、l)前記工程j)、k)を複数個のブロック画像パターンベクトルについて反復し、この結果得られた各ユニットの荷重ベクトルを代表ベクトルとして決定し、前記キーフレームの画像情報のベクトル量子化のためのコードブックを作成工程と、
    m)前記各キーフレームの各ブロックのブロック画像パターンベクトルを代表する代表ベクトルを前記コードブックから選択し、前記ブロック画像パターンベクトルを、選択された代表ベクトルの番号によって符号化する工程と、を備える事が好ましい。

    【0017】また静止画像情報を圧縮する場合、この発明に係る画像情報圧縮方法は、o)複数個のサンプル画像フレームを、縦、横それぞれ所定個数の画素から成る複数個のブロックに分割する工程と、p)前記サンプル画像フレームの各ブロックを走査し、所定次元の複数個のサンプルブロック画像パターンベクトルを得る工程と、q)3次元以上の空間の格子点に配置された複数個のユニットの荷重ベクトルであって、前記サンプルブロック画像パターンベクトルの次元と等しい次元の入力ベクトルを前記各ユニットにそれぞれ結合する荷重ベクトルを初期化する工程と、r)前記工程p)で得られたサンプルブロック画像パターンベクトルの内の1個と前記各荷重ベクトルの距離を計算する工程と、s)前記工程r)で計算された距離の最小値を与える勝者ユニットを決定し、前記勝者ユニットの近傍のユニットの荷重を更新する工程と、t)前記工程r)、s)を各サンプルブロック画像パターンベクトルについて反復し、この結果得られた各ユニットの荷重ベクトルを代表ベクトルとして選択し、前記画像情報のベクトル量子化のためのコードブックを作成する工程と、u)前記画像情報の画像フレームを前記コードブックを使用してベクトル量子化する事により符号化する工程と、を備える。

    【0018】更にこの発明に係る圧縮画像情報記録媒体は、この発明に係る画像情報圧縮方法により圧縮された動画像情報を記録する圧縮画像情報記録媒体であって、
    前記工程f)および工程m)で決定された代表ベクトル番号を記録するインデックス記録領域と、前記工程e)
    および工程l)で作成されたコードブックをそれぞれ所定のアドレスに記録する代表ベクトル記録域と、を備える。

    【0019】またこの発明に係る圧縮画像情報再生装置は、この発明に係る圧縮画像情報記録媒体に記録された動画像情報を再生する装置であって、前記インデックス記録領域に記録された代表ベクトル番号を読み出すベクトル番号読出手段と、ベクトル番号読出手段によって読み出された代表ベクトル番号に基づいて前記コードブックの前記代表ベクトル番号に対応する代表ベクトル成分アドレスを計算する代表ベクトル成分アドレス計算手段と、代表ベクトル成分アドレス計算手段で計算された代表ベクトル成分アドレスに対応する代表ベクトル成分を読み出す代表ベクトル成分情報読出手段と、代表ベクトル成分情報読出手段で読み出された代表ベクトル成分に基づきキーフレームを復元するキーフレーム復元手段と、代表ベクトル成分情報読出手段で読み出された代表ベクトル成分に基づき動き補償フレームを復元する動き補償フレーム復元手段と、を備える。

    【0020】

    【作用】この発明に係る動画像情報の圧縮方法によれば、工程d)において、各動き補償フレームを縦、横それぞれ所定個数の前記ブロックから成る大ブロックに分割し、各大ブロックを走査する事により複数個の動きベクトルパターンベクトルを得、工程e)において前記工程d)で得られた複数個の動きベクトルパターンベクトルを代表する複数個の代表ベクトルを決定し、前記動画像情報の前記動き補償フレームのベクトル量子化のためのコードブックを作成する。 さらに、工程f)で工程d)で得られた動きベクトルパターンベクトルを代表する代表ベクトルを前記工程工程e)で作成されたコードブックから1個、選択して前記動きベクトルパターンベクトルを、選択された代表ベクトルの番号で符号化する。 したがって動き補償フレームの情報を極めて高度に圧縮することが可能である。

    【0021】この際、前記工程e)を、e1)〜e4)
    のコホーネンによる自己組織化特徴写像のアルゴリズムで実現することにより代表ベクトルを効率的に決定し、
    実行可能な計算量でコードブックを作成する事が可能になる。 また工程g)〜m)によって各キーフレームをベクトル量子化する事により、キーフレームの画像情報も効率的に圧縮することが可能になる。

    【0022】また静止画像情報を圧縮する場合も、この発明に係る画像情報圧縮方法では、ベクトル量子化に際し、コホーネンによる自己組織化特徴写像のアルゴリズムを使用する。 この結果、代表ベクトルを効率的に決定し、実行可能な計算量でコードブックを作成する事が可能になる。

    【0023】更にこの発明に係る圧縮画像情報記録媒体は、この発明に係る画像情報圧縮方法により圧縮された動画像情報を記録する。

    【0024】またこの発明に係る圧縮画像情報再生装置は、この発明に係る圧縮画像情報記録媒体に記録された動画像情報を高速で伸張し、実時間で再生する。

    【0025】

    【実施例】次に図を参照しながら動画像情報圧縮方法の実施例について説明する。 ここでは自然色アナログ動画像情報を標本化、量子化する事により既にディジタル動画像情報が得られているものとする。 動画像情報は複数の画像フレームから構成され、各画像フレームはRGB
    (赤・緑・青色)信号、あるいはYIQ信号(輝度信号Yおよび色相信号IQ)、YUV信号(輝度信号Yおよび色相信号UV)などの3信号から成るが、この実施例ではYUV信号から成るものとする。

    【0026】図18に示すように、各画像フレーム1の輝度信号Yは、縦X=640画素、横Y=480画素で構成されるものとする。 人間の視覚は明暗で与えられた形状の細部に対しては鋭く、敏感に反応するが、色彩の細部に対する反応は鈍い事が知られている。 従って色相信号U、Vについては解像度を輝度信号Yの1/2とし、画像フレーム1を縦X=320画素、横Y=240
    画素で構成するものとする。 従ってY信号の2×2=4
    画素がU、V信号1画素に対応する事に成る。 なおRG
    B(赤・緑・青色)信号からYUV信号への変換、およびYUV信号からRGB(赤・緑・青色)信号への変換は公知の線形変換で行う事ができる。

    【0027】この実施例では動画像情報は1秒間当たり30フレームから成るものとする。 各フレームがYUV
    の3信号を含み、Y信号が640×480画素、U、V
    信号が320×240画素から成るディジタル動画像情報が既に得られているものとし、このディジタル動画像情報を圧縮する方法について以下に説明する。 なおYU
    V各信号の各画素は例えば8ビットで256の信号レベルを表現する。 またこの実施例では1秒間に含まれる3
    0フレームの内、5フレーム程度をキーフレームとし他のフレームを動き補償フレームとするが、キーフレームと動き補償フレームの決定方法については後に説明する。

    【0028】キーフレームの画像情報圧縮はベクトル量子化によって行う。 この際、ベクトル量子化の代表ベクトルの決定には、神経回路網の研究から生まれた新たなアルゴリズム、即ちコホーネン(T. Kohonenn)によって開発された自己組織化特徴写像のアルゴリズムを使用し、これにより代表ベクトルを効率的に決定しコードブックを作成する。 このキーフレームのベクトル量子化は静止画像情報の圧縮にも利用できる。

    【0029】一方動き補償フレームの画像情報圧縮はまず各フレームをブロックに分割して各ブロックの動きベクトルを決定した後、複数個のブロックからなる大ブロックの動きベクトルパターンをベクトル量子化する事により高度な情報圧縮を実現する。 この場合のベクトル量子化にもコホーネンによる自己組織化特徴写像アルゴリズムを使用する。

    【0030】まずキーフレームの画像情報圧縮について詳しく説明する。 キーフレームの画像情報の圧縮は、
    (1)ブロック画像パターンの学習系列を作成し、
    (2)この学習系列をコホーネンの神経回路網モデルに提示してブロック画像パターンの代表ベクトルを選択してコードブックを作成し、(3)各キーフレームのブロックB ijの画像パターンにもっとも近いブロック画像パターン代表ベクトルをコードブックから選択して各ブロックB ijの画像パターンをコードブック中の代表ベクトル番号で符号化する、事により行われる。 以下にこれらの(1)〜(3)の手続きについて詳しく説明する。

    【0031】まず(1)のブロック画像パターンの学習系列の作成は次のように行う。 例えばY信号の各フレームは640×480画素から構成される(図18参照)。 この640×480画素のフレームを4×4画素のブロックB ijに分割し、図19に示すようにジグザグ走査する事により各ブロックについて16次元のブロック画像パターンベクトル X=(x 1 ,x 2 ,・・・,x 16 ) を得る。 ここにベクトルXの各成分x 1 ,x 2 ,・・・,x
    16は対応する画素のY信号レベルである。 多数のフレームについて各ブロックの画像パターンベクトルXを求める事により学習系列X(t)を得る。 ここにパラメータtは、0≦t<Tの整数であり、Tは学習系列に含まれる画像パターンベクトルの個数であって、例えば200
    00程度とする。 U信号、V信号についても同様に4×
    4画素のブロックに各フレームを分割することによりU
    信号、V信号のブロック画像パターンの学習系列X
    (t)を得る事ができる。

    【0032】上に述べたように各信号の各画素の信号が8ビット、256レベルで量子化されるとすれば学習系列の各ベクトル X(t)=(x 1 (t),・・・・,x 16 (t)) は一辺255の16次元の立方体 0≦x 1 ,x 2 ,・・・,x k ,・・・,x 16 ≦255 から成る信号空間の内部に分布するが、これらのベクトルX(t)は図20に示すように数百程度のクラスタを形成すると考えられる。 なお学習系列X(t)の分布を予め正規化する事により(2)の代表ベクトルの決定を効率化する事が可能である。

    【0033】次に(2)のコホーネンの神経回路網モデルを使用する代表ベクトルの選択とコードブックの作成について説明する。 図1はベクトル量子化の際に代表ベクトルの決定に使用されるコホーネンの神経回路網モデルを示す摸式図である。 なおこの実施例では3次元の神経回路網を使用するが図1は2次元の場合を示す。 神経回路網は競合層9および入力層10からなり、図1の2
    次元神経回路網では競合層9の各ニューロンないしユニット9a(U ij )は平面上の格子点(即ち平面上の整数座標点(i、j))に配置され、それぞれのユニット9
    a(U ij )が、入力層10を構成する入力ベクトル X=(x 1 ,x 2 ,・・・,x h ,・・・) に荷重ベクトル11 W ij =(w ij1 ,w ij2 ,・・・,w ijh ,・・・) を介して結合されている。 即ち各ユニットU ijは第1入力成分x 1とは荷重w ij1で、第2入力成分x 2とは荷重w ij2で、また第h入力成分x hとは荷重w ijhで結合されている。 なお図ではユニットU ijについてのみ荷重を示してあるが他のユニットも同様に入力層10に結合される。

    【0034】この発明で使用するコホーネンの自己組織化特徴写像のアルゴリズムは後に説明するように、学習系列のベクトルを順次入力として神経回路網に提示する事により、各ユニットの荷重を更新し、神経回路網の各ユニットの荷重ベクトルを信号空間に展開していくものである。 こうして決定された各ユニットの荷重ベクトルをベクトル量子化の代表ベクトルとする。 即ち最終的に決定されたこれらの荷重ベクトルによってコードブックを作成する。

    【0035】従来、コホーネンの自己組織化特徴写像アルゴリズムでは、通常、図1に示すような2次元の神経回路網が使用されている。 しかし神経回路網を2次元とした場合、競合層9を構成するユニット9aの配置が信号空間内で捩れ、信号空間における各ユニット9aの形成する神経回路網の展開が阻害される場合がある。 このような捩れが発生すると、各クラスタに対し適切な代表ベクトルを決定することができない。 そこでこの発明においては3次元以上の神経回路網を使用する。 特にこの実施例では3次元の神経回路網を使用する。

    【0036】3次元の神経回路網は、3次元空間の格子点、即ち空間内の整数座標点 (i、j、k) に配置されたユニットU ijkからなり、各ユニットU ijk
    は、入力ベクトル X=(x 1 ,x 2 ,・・・,x h ,・・・,x 16 ) と荷重ベクトル W ijk =(w ijk1 ,w ijk2 ,・・・,w ijkh ,・・・,w
    ijk16 ) を介して結合される。 即ち各ユニットU ijkは入力成分 x 1 ,x 2 ,・・・,x h ,・・・,x 16と、それぞれ w ijk1 ,w ijk2 ,・・・,w ijkh ,・・・,w ijk16を介して結合されている。

    【0037】ところで学習系列ベクトルX(t)が構成する各クラスタはそれぞれ少なくとも1個のユニットにより代表される必要があるが、コホーネンの自己組織化特徴写像アルゴリズムでは一般に1個のクラスタに複数のユニットの荷重ベクトルが対応する。 従ってユニットの個数はクラスタの個数に対しある程度大きく選択する必要があるが、この実施例では 1≦i、j、k≦8 とする。 従って神経回路網を構成するユニットの個数はこの実施例では8×8×8=512である。 これらのユニットU ijkは荷重 W ijk =(w ijk1 ,w ijk2 ,・・・,w ijkh ,・・・,w
    ijk16 ) で入力ベクトル X=(x 1 ,x 2 ,・・・,x h ,・・・,x 16 ) と結合されており、上の(1)で求めた学習系列X
    (t)を入力ベクトルとして提示する事により各ユニットU ijkの荷重W ijkを順次、更新し、代表ベクトルを決定する。

    【0038】図2はコホーネンの神経回路網モデルを使用してベクトル量子化の代表ベクトルを決定する自己組織化特徴写像の手続きを示すフローチャートである。 次に図2を参照しながらコホーネンの自己組織化特徴写像アルゴリズムを使用する代表ベクトルの決定手続きについて説明する。

    【0039】工程S1において学習系列パラメータtを初期化する(t←0、ただし記号←は手続き型プログラム言語における変数への値の代入を表す)。 次に工程S
    2で各ユニットU ijkの荷重ベクトル W ijk =(w ijk1 ,w ijk2 ,・・・,w ijkh ,・・・,w
    ijk16 ) を初期化する。 この荷重W ijkの初期化は例えば、学習系列ベクトルX(t)の分布する一辺の長さ255の1
    6次元の立方体の中心の近傍に乱数で分布させる事により行う。 即ち各h(1≦h≦16)について荷重ベクトルw ijkの第h成分w ijkhを、 w ijkh =127.5±ε で設定する。 ただしεは255×0.1=25.5以内の乱数である。

    【0040】次に工程S3において学習系列のベクトルX(t)と各ユニットU ijkの荷重ベクトルW ijkの距離 d(W ijk ,X(t)) を計算する。 距離d(W ijk ,X(t))は Σ(w ijkh −x h (t)) 2 (ただしΣは添字hの1≦h≦16についての和)の平方根 √Σ(w ijkh −x h (t)) 2で定義する。

    【0041】次に工程S4において勝者ユニット、即ち工程S3で計算された距離 d(W ijk ,X(t)) を最小にするユニットU ijkを決定する。 また工程S5
    において勝者ユニットU i jkの近傍N d (U ijk )(一辺の長さが2dのユニットU ijkを中心とする立方体)に含まれるすべてのユニットU lmnの荷重ベクトルW lmnを以下に説明するように更新する。

    【0042】図3は2次元の神経回路網のユニットU ij
    の正方形近傍を示す図である。 U ijの近傍N d (U ij
    (一辺の長さが2dのユニットU ijを中心とする正方形)は 、i−d≦l≦i+d、 j−d≦m≦j+d を満足するすべてのユニットU lmから成る。 図3はd=
    1、2、3の場合の近傍12、N d (U ij )を示す。 3
    次元の神経回路網のユニットU ijkの近傍N d (U ijk
    (一辺の長さが2dの立方体)も同様に、 i−d≦l≦i+d、 j−d≦m≦j+d、 k−d≦n≦k+d を満足するユニットU lmnの集合として定義される。 なお工程S5における近傍N d (U ijk )の大きさを示す添字パラメータdは学習系列パラメータtの値に対して d=d 0 (1−(t/T)) で設定される。 ここにd 0は例えば神経回路網の一辺の大きさの1/2とする。 即ちこの実施例の場合 d 0 =(8−1)/2=3.5 である

    【0043】図2の工程S5における U lmn ∈N d (U ijk ) 即ち勝者ユニットU ijkの近傍N d (U ijk )に含まれるユニットU lmnの荷重ベクトルW lmnの更新は、荷重ベクトルW lmnの各成分について w lmnh ←w lmnh +α(x h (t)−w lmnh2で行う。 ただしαは学習系列パラメータtを使用して α=α 0 (1−(t/T)) で表される係数でありα 0は0.2〜0.5とする。 またx h (t)は学習系列のベクトルX(t) X(t)=(x 1 (t),・・・,x h (t),・・・,x 16
    (t) の第h成分である。

    【0044】以上のように勝者ユニットU ijkの近傍のユニットの荷重ベクトルの更新が終了すると、工程S6
    において学習系列パラメータtの値を t←t+1 で更新し、更に工程S7において、すべての学習系列ベクトルX(t)が処理されたかどうか、即ち t≧T となったかどうかを判断する。 まだ処理されていない学習系列ベクトルが残っていれば工程S3にもどって工程S3〜工程S7を反復する。 工程S7においてすべての学習系列ベクトルX(t)が処理されたと判断されると図2の手続きを終了する。

    【0045】図2の手続きにおいては、工程S5が行われる毎に勝者ユニットU ijk (即ち提示された学習系列入力ベクトルX(t)にもっとも近いユニット)に対しすべてのユニット U lmn ∈N d (U ijk ) の荷重ベクトルW lmnが入力ベクトルX(t)にに向かって引っ張られ、入力ベクトルX(t)に近付くように更新される。 この結果、神経回路網の各ユニットU ijk
    の荷重ベクトルW ijkは、学習系列X(t)の形成するクラスタ(図20参照)の分布にしたがって徐々に信号空間に展開される。 図2の手続きが終了すると、学習系列のベクトルX(t)の形成する各クラスタに対し少なくとも1個のユニットの荷重ベクトルがクラスタを代表するようにに成る。 従ってこれらの荷重ベクトルW ijk
    を適当な順序に並べ、ベクトル量子化のコードブック R 1 =(r 11 ,・・・,R 1n )、 R 2 =(r 21 ,・・・,R 1n )、 ・・・ R M =(r M1 ,・・・,R Mn ) を得る事ができる(n=16、M=512)。 例えば、 s=i+8・j+64・k として R s =W ijk (r s1 =w ijk1 ,・・・,r sn =w ijkn ) とする事により各ユニットU ijkの荷重ベクトルW ijkを一定の順序に並べたコードブックを作成する事ができる。 この場合にはパラメータ s=i+8・j+64・k が代表ベクトルW ijkの番号と成る。

    【0046】図4は図2の手続きにより決定された荷重ベクトルW ijkを適当な順番に並べる事により得られるコードブックを示す表である。 コードブック13は代表ベクトルの各番号sに対し対応する代表ベクトルの成分を与える。 図4のようなコードブックはY信号、U信号、V信号のそれぞれについて図2の手続きを用いて作成される。

    【0047】以上で(2)コードブック作成手続きの説明を終り、次に(3)の手続き、即ち各キーフレームのブロックB ijの画像パターンにもっとも近いブロック画像パターン代表ベクトルをコードブックから選択し、各ブロックB ijの画像パターンを代表ベクトル番号で符号化するベクトル量子化の手続きについて説明する。 このベクトル量子化手続きは図4のコードブックを使用して次のように行われる。

    【0048】図5は図4のコードブックを使用して各ブロックの画像パターンベクトルXを符号化する代表ベクトルR iを選択する手続きを示すフローチャートである。 例えばY信号の場合のベクトル量子化について説明する。 工程S11において入力パターンベクトルX、即ちキーフレームのY信号の各ブロックB ijの画素をジグザグ走査して得られた各画素信号レベルを成分とするブロック画像パターンベクトル X=(x 1 ,・・・,x 16 ) と、Y信号のコードブックの各代表ベクトルR sの距離 d(R s ,X) (1≦s≦M=512) を計算する。 距離d(R s ,X)は Σ(r si −x i2 (ただしΣは添字iの1≦i≦16についての和を表す)の平方根 √Σ(r si −x i2で与えられる。

    【0049】次に工程S12において距離d(R s ,X)
    を最小にする代表ベクトルR sを入力パターンベクトルXの代表ベクトルとして選択し、入力パターンベクトルXを選択された代表ベクトルの番号sで符号化する。 この代表ベクトル番号sは 1≦s≦512=2 9の範囲にあるから各ブロック画像パターンXは9ビットで符号化できる。 このように図4のコードブックを用いて各ブロックB ijを対応する代表ベクトルの番号sで符号化する事によりキーフレームのY信号のベクトル量子化を行う。

    【0050】キーフレームのU信号、V信号のベクトル量子化も、それぞれのコードブックを使用し、Y信号のベクトル量子化と同様に行う。 従って各ブロックの画像パターンはYUV信号それぞれのコードブックの代表ベクトルの番号で符号化される。 ただしU信号、V信号はそれぞれ320×240画素から成るから、4×4のブロックB ijに分割すると、80×60=4800個のブロックから構成される。 一方、Y信号は640×480
    画素から構成されるから160×120=19200個の4×4画素のブロックから成る。 各キーフレームはY
    UV信号それぞれの各ブロックに対し決定された符号(代表ベクトルの番号s)の列、および各信号のコードブックにより符号化される。 このベクトル量子化情報を記録する記録媒体の構成、および再生方法については後述する。

    【0051】次にキーフレームと動き補償フレームの配置を決定する方法について説明する。 各フレームをキーフレームとするか動き補償フレームとするかは次のように決定する。 即ち、まず第1フレームはキーフレームとし、第2フレーム以下については図6の手順に従う。

    【0052】図6の手続きを実行するにあたっては、まず各Y信号フレーム(640×480画素)は4×4画素のブロックB ijに分割する(図18参照)。 また32
    0×240画素のU信号、V信号画像フレームはそれぞれ2×2画素のブロックに分割する。 従ってY信号、U
    信号、V信号は、それぞれ縦、横とも等しい個数のブロックに分割される。 この分割においてY信号のブロックB ijとU、V信号の添字(i、j)のブロックは等しい画像領域に対応する。 従って上の分割において添字(i、j)に位置するYUV信号それぞれに共通の画像領域を画像ブロックB ij (1≦i≦160、1≦j≦1
    20)とよぶ事にする。 また図21に示すように、動き補償範囲4の縦方向動き補償範囲6a、横方向動き補償範囲6bをY信号フレームで±v 0画素(U、V信号フレームについてはv 0 /2画素に相当)とする。 例えばv 0 =32画素である。

    【0053】以上の準備の後、図6の手続きを行う。 まず図6の工程S21において処理画像ブロックの添字パラメータi、jを初期化する。 即ち i←1、j←1 と設定する。

    【0054】次に工程S22において現フレームの各画像ブロックB ijについて一致度評価関数 M(B ij ,B(V)) を計算する。 ここにB(V)は、動き補償範囲4に含まれる直前のキーフレームのブロックであって、B(V)
    から現フレームブロック5への動きベクトル8が V=(v 1 ,v 2 ) (−v 0 ≦v 1 ,v 2 ≦+v 0 ) と成るキーフレームブロック7である。 よって現フレームブロック5(B ij )を構成する画素P kl (P kl
    ij )に対し、キーフレームブロック7(B(V))を構成する画素P mn (P mn ∈B(V))の添字m、nは m=k−v 1 、 n=l−v 2で与えられる。 一致度評価関数 M(B ij ,B(V)) は、動き補償範囲4に含まれるすべてのキーフレームブロック7(B(V))について計算する。

    【0055】一致度評価関数M(B ij ,B(V))は例えば次のように定義される。 現フレームの画像ブロックB ij上のY信号の画素信号レベルを Y 11 ,・・・,Y 44 、 U信号の画素信号レベルを U 11 ,・・・,U 22 、 V信号の画素信号レベルを V 11 ,・・・,V 22とする。 また直前のキーフレームの画像ブロック7(B
    (V))のY信号画素信号レベルを Y' 11 ,・・・,Y' 44 、 U信号の画素信号レベルを U' 11 ,・・・,U' 22 、 V信号の画素信号レベルを V' 11 ,・・・,V' 22とする。 この時、一致度評価関数を M(B ij ,B(V))=Σ|Y pq −Y' pq |+Σ|U rs −U' rs |+Σ|V rs −V' rs | で定義する。 ただし第1番目のΣは添字p、qについて、1≦p、q≦4の範囲の和であり、第2、第3番目のΣは添字r、sについて、1≦r、s≦2の範囲の和である。

    【0056】次に工程S23において、現フレームの現フレームブロック5(B ij )について計算された一致度評価関数M(B ij ,B(V))の最小値minを決定し、工程S24においてこの最小値minが所定閾値m
    in 0以上であるかどうかを判断する。

    【0057】一致度評価関数 M(B ij ,B(V)) の最小値 min が所定閾値 min 0以上の場合には、マッチするキーフレームブロック7
    (B(V))が動き補償範囲には存在しないものと判断される。 よって工程S25に進み、画像ブロック5(B
    ij )を直接画像情報使用ブロック(即ち動きベクトルを使用しないブロック)と決定する。

    【0058】一方、工程S24において最小値が所定閾値 min 0よりも小さいと判断される場合には工程S26に進み、
    最小値を与えるキーフレームの画像ブロックB(V)を決定し、その V=(v 1 ,v 2 ) を画像ブロックB ijの動きベクトル V ij =(v ij1 ,v ij2 ) と決定する。

    【0059】次に工程S25、S26につづいて工程S
    27に進み、処理画像ブロックの添字パラメータi、j
    を更新し、工程S28ですべての現フレームブロック5
    (B ij )が処理されたかどうかを判断する。 未処理の画像ブロックが残っている場合は工程S22に戻り工程S
    22〜S28を反復する。 このようにしてすべての画像ブロックB ijについてマッチするキーフレームのブロックB(V)が動き補償範囲4ないに存在するかどうかを判断し、存在する場合には各画像ブロックB ijについて動きベクトルV ij =(v ij1 ,v ij2 )を決定していく。
    現フレームのすべての画像ブロックB ijが処理されると工程S28から工程S29に進む。 マッチするキーフレームブロック7(B(V))が動き補償範囲4ないに存在しない画像ブロックB ij (直接画像情報使用ブロック)の個数 Num が所定閾値 Num 0以上であるかどうか判断する。 個数Numが所定閾値 Num 0以上の場合には工程S30に進み、現フレームをキーフレームとし、所定値を下回る場合には工程S31に進み、現フレームを動き補償フレームとする事を決定する。

    【0060】以上に説明した図6の手続きを第2フレーム以下の各フレームについて反復して行い、そのフレームをキーフレームとするか、動き補償フレームとするかを順次決定していく。 ただしキーフレームが連続する事を避けるため、例えばキーフレームと決定されたフレームの直後の所定数フレーム(例えば3フレーム)については上の手続きの結果とは無関係に強制的に動き補償フレームとする。

    【0061】キーフレームのベクトル量子化については既に説明した。 次に動き補償フレームの動きベクトルパターンのベクトル量子化について説明する。

    【0062】上に説明したように動き補償フレームは1
    60×120個の画像ブロックB ijに分割され、図6の手続きの実行の結果、一部を除いて各画像ブロックB ij
    に対し動きベクトルV ijが決定されている。 ここで更に縦、横4個の画像ブロックをまとめて大ブロックZ
    st (1≦s≦40、1≦t≦30)を構成する。 図7は動き補償フレームの左上隅の大ブロックZ 11を示す摸式図である。 ただし大ブロック14(Z st )を構成する画像ブロックB ijのなかに直接画像情報使用ブロックが存在する場合(図6の工程S25参照)にはその大ブロック14内に含まれる画像ブロックB ijをすべて直接画像情報使用ブロックと決定する。 この結果、動き補償フレームは、それぞれ動きベクトルV ijが決定された画像ブロックB ijから成る大ブロック14(Z st )と、直接画像情報使用ブロックB ijに分割される。 動きベクトルパターンが決定された大ブロック14は、Y信号フレームについて縦、横それぞれ16画素の画像領域に相当する。 また画像情報使用ブロックはY信号の縦、横4画素の画像領域に相当する。

    【0063】動き補償フレームの直接画像情報使用画像ブロックB ijについては上に説明したYUV信号それぞれのコードブックを使用し、図5の手続きによってベクトル量子化を実行する。 一方図7に示すような動きベクトルパターンが決定された大ブロック14(Z st )は次のようにベクトル量子化する。

    【0064】大ブロック14Z st内の各画像ブロックB
    ijの動きベクトル V ij =(v ij1 ,v ij2 ) の成分v ij1 、v ij2はそれぞれ −v 0 ≦v ij1 ,v ij2 ≦+v 0の範囲にあり、v 0は例えば32である。 従って各動きベクトルV ijの成分v ij1 ,v ij2は例えば11ビットで表現する事ができる。 ここで大ブロック14(Z st )を構成する16個の画像ブロックB ijを(図19の画素走査と同様にして)ジグザグ走査する事により16×2=
    32次元の動きベクトルパターンベクトル X=(x 1 ,・・・,x h ,・・・,x 32 ) を得る。 ここにベクトルXの各成分 x 1 ,・・・,x h ,・・・,x 32は各動きベクトルV ijの成分v ij1 ,v ij2であり、例えば11ビットで表現される。

    【0065】このようにして多数の動きベクトルパターンベクトルXから成る学習系列X(t)を作成し、作成された学習系列X(t)をコホーネンの神経回路網に提示して図2と同様の手続きにより動きベクトルパターンのコードブック(図4参照)を得る事ができる。 更に図5と同様の手続きにより各大ブロック14に対応する代表ベクトルを選択し、選択された代表ベクトル番号により動き補償フレームの各大ブロック14の動きベクトルパターンを符号化する事により動き補償フレームの大ブロックのベクトル量子化を行う。

    【0066】次に図8〜13を参照しながら、圧縮された動画像情報を記録する記録媒体を構成するROM(読出し専用記憶装置)における圧縮動画像情報の記録方法について説明する。

    【0067】図8はキーフレームおよび動き補償フレームをベクトル量子化する代表ベクトルの番号を記録するインデックス記録領域を摸式的に示すブロック図である。 インデックス記録領域15は所定のアドレスA 0から開始する。 図8に示すように、インデックス記録領域15は多数の記録管理単位15aを含む。 各記録管理単位15aは例えば256個のフレームインデックス(キーフレームインデックス16ないし動き補償フレームインデックス17)からなり、ヘッダ15b H1,H2,・・・ で管理される。 各記録管理単位15aのヘッダ15b
    は、管理下の記録管理単位15aに含まれる256個のキーフレームインデックス16および動き補償フレームインデックス17の順序を記録する。

    【0068】上に説明したように、この実施例の場合、
    1秒当たり30フレームを含んでおり、例えばほぼ5フレーム毎にキーフレームが配置されているが、キーフレーム間の間隔は一定ではない。 例えばキーフレームの間に6ないし7個の動き補償フレームが入る事もあり、あるいはまた3ないし4個の動き補償フレームしか入らない事もあり得る。 従ってヘッダ15bは後続の管理下のキーフレームインデックス16および動き補償フレームインデックス17の発生順序を指定する。 各ヘッダ15
    bは256ビットからなり、例えばビット0によってキーフレームインデックス16を、またビット1によって動き補償フレームインデックス17を表現する。 例えば図8の最初の記録管理単位15aの場合、Y信号インデックス領域16a(KF1)、動き補償フレームインデックス17(MCF1)、動き補償フレームインデックス17(MCF2)、動き補償フレームインデックス1
    7(MCF3)、動き補償フレームインデックス17
    (MCF4)、キーフレームインデックス16(KF2
    0)、・・・動き補償フレームインデックス17(MC
    F5)、動き補償フレームインデックス17(MCF
    6)・・・の順番でならんでいるので、ヘッダ15b
    (H1)のビットは、 01111011・・・ と成る。

    【0069】図9は図8の各キーフレームインデックスの構成を摸式的に示すブロック図である。 各キーフレームインデックス16はY信号インデックス領域16a
    (C Y )、U信号インデックス領域16b(C U )、V信号インデックス領域16c(C V )から成る。

    【0070】図10は図9のキーフレームインデックスを構成する各Y信号インデックス領域(あるいはU信号インデックス領域、V信号インデックス領域)を摸式的に示すブロック図である。 上に説明したようにコホーネンの自己組織化特徴写像アルゴリズムによってYUV信号それぞれについてブロック画像パターンを代表する図4のようなコードブックが得られ、更に図5の手続きによって各キーフレームの各ブロック2(B ij )に対しそれぞれのコードブックから代表ベクトル番号sが決定されている。 従って各Y信号インデックス領域16a(あるいはU信号インデックス領域16b、V信号インデックス領域16c)は各フレームのブロックB ijに対応する代表ベクトル番号 C 1 ,C 2 ,・・・,C Mを記録する。 Y信号インデックス領域16aについては、 M=160×120=19200 であり、U信号インデックス領域16b、V信号インデックス領域16cについては M=80×60=4800 である。 各ブロックの画像情報をベクトル量子化する代表ベクトル番号 C 1 ,C 2 ,・・・,C Mはそれぞれブロック B 11 ,B 21 ,・・・B 12 ,B 22 ,・・・・・・ に対応する。

    【0071】図11は図8の各動き補償フレームインデックスの構成を摸式的に示すブロック図である。 上に説明したように動き補償フレームは、大ブロック14の動きベクトルパターン情報をその代表ベクトル番号で記録する部分と、画像ブロックB ijの画像情報をYUV信号のコードブックを使用してその代表ベクトル番号で符号化した部分から成る。 従って各動き補償フレームインデックス17の代表ベクトル番号17b C 1 ,C 2 ,・・・,C Nはそれぞれ先頭に識別ビット17a Z 1 ,Z 2 ,・・・,Z Nを有し、後続の代表ベクトル番号17bが大ブロック1
    4の動きベクトルパターン代表ベクトル番号であるかY
    UV信号のブロック画像パターンの代表ベクトル番号(即ち画像情報使用ブロックの代表ベクトル番号)であるかを識別する。 例えば識別ビット17aが0の場合は後続の代表ベクトル番号17bは大ブロック14の動きベクトルパターン代表ベクトル番号であり、識別ビット17aが1の場合はYUV信号のブロック画像パターンの代表ベクトル番号である事を示す。 識別ビット17a
    がすべて0、即ち代表ベクトル番号17bがすべて大ブロック14の動きベクトルパターン代表ベクトル番号であるとすれば、番号 C 1 ,C 2 ,・・・,C Nは、例えば大ブロック14 Z 11 ,Z 21 ,・・・,Z 12 ,Z 22 ,・・・ にそれぞれ対応する。 ただし識別ビット17aのなかに1と成るものがあり、列 Z 11 ,Z 21 ,・・・,Z 12 ,Z 22 ,・・・ において大ブロック14(Z st )に相当する箇所に画像情報使用ブロックが表れる場合は、その大ブロック14
    (Z st )を構成する各ブロックB ijのY信号、U信号、
    V信号それぞれの代表ベクトル番号(YUV信号それぞれについて4×4=16個、即ち3×16=48個の代表ベクトル番号)が列 C 1 ,C 2 ,・・・,C Nの相当箇所に挿入される。

    【0072】図12は代表ベクトル記録域(コードブック記録領域)の構成を摸式的に示すブロック図である。
    代表ベクトル記録域18はY信号ブロック画像パターン代表ベクトル記録領域18a、U信号ブロック画像パターン代表ベクトル記録領域18b、V信号ブロック画像パターン代表ベクトル記録領域18c、大ブロック動きベクトルパターン代表ベクトル記録領域18dを含む。
    Y信号ブロック画像パターン代表ベクトル記録領域18
    a、U信号ブロック画像パターン代表ベクトル記録領域18b、V信号ブロック画像パターン代表ベクトル記録領域18c、大ブロック動きベクトルパターン代表ベクトル記録領域18dはそれぞれ所定のアドレスA 1
    2 、A 3 、A 4から開始される。

    【0073】図13は図12のY信号ブロック画像パターン代表ベクトル記録領域18a、U信号ブロック画像パターン代表ベクトル記録領域18b、V信号ブロック画像パターン代表ベクトル記録領域18c、大ブロック動きベクトルパターン代表ベクトル記録領域18dそれぞれの構成を摸式的に示すブロック図である。 Y信号ブロック画像パターン代表ベクトル記録領域18a、U信号ブロック画像パターン代表ベクトル記録領域18b、
    V信号ブロック画像パターン代表ベクトル記録領域18
    cはそれぞれY信号、U信号、V信号のコードブックに対応する情報を記録する。 また大ブロック動きベクトルパターン代表ベクトル記録領域18dは大ブロック14
    動きベクトルパターンのコードブックに対応する情報を記録する。 従って例えばY信号ブロック画像パターン代表ベクトル記録領域18aの場合、A i =A 1から開始し、図4に示されるコードブックのY信号ブロック画像パターン代表ベクトル R 1 ,R 2 ,R 3 ,R 4 ,・・・,R Mをそれぞれアドレス A i1 ,A i2 ,A i3 ,A i4 ,・・・,A iMに順番に記録する。 上に説明したように1ブロックが1
    6画素を含み、各画素が8ビットで表現されるとすると、各Y信号ブロック画像パターン代表ベクトル R 1 ,R 2 ,R 3 ,R 4 ,・・・,R Mは、例えば 16×8ビット=128ビット で表現される。 従って、アドレスをビット単位で表示する事にすれば、 A 12 =A 11 +128、 A 13 =A 12 +128、 ・・・ と成る。 従って代表ベクトル番号sに対応する代表ベクトルR sの記録アドレスA 1sは、 A 1s =A 1 +128×(s−1) で計算される。 代表ベクトルの個数Mは例えば512である。 U信号ブロック画像パターン代表ベクトル記録領域18b、V信号ブロック画像パターン代表ベクトル記録領域18cもY信号ブロック画像パターン代表ベクトル記録領域18aと同様である。 大ブロック動きベクトルパターン代表ベクトル記録領域18dの場合、代表ベクトルR sがそれぞれ例えば 11×32ビット=352ビット から成る事以外はY信号ブロック画像パターン代表ベクトル記録領域18aと同様に構成される。

    【0074】図14はこの発明に係る圧縮画像情報再生装置の物理的構成を示すブロック図である。 この実施例に係る圧縮画像情報再生装置はCPU20、着脱自在R
    OM(圧縮画像情報記録媒体)21、固定ROM22、
    RAM23、入出力インターフェース24、操作スイッチ25、表示装置26を備える。 CPU20、着脱自在ROM(圧縮画像情報記録媒体)21、固定ROM2
    2、RAM23、入出力インターフェース24はバス2
    7によって相互に接続される。 操作スイッチ25および表示装置26は入出力インターフェース24、バス27
    を介してCPU20に接続される。

    【0075】CPU20は例えば操作スイッチ25に含まれる再生スイッチの操作に応答して、着脱自在ROM
    (圧縮画像情報記録媒体)21に記録された圧縮画像情報の伸張・再生動作を開始し、以下に説明するように圧縮画像情報の再生を制御する。 着脱自在ROM(圧縮画像情報記録媒体)21は図8〜13に示す圧縮画像情報(インデックス記録領域15および代表ベクトル記録域18)をそれぞれの所定アドレス(A 0 ,A 1 )に記録する。 固定ROM22は以下に説明する再生動作を制御するプログラムなどを記録する。 RAM23は圧縮画像情報の伸張・再生に必要な情報を一時的に記録する。 操作スイッチ25は例えば再生スイッチ、停止スイッチなどを含む。 表示装置26は例えば液晶表示装置あるいは陰極線管からなりRGB信号により駆動されて画像を表示する。

    【0076】図15はこの発明に係る圧縮画像情報再生装置の機能的構成を示すブロック図である。 この実施例に係る圧縮画像情報再生装置は機能的にみると、データ読取手段31、キーフレーム復元手段32、動き補償フレーム復元手段33、RGB変換手段34を含む。 これらの手段31〜34は固定ROM22に記録されたプログラムにより実現され、これらの手段の動作はCPU2
    0によって実行される。

    【0077】データ読取手段31はインデックス情報読出手段31a、代表ベクトル成分アドレス計算手段31
    b、代表ベクトル成分情報読出手段31cを含む。 インデックス情報読出手段31aは、フレーム識別手段31
    0、ベクトル番号読出手段311、ベクトル種識別手段312を含む。 インデックス情報読出手段31aは着脱自在ROM(圧縮画像情報記録媒体)21に記録されたインデックス情報41を読み出す。 フレーム識別手段3
    10はインデックス情報41に含まれたヘッダ15bの情報を保持し、現在処理中のインデックス情報がキーフレームインデックス16であるか動き補償フレームインデックス17であるかを判断する。 またベクトル番号読出手段311はキーフレームインデックス16、動き補償フレームインデックス17に含まれる代表ベクトル番号を順次、読み出し、代表ベクトル番号情報50を代表ベクトル成分アドレス計算手段31bに出力する。 またベクトル種識別手段312は読み出された代表ベクトル番号が画像パターン代表ベクトルに関するものであるか動きベクトル代表ベクトルに関するものであるかを判断し、更に、画像パターン代表ベクトルに関するものである場合はY信号、U信号、V信号いづれの画像パターン代表ベクトルに関するものであるかを判断する。 ベクトル種識別手段312はその判断の結果得られたベクトル種情報51を代表ベクトル成分アドレス計算手段31b
    に出力する。

    【0078】代表ベクトル成分アドレス計算手段31b
    は、ベクトル種識別手段312から供給されたベクトル種情報51に基づいて、ベクトル番号読出手段311から供給された代表ベクトル番号情報50に対応する代表ベクトル代表ベクトル記録域18内のアドレスを計算し、その計算の結果得られたアドレス情報52を代表ベクトル成分情報読出手段31cに出力する。 代表ベクトル成分情報読出手段31cは代表ベクトル成分アドレス計算手段31bから供給されたアドレス情報52に基づいて代表ベクトル成分情報42を読み出す。 データ読取手段31は、代表ベクトル成分情報読出手段31cによって読み出された代表ベクトル成分情報42の内、キーフレーム代表ベクトル情報43をキーフレーム復元手段32に、また動き補償フレーム代表ベクトル情報44を動き補償フレーム復元手段33にそれぞれ供給する。

    【0079】キーフレーム復元手段32はY信号バッファ32a、U信号バッファ32b、V信号バッファ32
    cを含み、データ読取手段31から供給されたキーフレーム代表ベクトル情報43に基づいて各キーフレームのY信号、U信号、V信号を伸張し、復元されたYUV信号フレーム情報46をRGB変換手段34に出力する。
    一方動き補償フレーム復元手段33は動きベクトルバッファ33a、Y信号バッファ33b、U信号バッファ3
    3c、V信号バッファ33dを含み、データ読取手段3
    1から供給された動き補償フレーム代表ベクトル情報4
    4に基づいて各動き補償フレームのY信号、U信号、V
    信号を復元し、復元されたYUV信号フレーム情報47
    をRGB変換手段34に出力する。 RGB変換手段34
    は、キーフレーム復元手段32ないし動き補償フレーム復元手段33から供給されるYUV信号フレーム情報4
    6、47に線形変換を行い、この結果得られたRGB信号48を(必要に応じてディジタル・アナログ変換手段(図示せず)を介して)表示装置26に出力する。 なおキーフレーム復元手段32、動き補償フレーム復元手段33のバッファ32a、32b、32c、33a、33
    b、33c、33dはRAM23内の所定メモリ領域で構成される。

    【0080】次に図14、15の圧縮画像情報再生装置の再生動作について図16を参照しながら説明する。 図16は図15の圧縮画像情報再生装置の圧縮画像情報の伸張・再生手続きを示すフローチャートである。 例えば操作スイッチ25に含まれる再生スイッチが操作されるとCPU20は図16の手続きを開始する。 図16の手続きは固定ROM22に記録されたプログラムにしたがってCPU20により実行される。

    【0081】まず工程S51においてインデックス情報読出手段31aのパラメータGを G←0 で初期化し0を代入する。 上に説明したように着脱自在ROM(圧縮画像情報記録媒体)21に記録された圧縮画像情報は256フレーム毎に多数の記録管理単位15
    aに分割されてインデックス記録領域15に記録されている。 パラメータGは現在処理中の記録管理単位15a
    の番号を保持するパラメータであり、以下に説明するように記録管理単位15aが処理される毎に工程S69で G←G+1 と更新される。 またインデックス情報読出手段31aのアドレスカウンタAがインデックス記録領域15の先頭アドレスA 0に初期化される。 アドレスカウンタAは現在処理中のインデックス記録領域15のアドレスを保持するものであり、ここではビット単位で表現されたアドレスを保持するものとする。

    【0082】圧縮画像情報の再生は工程S52〜S70
    のサイクルを反復する事により行われる。 各記録管理単位15aは工程S52〜S68のサイクルによって処理される。 以下、これについて説明する。

    【0083】まず工程S52においてインデックス情報読出手段31aはアドレスカウンタAに保持されたインデックス記録領域15のヘッダ15bを読み込み、フレーム識別手段310内のバッファにヘッダ15bの情報を保持するとともに、アドレスカウンタAを A←A+256 で更新する。 この結果、アドレスカウンタAには次に処理されるべきキーフレームインデックス16ないし動き補償フレームインデックス17のアドレスが保持される。 更に工程S53においてフレーム識別手段310はパラメータFを0に初期化する。 パラメータFは、現在処理中のフレーム(キーフレームインデックス16または動き補償フレームインデックス17)が記録管理単位15a内において先頭から何番目に位置するかを保持するパラメータであり、以下に説明するように工程S67
    で更新され、工程S68において、記録管理単位15a
    に含まれるキーフレームインデックス16、動き補償フレームインデックス17の個数 F MAX =256 を超えると、次の記録管理単位15aの処理に進む。

    【0084】工程S54においてフレーム識別手段31
    0は工程S52でよみこまれたヘッダ15bの情報、およびパラメータFの値に基づきアドレスカウンタAに保持されたアドレスがキーフレームインデックス16を参照するか、動き補償フレームインデックス17を参照するかを判断する。 即ち、フレーム識別手段310は、F
    番目のヘッダ情報ビットが0の場合はキーフレームインデックス16であると判断し、1の場合は動き補償フレームインデックス17であると判断する。 工程S54において、アドレスカウンタAがキーフレームインデックス16を参照すると判断された場合は工程S55に、動き補償フレームインデックス17を参照すると判断された場合は工程S59に進む。

    【0085】工程S54において次に処理されるフレームがキーフレームインデックス16であると判断された場合には、ベクトル番号読出手段311は、キーフレームインデックス16に記録された代表ベクトル番号を順次、読み出して代表ベクトル成分アドレス計算手段31
    bに代表ベクトル番号情報50を供給する。 またベクトル種識別手段312は、現在処理中のキーフレームインデックス16先頭からの現在アドレス(アドレスカウンタAの値)のオフセットから、アドレスカウンタAがY
    信号インデックス領域16a、U信号インデックス領域16b、V信号インデックス領域16cのいづれを参照しているかを判断し、代表ベクトル成分アドレス計算手段31bにベクトル種情報51を出力する。 代表ベクトル成分アドレス計算手段31bは代表ベクトル番号情報50、ベクトル種情報51に基づいて代表ベクトルアドレスを計算し、アドレス情報52を代表ベクトル成分情報読出手段31cに出力する。 代表ベクトル成分情報読出手段31cはアドレス情報52に基づき、順次、代表ベクトル成分を読み出し、キーフレーム代表ベクトル情報43をキーフレーム復元手段32に供給する。 キーフレーム復元手段32はデータ読取手段31から供給されるキーフレーム代表ベクトル情報43に基づいき、工程S55〜S57の手続きによってY信号バッファ32
    a、U信号バッファ32b、V信号バッファ32cにキーフレームの画像情報を復元していく。

    【0086】図17は図16の手続きにおけるY信号伸張(またはU信号伸張、V信号伸張)の工程の詳細を示すフローチャートである。 工程S55のY信号伸張は図17の手続きに従い、次のように行われる。 工程S80
    においてデータ読取手段31はブロックカウンタDを D←0 としてリセットする。 上に説明したようにキーフレームのY信号は160×120のブロックB ijに分割されており、Y信号インデックス領域16aは B 11 ,B 21 ,・・・,B 12 ,B 22 ,・・・ に対応する代表ベクトル番号 C 1 ,C 2 ,・・・ を記録している。 ブロックカウンタDはこの現在処理中の代表ベクトル番号の位置(即ちC iの添字i)を保持する。

    【0087】次に工程S81においてデータ読取手段3
    1はアドレスカウンタAの参照するアドレスに記録された代表ベクトル番号を読み出し、代表ベクトル番号情報50を代表ベクトル成分アドレス計算手段31bに出力する。 代表ベクトル成分アドレス計算手段31bはベクトル種識別手段312からのベクトル種情報51に基づいて、代表ベクトル番号に対応する代表ベクトル成分アドレスを計算する。 この計算は次のように行われる。

    【0088】工程S55においてベクトル種識別手段3
    12は、現在アドレスカウンタAがY信号インデックス領域16aを参照している事を示すベクトル種情報51
    を出力する。 また図13を参照して上で説明したようにY信号ブロック画像パターンの各代表ベクトル R 1 ,R 2 ,・・・ は16×8ビット=128ビットで構成される。 従って、工程S81で読み出された代表ベクトル番号を C i =s とすると、これに対応する代表ベクトル成分のアドレスは A 1 +128×(s−1) で計算される。 ここにA 1はY信号ブロック画像パターン代表ベクトル記録領域18aの先頭アドレスである。
    従って、代表ベクトル成分アドレス計算手段31bはアドレス A 1 +128×(s−1) をアドレス情報52として代表ベクトル成分情報読出手段31cに出力する。 工程S82において代表ベクトル成分情報読出手段31cはこのアドレスを先頭とする1
    28ビットに記録された代表ベクトルの成分を読み出し、キーフレーム復元手段32にキーフレーム代表ベクトル情報43として供給する。 キーフレーム復元手段3
    2は供給された代表ベクトル成分を順次、Y信号バッファ32aの所定位置に記憶しキーフレームのY信号を復元していく。

    【0089】次に工程S83においてアドレスカウンタAに、9ビット(各代表ベクトル番号C 1 ,C 2 ,・・・のビット長)を加えてアドレスカウンタAを更新し、更にブロックカウンタDに1を加えてブロックカウンタDを更新する。 更にインデックス情報読出手段31aは、工程S85においてすべてのブロックが処理されたかどうか、即ち、ブロックカウンタDの値が D MAX =160×120=19200 以下であるかどうかを判断し、まだ処理されていないブロックがある場合、即ち D≦D MAXである場合には工程S81に戻り工程S81〜S84の処理を反復する。

    【0090】以上のようにして工程S55が終了すると、Y信号バッファ32aにはキーフレームのY信号フレームのすべての画素が復元される。 工程S56、S5
    7のU信号、V信号の伸張も工程S55のY信号の伸張と同様に行われる。 ただしベクトル種識別手段312の出力するベクトル種情報51に基づき、代表ベクトル成分アドレス計算手段31bは、先頭アドレスとしてA 1
    の代わりに工程S56ではU信号ブロック画像パターン代表ベクトル記録領域18bの先頭アドレスA 2を、また工程S57ではA 3を使用する。 また工程S56、S
    57では、 D MAX =80×60=4800 である。

    【0091】このように工程S55〜S57において、
    Y信号バッファ32a、U信号バッファ32b、V信号バッファ32cにキーフレームのYUV信号がそれぞれ伸張・復元される。 次に工程S58においてキーフレーム復元手段32からRGB変換手段34に復元されたY
    UV信号フレーム情報46が供給され、RGB変換手段34はYUV信号フレーム情報46に基づいてをRGB
    信号48に変換する。

    【0092】一方工程S54において次に処理されるのが動き補償フレームインデックス17であると判断された場合には工程S59〜S66の手順によって動き補償フレームの画像情報を伸張、復元する。 次にこれについて説明する。

    【0093】まず工程S59でインデックス情報読出手段31aは大ブロックカウンタBを0に初期化する。 大ブロックカウンタBは現在処理中の大ブロック14の動き補償フレーム内における位置を保持するカウンタである。 工程S59の後、データ読取手段31および動き補償フレーム復元手段33は工程S60〜S65のサイクルを反復する事によりY信号バッファ33b、U信号バッファ33c、V信号バッファ33dに動き補償フレームのYUV信号をそれぞれ復元する。 次にこの工程S6
    0〜S64について説明する。

    【0094】工程S60においてベクトル番号読出手段311アドレスカウンタAで指定されたアドレスを先頭とする10ビットに記録された識別ビット17aおよび代表ベクトル番号17b(図11参照)を読み出す。 ベクトル種識別手段312は読み出された識別ビット17
    aにより、読み出された代表ベクトル番号17bが、大ブロック14の動きベクトルパターンの代表ベクトル番号であるか、ブロック画像パターンの代表ベクトルであるかを判断する。 即ち、識別ビット17aが0であれば、後続の代表ベクトル番号17bは大ブロック14の動きベクトルパターンの代表ベクトル番号であると判断し、工程S61、S62に進む。 一方識別ビット17a
    が1であれば、ブロック画像パターンの代表ベクトルであると判断し、工程S63に進む。

    【0095】工程S61においてベクトル種識別手段3
    12は、工程S60での判断結果に従い現在読み出されている代表ベクトル番号が大ブロック14の動きベクトルパターンの代表ベクトル番号である事を示すベクトル種情報51を代表ベクトル成分アドレス計算手段31b
    に出力する。 代表ベクトル成分アドレス計算手段31b
    はこのベクトル種情報51に基づき代表ベクトル成分アドレスを、A 4 +K×(s−1)で計算する。 ここにアドレスA 4は大ブロック動きベクトルパターン代表ベクトル記録領域18dの先頭アドレスであり、定数Kは大ブロック動きベクトルパターン代表ベクトル記録領域1
    8dの各代表ベクトルを構成するビットの個数である(例えばK=11×32=352)。 代表ベクトル成分アドレス計算手段31bは上の式で計算されたアドレスをアドレス情報52として代表ベクトル成分情報読出手段31cに出力する。 代表ベクトル成分情報読出手段3
    1cはこのアドレス情報52に基づきアドレスA 4 +K
    ×(s−1)からKビットを読み出し、動き補償フレーム代表ベクトル情報44として動き補償フレーム復元手段33に供給する。 動き補償フレーム復元手段33はこの動き補償フレーム代表ベクトル情報44を動きベクトルバッファ33aに保持する。

    【0096】次に工程S62において動き補償フレーム復元手段33は大ブロックカウンタBの値に基づいて現在処理中の大ブロック14のフレーム内の位置を決定し、さなり大ブロック14の位置に基づいて大ブロックを構成する各ブロックB ijのフレーム内位置を決定する。 更に動き補償フレーム復元手段33は、動きベクトルバッファ33aに保持された各ブロックB ijに対応する動きベクトル成分V ij =(v ij1 ,v ij2 )を参照し、
    各ブロックB ijを構成する画素をP klのフレーム内の位置を動きベクトル成分V ij =(v ij1 ,v ij2 )でほせいした対応画素のYUV信号をY信号バッファ32a、U
    信号バッファ32b、V信号バッファ32cから読み出してそれぞれY信号バッファ33b、U信号バッファ3
    3c、V信号バッファ33dの対応箇所に保持する。

    【0097】例えばY信号の場合、Y信号バッファ32
    aの対応画素位置は次のように計算される。 ブロックB
    ijを構成する画素をP klとする。 ここに添字k、l(1
    ≦k≦640、1≦l≦480)はY信号画像フレーム内における画素P klの位置を示す。 画素P klのY信号バッファ32aの対応画素をP mnとすれば、m=k−v
    ij1 ,n=l−v ij2である。

    【0098】U信号、V信号についても同様に大ブロック14の各ブロックB ijを構成する各画素の位置を動きベクトルV ijを使用してほせいして、U信号バッファ3
    2b、V信号バッファ32c内の対応位置を決定する。
    この対応位置の画素のU信号、V信号をU信号バッファ32b、V信号バッファ32cから読み出してU信号バッファ33c、V信号バッファ33dのブロックB ij対応箇所に復元する。

    【0099】一方工程S60において代表ベクトル番号がYUV信号のブロック画像情報パターンに関するものと判断された場合は、工程S63に進み、大ブロックカウンタBに保持された値に対応する大ブロック14に含まれる4×4=16個の画像ブロックB ij (図7参照)
    のYUV信号を工程S55〜工程S57と同様の方法で復元する。 この場合図17の手続きにおいて工程S83
    ではアドレスカウンタAは10(識別ビット17aの1
    ビットと代表ベクトル番号17bの9ビットから成る1
    0ビットに相当する)だけ増加される。 また工程S85
    におけるD MAXは4×4=16であり、YUV信号それぞれについて図17の手続きが実行される。

    【0100】以上のように工程S61、S62あるいはs63により、大ブロックカウンタBに保持された値に対応するYUV信号がY信号バッファ33b、U信号バッファ33c、V信号バッファ33dにそれぞれ復元される。 次に工程S64において大ブロックカウンタBを更新し(B←B+1)、工程S65において処理されていない大ブロック14が残っているかどうか(即ちB≦
    MAX =40×30=1200が成立するかどうか)を判断し、まだ処理されていない大ブロック14が残っていれば工程S60にもどって工程S60〜S64を反復する。

    【0101】すべての大ブロック14が処理されると工程S66に進み、動き補償フレーム復元手段33はY信号バッファ33b、U信号バッファ33c、V信号バッファ33dに復元されたYUV信号をYUV信号フレーム情報47としてRGB変換手段34に出力する。 RG
    B変換手段34はこのYUV信号フレーム情報47に線形変換を行いRGB信号48を得る。

    【0102】このように工程S54〜S66の手続きによってキーフレームインデックス16ないし動き補償フレームインデックス17が処理されると、工程S67においてパラメータFを更新し(F←F+1)、工程S6
    8において現記録管理単位15aに含まれるキーフレームインデックス16ないし動き補償フレームインデックス17がまだ残っているかどうか(F≦F MAXが成立するかどうか)を判断する。 工程S68でまだ残っていると判断された場合は工程S54に戻り、工程S54〜S
    67の手順を反復する。

    【0103】また工程S68において記録管理単位15
    aのすべてのキーフレームインデックス16ないし動き補償フレームインデックス17が処理されたと判断されると、工程S69にするみパラメータGを更新し(G←
    G+1)、工程S70において処理されていない記録管理単位15aがまだ残っているかどうか(G≦G MAXが成立するかどうか)を判断する。 工程S70でまだ残っていると判断された場合は工程S52に戻り、工程S5
    3〜S69の手順を反復する。 以上によりインデックス記録領域15に含まれるすべての記録管理単位15aのキーフレームインデックス16、動き補償フレームインデックス17を伸張、再生する事ができる。

    【0104】

    【発明の効果】以上のようにこの発明に係る画像情報圧縮方法によれば画像情報、特に動画像情報を効率的に圧縮できる。 例えば640×480画素のY信号フレーム、320×240画素のU、V信号フレームから成る動画像情報を圧縮する場合、各動き補償フレームは(すべてのブロックで動きベクトルが決定できるとすれば)
    40×30×9=10800ビット(1350バイト)
    で符号化できる。 またキーフレームはY信号は160×
    120×9=172800ビットで符号化でき、U、V
    信号は80×60×9=43200ビットで符号化できる。 コードブックは、YUV信号それぞれのブロック画像パターンベクトルおよび動きベクトルパターンベクトルについてそれぞれ1個づつあれば良いから画像情報を高度に圧縮する事が可能である。

    【0105】またこの発明に係る圧縮画像情報記録媒体はこのように高度に圧縮された画像情報を記録する記録媒体を可能にする。 更にこの発明に係る圧縮画像情報再生装置は圧縮画像情報記録媒体に記録された圧縮画像情報を高速で読み出して実時間で再生する事を可能にする。

    【図面の簡単な説明】

    【図1】ベクトル量子化の際に代表ベクトルの決定に使用されるコホーネンの神経回路網モデルを示す摸式図である。

    【図2】コホーネンの神経回路網モデルを使用してベクトル量子化の代表ベクトルを決定する自己組織化特徴写像の手続きを示すフローチャートである。

    【図3】2次元の神経回路網のユニットU ijの正方形近傍を示す図である。

    【図4】図2の手続きにより決定された荷重ベクトルW
    ijkを適当な順番に並べる事により得られるコードブックを示す表である。

    【図5】図4のコードブックを使用して各ブロックの画像パターンベクトルXを符号化する代表ベクトルR iを選択する手続きを示すフローチャートである。

    【図6】各フレームを動き補償フレームとするかどうかを判断する手続きを示すフローチャートである。

    【図7】動き補償フレームの左上隅の大ブロックZ 11を示す摸式図である。

    【図8】キーフレームおよび動き補償フレームをベクトル量子化する代表ベクトルの番号を記録するインデックス記録領域を摸式的に示すブロック図である。

    【図9】図8の各キーフレームインデックスの構成を摸式的に示すブロック図である。

    【図10】図9のキーフレームインデックスを構成する各Y信号インデックス領域(あるいはU信号インデックス領域、V信号インデックス領域)を摸式的に示すブロック図である。

    【図11】図8の各動き補償フレームインデックスの構成を摸式的に示すブロック図である。

    【図12】代表ベクトル記録域(コードブック記録領域)の構成を摸式的に示すブロック図である。

    【図13】図12のY信号ブロック画像パターン代表ベクトル記録領域18a、U信号ブロック画像パターン代表ベクトル記録領域18b、V信号ブロック画像パターン代表ベクトル記録領域18c、大ブロック動きベクトルパターン代表ベクトル記録領域18dそれぞれの構成を摸式的に示すブロック図である。

    【図14】この発明に係る圧縮画像情報再生装置の物理的構成を示すブロック図である。

    【図15】この発明に係る圧縮画像情報再生装置の機能的構成を示すブロック図である。

    【図16】図15の圧縮画像情報再生装置の圧縮画像情報の伸張・再生手続きを示すフローチャートである。

    【図17】図16の手続きにおけるY信号伸張(またはU信号伸張、V信号伸張)の工程の詳細を示すフローチャートである。

    【図18】各画像フレームのブロック分割を示す図である。

    【図19】各ブロックの操作順序を示す図である。

    【図20】信号空間におけるブロック画像パターンベクトルの分布を摸式的に示す図である。

    【図21】動きベクトルと動き補償範囲を摸式的に示す図である。

    【符号の説明】

    1 画像フレーム 2 ブロック 3 画素 4 動き補償範囲 5 現フレームブロック 6a 縦方向動き補償範囲 6b 横方向動き補償範囲 7 キーフレームブロック 8 動きベクトル 9 競合層 9a ニューロン 10 入力層 11 荷重ベクトル 12 近傍 13 コードブック 14 大ブロック 15 インデックス記録領域 15a 記録管理単位 15b ヘッダ 16 キーフレームインデックス 16a Y信号インデックス領域 16b U信号インデックス領域 16c V信号インデックス領域 17 動き補償フレームインデックス 17a 識別ビット 17b 代表ベクトル番号 18 代表ベクトル記録域 18a Y信号ブロック画像パターン代表ベクトル記録領域 18b U信号ブロック画像パターン代表ベクトル記録領域 18c V信号ブロック画像パターン代表ベクトル記録領域 18d 大ブロック動きベクトルパターン代表ベクトル記録領域 20 CPU 21 着脱自在ROM(圧縮画像情報記録媒体) 22 固定ROM 23 RAM 24 入出力インターフェース 25 操作スイッチ 26 表示装置 27 バス 31 データ読取手段 32 キーフレーム復元手段 33 動き補償フレーム復元手段 34 RGB変換手段 41 インデックス情報 42 代表ベクトル成分情報 43 キーフレーム代表ベクトル情報 44 動き補償フレーム代表ベクトル情報 45 YUV信号ブロック情報 46 YUV信号フレーム情報 47 YUV信号フレーム情報 48 RGB信号 50 代表ベクトル番号情報 51 ベクトル種情報 52 アドレス情報

    ───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl. 6識別記号 庁内整理番号 FI 技術表示箇所 H03M 7/36 8842−5J H04N 5/907 B 5/92 H04N 5/92 H

    高效检索全球专利

    专利汇是专利免费检索,专利查询,专利分析-国家发明专利查询检索分析平台,是提供专利分析,专利查询,专利检索等数据服务功能的知识产权数据服务商。

    我们的产品包含105个国家的1.26亿组数据,免费查、免费专利分析。

    申请试用

    分析报告

    专利汇分析报告产品可以对行业情报数据进行梳理分析,涉及维度包括行业专利基本状况分析、地域分析、技术分析、发明人分析、申请人分析、专利权人分析、失效分析、核心专利分析、法律分析、研发重点分析、企业专利处境分析、技术处境分析、专利寿命分析、企业定位分析、引证分析等超过60个分析角度,系统通过AI智能系统对图表进行解读,只需1分钟,一键生成行业专利分析报告。

    申请试用

    QQ群二维码
    意见反馈