首页 / 专利库 / 视听技术与设备 / 块匹配运动估计 / How to predict the movement in a video sequence

How to predict the movement in a video sequence

阅读:416发布:2021-05-23

专利汇可以提供How to predict the movement in a video sequence专利检索,专利查询,专利分析的服务。并且(57)【要約】 ビデオ圧縮システム100において、始めに現在のビデオフレームの現在のビデオブロックと第1のサーチポイント変位パターン500にもとづきあらかじめ記憶されたビデオフレームの比較ビデオブロックとの間で第1の領域において一連の比較を行うことによりビデオシーケンスにおけるフレーム間の効率的かつ適応性ある動き予測が達成される。 次に、同様の比較が第2および第3のサーチポイント変位パターン501,502にもとづき第2および第3の領域において行われる。 前記一連の比較の結果として最善の整合ビデオブロックが決定される、503。 前記一連の比較は所定の数のビデオブロックに対して行われ、600、かつ該比較に対してビデオ統計量が集められる、601。 もし該ビデオ統計量が好ましくなければ、602、またはもし所定の時間が経過すれば、603、最善の整合ブロックのサーチのために使用された領域を変更することができる。,下面是How to predict the movement in a video sequence专利的具体信息内容。

  • 【特許請求の範囲】 1. ビデオシーケンス内での動きを予測する方法であって、 1a)現在のビデオフレームと前に記憶されたビデオフレームの比較ビデオブロックとの間の第1のシリーズの比較を行う段階であって、該第1のシリーズの比較の内の各比較に対し、前記比較ビデオブロックは第1のサーチポイント変位パターンにもとづきあらかじめ記憶されたビデオフレームの第1の領域内に増分的に配置されるもの、 1b)前記現在のビデオブロックと前記比較ビデオブロックとの間の第2のシリーズの比較を行う段階であって、該第2のシリーズの比較の内の各比較に対して、前記比較ビデオブロックは第2のサーチポイント変位パターンにもとづきあらかじめ記憶されたビデオフレームの第2の領域内に増分的に配置され、かつ前記第2のサーチポイント変位パターンは前記第1のサーチポイント変位パターンより大きいもの、 1c)現在のビデオブロックと前記比較ビデオブロックとの間で第3のシリーズの比較を行う段階であって、該第3のシリーズの比較のおのおのの比較に対し、前記比較ビデオブロックは第3のサーチポイント変位パターンにもとづきあらかじめ記憶されたビデオフレームの第3の領域内に増分的に配置され、かつ第3 のサーチポイント変位パターンは前記第2のサーチポイント変位パターンより大きいもの、そして 1d)前記第1のシリーズの比較、前記第2のシリーズの比較および前記第3 のシリーズの比較から、整合するビデオブロックを決定する段階、 を具備するビデオシーケンス内での動きを予測する方法。 2. 請求項1に記載の方法において、 2a)さらに方形形状をもつように前に記憶されたビデオフレームの第1の領域、第2の領域、および第3の領域を規定する段階を含むこと、 2b)前記段階(1a)がさらに前記第1のサーチポイント変位パターンを1 画素だけ増分する段階を含むこと、 2c)前記段階(1b)がさらに前記第1のサーチポイント変位パターンを2 画素だけ増分する段階を含むこと、 2d)前記段階(1c)がさらに前記第3のサーチポイント変位パターンを3 画素だけ増分する段階を含むこと、 2e)さらに前記第1の領域を少なくとも10×10画素の領域をもつよう形成し、前記第2の領域が前記第1の領域を取り囲み少なくとも40×40画素の領域をもつよう形成し、かつ前記第3の領域が前記第2の領域を取り囲み少なくとも40×60画素の領域をもつよう形成する段階を具備すること、 2f)前記段階(1d)がさらに、 2f1)前記現在のビデオブロックと前記比較ビデオブロックとの間の第4のシリーズの比較を行う段階であって、該第4のシリーズの比較の内のおのおのの比較に対し、前記比較ブロックは第4のサーチポイント変位パターンにもとづき前記整合するビデオブロックを囲む領域内に増分的に配置され、かつ前記第4のサーチポイント変位パターンは前記第1のサーチポイント変位パターンのサーチポイント変位に等しいかまたはそれより小さいもの、そして 2f2)前記第4のシリーズの比較から最善の整合のビデオブロックを決定する段階であって、選択された場合には、前記段階(1a)はさらに前記第4 のサーチポイント変位パターンを0.5画素だけ増分する段階を含むもの、 を具備すること、 である2a)〜2f)の内の少なくとも1つに該当する請求項1に記載の方法。 3. ビデオシーケンス内での動きを予測する方法であって、 3a)所定の数のビデオブロックに対し、現在のビデオフレームの現在のビデオブロックと前に記憶されたビデオフレームの比較ビデオブロックとの間でサーチ領域にわたり一連の比較を行い最善の整合のビデオブロックを検出する段階、 3b)前記所定の数のビデオブロックに対しビデオブロックの統計量を集積する段階、そして 3c)前記ビデオブロックの統計量が好ましくない場合に前記サーチ領域を変更する段階、 を具備するビデオシーケンス内の動きを予測する方法。 4. 請求項3の方法において、 4a)前記段階(3c)はさらに前記最善の整合のビデオブロックの品質が劣悪である場合に前記サーチ領域を変更する段階を具備すること、 4b)前記段階(3c)はさらに前記最善の整合のビデオブロックが前記サーチ領域の周辺部に近い場合に前記サーチ領域を変更する段階を具備すること、 4c)前記段階(3c)はさらに前記最善の整合のビデオブロックが前記サーチ領域の中心に近い場合に前記サーチ領域を変更する段階を具備すること、 4d)前記段階(3c)はさらに前記サーチ領域が所定の時間の間変わっていない場合に前記サーチ領域を変更する段階を具備すること、 4e)前記段階(3c)はさらに前記サーチ領域を変更して変更されたサーチ領域を生成する段階を備え、前記変更されたサーチ領域および前記サーチ領域はほぼ同じ数のサーチポイントを有すること、 である4a)〜4e)の内の少なくとも1つに該当する請求項3に記載の方法。 5. ビデオ圧縮方法であって、 5a)複数のビデオブロックを含む現在のビデオフレームを受信する段階、 前記複数のビデオブロックのおのおののビデオブロックに対し、 5b)現在のビデオフレームのおのおののビデオブロックと前に記憶されたビデオフレームの比較ビデオブロックとの間で第1のシリーズの比較を行う段階であって、該第1のシリーズの比較の内のおのおのの比較に対して、前記比較ビデオブロックは第1のサーチポイント変位パターンにもとづきあらかじめ記憶されたビデオフレームの第1の領域内に増分的に配置されるもの、 5c)おのおののビデオブロックと比較ビデオブロックとの間で第2のシリーズの比較を行う段階であって、該第2のシリーズの比較の内のおのおのの比較に対し、前記比較ビデオブロックは第2のサーチポイント変位パターンにもとづきあらかじめ記憶されたビデオフレームの第2の領域内に増分的に配置され、かつ前記第2のサーチポイント変位パターンは前記第1のサーチポイント変位パターンより大きいもの、 5d)おのおののビデオブロックと前記比較ビデオブロックとの間で第3のシリーズの比較を行う段階であって、該第3のシリーズの比較の内のおのおのの比較に対し、前記比較ビデオブロックは第3のサーチポイント変位パターンにもとづきあらかじめ記憶されたビデオフレームの第3の領域内に増分的に配置され、かつ前記第3のサーチポイント変位パターンは前記第2のサーチポイント変位パターンより大きいもの、 5e)前記第1のシリーズの比較、前記第2のシリーズの比較、および前記第3のシリーズの比較から、最善の整合するビデオブロックを検出する段階、 5f)前記おのおののビデオブロックから前記最善の整合のビデオブロックを減算して残余ビデオブロックを生成する段階、 5g)前記おのおののビデオブロックにもとづき前記最善の整合のビデオブロックを評価する段階、そして 5h)前記評価が好ましいものである場合に前記残余ビデオブロックを符号化する段階、 を具備するビデオ圧縮方法。 6. 前記段階(5h)はさらに前記評価が好ましくない場合におのおののビデオブロックを符号化する段階を具備する、請求項5に記載の方法。 7. 前記段階(5e)は、 5e1)前記第1のシリーズの比較、前記第2のシリーズの比較および前記第3のシリーズの比較から第1の最善の整合ビデオブロックを決定する段階、 5e2)前記おのおののビデオブロックと前記比較ビデオブロックとの間で第4のシリーズの比較を行う段階であって、前記第4のシリーズの比較の内のおのおのの比較に対し、前記比較ビデオブロックは第4のサーチポイント変位パターンにもとづき前記第1の最善の整合ビデオブロックを囲む領域内に増分的に配置され、かつ前記第4のサーチポイント変位パターンは前記第1のサーチポイント変位パターンのサーチポイント変位に等しいかまたはそれより小さいもの、 そして 5e3)前記第4のシリーズの比較から最善の整合ビデオブロックを決定する段階、 を具備する請求項5に記載の方法。
  • 说明书全文

    【発明の詳細な説明】 ビデオシーケンスにおける移動を予測する方法発明の分野 この発明は一般的にはビデオ圧縮の分野に関し、かつより特定的には、ビデオシーケンスにおけるフレーム間の動きまたは移動(motion)を推定または予測することに関する。 発明の背景 ビデオシステムは複数の通信装置および該通信装置のための通信媒体を提供する通信チャネルを含むものが知られている。 例えば、前記通信チャネルは有線接続またはRF周波数キャリアとすることができる。 ビデオシステムの効率を増大するために、通信される必要があるビデオはデジタル的に圧縮される。 デジタル圧縮は前記ビデオの知覚的品質を維持しながら前記ビデオを表すのに必要なビットの数を低減する。 ビットの数の低減はチャネル帯域幅のより効率的な使用を可能にしかつ記憶装置の要求を低減する。 デジタルビデオ圧縮を行うために、おのおのの通信装置はエンコーダおよびデコーダを含むことができる。 エンコーダは通信装置が通信チャネルによって送信する前にビデオを圧縮できるようにする。 デコーダは通信装置が通信チャネルから圧縮されたビデオを受信しかつそれを見えるようにすることができる。 デジタルビデオ圧縮を使用する通信装置は、高分解能テレビジョン送信機および受信機、ケーブルテレビジョン送信機および受信機、ビデオ電話、コンピュータおよび携帯用無線機を含む。 デジタルビデオ圧縮のためのいくつかの標準が出現しており、それらは国際電気通信連合(ITU)−T勧告H. 261、国際標準機関/国際電気技術委員会(ISO/IEC)11172−2国際標準(MPEG−1)、および来るべきISO/IEC13818−2標準(MPEG−2)を含む。 これらの標準はビデオにおける空間的および時間的な冗長性を活用することにより、かつ人間の目の知覚的な特性を利用することにより効率的にビデオのフレームのシーケンスを表現することを探求する。 時間的な冗長性はフレームのシーケンスにおける移動または動きを推定または予測することによって活用される。 ブロック整合アルゴリズムはビデオシーケンス内の移動を予測するための知られた方法である。 該ビデオシーケンスの各フレームは画素のブロックに分割される。 ブロック整合アルゴリズムは1つのフレームに符号化またはエンコードされるべき現在のブロックをビデオシーケンスの前のまたは将来のフレームにおける同じ寸法のブロックと比較する。 前に符号化されたフレームに整合するブロックが検出されれば、現在のブロックを独立してエンコードするのではなく、整合するブロックのロケーションおよび現在のブロックと整合ブロックとの間の何らかの差をエンコードする。 一般に、ロケーションおよび何らかの差分情報のみのエンコードはより効率的なエンコード方法を提供する。 フルサーチブロック整合アルゴリズム(full search block matching algorithm)は符号化されるべき現在のブロックを前に符号化されたフレームのサーチ領域内のすべての可能な整合物と比較する。 前記サーチ領域は現在のブロックの上部の最も左の画素からのロケーションの変位を示すモーションベクトル(MV)に関して規定される。 例えば、上部の最も左の画素をデカルト座標(x,y)の(10,20)に絶対位置で有する現在のブロックに対しては、MV(+/−5,+/−5)のサーチ領域はMV(−5 ,−5),MV(−5,+5),MV(+5,+5)およびMV(+5,−5) にコーナポイントを有しかつ前に符号化されたフレームにおける絶対位置(5, 15),(5,25),(15,25)および(15,15)によって規定される。 フルサーチアルゴリズムは常に最善の整合ビデオブロックを検出するが、これはそれが前記サーチ領域におけるすべての選択肢を調べるからである。 従って、フルサーチアルゴリズムは最適のビデオ品質を提供する。 フルサーチアルゴリズムに伴う問題はそれが計算集約的であることである。 例えば、MV(+/−4 8,+/−31)のサーチ領域に対し、6 111の比較が必要である。 階層的フルサーチアルゴリズムは異なるサーチポイント変位パターンを備えた2つのサーチ領域を使用する。 第1の領域は1画素サーチポイント変位パターンを有する、すなわち、比較は1画素のインターバルで行われる。 このサーチポイント変位は前記フルサーチアルゴリズムに対するものと同じである。 第2の領域は2画素サーチポイント変位パターンを有する、すなわち、比較は平および垂直両方向で1つおきの画素(every other pixel)で行われる。 第1の領域はMV(+/−2,+/−2)で定義される。 第2の領域はMV( +/−6,+/−6)マイナスMV(+/−2,+/−2)で定義される。 階層的フルサーチアルゴリズムは前記フルサーチアルゴリズムに対して比較の数を低減しかつ適切なビデオ品質を維持するが、それでも特に大きなサーチ領域に対してはかなり計算集約的である。 MV(+/−48,+/−31)のサーチ領域をカバーするために階層的アルゴリズムを展開してもほぼ1695の比較を必要とする。 他の知られたブロック整合アルゴリズムはMV(0,0)の回りの非常に稠密な(very dense)変位パターンを使用しかつ放射状に比較ポイントの数を低減してほぼMV(+/−10,+/−10)のサーチ領域をカバーする。 このアルゴリズムに伴う問題はMV(+/−48,+/−31)の範囲におけるより大きなサーチ領域へと容易に拡張できないことである。 放射状にサーチポイントの数を低減することは比較ポイントの間の距離かつ従って比較ポイントの位置を高度に不規則にする。 これは不可能ではないがハードウエアによる構成を複雑にする。 さらに、比較ポイントの数が減少するに応じて、適切な整合を検出する確率が実質的に低減する。 これはビデオ品質を粗悪にする。 知られたブロック整合アルゴリズムは符号化されるビデオシーケンスにかかわりなく首尾一貫したサーチ領域およびサーチ変位パターンを使用する。 これは1 つのシーケンスにとって良好なサーチ技術が他のシーケンスにとっては良好でないという点で問題がある。 例えば、高速度の動きを有する自動車レースのような、ビデオシーケンスは大きなサーチ領域を必要とするが、ニュースキャストにおける話しをしている顔のようなシーケンスは大きなサーチ領域を必要としない。 従って、サーチ領域およびサーチ技術を必要とされる計算の上で合理的なものに制約し、しかしながら適切なビデオ品質を提供する必要性が存在する。 さらに、符号化されるビデオシーンに対しサーチ技術を適応させることができる必要がある。 図面の簡単な説明 図1は、本発明に係わる移動予測を使用したビデオ圧縮システムを示す。 図2は、本発明に従って構成されたビデオ圧縮システムのための入として作用する例示的なビデオソースを示す。 図3は、本発明に係わる移動予測のための領域を示す2つの例示的なビデオフレームを示す。 図4は、本発明に係わる例示的なサーチポイント変位パターンおよび領域を示す。 図5は、本発明に係わる移動予測のための方法の流れ図を示す。 図6は、本発明に係わる移動予測において使用されるサーチ領域を適応させる方法のための流れ図を示す。 好ましい実施例の説明 本発明はビデオフレームごとのベースで動きまたは移動(motion)を予測する(estimating)ことによりビデオ圧縮のための効率的な方法を提供する。 これは現在のビデオフレームの各ビデオブロックを前に記憶されたビデオフレームの比較ビデオブロックと比較することによって達成される。 前記比較ビデオブロックは現在のビデオフレームのビデオブロックを囲む領域にわたり分配される。 言い換えれば、現在のビデオフレームの各ビデオブロックは前に記憶されたビデオフレームの比較ビデオブロック上に本質的にかぶせられ前に記憶されたビデオフレームにおける対象物が現在のビデオフレームにおいてどこに移動したかを決定する。 このかぶせ(overlaying)は一連の3つの異なる比較密度で行われる。 高密度レベル(第1のサーチポイント変位パターン)を使用して行われる第1のシリーズの比較は現在のビデオフレームのビデオブロックを囲む領域において行われる。 前記最も高い密度のレベルがこの領域において使用されるが、それは大部分の対象物はそれだけビデオフレームからビデオフレームへと移動せず、従ってこの領域で整合が検出される可能性が最も高いからである。 次の2つのシリーズの比較はそれぞれ比較ビデオブロックがさらに遠く位置するおよび現在のビデオフレームのビデオブロックからさらに離れて位置するより低い密度のレベルで行われる。 いったん合理的な移動の判定が行われれば、現在のフレームのビデオブロックに最も近く類似する前に記憶されたビデオフレームの比較ビデオブロックが使用されて現在のビデオブロックを符号化し、従って良好なビデオ品質を維持しながら移動を予測するのに必要な計算の合計数が低減される。 本発明は図1〜図6を参照してさらに完全に説明することができる。 図1は、 本発明に係わるビデオフレーム間の移動を予測または推定するビデオ圧縮システム100を示す。 ビデオソース111がビデオ圧縮システム100によって受信される。 ビデオソース111におけるおのおのの現在のビデオブロックに対し、 モーションエスティメイタ110は最善の整合ビデオブロックを検出するため、1つまたはそれ以上の基準画像を保持する、前フレーム記憶エレメント108をサーチする。 モーションエスティメイタ110は次にモーションベクトル(MV)を生成し、該MVは現在のビデオブロックに関連して最善の整合のビデオブロックのロケーションを記述する。 動きまたはモーション補償器109は該MVを使用して前フレーム記憶エレメント108から最善の整合ビデオブロックを抽出する。 該最善の整合ビデオブロックは次に減算器101によって現在のビデオブロックから減算され、残余(residual)ビデオブロックを生成する。 イントラ/ノンイントラデターミナ(intra/non−intra determiner)113は前記残余ビデオブロックまたは現在のビデオブロックのいずれが符号化されるべきかを決定する。 この決定は現在のビデオブロックおよび前記最善の整合ビデオブロックの評価にもとづき行われる。 もし該評価が好ましいものであれば、ノンイントラ符号化(non−intra coding)が選択され、すなわち、前記残余ビデオブロックがエンコードされる。 もし前記評価が好ましくなければ、 イントラ符号化(intra coding)が選択され、すなわち、現在のビデオブロックがエンコードされる。 残余ビデオブロックまたは現在のビデオブロックのいずれがエンコードされるべきかを決定するいくつかの知られた方法に加えて、好ましい方法が本件出願と同じ譲受人に譲渡された、同時係属の米国特許出願整理番号CR0031 Mに記載されている。 もしイントラ符号化が選択されれば、現在のビデオブロックがエンコードされるべき離散的コサイン変換器(discrete cosine transf ormer:DCT)102へと送られる。 そうでない場合は、残余ビデオブロックがエンコードされるべきDCT102へと送られる。 DCT102は次にそれが受信したビデオブロックの空間領域値(spatial domain v alues)を好ましくは前記離散的コサイン変換を使用して周波数領域値へと変換する。 離散的コサイン変換の代わりとしては、サブバンド符号化、ラップド直交変換(lapped orthogonal transforms)、およびベクトル量子化が含まれる。 DCT102からの周波数領域値は次に量子化器103によりスケーリングされかつ切り詰められ(truncated)、量子化エラーを圧縮システム10 0へと導入する。 これらの量子化された値は次に可変長符号器(VLC)104 によって効率的にかつ損失なく符号化される。 前記MVもまたVLC104によって効率的にかつ損失なく符号化される。 VLC104の出力は圧縮解除(de compression)システムへと格納されまたは送られる圧縮されたビデオ112である。 逆量子化器105、逆DCT106、加算器107、前フレーム格納エレメント1 08、およびモーション補償器109からなるフィードバックループは前記圧縮解除システムが再構成する同じ画像を再構成し(reconstruct)かつ該画像を前フレーム格納エレメント108に格納する。 逆量子化器105とこれに続く逆DCT106は、量子化器103によって導入されたエラーを含む、空間領域値を再構成する。 もしノンイントラ符号化が前記イントラ/ノンイントラデターミナ113によって選択されていれば、モーション補償器113からの最善の整合ビデオブロックが加算器107によって逆DCT106の出力に加算され、そうでなければ、加算器107によって前記逆DCT106の出力にゼロが加算される。 加算器107の出力は次に前フレーム格納エレメント108に格納される。 ビデオ圧縮システム100は1つまたはそれ以上のデジタル信号プロセッサまたは汎用マイクロプロセッサによって実行されるソフトウエアによって実施できる。 図2は、例示的なビデオソース111を示す。 該ビデオソース111は一連のビデオフレーム200から構成される。 各ビデオフレーム200は画素202の2次元アレイからなる。 ビデオフレーム200に対する共通のサイズは、標準画像フォーマット(Standard Image Format:SIF)と称される水平方向に352画素と垂直方向に240画素、共通互換フォーマット( Commom Interchange Format:CIF) と称される352×288画素、そしてクオータCIF(Quarter CI F:QCIF)と称される176×144画素を含む。 ビデオフレームは一般に時間的に1/24,1/25または1/29.97秒で分離される。 各ビデオフレーム200は領域に分割され、おのおのの領域はビデオブロック201と称される。 H. 261,MPEG−1およびMPEG−2標準においては、ビデオブロック201はマクロブロックと称されかつ16×16アレイの画素からなる。 図3は、現在のビデオフレーム300および前のビデオフレーム301を示す。 モーション予測器または推定器(motion estimator)110 は前のビデオフレーム301から現在のビデオフレーム300への現在のビデオブロック302の移動を、現在のビデオブロック302の位置の回りの前のビデオフレーム301の3つの領域303,304および305をサーチすることによって決定する。 3つの領域303,304,305の形状は典型的なビデオソース111に対するMVの確率分布にもとづく。 高いパーセンテージのMVはゼロに近く、すなわち、ほとんど動きがなく、従って第1の領域303は大部分のMVに対し優れた予測が確実にできるようにするため稠密なサーチポイント変位パターンを提供する。 第2の領域304は前記第1の領域303の外側にあるM Vに対する良好な推定を提供するよう試みるために中庸の密度のサーチポイント変位パターンを提供する。 カメラパンによって高速度の移動を導入することができかつ主に水平方向であるため、第3の領域305は移動予測サーチを水平方向に拡張する。 前記第1の領域303に対する好ましい境界はコーナポイントMV(x,y) =(−7,−7),(−7,+7),(+7,+7),および(+7,−7)を備えたMV領域である。 第2の領域304に対する好ましい境界はコーナポイントMV(x,y)=(−31,−31), (−31,+31),(+31,+ 31),および(+31,−31)、およびコーナポイントMV(x,y)=( −7,−7),(−7,+7),(+7,+7),および(+7,−7)を備えたMV領域である。 第3の領域305に対する好ましい境界はコーナポイントM V(x,y)=(−48,−31),(−48,+31),(−31,+31) ,および(−31,−31)、およびコーナポイントMV(x,y)=(+31 ,−31),(+31,+31),(+48,+31),および(+48,−3 1)を備えたMV領域である。 図4は、サーチ領域303,304,305に対する好ましいサーチポイント変位パターンを示す。 おのおののサーチ領域内で異なるサーチポイント変位パターンが使用されている。 サーチポイントは前のビデオフレーム301の対応する比較ビデオブロックが現在のビデオフレーム30 0の現在のビデオブロック302と比較される特定のMVである。 サーチポイント変位パターンはサーチポイントの2次元空間パターンである。 第1の領域30 3内で第1のサーチポイント変位パターン400が使用される。 この変位パターンは高度にありそうな(highly probable)小さな移動の前に優れた予測が確実に行われるようにするため非常に稠密にすべきである。 好ましいパターンは1画素離れて間隔をおいた(spaced one pixel a part)サーチポイントの方形の格子(rectangular grid) である。 第2のサーチポイント変位パターン401は第2の領域304内で使用される。 この変位パターンは確率の低い中庸の移動の大部分の発生に対して非常に良好な予測が確実に行われるようにするため中庸の密度とすべきである。 このパターンを使用することにより、対応するビデオの知覚品質に悪影響を与えることなく計算上のいくらかの節約が行われる。 好ましいパターンは2画素離れて間隔をおいたサーチポイントの方形の格子である。 第3のサーチポイント変位パターン402は第3の領域305内で使用される。 高速の移動はカメラの画像をぼけさせる傾向がありかつ人間の観察者は高速の移動物体における分解能に敏感でないことを利用して、この変位パターンはより密度の低いものとすることができる。 低い密度のパターンを使用することにより、高速の水平方向の動きを有するビデオソース111に対して良好な品質の圧縮ビデオを提供しながら、計算上の大幅な節約を行うことができる。 好ましいパターンは3画素離れて配置されたサーチポイントの方形の格子である。 別の好ましいパターンは水平方向に3 画素および垂直方向に2画素間隔をあけたサーチポイントの方形の格子、水平方向に4画素および垂直方向に2画素だけ間隔をあけたサーチポイントの方形の格子、水平方向に2画素および垂直方向に4画素だけ間隔をあけたサーチポイントの方形の格子、および45度の度で(8) 1/2だけ間隔をあけたサーチポイントのダイヤモンド形状の格子を含む。 第4のサーチポイント変位パターン403は第4の領域404内で使用される。 第4の領域404は前記第1の3つの領域303,304,305のサーチから決定される第1のまたは一時的な最善の整合のビデオブロックを囲むよう選択される。 第4のサーチポイント変位パターン403は前記最善の整合のビデオブロック上に進行する(hone in)非常に稠密なものとすべきである。 好ましいパターンは0.5画素離れたサーチポイントの方形の格子である。 図5は、移動予測の方法の好ましい実施形態の流れ図を示す。 第1の領域50 0において第1のシリーズの比較が行われる。 第1の領域303内のMVは前記第1のサーチポイント変位パターン400を使用して選択される。 おのおのの選択されたMVに対して、前のビデオフレーム301の対応する比較ビデオブロックが所定の比較測定基準を使用して現在のビデオブロック302と比較される。 典型的には前記所定の比較測定基準は前記比較ビデオブロックと現在のビデオブロック302との間の平均2乗誤差(mean square err or:MSE)または平均絶対差(mean absolute differ ence:MAD)である。 好ましい比較測定基準はMADである。 もし前記比較測定が前の最善の比較測定より良好であれば、新しいMVおよびその比較測定が記憶される。 第2のシリーズの比較が第2の領域501において行われる。 第2の領域30 4内のMVが前記第2のサーチポイント変位パターン401を使用して選択される。 おのおのの選択されたMVに対し、前のビデオフレーム301の対応する比較ビデオブロックが前記所定の比較測定基準を使用して現在のビデオブロック3 02と比較される。 もしその比較測定が前の最善の比較測定よりも良好であれば、新しいMVおよびその比較測定が記憶される。 同様に、第3のシリーズの比較が第3の領域502において行われる。 第3の領域304内のMVが第3のサーチポイント変位パターン402を使用して選択される。 おのおのの選択されたMVに対し、前のビデオフレーム301の対応する比較ビデオブロックが所定の比較測定基準を使用して現在のビデオブロック3 02と比較される。 もし該比較測定が前の比較測定よりも良好であれば、新しいMVおよびその比較測定が記憶される。 最初の3つの比較の後に、最善の比較測定を有するMVが使用されて前のビデオフレーム503からの第1のまたは一時的な最善の整合のビデオブロックが決定される。 第4のシリーズの比較が前記第1の最善の整合のビデオブロック504の回りの領域内のMVに対して行われる。 このステップは任意選択的なものであるが、 好ましいものである。 この領域に対する好ましい境界はコーナポイントMV(x ,y)=(mvx−1,mvy−1),(mvx−1,mvy+1),(mvx +1,mvy+1),および(mvx+1,mvy−1)であり、この場合mv xおよびmvyはステップ503において決定される最善のMVのxおよびy成分である。 この領域内では非常に稠密なサーチポイント変位パターンが使用される。 好ましいサーチポイント変位パターンは水平方向に0.5画素および垂直方向に0.5画素である。 このサーチポイント変位パターンにおけるおのおののM Vに対して、前のビデオフレーム301の対応する比較ビデオブロックが前記好ましい比較測定基準を使用して現在のビデオブロック302と比較される。 もしその比較測定が前の最善の比較測定よりも良好であれば、新しいMVおよびその比較測定が記憶される。 最後に、最善の比較測定を有するMVが使用されて最善の整合のビデオブロック505を決定する。 図6は、前記サーチ領域を適合させるための好ましい構成の流れ図を示す。 最初に、前記最善の整合のビデオブロックがビデオソース600からの所定の数のビデオブロックに対して決定される。 図5に示された方法を使用しておのおのの現在のビデオブロックに対する最善の整合のビデオブロックを決定することができる。 ビデオブロックの前記所定の数は1つのビデオブロックから前ビデオフレームのビデオブロックまでの任意とすることができ、好ましい数は1行の(on e row)ビデオブロックである。 例えば、SIFサイズのビデオソース11 1に対するビデオブロックの所定の数は1から330までとすることができ、好ましい数は22である。 ビデオブロックの所定の数に対する最善の整合のビデオブロックを決定した後600、ビデオブロックの統計量が所定の数のビデオブロックに対して集められる601。 好ましい組の統計量はイントラカウント(intra−count) 、エッジカウント(edge−count)、および外側ゾーンカウント(ou ter−zone−count)を含む。 前記イントラカウントの統計量は前記イントラ/ノンイントラデターミナ113がイントラ符号化を使用して符号化するために選択する、前記所定の数のビデオブロック内の、ビデオブロックの数である。 エッジカウントの統計量はその最善の整合のビデオブロックがサーチ領域の「エッジ近くの」MVに対応する、前記所定の数のビデオブロック内の、ビデオブロックの数である。 「エッジ近くの(near the edge)」はサーチ領域のエッジからの所定の数の画素内であることを意味する。 好ましい構成では、エッジの1画素内のMVは「エッジ近くの」であると考えられる。 外側ゾーンカウントの統計量はその最善の整合のビデオブロックがサーチ領域の中心から離れた「外側ゾーン(outer zone)」におけるMVに対応する、前記所定の数のビデオブロック内のビデオブロックの数である。 「外側ゾーン」は次により小さな規定されたサーチ領域の外側の現在のサーチ領域内のサブ領域である。前記ビデオブロックの統計量はそれらが好ましいものであるか否かを判定される、ステッブ602。好ましい構成では、おのおのの統計量は所定のしきい値と比較される。前記イントラカウント値はそれがあるしきい値を超えれば好ましくなくなる。高いイントラカウント値は最善の整合のビデオブロックが使用されておらずかつ、従って、最善の整合のビデオブロックが劣悪な品質のものであることを示している。前記エッジカウント値はそれがあるしきい値を超えれば好ましいものでなくなる。前記外側ゾーンカウント値はそれがあるしきい値より小さければ好ましいものでなくなる。 SIFビデオソースに対する、前記イントラカウントしきい値、エッジカウントしきい値、および外側ゾーンカウントしきい値の好ましい値はそれぞれ3,2, 6である。もしすべてのビデオ統計量が好ましいものであることが見出だされれば、ステップ603において所定の時間が経過したか否かが調べられ、そうではなくもし前記ビデオ統計量が好ましくないものであることが見出だされれば、ステップ604においてサーチ領域が変更される。前記サーチ領域が最後に変更されてからの時間がステップ603において所定の時間と比較される。もし該所定の時間が経過していれば、ステップ604においてサーチ領域が変更され、そうではなくもし所定の時間が経過していなければ、サーチ領域は変更されずかつステップ600が行われる。 SIFビデオソースに対する好ましい所定の時間は88ビデオブロックである。これはステップ60 0において使用されるビデオブロックの好ましい所定の数の4倍である。前記サーチ領域およびサーチポイント変位パターンはビデオブロックの統計量が好ましくないものであるか否かあるいは前記所定の時間が経過したか否かにもとづき変更される、ステップ604。好ましい構成では、もし前記イントラカウントが好ましくないか、前記エッジカウントが好ましくないか、あるいは前記所定の時間が経過すれば、サーチ領域面積か増大される。もし前記外側ゾーンカウントが好ましくなければ、サーチ領域面積が低減される。もし前記サーチ領域の面積が増大すれば、サーチポイント変位パターンの密度は低減し、従ってサーチポイントの合計数はほぼ同じである。逆に、もしサーチ領域が低減されれば、サーチポイント変位パターンは増大される。毎秒ごとの計算をほぼ一定に保つことによって異なるサーチパターンを処理するために効率的な再現性あるハードウエア構成が可能になる。好ましい構成では、3つの所定のサーチパターン、パターンA、パターンB、 およびパターンCがある。ステップ604においていずれのパターンを選んでもよい。パターンAはコーナポイントMV(x,y)=(+/−7,+/−7)を備えたMV領域によって決定される第1の領域、およびコーナポイントMV(x ,y)=(+/−31,+/−31)マイナス前記第1の領域を備えたMV領域によって決定される。前記第1の領域において使用される、第1のサーチポイント変位パターンは1画素離れて間隔をあけたサーチポイントの方形の格子である。第2の領域で使用される、第2のサーチポイント変位パターンは2画素離れて間隔をあけたサーチポイントの方形の格子である。パターンBはコーナポイントMV(x,y)=(+/−7,+/−7)を備えたMV領域によって決定される第1の領域、コーナポイントMV(x,y)−(+/−20,+/−20)マイナス前記第1の領域を備えたMV領域によって決定される第2の領域、およびコーナポイントMV(x,y)=(+/−48,+/−31)マイナス前記第1および第2の領域を備えたMV領域によって決定される第3の領域を有する。第1の領域において使用される、前記第1のサーチポイント変位パターンは1画素離れて間隔をあけたサーチポイントの方形の格子である。前記第2の領域において使用される、第2のサーチポイント変位パターンは2画素離れて間隔をあけたサーチポイントの方形の格子である。第3の領域において使用される、第3のサーチポイント変位パターンは3画素離れて間隔をあけたサーチポイントの方形の格子である。パターンCはコーナポイントMV(x,y)=(+/−7,+/−7) を有するMV領域で決定される第1の領域、およびコーナポイントMV(x,y )=(+/−48,+/−31)マイナス前記第1の領域を備えたMV領域によって決定される第2の領域を有する。第1の領域において使用される、第1のサーチポイント変位パターンは1画素離れて間隔をあけたサーチポイントの方形の格子である。第2の領域において使用される、第2のサーチポイント変位パターンは3画素離れて間隔をあけたサーチポイントの方形の格子である。本発明により、適応性あるかつ効率的な移動予測が達成される。本発明は前記フルサーチおよび階層的サーチ方法よりもずっと簡単であり、しかも良好なビデオ品質を提供する。例えば、MV(+/−48,+/−31)のサーチ領域に対して、本発明は1389の比較のみを必要とし、これはフルサーチアルゴリズムと比較した場合77%の計算上の節約であり、かつ階層的サーチアルゴリズムと比較した場合18%の計算上の節約になる。さらに、本発明は計算の数をほぼ一定に保ちながら符号化されているサーチ領域がビデオシーケンスを調整できるようにする。

    ───────────────────────────────────────────────────── フロントページの続き (72)発明者 レビン・ステファン ノーマン アメリカ合衆国イリノイ州 60143、イタ スカ、ネバ・テラス 5エヌ400

    高效检索全球专利

    专利汇是专利免费检索,专利查询,专利分析-国家发明专利查询检索分析平台,是提供专利分析,专利查询,专利检索等数据服务功能的知识产权数据服务商。

    我们的产品包含105个国家的1.26亿组数据,免费查、免费专利分析。

    申请试用

    分析报告

    专利汇分析报告产品可以对行业情报数据进行梳理分析,涉及维度包括行业专利基本状况分析、地域分析、技术分析、发明人分析、申请人分析、专利权人分析、失效分析、核心专利分析、法律分析、研发重点分析、企业专利处境分析、技术处境分析、专利寿命分析、企业定位分析、引证分析等超过60个分析角度,系统通过AI智能系统对图表进行解读,只需1分钟,一键生成行业专利分析报告。

    申请试用

    QQ群二维码
    意见反馈