Verfahren zur Bestimmung des Displacements von Bildsequenzen und Anordnung sowie Anwendungen hierzu
专利汇可以提供Verfahren zur Bestimmung des Displacements von Bildsequenzen und Anordnung sowie Anwendungen hierzu专利检索，专利查询，专利分析的服务。并且Bei einem Verfahren zur Bestimmung von Displacements in aufeinanderfolgend übertragenen Bildsequenzen werden Korrelationswerte des gerade empfangenen und eines zuvor empfangenen Bildes ausgewertet. Die Schätzwerte für das Displacement werden rekursiv korrigiert, indem zu einem bereits ermittelten Wert jeweils ein Korrekturwert hinzugefügt wird. Der Korrekturwert wird dabei aus dem Quotienten der ersten Ableitung der KKF an der Stelle (dx, dy) (i-1) sowie der Mittelung der 2. Ableitungen der KKF an gleicher Stelle und der AKF an der Stelle (0,0) gewonnen. Das Verfahren ermöglicht die Ermittlung eines brauchbaren Schätzwertes für das Displacement nach bereits zwei Rekursionsschritten. Vorteilhafte Anwendungen des Verfahrens bestehen in der bewegungsadaptiven interpolation ausgelassener Bildsequenzen, in der Flimmerreduktion von Standard-Fernsehsignalen und in Rauschunterdrückung.，下面是Verfahren zur Bestimmung des Displacements von Bildsequenzen und Anordnung sowie Anwendungen hierzu专利的具体信息内容。
Die Erfindung betrifft ein Verfahren gemäß dem Oberbegriff des Patentanspruches 1, sowie eine Anordnung zum Durchführen dieses Verfahrens. Ein solches Verfahren ist bekannt aus "Image Sequence Processing and Dynamic Scene Analysis", ed. T.S. Huang, Springer Verlag Berlin, Heidelberg 1983, Seiten 215 bis 234.
Zur Displacement-Bestimmung in Fernsehsignalen unter Echtzeitbedingungen sind verschiedene rekursive und nichtrekursive Schätzverfahren veröffentlicht worden.
Nichtrekursive Verfahren sind beispielsweise aus "IEEE Trans. on Pattern Analysis and Machine Intelligence, Vol. 4, Nr. 1, Jan. 1982, Seiten 2 bis 10 bekannt. Sie besitzen den Vorzug einer relativ einfachen Hardware-Realisierung, arbeiten jedoch nur bei Displacements bis zu 2 pel/frame mit genügender Schätzgenauigkeit (Image Sequence Processing and Dynamic Scene Analysis, ed. T.S. Huang, Seite 222). Wegen der in natürlichen Fernsehbildsequenzen auftretenden Displacements von über 10 pel/frame sind diese Verfahren nur beschränkt anwendbar..
Rekursiven Schätzverfahren liegt im allgemeinen ein Optimierungskriterium zugrunde, wobei zum jeweils vorangegangenen Schätzwert eine Korrektur addiert wird, sodaß die Optimierungsgröße schrittweise dem Optimum angenähert wird. Eine Untersuchung bekannter rekursiver Displacement-Schätzverfahren hat gezeigt, daß diese bei mittleren Displacements bis etwa 4 pel/frame genügend schnell konvergieren, d.h. bereits nach wenigen Rekursionsschritten. Für größere Displacements bis zu 12 pel/frame werden allerdings fünf und mehr Rekursionsschritte zum Einschwingen benötigt.
Die Anzahl der Rekursionsschritte ist jedoch hinsichtlich einer Echtzeitschätzung auf ein bis zwei Schritte begrenzt, so daß für die Schätzung großer Displacements diese Verfahren ebenfalls nur beschränkt anwendbar sind.
Aufgabe der Erfindung ist es daher, ein Verfahren zur Bestimmung des Displacements gemäß dem Oberbegriff des Patentanspruchs 1 anzugeben, welches schon nach wenigen Rekursionsschritten einen genauen Schätzwert liefert, also eine sehr große Konvergenzgeschwindigkeit aufweist, wobei vorausgesetzt sein soll, daß der Konvergenzbereich zumindest ebenso groß ist wie bei den bereits bekannten Verfahren. Des weiteren soll eine vorteilhafte Anordnung zum Durchführen dieses Verfahrens angegeben werden sowie vorteilhafte Anwendungen. Diese Aufgabe wird bezüglich des Verfahrens durch die kennzeichnenden Merkmale des Patentanspruchs 1 gelöst, bezüglich der Anordnung durch die kennzeichnenden Merkmale des Patentanspruchs 2 und bezüglich der Anwendungen durch die Patentansprüche 3, 4 und 5.
Vorteilhaft bei dem erfindungsgemäßen Verfahren ist insbesondere die bessere und schnellere Approximation eines Schätzwertes für das Displacement gegenüber jenen Verfahren, die Kreuz- oder Autokorrelationsfunktionen allein auswerten. Durch die schnelle Approximation ist das Verfahren für eine Echtzeitschätzung besonders geeignet.
Anhand der Zeichnungen wird die Erfindung nun näher erläutert. Es zeigen:
- Fig. 1 die eindimensionalen Auto- bzw. Kreuzkorrelationsfunktionen der Luminanzsignal'e zweier aufeinanderfolgender Bilder,
- Fig. 2 eine Darstellung der abgeleiteten Korrelationsfunktionen und der Displacement-Schätzwerte,
- Fig. 3 ein Blockschaltbild für eine Anordnung zum Durchführen des Verfahrens nach der Erfindung,
- Fig. 4 ein Blockschaltbild zur Beseitigung des Bildflimmerns beim Standard-Fernsehen.
Einige Grundlagen und Voraussetzungen zum besseren Verständnis der nachfolgenden Zusammenhänge werden nun vorab erläutert. Betrachtet wird ein bewegtes Objekt in einer Fernsehszene. Mit Ik(x,y) sei das zweidimensionale Helligkeitssignal eines gerade übertragenen Bildes bezeichnet und mit Ik-1(x,y) des zeitlich gerade zuvor übertragenen Bildes. k gibt somit den Parameter für die Aufeinanderfolge der Bilder an. Die Korrelation R zwischen diesen beiden Signalen ergibt sich dann in Abhängigkeit vom Displacement dx und dy - "örtlicher Signalversatz zwischen diesen beiden Bildern in x- und y-Richtung" - zu:
Das Displacement in horizontaler Richtung, x-Richtung, läßt sich mittels der Korrelationsbeziehung folgendermaßen ausdrücken:
Mit der Abkürzung I' für die partielle Ableitung ∂/∂xI. Im Nenner dieses Ausdruckes erscheint nur die Summe aus der 1. Ableitung der Autokorrelationsfunktion von Ik im Punkte (0,0), und der 1. Ableitung der Kreuzkorrelationsfunktion von Ik und Ik-1 im Punkte (dx, dy), also die Stellen der Korrelationsspitzenwerte der Autokorrelationsfunktion (AKF) und der Kreuzkorrelationsfunktion (KKF). Fig. 1 zeigt diese Autokorrelations- und Kreuzkorrelationsfunktion der verschobenen Luminanzsignale anhand eines eindimensionalen Beispiels. Der Spitzenwert der AKF (RIK 2 (dx) liegt bei dx = 0 und der Spitzenwert der KKF RIk Ik-1 (dx) bei dx = dx0 .
Für stationäre Signale gilt:
Ferner lassen sich die Reihenfolge von Differentiation und Integration bei stationären Verbundprozessen Ik und Ik-1 vertauschen. Mit Umformungen erhält man
In diesem Fall erfolgt mit Gleichung (9) die lokale Bestimmung des Maximums der Kreuzkorrelationsfunktion der verschobenen Bildsignale Ik-1(x,y) und Ik(x,y). Fig. 2 zeigt in Verbindung mit Fig. 1 diesen Zusammenhang wiederum für eindimensionale Funktionen.
Die Autokorrelationsfunktion (AKF) RIkIk (dx) und Kreuz- korrelationsfunktion (KKF) RIkIk-1 (dx) der Bildsignale stimmen in ihren Formen näherungsweise überein und sind in Richtung dx um das Displacement dxo gegeneinander verschoben. Als Anfangswert für das rekursive Schätzverfahren diene dx(i-1) - 0. Der erste Schätzwert dxb wird gemäß (9) berechnet aus dem Quotienten der 1. Ableitung der KKF im Punkt (0,0) und den 2. Ableitungen von AKF und KKF, jeweils gewichtet mit dem Faktor 1/2. Durch die Mittelung von beiden 2. Ableitungen in (9) approximiert der Schätzwert das tatsächliche Displacement dxo besser als die bekannten Verfahren, bei denen der Divisor entweder nur die 2. Ableitung der KKF oder der AKF enthält. In diesen Fällen erhält man die Schätzwerte dxa beziehungsweise dxc, die in Fig. 2 gestrichelt dargestellt sind.
Bei einem Vergleich mit bekannten Verfahren zur Displacement-Bestimmung zeigte sich am Beispiel einer speziellen KKF, daß das neue Displacement-Schätzverfahren um den Faktor 4 schneller als das Newton-Verfahren (International Conference on Electronic Image Processing, July 1982, University of York, Großbritannien; "Displacement Estimation based on the Correlation of Image Segments") und um den Faktor 2 schneller als ein von Cafforio und Rocca (IEEE Transact. on Information Theory, Vol. IT-22, No. 9, Sept. 1976, Seiten 573 bis 579) vorgeschlagenes Verfahren konvergiert. Die experimentellen Untersuchungen haben des weiteren ergeben, daß das neüe Schätzverfahren auch bei großen Displacements um 10 pel/ frame bereits nach 2 Rekursionsschritten eine für die Interpolation von Fernsehbildsequenzen ausreichende Genauigkeit erreicht.
Anhand des Blockschaltbildes gemäß Fig. 3 wird nun eine Anordnung zum Durchführen des Verfahrens nach der Erfindung dargestellt. Für die Realisierung wurde dabei von folgender Beziehung zur Displacement-Bestimmung ausgegangen:
Diese Beziehung (10) ist eine modifizierte Form von Gleichung (9). Zu beachten ist, daß in Abweichung zu Gleichung (9) nicht das unmittelbar vor dem Halbbild Ik(x,y) übertragene Halbbild Ik-1(x,y) für die Bildung der Kreuzkorrelation mit Ik(x,y) herangezogen wird, sondern das entsprechende Halbbild Ik-2(x,y), Die Beziehung (10) ist eine Rekursionsformel, mit welcher sich ein neuer Schätzwert dx(i) immer aus dem gerade zuvor ermittelten Schätzwert dx(i-1) und einem Korrekturwert ergibt. Im ersten Schritt wird dx(i) mit dx(i-1) = 0 ermittelt und im zweiten Schritt erfolgt die Ermittlung von dx(i+1) mit dx(i) aus dem ersten Schritt, usw. Wie aus Fig. 3 hervorgeht, wird über den Subtrahierer S1 die Differenz der den Signaleingängen 1 und 2 zugeführten Bildsequenzen Ik(x) und Ik-2(x-dx) (i-1) gebildet. Beide Bildsequenzen Ik(x) und Ik-2(x-dx)(i-1) werden über Differenzierer D1 und D2 geführt, sodaß an deren Ausgänge die 1. Ableitungen der Bildsequenzen verfügbar sind'. Die Multiplizierer M1 und M2 sind zusätzlich mit einer Akkumulationseinrichtung Akk ausgestattet, mit der die multiplizierten Signale aufsummiert werden - im Ausführungsbeispiel erfolgt diese Aufsummierung über ein Bildfenster w (vgl. Beziehung 10). Für den Multiplizierer M1 ist das dem ersten Multiplizierereingang zugeführte Signal das Ausgangssignal des Differenzierers D1 und das dem zweiten Multiplizierereingang zugeführte Signal das Ausgangssignal des Subtrahierers S1. Dem Multiplizierer M2 wird das Ausgangssignal des Differenzierers D1 sowie das Ausgangssignal eines Addierers A1 zugeführt, welcher die Ausgangssignale der beiden Differenzierer D1 und D2 verknüpft mittels des Dividierers Q, dem die Ausgangssignale von M1 und M2 zugeführt sind. Das Ergebnis der Division wird mit dem Faktor 2 gewichtet. Der aktuelle Schätzwert dx(i) wird mittels des Subtrahierers S2 durch Verknüpfung des beim letzten Rekursionsschritt ermittelten Schätzwertes, der im Speicher Sp abgelegt ist, und dem Korrekturwert - Ausgangssignal des Dividierers Q - gewonnen. Der Speicher Sp weist zum Einlesen des zuvor ermittelten Schätzwertes eine Verbindung zum Ausgang 3 des Subtrahierers S2 auf, der gleichzeitig den Ausgang der Anordnung darstellt. Um dafür Sorge zu tragen, daß die Signale Ik(x) und Ik-2(x-dx) (i-1) zusammen auswertbar sind, ist dem Signaleingang 1' der Anordnung eine Signalverzögerungseinrichtung (nicht dargestellt) vorgeschaltet, die das Luminanzsignal Ik(x) um die Dauer zweier Halbbilder verzögert.
Das Verfahren nach der Erfindung läßt sich vorteilhaft insbesondere zur bewegungsadaptiven Interpolation von Fernsehbildsequenzen, z.B. zur Rekonstruktion von ausgelassenen Bildsequenzen (Halbbildern) bei übertragungskanälen mit Datenreduktion verwenden. Das Prinzip dazu beruht auf der sendeseitigen Reduktion der Bildfolgefrequenz durch Auslassen von Fernsehhalbbildern und bewegungsadaptiver Interpolation der nicht übertragenen Bilder beim Empfänger. Eine weitere vorteilhafte Verwendungsmöglichkeit besteht in der Flimmerbefreiung beim Standard-Fernsehen. Die Bildfolgefrequenz des Standard-Fernsehsignals im Monitor läßt sich dadurch erhöhen, daß aus zwei nacheinander übertragenen Bildsequenzen (Halbbildern) durch Interpolation eine zusätzliche Bildsequenz gewonnen wird, die auf dem Monitor M zwischen zwei herkömmlich dargestellte Halbbilder eingeschoben wird, wobei das interpolierte Halbbild bewegungsadaptiv unter Berücksichtigung des Displacements korrigiert wird. Das Blockschaltbild gemäß Fig. 4 zeigt eine Anordnung für eine solche Flimmerbefreiung. Mittels einer Auswerteeinrichtung A1 (Bildspeicher) für eine erste Bildsequenz (beispielsweise 1. Halbbild) und einer Auswerteeinrichtung A2 (Bildspeicher) für eine zweite Bildsequenz (beispielsweise 2. Halbbild) wird in einem Interpolator Ip eine Zwischenbildsequenz erzeugt. Dieser Interpolator Ip weist einen Steuereingang St auf, dem ein bewegungsadaptives Steuersignal zugeführt wird. Als bewegungsadaptives Steuersignal dient das Displacement, wie es mit der Anordnung nach Fig. 3 gewonnen werden kann. Der Ausgang 1' der Auswerteeinrichtung A1 entspricht dem Signaleingang 1 der Fig. 3.
Entsprechendes gilt für den Ausgang 2' der Auswerteeinrichtung A2. Für die weiteren Baugruppen wie Addierer, Differenzierer, Multiplizierer, ... wurden in Fig. 4 die Bezeichnungen der Fig. 3 übernommen. Es entsteht also auf dem Monitor M zusätzlich ein interpoliertes Zwischenbild unter Berücksichtigung des Displacements. Dem Betrachter wird durch die zusätzliche Zwischenbildübertragung eine höhere Bildfrequenz angeboten, die das Bildflimmern, insbesondere bei der Wiedergabe hoher Leuchtdichten, merklich reduziert. Sichtbare Verzerrungen, z.B. an Kanten bewegter Bildteile, die ohne Berücksichtigung des Displacements auftreten würden, treten nicht mehr auf. Damit die Bilder in ihrer richtigen Zeitfolge auf dem Monitor M dargestellt werden, sind vor den Eingängen des Monitors M fallweise geeignete Verzögerungseinrichtungen notwendig.
Das Verfahren gemäß der Erfindung eignet sich besonders für Anwendungen in Verbindung mit Quellencodierungsverfahren zur Datenreduktion wie beispielsweise der DPCM Bildübertragung sowie für Anwendungen bei der Rauschunterdrückung mit Bildzu Bild-Filtern.
| 标题 | 发布/更新时间 | 阅读量 |
|---|---|---|
| 三维场景重构中几何线索感知的像素级点云稠密化方法 | 2020-05-13 | 388 |
| 基于卡尔曼滤波模型的鱼塘水质预测方法及系统 | 2020-05-12 | 22 |
| 一种基于多传感器检测和GNSS定位的溺水检测方法以及设备 | 2020-05-14 | 661 |
| 一种基于虚拟训练的机器人智能抓取方法 | 2020-05-08 | 196 |
| 基于四阶累积量的管道泄漏振动信号自适应时延估计方法 | 2020-05-11 | 135 |
| 基于模型预测控制架构的综合能源系统优化运行方法及系统 | 2020-05-14 | 248 |
| 一种基于加速度计的溺水行为识别方法 | 2020-05-13 | 501 |
| 一种基于多速率融合技术的宽带微小角速度测量方法 | 2020-05-15 | 298 |
| 基于递归压缩感知的电力线通信系统脉冲噪声抑制方法 | 2020-05-08 | 660 |
| 一种基于深度学习的回声消除方法 | 2020-05-13 | 572 |
高效检索全球专利专利汇是专利免费检索,专利查询,专利分析-国家发明专利查询检索分析平台，是提供专利分析，专利查询，专利检索等数据服务功能的知识产权数据服务商。
我们的产品包含105个国家的1.26亿组数据，免费查、免费专利分析。
专利汇分析报告产品可以对行业情报数据进行梳理分析，涉及维度包括行业专利基本状况分析、地域分析、技术分析、发明人分析、申请人分析、专利权人分析、失效分析、核心专利分析、法律分析、研发重点分析、企业专利处境分析、技术处境分析、专利寿命分析、企业定位分析、引证分析等超过60个分析角度，系统通过AI智能系统对图表进行解读，只需1分钟，一键生成行业专利分析报告。
