首页 / 专利库 / 企业组织 / 收购方 / PROCEDE ET DISPOSITIF DE MODIFICATION DE ZONE D'IMAGES SUCCESSIVES

PROCEDE ET DISPOSITIF DE MODIFICATION DE ZONE D'IMAGES SUCCESSIVES

阅读:745发布:2021-12-02

专利汇可以提供PROCEDE ET DISPOSITIF DE MODIFICATION DE ZONE D'IMAGES SUCCESSIVES专利检索,专利查询,专利分析的服务。并且Le procédé permet de modifier le contenu d'une séquence d'images représentables par une matrice de pixels. Pour cela on identifie une zone cible non déformable à remplacer dans la scène et on la caractérise, en position et en dimensions, par référence à des repères proches liés à la zone cible dans chaque image; on détermine la position, par rapport auxdits repères, à donner à un modèle ou patron superposable à la zone cible, mémorisé sous forme numérique; pour chaque image particulière, on détermine, automatiquement, par un calcul de corrélation fondé sur les repères, la transformation géométrique à faire subir au modèle pour qu'il corresponde aux variations d'aspect de la zone cible, dans toutes les images successives d'un même plan et on substitue dans l'image les pixels représentatifs du modèle aux pixels représentatifs de la zone cible (14).,下面是PROCEDE ET DISPOSITIF DE MODIFICATION DE ZONE D'IMAGES SUCCESSIVES专利的具体信息内容。

REVENDICATIONS
1. Procédé de modification du contenu d'une séquen- ce d'images représentant une scène évolutive et présentant un degré élevé de corrélation entre images successives d'un même plan, les images étant représentables par une matrice de pixels, caractérisé en ce que :
- on identifie une zone cible non déformable à rem- placer dans la scène et on la caractérise, en position et en dimensions, par référence à des repères proches liés à la zone cible dans chaque image ;
- on détermine la position, par rapport auxdits re¬ pères, à donner à un modèle ou patron superposable à la zo- ne cible, mémorisé sous forme numérique ;
- pour chaque image particulière, on détermine, automatiquement, par un calcul de corrélation fondé sur les repères, la transformation géométrique à faire subir au modèle pour qu'il corresponde aux variations d'aspect de la zone cible, dans toutes les images successives d'un même plan et on substitue dans l'image les pixels représentatifs du modèle aux pixels représentatifs de la zone cible.
2. Procédé selon la revendication 1, caractérisé en ce qu'on détermine la position et 1'orientation de la zone cible par identification de repères constitués par des élé¬ ments appartenant à la cible elle-même, tels que des élé¬ ments de contour ou une trame.
3. Procédé selon la revendication 1 ou 2, caracté¬ risé en ce qu'on mémorise plusieurs représentations de la cible à des échelles et éventuellement des orientations différentes et du modèle aux mêmes échelles et orientations et en ce qu'on détermine la transformation géométrique op¬ timale permettant de passer de la zone cible dans 1'image courante à une des représentations afin de faire subir la tranformation correspondante à la représentation associée du modèle avant substitution. 4. Procédé selon la revendication 3, caractérisé en ce qu'on détermine également la transformation colorimétri¬ que optimale permettant de passer de la zone cible de 1'image courante à une des représentations en vue de l'imposer à la représentation associée du modèle ou patron.
5. Procédé selon la revendication 3 ou 4, caracté¬ risé en ce qu'on détermine la tranformation géométrique et/ou colorimétrique optimale en effectuant plusieurs tranformations différentes et en comparant leurs résultats ou en ce qu'on adopte une synthèse des tranformations don¬ nant les meilleurs résultats.
6. Procédé selon 1'une quelconque des revendica¬ tions précédentes, caractérisé en ce qu'on détecte la pré¬ sence d'obstacles entre l'appareil de prise de vues four- nissant la séquence d'images, par comparaison entre l'image courante transformée et 1'image courante et en ce qu'on substitue les pixels représentatifs du modèle uniquement dans les portions ne présentant pas de différence apprécia¬ ble. 7. Procédé selon la revendication 1, caractérisé en ce qu'on effectue un filtrage temporel prédictif ou récur- sîf sur les modèles mathématiques de transformation.
8. Dispositif de modification du contenu des images d'une séquence d'images présentant un degré élevé de corré- lation entre images successives, comprenant des moyens de prise de vues fournissant chaque image sous forme d'une matrice ou pixels, les valeurs radiométriques (luminance et éventuellement chrominance) de chaque pixel étant sous for¬ me numérique, caractérisé en ce qu'il comprend également : - des moyens de mémorisation de repères de locali¬ sation d'une zone cible dans l'image et de représentations de la zone cible à plusieurs échelles et de mémorisation de représentations aux mêmes échelles d'un modèle ou patron superposable à la zone cible, - des moyens pour reconnaître les repères dans l'image courante et en déduire la position et les dimen- sions de la zone cible, et
- des moyens pour déterminer automatiquement pour chaque image, par un calcul de corrélation fondé sur les repères, la transformation géométrique à faire subir au modèle pour qu'il corresponde aux variations d'aspect de la zone cible, dans toutes les images successives d'un même plan et pour substituer, dans l'image, les pixels représen¬ tatifs du modèle aux pixels représentatifs de la zone cible.
说明书全文

PROCEDE ET DISPOSITIF DE MODIFICATION DE ZONE D'IMAGES

SUCCESSIVES

L'invention a pour objet un procédé et un dispo¬ sitif de modification d'une zone d'images successives constituant une séquence, représentant une scène évolutive, fournies par au moins une caméra.

Le terme "séquence d'images" doit être interprété dans un sens large et comme désignant aussi bien le signal image (analogique ou numérique) produit en temps réel par une caméra ou une régie vidéo qu'une séquence enregistrée sur un support d'archivage inscriptible (numérique ou analogique), sur un support photographique, magnétique ou optique, sous une forme autorisant une visualisation, une restitution ou une diffusion ultérieure à une cadence équivalente à la cadence temps-réel.

De façon plus précise, l'invention a pour objet un procédé et un dispositif permettant de remplacer une fraction d'image correspondant à une région précise ou à un objet de la scène qu'on dénommera ci-dessus "zone cible", par une représentation d'une autre région précise, ou d'un autre objet, réel ou non réel, qu'on dénommera ci-dessous "patron". Les domaines d'application de l'invention sont extrêmement variés. On peut citer, de façon non limitative :

- la publicité, le procédé permettant d'ajouter ou de remplacer des panneaux publicitaires lors des trans- missions ou retransmissions de manifestations sportives ou autres ; la production d'oeuvres audio-visuelles, notamment de fiction, le procédé permettant alors de remplacer le décor d'un tournage d'une production par un autre décor ;

- la simulation, où le procédé permet d'insérer la représentation d'un objet réel dans un environnement cons¬ titué par une image de synthèse.

On connaît déjà de nombreux procédés utilisables pour modifier une zone cible dans une image. On peut par exemple identifier la zone cible par une couleur particu¬ lière, de préférence inutilisée dans le reste de l'image pour éviter toute ambiguïté. Mais ce procédé ne tient pas compte des conditions d'acquisition de l'image, par exemple des mouvements de la caméra. Le patron ne peut en consé- quence suivre l'évolution de la scène de façon satisfai¬ sante.

On sait également, en synthèse d'image, générer un patron qu'on incruste dans une zone cible, mais à condition que la position, la focale et la mise au point ne changent pas.

Ces procédés, ainsi que celui utilisant des plans superposés mis en oeuvre pour réaliser des films associant des scènes réelles et des personnages de dessins animés, ont des limitations qui excluent leur emploi ou font apparaître les truquages chaque fois que les conditions d'acquisition de l'image varient dans le temps de façon significative.

On connaît enfin (EP-A-0360576) un procédé permet¬ tant de créer une séquence composite à partir de deux sé- quences d'image vidéo. Un opérateur indique manuellement au moins quatre points de référence représentant les coins d'un polygone et un circuit de transformation modifie les adresses des pixels dans le polygone pour permettre la com¬ binaison. Ce procédé exige une intervention manuelle à chaque image.

L'invention vise à fournir un procédé de modifica¬ tion d'une même zone dans des images successives d'une même séquence, répondant mieux que ceux antérieurement connus aux exigences de la technique, utilisable même lorsque les conditions d'acquisition évoluent, notamment en cadrage, en focale et en mise au point, par prise en compte automatique de cette évolution.

Pour cela 1'incrustation de la représentation du Patron est précédée d'une adaptation de cette représen- tation destinée à la faire exactement correspondre à la représentation de la zone cible dans l'image globale.

L'invention propose en conséquence un procédé de modification du contenu d'une séquence d'images représen¬ tant une scène évolutive et présentant un degré élevé de corrélation entre images successives d'un même plan, les images étant représentables par une matrice de pixels, caractérisé en ce que : on identifie une zone cible non déformable à remplacer dans la scène et on la caractérise, en position et en dimensions, par référence à des repères liés à la zone cible dans chaque image ; on détermine la position, par rapport auxdits repères, à donner à un patron super¬ posable à la zone cible, mémorisé sous forme numérique ; pour chaque image particulière, on détermine, automati- quement, par un calcul de corrélation fondé sur les repères, la transformation géométrique à faire subir au patron pour qu'il corresponde aux variations d'aspect de la zone cible, dans toutes les images successives d'un même plan ; et on substitue, dans l'image, les pixels représentatifs du modèle aux pixels représentatifs de la zone cible.

Le terme "plan" désigne une séquence d'images représentant la même scène acquise par la même caméra sans rupture temporelle ou spatiale brutale. Lorsque l'invention est mise en oeuvre en temps différé, les repères peuvent être indiqués manuellement sur la première image de chaque plan pour faciliter le calcul. Cette opération peut s'effectuer par pointage à l'aide d'un crayon à lumière ou sur une tablette. En temps réel, la recherche peut s'effectuer dans l'ensemble de l'image ou, plus souvent, dans une fraction déterminée seulement. Après la première image la recherche par traitement d'image est facilitée du fait que les déplacements de la zone cible et ses variations de grandeur d'une image à la suivante sont limitées par les caractéristiques de la caméra. Elle s'effectue par la recherche dans la zone cible de "points caractéristiques" (typiquement des angles de lignes de contraste) répartis et dont la représentation est mémorisée. Si par exemple la zone cible est un panneau publicitaire portant des caractères alpha-numériques, les "points caractéristiques" peuvent être des graphèmes par¬ ticulièrement représentatifs, tels que jonctions entre jam¬ bages et barres transversales de certaines lettres. L'iden¬ tification s'effectue alors sur des voisinages dont la taille est par exemple de 6 x 8 pixels, par des procédés de reconnaissance de forme qui sont bien connus et sont effi¬ caces quelle que soit l'échelle de l'image. Lorsque l'image est affectée de bruit, il est avantageux de rechercher 10 à 20 points caractéristiques pour disposer de reconnaissances en nombre suffisant. Ensuite on déduit, de la position des points caractéristiques, quatre repères au moins ayant une répartition géométrique caractéristique, tels que les quatre coins d'un panneau publicitaire.

L'invention est applicable même lorsque la scène comporte des obstacles fixes ou mobiles placés entre la caméra et la zone cible et qui peuvent s'interposer entre les deux : dans ce cas les parties de 1'image correspondant à ces obstacles seront identifiées par leur défaut de cor¬ rélation avec l'environnement, à condition que l'obstacle diffère du fond par sa luminance et/ou sa couleur et seule sera remplacée la partie de la zone cible qui n'est pas masquée par l'obstacle.

Dans tous les cas, le procédé suivant l'invention utilise la continuité spatiale et temporelle de la scène en cours d'un même plan. L'invention propose également un dispositif permettant de mettre en oeuvre le procédé ci-dessus défini, comprenant des moyens de prise de vues fournissant chaque image sous forme d'une matrice de pixels, les valeurs radiométriques (luminance et éventuellement chrominance) de chaque pixel étant sous forme numérique, caractérisé en ce qu'il comprend également : des moyens de mémorisation de repères de localisation d'une zone cible dans l'image et de représentations de la zone cible à plusieurs échelles et de mémorisation de représentations aux mêmes échelles d'un modèle ou patron superposable à la zone cible,

- des moyens pour reconnaître les repères dans 1'image courante et en déduire la position et les dimensions de la zone cible, et

- des moyens pour déterminer automatiquement pour chaque image, par un calcul de corrélation spatiale fondé sur les repères, la transformation géométrique à faire subir au modèle pour qu'il corresponde aux variations d'aspect de la zone cible, dans toutes les images successives d'un même plan et pour substituer, dans l'image, les pixels représentatifs du modèle aux pixels représentatifs de la zone cible.

L'invention sera mieux comprise à la lecture de la description qui suit, d'un mode particulier de réalisation, donné à titre d'exemple non limitatif. La description se référé aux dessins qui l'accompagnent, dans lesquels :

- la figure 1 est un schéma de principe montrant une scène observée, un objet cible, un obstacle et une caméra de prise de vue ;

- la figure 2 est une représentation d'images de la scène à des instant successifs ;

- les figures 3A et 3B constituent un organigramme de principe du procédé ;

- les figures 4A à 4E constituent un organigramme de mise en oeuvre du procédé dans un cas particulier (images prises par une caméra pouvant tourner).

Le procédé suivant l'invention sera décrit dans son application à la substitution d'un patron, constitué par un panneau publicitaire de dimensions et d'emplacement fixes, à une cible constituée par un autre panneau publicitaire. Les deux panneaux sont rectangulaires et identifiables par les coins du panneau. Dans la cible sont définis des "points caractéristiques", généralement au nombre de 10 à 20, constitués par des graphèmes facilement identifiables. Si la cible contient des caractères alpha-numériques, ces graphèmes sont par exemple des croisements entre jambages, définis dans un voisinage qui est par exemple de 6 x 8 pixels.

Cette application peut notamment être utilisée dans le cas d'une manifestation sportive diffusée dans plusieurs pays avec des panneaux publicitaires différents.

ETAPES PRELIMINAIRES

Une étape préliminaire consiste à sélectionner et à mémoriser la cible, ou la zone d'image qui la contient, sous forme de plusieurs représentations :

- à des échelles différentes, dans toute la plage de variation que peut couvrir la variation de focale de la caméra de prise de vue, par exemple pour des échelles successives découlant l'une de l'autre par multiplication par racine de deux pour faciliter la corrélation ; éventuellement, en cas de cible dont l'orientation par rapport à la caméra peut varier, à des perspectives différentes. On extrait ensuite, à l'aide d'un calculateur, des informations caractéristiques liées à la cible, pour les différentes échelles choisies. Ces informations caractéris¬ tiques sont des points anguleux de lignes de contraste. Elles peuvent être : - des éléments de la cible elle-même, tels que des graphèmes ayant une disposition relative invariable, des points anguleux de contour, une répartition de couleurs,

- et/ou des éléments occupant dans la scène une position invariable par rapport à la cible, entourant celle-ci et aisément identifiables à l'aide des critères ci-dessus.

Une autre étape préliminaire consiste soit à sélec¬ tionner le "patron" dans une bibliothèque d'images numé¬ riques, soit, si ce modèle n'existe pas encore, à le faire créer par un graphiste, qui utilise un dispositif matériel et logiciel du type palette graphique (harriette de Quantel -1990-, ou TIPS sur carte ATT Vista -1988-) ou encore à le créer en numérisant une image acquise par une caméra vidéo ou un scanner. Cette opération de création est classique et hors du cadre de l'invention. A partir de cette image, on crée plusieurs images dérivées, correspondant aux mêmes échelles que celles de la cible.

ACQUISITION

Pour limiter les exigences en matière de vitesse de calcul, le dispositif de mise en oeuvre de l'invention opérera généralement en temps différé, à partir d'images mémorisées. Pour simplifier la représentation, la figure 1 montre cependant à la fois les moyens d'acquisition des images et le dispositif de modification proprement dit.

La figure 1 montre, à titre d'exemple, une caméra 10, qu'on supposera à focale variable, dirigée vers une scène 12 contenant une cible 14 à remplacer, cette cible étant dans une position invariable par rapport à deux objets 16 et 18 et pouvant être partiellement ou totalement masquée par un obstacle 20. La caméra 10 est reliée à un organe d'enregistrement, tel qu'un magnétoscope, lorsque la transformation s'effectue en temps différé. En cas de fonctionnement en temps réel, la caméra attaque directement un calculateur 22, par l'intermédiaire d'un convertisseur analogique-numérique si elle ne fournit pas 1'image sous forme d'une matrice de pixels identifiés chacun par un mot de plusieurs bits représentant des valeurs de luminance et éventuellement de chrominance.

Le procédé suivant 1'invention traite chaque plan indépendamment des autres : pour chaque plan, les images successives sont acquises par la même caméra 10 et présen¬ tent une forte corrélation spatiale et temporelle 1'évolu- tion de l'image étant progressive. Comme le montre la figu¬ re 2 la zone cible 14 peut varier en dimensions, et être dans certaines images masquée par un obstacle 15 (images n° 1, 2 et 3 sur la figure 2).

Le calculateur extrait ensuite des informations caractéristiques du panneau cible d'une part, du panneau patron d'autre part, pour la même échelle. Ces informations peuvent être :

La caméra 10 peut être munie de moyens indiquant au calculateur 22 les variations de paramètres liés à la caméra, tels que la focale, permettant de faciliter la mise en correspondance d'éléments caractéristiques du panneau cible et d'éléments correspondants parmi les diverses re¬ présentations du mobile, mémorisées aux différentes échelles ou obtenues par interpolation ; un suivi complet de la cible par ce moyen n'est cependant pas satisfaisant, à cause des vibrations inévitables, de l'accumulation des erreurs et de la nécessité d'un matériel de prise de vues non standard. Il est plus avantageux d'estimer la variation de focale de la caméra, les angles de site et de gisement (donc l'orientation sous laquelle la caméra acquiert le panneau cible) à l'aide d'un modèle mathématique.

Ce modèle peut être établi en faisant intervenir les coordonnées x et y des coins du panneau. On sait en particulier que les variations de focale se traduisent en x par une variation de la forme : X = ax + b ( 1 )

et les variations d'orientation (perspective conique) par =

X = (ex + d)/(ex + f) (2) où a, ... f sont des constantes. Souvent le modèle (2) peut être modifié sous forme d'un polynôme du second degré;

La première opération effectuée sur 1'image cou- rante par le calculateur 22 est la recherche du panneau cible 14, par recherche de la meilleure correspondance possible avec les informations caractéristiques mémorisées. Cette recherche s'effectue par des méthodes classiques de corrélation numérique, entre des points caractéristiques du patron, aux différentes échelles, et les points caractéris¬ tiques extraits de chaque image. Elle tient compte de ce que des obstacles peuvent masquer certains des points caractéristiques.

La recherche peut être simplifiée si elle tient compte des contraintes :

- d'évolution géométrique, imposées par le dispo¬ sitif (les vitesses de variation de focale et de rotation étant limitées) ;

- d'évolution de teintes imposées par le dispositif ou la scène.

Dans le cas où seules sont à prendre en compte des transformations de type "similitude géométrique", provo¬ quées par des variations de longueur focale avec de faibles rotations, il suffit d'un modèle mathématique de déforma- tion géométrique, du genre utilisé en télédétection dia- chronique image à image (par exemple mise en oeuvre dans le système ATG. Atelier de Traitement Géométriques du CNES -1986- disponible auprès de la Société Européenne de Propulsion). Il est obtenu par minimisation des résidus à une fonction polynomiale de degré un ou deux, tant que l'optique de la caméra n'introduit pas de distorsions significatives, c'est-à-dire d'aberrations dues à une trop grande proximité de la cible.

Dans le cas contraire où des modifications impor¬ tantes d'orientation interviennent, le modèle mathématique de déformation géométrique fait intervenir les modifications de forme du panneau cible sur l'image courante ; on utilise alors la modélisation sous forme d'un rapport de deux polynômes, comme indiqué ci-dessus.

Par filtrage temporel passe-bas sur les modèles géométriques issus de plusieurs images successives (par exemple moyenne arithmétique sur deux à quatre images) d'un même plan, la stabilité temporelle des modèles mathéma¬ tiques, donc leur qualité, peut être estimée. On peut en conséquence choisir, parmi plusieurs modèles, celui qui représente le mieux la transformation géométrique. En utilisant des points caractéristiques nombreux et répartis dans l'ensemble de la cible, on peut identifier celle-ci même lorsque des points sont derrière un obstacle.

Si les informations de focale et d'orientation ne sont pas fournies par des capteurs portés par la caméra et si on connaît la taille de la cible, le modèle mathématique de transformation géométrique permet également d'estimer la focale et les angles de site et de gisement.

A titre d'exemple, les informations caractéristi- ques utilisées pour l'estimation de la focale et des angles peuvent être, dans le cas d'une cible constituée par un panneau publicitaire rectangulaire horizontal à fond blanc et d'une caméra n'effectuant que des déplacements en site et en gisement, les quatre graphèmes constitués par les quatre coins du panneau. Elles peuvent être des marques de forme particulière sur un fond uniforme (mur, toile, ... ) dans le cas où le patron doit être incrusté sur un tel fond à la restitution : la répartition des marques sera alors homothétique de celle de graphèmes particuliers du patron. COLORIMETRIE

Une fois ainsi déterminé le modèle mathématique de transformation géométrique, il est en général nécessaire d'estimer la transformation des teintes entre le panneau cible type, (image principale et représentations) et la zone gui lui correspond dans l'image courante, c'est-à-dire de calculer un modèle mathématique de transformation colorimétrique. Une telle transformation est souvent nécessaire, par suite des variations d'eclairement et des caractéristiques de la caméra. Le modèle mathématique est une transformation linéaire fondée sur une comparaison entre uniquement les voisinages et des points du panneau cible servant à la recherche effective de correspondance. Ce modèle peut être élaboré par régression linéaire sur l'intensité et sur les composantes de couleurs R, V, B. Il faut en effet exclure les points qui risqueraient d'appar¬ tenir à un obstacle interposé (images n° 1, 2 et 3 de la figure 2). Dans ce cas encore on effectue un filtrage temporel d'estimation de stabilité permettant d'écarter 1'influence du bruit inhérent à la quantification des couleurs.

Toutes ces opérations apparaissent sur le trajet principal de l'organigramme de principe de la figure 3A et conduisent, pour chaque image, à l'élaboration de deux transformations (géométrique et colorimétrique) permettant de passer d'une représentation mémorisée de la cible à l'image effective de la zone cible.

ESTIMATION EVENTUELLE DE LA FTM

A ce stade, il est utile d'estimer la fonction de transfert de modulation, c'est-à-dire la différence de net- teté entre le panneau cible de l'image courante et sa re¬ présentation mémorisée. Pour cela on compare les spectres de fréquence des voisinages des points caractéristiques correspondants. Cette analyse globalise le filé c'est-à- dire l'effet du mouvement, et les défauts de mise au point.

TRANSFORMATION

On applique alors, à la représentation mémorisée du panneau cible, (1) le modèle de transformation géométrique, puis (2) le modèle de transformation des teintes, et enfin - dans certains cas - (3) la fonction de transfert de modulation.

Chacune de ces transformations est une transforma¬ tion linéaire. On peut donc globaliser leur application.

A cette étape, on dispose d'une image courante transformée de la séquence, où le panneau cible a été rem¬ placé par la représentation du panneau cible (image du mo¬ dèle de la cible préalablement généré).

Les pixels de l'image courante transformée qui dif¬ fèrent de 1'image courante initiale correspondent aux points de l'image courante initiale qui représentent autre chose que le panneau cible, donc à un obstacle interposé entre la caméra et le panneau.

L'ensemble de ces points constitue un masque associé aux obstacles. Il sera donc possible de n'incruster que la portion du patron correspondant à la zone non masquée (obstacle opaque) ou de modifier localement le patron avant incrustation (obstacle semi-transparent). La substitution du patron s'effectue en effet pixel par pixel.

En particulier, un obstacle mobile peut créer un effet de semi-transparence : un obstacle ajouré (filet de tennis) ou de petite taille (ballon) peut avoir le même effet.

Pour traiter ce cas, le procédé suivant l'invention utilise, dans un mode particulier de réalisation, une carte de transparence fondée sur une évaluation a priori ou ajus¬ tée en fonction de la scène réelle. Par exemple on affecte aux points non masqués du panneau une transparence égale à un, et aux points correspondant aux obstacles une transpa¬ rence égale à zéro. Pour les obstacles semi-transparents, ou pour les objets rapidement mobiles, on affecte aux points correspondants une valeur intermédiaire. On fait l'hypothèse que, à l'échelle où la scène est observée, les obstacles non transparents sont compacts, ce qui permet de filtrer spatialement la carte de transparence par une méthode de "fermeture" classique en morphologie mathéma ique.

La carte de transparence peut être filtrée tempo- rellement pour des obstacles fixes ; il est aussi possible de filtrer temporellement les obstacles rapidement mobiles, en faisant l'hypothèse que leur taille varie lentement. Ce sont alors les opérations d'ouverture et de fermeture clas¬ siques de morphologie mathématique qui peuvent être uti¬ lisées. On pourra en trouver une description dans le livre de J. Serra "Image analysis and mathematical morphology", 1982, Académie Press, Londres. Dans le cas où une confusion de couleur est possible entre un obstacle et les points du panneau cible qu'il masque, on améliorera notablement la discrimination de 1'obstacle en utilisant une caméra qui serait munie non pas de trois bandes spectrales, mais d'au moins quatre bandes spectrales, étendant la capacité de mesure des radiométries des points de la scène observée en dehors du spectre visible par l'oeil. Cette méthode est déjà utilisée en analyse de la végétation sur les prises de vue de satel¬ lite : la quatrième bande est souvent dans l'IR proche.

REMPLACEMENT

Une fois ces opérations effectuées on dispose de la totalité des informations nécessaires au remplacement de la cible par le patron. Ce remplacement exige successivement (a) le trai¬ tement du panneau patron mémorisé, puis (b) la substitution des pixels obtenus à ceux de 1'image fournie par la caméra et éventuellement mémorisée. (a) Le traitement implique d'effectuer sur l'image du panneau patron, à l'échelle correspondant à celle utilisée pour 1'identification du panneau cible, les mêmes transformations géométrique, colorimétrique et éventuell¬ ement de filé ; on applique ensuite la fonction de trans- parence (identité en cas de transparence égale à 1, suppression en cas de valeur zéro, atténuation en cas de semi-transparence). Le résultat obtenu est incrusté dans l'image courante avant stockage ou diffusion.

Le filtrage temporel peut être purement prédictif et ne tenir compte que des images passées. Il peut, à con¬ dition d'utiliser une mémoire tournante dont la capacité est de quelques images, constituant une ligne à retard, utiliser un filtrage partiellement ou totalement a poste¬ riori ou récursif. Le filtrage temporel, s'il est utilisé, exige de détecter chaque changement de plan qui se traduit par une discontinuité de la transformation, progressive et continue dans un même plan.

Les changements de plan peuvent être indiqués par un capteur équipant la régie. Mais on peut aussi -et c'est cette solution qui sera généralement adoptée- détecter de façon automatique chaque changement de plan par la discon¬ tinuité qu'il introduit dans le contenu de l'image de la scène observée. Par exemple, en cas de zoom, il y aura ré-estima¬ tion par recherche d'échelle de représentation du panneau cible qui fait le mieux correspondre la représentation avec le panneau cible dans la scène courante. Cette opération peut être effectuée par une méthode de corrélation de lis- tes des points caractéristiques du type dit "branch and bound". On reprend alors le processus décrit plus haut. On compare aussi les estimations des angles de site et gise¬ ment de prise de vue, ce qui permet de reconnaître la camé¬ ra qui effectue la prise de vue du nouveau plan, à condi¬ tion qu'elle n'ait pas été déplacée depuis la précédente prise de vue qu'elle a acquis.

Les opérations successives à effectuer sont énumé- rées sur les figures 3A et 3B.

Le mode particulier de réalisation qui vient d'être décrit est bien adapté au cas d'une cible constituée par une surface plane. L'invention est également utilisable sans modification importante dans le cas d'une cible dont la surface peut être décomposée en facettes assimilables à des portions planes, ainsi que cela est fait couramment en synthèse d'images. La décomposition de la cible d'une part, et celle du patron d'autre part, en plusieurs facettes peuvent être effectuées séparément et sans aucune relation.

Le calculateur 22 peut avoir la constitution de principe montrée en figure 1, certains composants pouvant être de même nature que ceux décrits dans le document EP-A-0 360 576 déjà mentionné. Il comporte une mémoire d'images 24 de grande capacité (disque dur par exemple) fournissant chaque image à son tour à un processeur de signal 26. Le processeur est programmé pour identifier et localiser les points caractéristiques de la cible, mémo¬ risés sous forme de voisinages dans une mémoire 28. Le pro¬ cesseur fournit à un comparateur 30 les éléments nécessai¬ res pour sélectionner la représentation appropriée de la zone cible dans la mémoire 28 et la transférer dans une mémoire tampon 32. Un comparateur 34, pixel à pixel, permet de déterminer les parties de la cible masquées par un obstacle et de fournir à un circuit de combinaison 36 nécessaires au remplacement des pixels non masqués par les pixels correspondants de la représentation appropriée du patron, provenant d'une mémoire 38. L'image résultante peut être stockée en mémoire de masse 40 et affichée sur un moniteur 42.

Les figures 4A à 4E montrent, en détail, les étapes du procédé dans le cas particulier d'une scène vue par une seule caméra à focale variable et pouvant tourner. La figure 4A montre la préparation du modèle de cible, à partir d'un magnétoscope, avec initialisation, pour chaque plan, en désignant (par exemple à l'aide d'une tablette graphique et d'un stylet) deux points diagonaux opposés de la cible. La figure 4B montre l'acquisition et la locali¬ sation du panneau cible.

La figure 4C donne des étapes qui ne sont néces¬ saires que lorsque la transformation colorimétrique doit être estimée et lorsque des obstacles ou des ombres doivent être détectées.

La figure 4D donne les étapes d'incrustation du modèle de patron à l'échelle appropriée dans l'image.

Enfin la figure 4E donne les étapes de stockage sur magnétoscope.

高效检索全球专利

专利汇是专利免费检索,专利查询,专利分析-国家发明专利查询检索分析平台,是提供专利分析,专利查询,专利检索等数据服务功能的知识产权数据服务商。

我们的产品包含105个国家的1.26亿组数据,免费查、免费专利分析。

申请试用

分析报告

专利汇分析报告产品可以对行业情报数据进行梳理分析,涉及维度包括行业专利基本状况分析、地域分析、技术分析、发明人分析、申请人分析、专利权人分析、失效分析、核心专利分析、法律分析、研发重点分析、企业专利处境分析、技术处境分析、专利寿命分析、企业定位分析、引证分析等超过60个分析角度,系统通过AI智能系统对图表进行解读,只需1分钟,一键生成行业专利分析报告。

申请试用

QQ群二维码
意见反馈