PROCEDE DE TRAITEMENT D'IMAGES D'UN SIMULATEUR

Procédé de traitement d'images d'un simulateur

Domaine de l'Invention

La présente invention a pour objet un procédé de traitement d'images d'un simulateur. La présente invention trouve une application particulièrement avantageuse, mais non exclusive, dans le domaine de la simulation pour l'entraînement et l'instruction aux tirs de missiles antichars sol/sol ou sol/air. Le procédé de l'invention peut être appliqué à tout dispositif où un opérateur vise et tire au travers d'une lunette ou d'un écran moniteur. L'invention concerne également un simulateur comportant un tel procédé.

Un but de l'invention est de réaliser une simulation de tirs sans nécessité de mettre en œuvre des cibles réelles ni d'utiliser de missiles réels. Etat de la technique

Actuellement, les simulateurs de tirs sont destinés à l'entraînement, à l'amélioration des tirs effectués par un tireur et au maintien de leur niveau. Ils sont utilisés pour réaliser des exercices de tirs dont les difficultés sont préalablement définies. Ces exercices sont réalisés dans des conditions proches de la réalité, basées sur une réalité virtuelle. Cette réalité virtuelle est simulée par un ordinateur fournissant une image synthétique dans laquelle l'ordinateur incruste des images virtuelles, représentant des cibles.

La réalité virtuelle est ainsi une simulation par ordinateur d'un environnement virtuel tridimensionnel, qui est par exemple un champ de bataille. Les cibles sont fixes ou mobiles dans l'image synthétique. L'environnement virtuel exploite la puissance de l'ordinateur et présente des animations et des caractéristiques tridimensionnelles de la réalité. Le simulateur comporte un système audio permettant de reproduire une ambiance sonore intégrée à la réalité virtuelle et un enregistrement des dialogues opérationnels.

Cependant de tels simulateurs de tirs basés sur la réalité virtuelle présentent des inconvénients. En effet, ces simulateurs à base de réalité virtuelle présentent un environnement visuel dont l'illusion tridimensionnelle est produite activement par la majeure partie du cerveau de l'utilisateur. Par exemple, cette réalité virtuelle est obtenue en fournissant une image différente à chaque œil afin de créer le relief présent en vision naturelle. De ce fait, les yeux n'accommodent pas de la même façon en environnement virtuel et dans le monde réel. En réalité virtuelle, les objets semblent plus près ou plus loin qu'ils ne le sont en réalité, entraînant une désorientation causée par une surcharge sensorielle, un déficit visuel temporaire sérieux et des symptômes potentiellement incapacitants ressemblant au mal des transports. Ainsi, un simulateur basé sur la réalité virtuelle ne peut pas excéder un certain temps de simulation pour l'utilisateur. Ceci entraîne des pertes de productivité et d'efficacité de l'entraînement.

Pour aider à la résolution de ces inconvénients des simulateurs à base de réalité virtuelle, il existe dans l'état de la technique de nouveaux simulateurs à base de réalité augmentée. Cette réalité augmentée comporte une simulation par un ordinateur fournissant une image vidéo d'un paysage réel captée par une caméra dans laquelle sont incrustées des images virtuelles. Cette image vidéo est captée puis numérisée et sauvegardée avant son utilisation en simulation. En faisant varier le contraste de ces deux images, on arrive à les visualiser avec une qualité d'image proche de la réalité.

Cependant, ces nouveaux simulateurs présentent eux aussi des inconvénients. En effet, le fait de pré-filmer puis d'enregistrer l'image vidéo entraîne des situations de simulations spécifiques, d'où une limitation à des situations prédéterminées. En outre, il faut d'importantes ressources en calcul et en mémoire pour obtenir un réalisme de bonne qualité.

En outre, l'image vidéo pré-filmée est une image bidimensionnelle ne comportant aucune information de courbe de niveaux des différents éléments présents dans cette image. De ce fait, les images virtuelles sont déplacées dans cette image vidéo sans aucune considération de la réalité de la scène filmée. Ceci entraîne un déplacement visualisé irréaliste sur le viseur ou sur le moniteur, des images virtuelles dans l'image vidéo.

Pour ces deux types de simulateurs, l'affichage de la réalité augmentée ou de la réalité virtuelle est réalisée par projection sur une surface de grande dimension, de type mur d'images ou grand écran. Cet affichage peut être effectué par un renvoi à l'infini ou sur un moniteur à travers un épiscope. L'opérateur en formation sur le simulateur observe alors ce mur ou ce moniteur au travers de l'objectif du simulateur. Ceci, ajouté à d'éventuels éléments de décor ou à des matériels spécifiques au simulateur constituent une infrastructure spécifique importante. Le simulateur est ainsi restreint à une utilisation en salle d'entraînement. Avec ces types de simulateurs, à cause de spécifications exigeantes, le coût et l'encombrement sont augmentés.

L'utilisation de ces types de simulateurs n'est pas adéquate pour un entraînement ou un apprentissage dans des conditions réelles d'entraînement.

Exposé de l'invention

L'invention a justement pour but de remédier aux inconvénients des techniques exposées précédemment. Pour cela, l'invention propose un procédé de traitement d'images d'un simulateur permettant de fusionner une image réelle, prise dans des conditions de placement réel du simulateur dans un champ de tir réel, et qui est une image vidéo numérisée, à une image virtuelle, en temps réel. Le simulateur est alors apte à réaliser une simulation, dans un viseur du poste de tir du simulateur, et dans les conditions d'environnement réel d'un tir de missile vers des cibles virtuelles présentées sur des paysages réels présents devant le poste de tir.

L'invention met en œuvre une interface homme-simulateur réalisée par un moniteur positionné immédiatement devant le viseur du poste de tir. Ce moniteur permet d'occulter le paysage réel et présente au viseur une image animée élaborée par un système de prise de vues de ce paysage réel par des moyens de réalité augmentée du simulateur. Dans une variante, le simulateur peut ne pas comporter de viseur. Dans ce cas, l'opérateur visualise l'image animée directement sur le moniteur.

Le moniteur est réalisé de telle sorte qu'il est optimisé de façon à prendre en compte le champ couvert par le viseur du poste de tir et le grossissement de ce viseur.

L'invention met également en œuvre la reproduction des effets visuels propres aux tirs de missiles antichars ainsi que des effets sonores. Ces effets visuels sont incrustés dans l'image présentée sur le viseur. Ces effets visuels peuvent être l'occultation de l'image au départ du missile puis la visualisation du missile. Et lors de la fin de la simulation d'un tir, des effets visuels et sonores réalistes sont présentés tels qu'explosions, fumées, etc.

L'invention met ainsi en œuvre un procédé de traitement d'images permettant de simuler un tir sans nécessité de mettre en œuvre des cibles réelles, ni d'utiliser de missiles réels. Lors de la réalisation de l'invention, on a mis en outre en évidence que la différence de luminosité de l'image vidéo numérisée avec celle de l'image virtuelle entraîne des difficultés pour réaliser une fusion de ces deux images. En effet, lors du balayage de l'image vidéo dans laquelle est fusionnée l'image virtuelle, des ressources de calcul assez importantes sont nécessaires pour effectuer cette fusion, entraînant un temps d'exécution relativement important pour visualiser les deux images fusionnées. Ces deux images ayant des luminosités différentes entraînent une visualisation avec une perte de qualité pour l'image virtuelle. Pour résoudre ce problème ainsi que surtout pour augmenter l'effet réaliste, l'invention comporte des moyens pour déterminer une image tridimensionnelle de l'image vidéo. Cette image tridimensionnelle est obtenue à partir de la position réelle (x, y, z) du système de prise de vue du simulateur. Cette image tridimensionnelle est fournie par une base de données géographique prédéfinie. L'invention comporte des moyens pour fusionner l'image tridimensionnelle avec l'image virtuelle, en même temps que l'acquisition de l'image vidéo est exécutée. L'invention comporte également des moyens pour superposer l'image vidéo à une visualisation de l'image fusionnée, afin de coloriser des éléments de l'image fusionnée, de recadrer des contours des éléments de l'image fusionnée, et de rajouter des éléments de l'image vidéo non présents dans l'image fusionnée. L'invention augmente ainsi le réalisme de la réalité augmentée.

Grâce à la définition de l'affichage, le réalisme des images virtuelles présentées et de leur évolution dans le paysage réel est accru. De même, l'invention permet une légèreté et une portabilité du simulateur grâce à un affichage des images produites par le moniteur dans la ligne de visée du tireur et non par projection comme dans l'état de la technique. L'invention est également adaptable à tous viseurs directs et en particulier à tout type de postes de tir de missile antichar. Son caractère de simulation en temps réel prend en compte tous les éléments de l'environnement, la trajectoire des cibles, le mouvement du poste de tir, etc.

Le simulateur de l'invention permet également une rapidité de mise en œuvre dans des situations géographiques ou opérationnelles non prédéterminées par l'utilisation de bases de données géographiques décrivant le terrain. L'invention peut être mise en œuvre par des matériels standards, notamment : des plates-formes informatiques, des cartes électroniques, des cartes d'acquisition, cartes graphiques, une caméra numérique, un moniteur. L'avantage de cette standardisation du matériel est de rendre le système indépendant du matériel facilitant ainsi le portage ultérieur du système vers de nouveaux matériels sans limitations aux éléments disponibles au moment du développement du simulateur.

Plus précisément, l'invention a pour objet un procédé de traitement d'images d'un simulateur, dans lequel a) - on capture une image vidéo (102) d'une scène (7) d'un paysage

(P) réel, au moyen d'une caméra (6), b) - on numérise l'image vidéo en associant à chaque pixel (103) de l'image une valeur numérique comportant des informations de luminance et/ou de chrominance, caractérisé en ce qu'il comporte les étapes suivantes : c) - on élabore une image tridimensionnelle panoramique du paysage (P') en la prélevant dans une base d'images de terrain (19), ce prélèvement dépendant d'une position du simulateur dans le paysage réel, d) - on élabore des images d'objets virtuels (1 10) dans une base d'images virtuelles (1 18), e) - on fusionne l'image tridimensionnelle panoramique du paysage avec les images des objets virtuels, et on obtient une image fusionnée (1 1 1 ), f) - on élabore une image à visualiser (1 16) de l'image fusionnée et on la visualise sur un moniteur (M) du simulateur, sous un azimut ( B1 ) de la caméra, l'azimut étant un angle d'une direction de visée (D) de la caméra par rapport à une direction de référence, et g) - on superpose sur le moniteur, l'image à visualiser avec l'image vidéo numérisée.

Selon des modes de réalisation non limitatifs, le procédé selon l'invention comporte les caractéristiques supplémentaires suivantes :

- l'étape d'élaboration de l'image tridimensionnelle panoramique du paysage comporte les étapes suivantes : h) - on calcule la position de la caméra dans le paysage au moyen d'un récepteur de positionnement, i) - on transmet à la base d'images de terrain la position calculée de la caméra, cette base fournissant en sortie une image tridimensionnelle panoramique du paysage autour de la position de la caméra.

- l'étape de visualisation de l'image fusionnée comporte les étapes suivantes : j) - on simule un trajet de rayons lumineux entre une position de la caméra dans l'image tridimensionnelle panoramique du paysage et des objets segmentés de l'image fusionnée, k) - la direction de visée simulée de la caméra est déterminée en fonction de l'azimut de la caméra, I) - Ie contenu d'information de voxels situé à des points d'impact des rayons lumineux avec les objets segmentés de l'image fusionnée est traité par un traitement de visualisation, m) - l'image à visualiser comprend, à un endroit correspondant aux orientations des rayons lumineux, une information de luminance ou de chrominance correspondant à ce traitement.

- l'étape de superposition comporte les étapes suivantes: n) - on transmet simultanément au moniteur l'image à visualiser et l'image vidéo numérisée, o) - on recadre des contours des objets de l'image à visualiser par rapport aux contours des objets de l'image vidéo numérisée ou vice versa. p) - on effectue le cadrage des contours des objets de l'image à visualiser manuellement. q) - on détecte un déplacement du simulateur, r) - on réitère les étapes a) à e), s) - on rafraîchit l'image à visualiser en tenant compte de ce déplacement. t) - on détecte un déplacement du simulateur, u) - on transmet à un projectile une information de déplacement du simulateur. v) - on associe à une séquence de simulation avec le simulateur des effets sonores et des effets visuels. w) - on enregistre les résultats de la simulation. L'invention concerne également un simulateur caractérisé en ce qu'il comporte un moyen de mettre en œuvre ledit procédé de traitement d'images de l'invention. Brève description des dessins

L'invention sera mieux comprise à la lecture de la description qui suit et à l'examen des figures qui l'accompagnent. Celles-ci sont présentées à titre indicatif et nullement limitatif de l'invention. La figure 1 montre une représentation schématique d'un simulateur de tirs, selon l'invention.

La figure 2 montre une illustration de moyens mettant en œuvre le procédé de l'invention.

Les figures 3, 4 et 5 montrent sur le moniteur du simulateur les différents déplacements d'un objet virtuel sur l'image réelle vue par le tireur.

Description détaillée de modes de réalisation de l'invention

La figure 1 représente schématiquement un mode de réalisation d'un simulateur 1 , selon l'invention. Le procédé de l'invention peut être appliqué à tout type de simulateur utilisant une réalité augmentée. Dans l'exemple de l'invention, le simulateur 1 est un simulateur de tir. Ce simulateur 1 comporte un dispositif de simulation 2. Ce dispositif 2 de simulation est réalisé de telle sorte qu'il respecte l'ergonomie et les performances, utilisées à l'identique de celles d'un système d'arme réel. Ce dispositif de simulation 2 est interopérable avec les chars, hélicoptères, armes légères et missiles. Dans un exemple préféré, le dispositif de simulation 2 est celui d'un missile antichar.

Le dispositif de simulation 2 comporte un viseur 3 ou dispositif de visée, dans laquelle la réalité augmentée est visionnée par un opérateur.

L'organe de visée de ce viseur 3 peut avoir diverses formes. Il peut avoir une forme rectangulaire, par exemple 16/9 ou 4/3. Le viseur 3 a de préférence une forme en général circulaire. Il est disposé sur une face arrière du dispositif de simulation 2, là où un opérateur est sensé placer son oeil. Le viseur 3 est de préférence un dispositif optique de visée. Dans une variante, le viseur 3 peut être électronique. Dans ce cas, il comporte une caméra 6 couplée avec un moniteur dont l'image est présentée dans le viseur. Le viseur 3 comporte un point lumineux 3a dans l'image présentée. Ce point 3a correspond à l'axe optique, faisant fonction de réticule et matérialisant un impact d'un rayon central de visée sur la cible. Le simulateur 1 peut comporter un trépied 4 permettant de maintenir le dispositif de simulation 2 stable, lors de la simulation. Le trépied 4 comporte trois branches 4a, 4b et 4c, pliantes ou non, parfois télescopiques, c'est-à-dire dont les éléments peuvent coulisser les uns dans les autres, branche par branche. Le simulateur 1 peut aussi être utilisé à l'épaulé.

Le dispositif de simulation 2 comporte une poignée de tir 5. La mise en marche de la poignée de tir 5, par pression ou par détente, actionne automatiquement la mise à feu du simulateur 1. Cette mise à feu est simulée par l'ouverture ou la fermeture d'interrupteurs, déclenchant automatiquement des effets visuels et sonores dans l'image visualisée sur le viseur.

Le simulateur 1 comporte la caméra 6 montée sur le dispositif de simulation 2. Cette caméra 6 permet de capter une image d'une scène 7 d'un paysage P réel. La caméra 6 reçoit un faisceau d'éclairement F remontant une direction de visée D du simulateur, en fonction de la focale de la caméra. La direction de visée D est l'axe de visée ou l'axe focal de la caméra 6. La direction de visée D est orientable avec le simulateur 1. Le faisceau d'éclairement F représente le champ de vision modifiable par la focale de la caméra 6.

Le faisceau d'éclairement F permet à la caméra 6 de capturer une image vidéo d'une scène 7 réelle d'un paysage P. Après avoir reçu le faisceau F, la caméra 6 transforme en des signaux électriques l'énergie de l'éclairement reçu. Ces signaux électriques sont ensuite transmis à une logique de commande 8 par l'intermédiaire d'un bus de communication externe 9. Ces signaux électriques permettent à cette logique de commande 8 de produire une image vidéo plane correspondant à la scène 7 du paysage P visualisée. La logique de commande 8 transforme en outre, selon l'invention, cette image vidéo en une réalité augmentée.

Le simulateur 1 comporte un moniteur M par laquelle la réalité augmentée, de la scène 7 du paysage filmée, est visualisée. L'image vue par le viseur 3 est celle présentée par le moniteur M. Le moniteur M transmet au viseur 3 du dispositif de simulation 2 cette réalité augmentée. Dans une variante, le dispositif de simulation peut ne pas comporter de viseur 3. Dans ce cas la réalité augmentée est visualisée directement sur le moniteur M. Dans une autre variante, la réalité augmentée peut être visualisée sur un casque de visualisation. De manière générale, la réalité augmentée de la scène 7 filmée du paysage P peut être visualisée sur tout dispositif de visualisation le permettant.

Le simulateur 1 comporte une enceinte acoustique E qui renferme un ou plusieurs haut-parleurs, ainsi qu'un système d'amplification. Cette enceinte E permet la restitution du son et l'amélioration de la qualité acoustique. Cette enceinte E peut être intégrée à l'écran du moniteur M, ou à un clavier 14, ou au dispositif de simulation 2. Cette enceinte E peut être située à l'extérieur du simulateur 1.

Dans un exemple, la logique de commande 8 comporte un microprocesseur 10, une mémoire de programme 1 1 , une mémoire de données 12, un écran de visualisation 13, un clavier 14, une interface d'entrée 15 et une interface de sortie 16. Le microprocesseur 10, la mémoire de programme 1 1 , la mémoire de données 12, l'écran de visualisation 13, le clavier 14, l'interface d'entrée 15 et l'interface de sortie 16 sont interconnectés par un bus de communication interne 17. La logique 8 de commande prélève dans une première base de données d'images 18 des images virtuelles. Elle prélève également, dans une deuxième base de données d'images 19 de terrain, des images tridimensionnelles du paysage. Ces deux bases de données 18 et 19 sont, de préférence, externes au simulateur 1. Les contenus, au moins en partie de ces deux bases de données 18 et 19 peuvent, dans une variante, être mémorisés dans la mémoire de données 12 de la logique de commande.

La mémoire de données 12 comporte en outre une première base de données 20 comportant des effets sonores. Elle comporte aussi une seconde base de données 21 comportant des effets visuels. Ces effets visuels et sonores reproduisent au départ, le bruit de départ d'un missile, l'occultation de la visée par la fumée, le dépointage de l'axe de visée au départ du missile, le délestage du missile, la représentation du missile en vol. Ils reproduisent, à l'impact, des images virtuelles d'une explosion. Les effets visuels et sonores permettent de respecter fidèlement le déroulement de la séquence de tir réel d'un missile lors de la simulation.

Dans la pratique, lorsque l'on fait simuler une action à un dispositif, celle-ci est réalisée par un microprocesseur du dispositif commandé par des codes instructions enregistrés dans une mémoire de programme du dispositif. La logique de commande 8 est un tel dispositif. La logique de commande 8 est, souvent réalisée sous forme de circuits intégrés. La mémoire de programme 1 1 est divisée en plusieurs zones, chaque zone correspondant à des sous programmes et à des codes instructions pour réaliser une fonction du dispositif. La mémoire de programme 11 comporte, selon les variantes de l'invention, une zone 22 comportant des codes instructions pour recevoir un faisceau d'éclairement F du paysage P en vue d'obtenir une image vidéo de la scène 7 éclairée du paysage P.

La mémoire 1 1 comporte une zone 23 comportant des codes instructions pour numériser l'image vidéo fournie par la caméra. La mémoire 1 1 comporte une zone 24 comportant des codes instructions pour déterminer une position (x, y, z) de la caméra. Cette position (x, y, z) est fournie de préférence par un système de positionnement mondial, par exemple celui plus connu sous le nom anglais Global Positioning System (GPS). Le simulateur 1 comporte ainsi un récepteur de positionnement GPS placé, de préférence sur la caméra 6. Ce récepteur de positionnement GPS permet la localisation de la position de la caméra 6.

La mémoire 1 1 comporte une zone 25 comportant des codes instructions pour déterminer, un azimut de la caméra. L'azimut est un angle compris entre le nord géographique et la direction d'émission D de la caméra. Pour mesurer cet angle, le simulateur comporte une boussole B. Cette boussole B permet de mesurer l'azimut entre 0 et 360 degrés dans le sens des aiguilles d'une montre.

La mémoire 1 1 comporte une zone 26 comportant des codes instructions pour prélever, dans la base de données 19 d'images terrains, une image tridimensionnelle panoramique du paysage P présent dans la direction et visée de la caméra, à partir de la position de la caméra 6.

La mémoire 1 1 comporte une zone 27 comportant des codes instructions pour effectuer une segmentation de l'image tridimensionnelle panoramique du paysage P, afin d'attribuer à chaque voxel de cette image une valeur binaire. La valeur binaire 1 est attribuée à un voxel lorsque ce dernier appartient à un objet de l'image tridimensionnelle et la valeur binaire 0 est attribué à un voxel dans le cas contraire, lorsque ce voxel représente de l'air.

La mémoire 1 1 comporte une zone 28 comportant des codes instructions pour prélever et segmenter des images d'objets virtuels dans la base d'images virtuelles 18. La mémoire 1 1 comporte une zone 29 comportant des codes instructions pour fusionner l'image tridimensionnelle panoramique du paysage P segmentée avec les images des objets virtuels segmentés. Cette fusion est réalisée sous un même azimut de la caméra 6. La mémoire 1 1 comporte une zone 30 comportant des codes instructions pour appliquer un procédé de visualisation à l'image fusionnée.

La mémoire 1 1 comporte une zone 31 comportant des codes instructions pour prélever simultanément l'image à visualiser de l'image fusionnée de la zone 30 et l'image vidéo de la zone 23. La mémoire 1 1 comporte une zone 32 comportant des codes instructions pour superposer, sur le moniteur M, l'image vidéo numérisée de la zone 23 avec l'image fusionnée produite par les instructions de la zone 29.

La mémoire 1 1 comporte une zone 33 comportant des codes instructions pour permettre, lors de la superposition, le recadrage des contours des objets de l'image fusionnée par rapport aux contours des objets de l'image vidéo numérisée, la colorisation de l'image fusionnée en fonction des couleurs de l'image vidéo et le rajout à l'image fusionnée des objets de l'image vidéo non présents dans l'image fusionnée.

La mémoire 1 1 comporte une zone 34 comportant des codes instructions pour réaliser les différentes séquences de simulations dans lesquelles sont intégrées les effets sonores et visuels fournis respectivement par la base de données d'effets sonores 20 et la base de données d'effets visuels 21. Ces effets sonores sont transmis, par la logique de commande 8 à l'enceinte acoustique E par le bus de communication 37. La mémoire 1 1 comporte une zone 35 comportant des codes instructions pour asservir l'image fusionnée transmise au moniteur M en fonction d'un éventuel déplacement du simulateur 1. Le simulateur 1 comporte à cet effet des capteurs de position (non représentés) permettant de détecter ce déplacement. Eventuellement, le capteur GPS délivre les informations utiles à cet égard.

A titre optionnel, la mémoire 1 1 comporte une zone 36 comportant des codes instructions pour relier en réseau à la logique de commande au moins deux simulateurs 1. Ces deux simulateurs 1 peuvent se situer à des positions différentes. Les productions des images des objets virtuels fournis par la base d'images virtuelles 18 peuvent être pilotées par les touches du clavier 14. Elles peuvent dans une variante être pilotées par une manche à balai plus communément connu sous le nom anglais joystick 38. Le joystick 38 comporte un manche 39 vertical inclinable dans toutes les directions. Ce manche 39 peut être manipulé par un instructeur selon plusieurs degrés de liberté. Le joystick 38 comporte également des boutons programmables qui commandent différentes actions des objets virtuels.

La figure 2 montre le procédé, selon l'invention, de fonctionnement des moyens illustrés à la figure 1. Dans l'invention, les étapes 10O à 1 12 sont effectuées quasi simultanément.

La figure 2 montre une étape 100 préliminaire dans laquelle la logique de commande acquiert un signal vidéo analogique. Pour acquérir ce signal vidéo analogique, dans l'exemple de la figure 2, la caméra 6 reçoit un faisceau d'éclairement F en fonction de la focale de la caméra 6 et de la direction de visée D, d'une scène 7 du paysage réel P. La caméra 6 filme continûment et produit une image fixe de la scène 7 du paysage P située dans le faisceau F. Les images fournies par la caméra donnent une vision globale de la scène 7.

La caméra 6 transmet le signal vidéo analogique à la logique de commande. Ce signal vidéo est un courant électrique dont les variations de tensions sont proportionnelles aux variations de l'éclairement de la scène 7. La lumière reçue par la caméra est ainsi traduite en courant électrique.

Dans cette étape 100, la logique de commande localise aussi la position de la caméra. Cette position de la caméra est localisée par le système de positionnement mondial GPS. Le récepteur de positionnement GPS fournit des coordonnées (x, y, z) de la position de la caméra 6, dans un repère à trois axes, qui a pour origine le centre de gravité de masse terrestre. Dans une variante, la logique de commande peut utiliser n'importe quel autre type de référentiel. Dans cette étape 100, la logique de commande détermine également l'azimut B1 de la caméra 6. Cet azimut B1 est mesuré par la boussole B. la boussole permet de mesurer l'azimut B1 qui est l'angle entre une référence donnée, qui est dans un exemple le nord géographique, et la ligne de visée ou la direction de visée D de la caméra 6. A l'étape 101 , consécutive, la logique de commande 8 numérise le signal vidéo analogique en une image vidéo 102 numérique, en associant à chaque pixel 103 de cette image une valeur numérique. Cette valeur numérique comporte des informations de luminance et de chrominance, de couleur, formant la couleur de ce pixel 103. Un pixel est un élément d'image d'une image plane.

A l'étape 104, la logique de commande transmet à la base 19 de données de terrain la position GPS de la caméra 6. La base 19 de terrain fournit en réponse à la logique de commande 8, des informations représentatives d'une image tridimensionnelle panoramique du paysage P' autour de la position GPS de la caméra. Cette image tridimensionnelle panoramique du paysage P' comporte des objets 105.

La base de données terrain 19 est fournie dans un exemple préféré par l'Institut Géographique National Français (IGN). On sait que d'autres types de bases d'images peuvent être utilisés en fonction du lieu de la simulation à réaliser.

A une étape ultérieure 106, la logique de commande 8 applique un procédé de segmentation à l'image tridimensionnelle panoramique du paysage P'. Cette segmentation permet de délimiter les contours des objets 105. La logique de commande attribue à tous les voxels 107 se situant à l'intérieur des contours des objets 105 une valeur binaire égale à 1. Elle attribue à tous les voxels 108 situés à l'extérieur des contours des objets 105 une valeur binaire égale à 0. Typiquement, les voxels de l'image P' représentant les deux montagnes du paysage P sont affectés d'un attribut 1. Dans l'image segmentée, on ne retient comme utile que la partie de l'image tri dimensionnelle panoramique P' qui se trouve devant la direction de visée D, pas celle qui est derrière.

A une étape 109 ultérieure, la logique de commande élabore des images d'objets virtuels 110 à insérer dans l'image tridimensionnelle panoramique du paysage P'. Ces objets virtuels 1 10 sont segmentés avant leur insertion. La logique de commande 8 obtient ainsi une nouvelle image tridimensionnelle panoramique 1 1 1 résultant de la fusion de l'image P' et de celle des objets 1 10. Cette fusion a pour objet de placer les objets 1 10 dans l'image P', à des coordonnées où les attributs des voxels sont 0 (représentant l'air). De préférence, l'altitude de placement de ces objets sera celle du sol de l'image P' si les objets 1 10 représentent des véhicules roulants. Cette altitude sera supérieure si ces objets représentent des objets volants, des hélicoptères par exemple.

A l'étape 1 12, la logique de commande applique un procédé de visualisation à l'image tridimensionnelle panoramique fusionnée 11 1. Ce procédé de visualisation est de préférence du type algorithme à lancer de rayons.

Cet algorithme à lancer de rayons permet de simuler informatiquement le trajet de rayons lumineux 1 14 entre une position 113 de la caméra 6 dans l'image tridimensionnelle panoramique fusionnée 1 1 1 et des objets 105 et 1 10 illuminés de cette image tridimensionnelle panoramique fusionnée 1 1 1.

La direction de visée D simulée de la caméra est déterminée en fonction de l'azimut B1 de la caméra 6.

Pour chaque rayon lumineux 1 14 lancé de la caméra 6, l'algorithme calcule, dans une image plan, l'impact de ces rayons avec les voxels 107 des objets 105 ou 1 10 de l'image fusionnée dont les attributs valent 1. Le procédé de visualisation traite le contenu d'information de chaque voxel 107 situé aux points d'impact. Il fournit une image à visualiser 1 16 à une étape

1 17. Cette image à visualiser 1 16 comporte à chaque pixel 1 18 une information de luminance et/ou de chrominance correspondant au traitement du contenu des informations de chaque voxel 107 ou 1 10. Le pixel 1 18 correspond aux orientations 1 15a selon l'axe des X et 1 15b selon l'axe des

Y, des trajets des rayons lumineux 1 14. Les cordonnées 20 et 20b des pixels

18 sont calculées en fonction des angles 1 15a et 1 15b du rayon lumineux

1 14. L'image à visualiser 1 16 correspond à une image virtuelle à réalité augmentée de l'image de la scène du paysage filmée.

Pour produire l'image 1 16, d'autres algorithmes peuvent également être utilisés, notamment l'algorithme du Z-buffer ou tampon de profondeur, ou l'algorithme du peintre.

Quelle que soit, la position du simulateur dans le paysage, la logique de commande 8, à partir des coordonnés GPS de la position de la caméra et de l'azimut, détermine une image augmentée 1 16 de l'image de la scène du paysage filmée.

Pour augmenter le réalisme de l'image à afficher, la logique de commande 8 applique ensuite l'étape 1 19. A l'étape 1 19, la logique de commande 8 transmet au moniteur M, une image résultant de la superposition de l'image vidéo numérisée 102 et de l'image à visualiser 1 16. La logique de commande 8 superpose ces deux images sur le moniteur M. Cette superposition permet d'enrichir l'image affichée 120 sur le moniteur M. La superposition s'établit à l'aide d'algorithme de fusion. En manipulant les touches du clavier, on peut réajuster les contours des objets de l'image à visualiser 1 16 par rapport aux contours des objets de l'image vidéo numérisée 102. Dans une variante, la logique de commande 8 peut déterminer toute seule les contours de ces deux images et les réajuster automatiquement. La logique de commande 8 produit dans ce but pour chaque pixel de l'image à visualiser 1 16 qui ne correspond pas aux objets 1 10, une information de couleur contenue dans le pixel situé aux mêmes cordonnées dans l'image vidéo numérisée 102. Cette opération permet de coloriser ou d'augmenter le contraste des pixels de l'image à afficher 120, et en tous cas de les rendre plus réalistes.

Pour tous les pixels 103 de l'image vidéo numérisée n'ayant pas de correspondance dans l'image à visualiser 1 16, la logique de commande les rajoute dans l'image affichée 120 sur le moniteur M. Dans une variante, l'image affichée 120 sur le moniteur M peut être enrichie par une incorporation d'images virtuelles d'arbres ou de bosquet fournies par une base de donnée.

L'image affichée 120 sur le moniteur M est transmise du moniteur au viseur 3 du simulateur.

Le simulateur 2 comporte des capteurs de position (non représentés) permettant de détecter un éventuel déplacement dudit simulateur. Les capteurs de position sont placés sur le dispositif de simulation. Dès que les capteurs de position ont détecté un changement de position du dispositif de simulation, ils transmettent à la logique de commande des informations relatives au déplacement du dispositif de simulation. Ces informations peuvent être, la valeur absolue de la distance du déplacement, l'orientation et la rotation du déplacement.

La logique de commande 8 à partir de ces informations déplace la scène visualisée du paysage 106 en conséquence. Pour ce faire, la logique de commande réapplique les étapes 100 à 1 1 1 de la figure 2. La logique de commande rafraîchit ainsi l'image affichée 120 en fonction du déplacement du simulateur.

Ainsi, dès la détection d'un déplacement du dispositif de simulation, la logique de commande 8 rafraîchit l'image visualisée sur le viseur. Le temps de rafraîchissement dépend de la puissance de calcul des matériels utilisés. La logique de commande transmet également à un projectile (non représenté) du dispositif de simulation les informations concernant le déplacement dudit simulateur, afin de réajuster l'angle d'impact dudit projecteur.

Dans un exemple, un ensemble de dispositifs de simulation peut être interconnecté à la logique de commande en réseau. Cette interconnexion est assurée par un protocole de communication existant. Ce protocole permet de définir la manière dont les informations sont échangées entre les dispositifs de simulation du réseau et la logique de commande. Ce protocole peut être un protocole GSM ou un protocole CAN plus connu le nom anglais Controller Area Network ou un protocole ethernet.

A partir de la position de chaque caméra et de son azimut, pour chaque dispositif de simulation, la logique de commande détermine l'image à visualiser sur le viseur en appliquant les étapes 100 à 1 19 du procédé de la figure 2. Ainsi, l'image visualisée sur le viseur d'un dispositif de simulation dépend uniquement de la position et de l'azimut de la caméra.

Les figures 3 à 5 montrent différentes interactions entre les images des objets virtuels 1 10 et les images des objets 107 de l'image tridimensionnelle panoramique du paysage P'.

Dans l'exemple de la figure 3, les objets virtuels 1 10 sont représentés par un hélicoptère 200 et un char 201. Les objets 107 de l'image tridimensionnelle panoramique du paysage P' sont représentés par une dune 203, une montagne 204, un bâtiment 205 et une étendue d'herbes ou d'arbres 206. L'hélicoptère 200 et le char 201 sont déplacés par un instructeur dans l'image tridimensionnelle panoramique du paysage P' en manipulant les touches du clavier et/ou le joystick ou selon un programme établi d'avance. L'utilisateur avec son œil sur le viseur 3 et sa main sur la commande 5 apprend ainsi à se servir du système d'arme représenté par le simulateur.

Dans l'exemple de la figure 3, l'hélicoptère 200 est posé sur le bâtiment 205 et le char 201 est déplacé derrière la dune 203. Dans ce cas, certaines parties du char 201 doivent s'incruster derrière la dune 203. Certaines parties du char 201 ne sont donc pas visualisées. La logique de commande 8 en fonction de la direction de visée et de l'azimut de la caméra, ne permet de visualiser que les objets illuminés par le trajet des rayons lumineux 1 14. De ce fait, lors du déplacement du char 201 tous les voxels dudit char ne se situant pas dans le trajet des rayons X, ne sont pas affichés par le procédé de visualisation.

De même, pour la manipulation, les voxels du char ayant un attribut binaire égal à 1 ne peuvent pas s'introduire dans un voxel d'un objet ayant un attribut d'une même valeur binaire. De ce fait, la logique de commande 8 considère un objet dont les voxels ont comme attribut une valeur binaire égale à 1 comme un solide. Le char 201 ne peut ainsi être déplacé qu'en contournant la dune 203 ou en entrant en collision avec cette dernière.

Dans l'exemple de la figure 4, le char 201 est déplacé sur la dune 203. Dans l'exemple de la figure 5, le char 201 est déplacé devant la dune 203. Le véhicule 201 qui ne vole pas possède donc une altitude z dans l'image P' tridimensionnelle P' égale, à la hauteur de son centre de gravité près, à celle du sol de l'image P' sur lequel il se déplace.

En déplaçant les coordonnées des voxels du char 201 , la logique de commande déplace le char. Pour ce faire, en manipulant le clavier ou le joystick des signaux électriques sont transmis à la logique de commande. La logique de commande traite ces signaux afin de déterminer quel est l'objet virtuel de l'image à déplacer, le sens du déplacement de l'objet et la distance de déplacement avant d'effectuer ledit déplacement. Si la manipulation revient à faire une collision, le véhicule ne peut se déplacer.