技术领域
[0001] 本
发明涉及计算机成像仿真技术领域，具体而言，涉及一种成像仿真方法、装置、电子设备和存储介质。
背景技术
[0002] 目前，对于成像仿真技术的研究很多，主要有两大类：①基于
硬件系统的物理仿真，需要通过布置实验设备搭建成像环境来模拟成像过程；②基于
软件系统的计算机仿真，通过建立数字化的虚拟的成像模型来模拟成像过程。
[0003] 其中，计算机仿真又可以分为两种方式：①基于物理目标和成像理论的成像结果推演，主要应用于成像
质量评价、图像去雾去噪和光学
传感器设计优化等场景；②基于虚拟模型三维
可视化的场景生成，主要应用于游戏引擎、飞行仿真、数字沙盘推演和数字城市(或数字地球)等场景。基于虚拟模型三维可视化进行场景生成的方法，需要基于三维引擎进行开发，生成与实物目标差异很大的虚拟模型的图像，且计算量大、对计算机图形
渲染能
力要求高。
发明内容
[0004] 本发明提供了一种成像仿真方法、装置、电子设备和存储介质，其能够通过传感器的外参数、几何参数及内参数确定待成像的仿真像片中每一像点的像元值，最终得到仿真图像，由于不需要基于三维引擎进行开发即可得到仿真图像，因而可以极大地减少成像仿真的计算量、降低对计算机图形渲染能力的要求，更易于实现。
[0005] 为了实现上述目的，本发明
实施例采用的技术方案如下：
[0006] 第一方面，本发明实施例提供一种成像仿真方法，所述方法包括：获取传感器的外参数、传感器的几何参数、传感器的内参数；根据传感器的内参数、传感器的几何参数确定待成像的仿真像片；依据传感器的内参数、传感器的几何参数、传感器的外参数、预设数字表面模型及预设地图，确定待成像的仿真像片中每一像点的像元值，得到包含所有像点的像元值的仿真像片。
[0007] 第二方面，本发明实施例提供一种成像仿真装置，所述装置包括：获取模
块，用于获取传感器的外参数、传感器的几何参数、传感器的内参数；确定模块，用于根据传感器的内参数、传感器的几何参数确定待成像的仿真像片；生成模块，用于依据传感器的内参数、传感器的几何参数、传感器的外参数、预设数字表面模型及预设地图，确定待成像的仿真像片中每一像点的像元值，得到包含所有像点的像元值的仿真像片。
[0008] 第三方面，本发明实施例提供一种电子设备，所述电子设备包括：一个或多个处理器；
存储器，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现如前述实施方式中任一项所述的成像仿真方法。
[0009] 第四方面，本发明实施例提供一种计算机可读存储介质，其上存储有
计算机程序，该计算机程序被处理器执行时实现如前述实施方式中任一项所述的成像仿真方法。
[0010] 相对于
现有技术，本发明提供了一种成像仿真方法、装置、电子设备和存储介质，其能够通过传感器的外参数、几何参数及内参数确定待成像的仿真像片中每一像点的像元值，最终得到仿真图像，由于不需要基于三维引擎进行开发即可得到仿真图像，因而可以极大地减少成像仿真的计算量、降低对计算机图形渲染能力的要求，更易于实现。
附图说明
[0011] 为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
[0012] 图1示出了本发明实施例提供的电子设备的方框示意图。
[0013] 图2示出了本发明实施例提供的一种成像仿真方法的
流程图。
[0014] 图3示出了本发明实施例提供的另一种成像仿真方法的流程图。
[0015] 图4示出了本发明实施例提供的
像素坐标系和图像坐标系的关系示意图。
[0016] 图5示出了本发明实施例提供的成像仿真的过程示例图。
[0017] 图6示出了本发明实施例提供的一种成像仿真装置的流程图。
[0018] 图标：10-电子设备；11-存储器；12-通信
接口；13-处理器；14-总线；100-成像仿真装置；110-获取模块；120-确定模块；130-生成模块。
具体实施方式
[0019] 为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。
[0020] 因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的
选定实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0021] 应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。
[0022] 在本发明的描述中，需要说明的是，若出现术语“上”、“下”、“内”、“外”等指示的方位或
位置关系为基于附图所示的方位或位置关系，或者是该发明产品使用时惯常摆放的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
[0023] 此外，若出现术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
[0024] 需要说明的是，在不冲突的情况下，本发明的实施例中的特征可以相互结合。
[0025] 请参照图1，图1示出了本发明实施例提供的电子设备的方框示意图。电子设备10还包括存储器11、
通信接口12、处理器13和总线14。存储器11、通信接口12，处理器13通过总线14连接。
[0026] 存储器11用于存储程序，例如上述的网络流量恢复装置，该网络流量恢复装置包括至少一个可以软件或
固件(firmware)的形式存储于存储器11中的软件功能模块，处理器13在接收到执行指令后，执行所述程序以实现上述实施例揭示的成像仿真方法。
[0027] 存储器11可能包括高速
随机存取存储器(RAM：Random Access Memory)，也可能还包括非易失存储器(non-volatile memory)，例如至少一个磁盘存储器。可选地，存储器11可以是内置于处理器13中的存储装置，也可以是独立于处理器13的存储装置。
[0028] 通过至少一个通信接口12(可以是有线或者无线)实现与其他外部设备之间的通信连接。
[0029] 总线14可以是ISA总线、
PCI总线或EISA总线等。图1仅用一个双向箭头表示，但并不表示仅有一根总线或一种类型的总线。
[0030] 处理器13可能是一种集成
电路芯片，具有
信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器13中的硬件的集成
逻辑电路或者软件形式的指令完成。上述的处理器13可以是通用处理器，包括
中央处理器(Central Processing Unit，简称CPU)、网络处理器(Network Processor，简称NP)等；还可以是
数字信号处理器(DSP)、
专用集成电路(ASIC)、现成可编程
门阵列(FPGA)或者其它
可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
[0031] 请参照图2，图2示出了本发明实施例提供的一种成像仿真方法的流程图，该方法包括以下步骤：
[0032] 步骤S101，获取传感器的外参数、传感器的几何参数、传感器的内参数。
[0033] 在本实施例中，载体即承载光学面阵传感器的实体，包括但不限于
飞行器、工程车辆和穿戴设备等，均为由地理位置等参数构成的虚拟模型，能够在
地理信息系统GIS(Geographic Information System，GIS)中表达成点要素或体要素，其中，GIS是在计算机硬、软件系统支持下，对整个或部分地球表层(包括大气层)空间中的有关地理分布数据进行采集、储存、管理、运算、分析、显示和描述的技术系统。
[0034] 在本实施例中，传感器，此处特指由光学面阵传感器的几何参数和内参数等构成的虚拟模型，能够在地理信息系统中表达成点要素或体要素，且录入地理信息系统的
数据库中。
[0035] 在本实施例中，传感器的外参数又称为传感器的对地
位姿，传感器的外参数可以通过预先获取的载体的对地位姿及传感器相对载体的位姿计算得到，也可以通过实时采集的载体的对地位姿及传感器相对载体的位姿计算得到，本发明实施例对具体获取方式不予限定。
[0036] 步骤S102，根据传感器的内参数、传感器的几何参数确定待成像的仿真像片。
[0037] 在本实施例中，待成像的仿真像片被初始化为无数据(No Data)区域，即该区域中每一像点的像元值被初始化为预设值，例如，预设值为(0，0，0)，即待成像的仿真像片中每一像点的初始像元值均为(0，0，0)，故，待成像的仿真像片为一张纯黑色的图像。当然，预设值也可以是其他具体的值，本发明实施例对此不予限定。
[0038] 步骤S103，依据传感器的内参数、传感器的几何参数、传感器的外参数、预设数字表面模型及预设地图，确定待成像的仿真像片中每一像点的像元值，得到包含所有像点的像元值的仿真像片。
[0039] 在本实施例中，预设地图为地理信息系统中对
基础地理空间数据进行可视化的实体，包括但不限于2D和2.5D等地图，例如，能够在线
访问的谷歌地图、百度地图和高德地图。
[0040] 在本实施例中，数字表面模型DSM(Digital Surface Model，DSM)是物体表面形态以数字表达的集合，能够表达地形
地貌，很好地表达城市的三维景观。预设数字表面模型是与目标
采样数据相关的数字表面模型，也即与仿真成像相关的数字表面模型。
[0041] 本发明实施例提供的上述方法，其能够通过传感器的外参数、几何参数及内参数确定待成像的仿真像片中每一像点的像元值，最终得到仿真图像，由于不需要基于三维引擎进行开发即可得到仿真图像，因而可以极大地减少成像仿真的计算量、降低对计算机图形渲染能力的要求，更易于实现。
[0042] 基于图2，本发明实施例还提供了另一种成像仿真方法，请参照图3，图3示出了本发明实施例提供的另一种成像仿真方法的流程图，步骤S103包括以下子步骤：
[0043] 子步骤S1031，基于传感器的外参数、传感器的几何参数及传感器的内参数，确定待成像的仿真像片中每一像点在预设数字表面模型上对应的物点的地理空间坐标。
[0044] 在本实施例中，以传感器为摄像机为例，摄像机的外参数指摄像机在世界坐标系中的位姿，有摄像机与世界坐标系的相对位姿关系决定。摄像机的内参数由摄像机本身决定，只与摄像机本身有关。摄像机的几何参数可以是摄像机中光学元件的尺寸。
[0045] 作为一种具体实施方式，确定待成像的仿真像片中每一像点在预设数字表面模型上对应的物点的地理空间坐标的方法可以是：
[0046] 首先，基于所感器的几何参数及传感器的内参数，确定待成像的仿真像片中每一像点的平面坐标。
[0047] 在本实施例中，获取像点在待成像的仿真像片中的像素坐标，像素坐标为像点在像素坐标系中的坐标，根据传感器的几何参数及传感器的内参数，确定该像点的平面坐标，平面坐标为像点在图像坐标系中的坐标，像素坐标系和图像坐标系的关系可以如图4所示。图4中，像素坐标系u-v的原点为O0，横坐标u和纵坐标v分别是图像所在的行和列，图像坐标系x-y的原点为O1。另外，像素坐标系和图像坐标系的关系还可以通过其他像平面坐标系表示，例如，德国汉诺威大学(Hannover)定义的像平面坐标系BLUH、德国斯图加特大学(Stuttgart)定义的像平面坐标系PATB、中国《低空数字摄影测量规范(CH/Z3005-2010)》定义的像平面坐标系CCHZ等，本发明实施例对使用的具体像坐标系不予限定。
[0048] 其次，基于传感器的外参数，通过中心投影逆变换确定平面坐标在预设数字表面模型中对应的物点的地理空间坐标。
[0049] 在本实施例中，中心投影为投影线交于一点的投影，即有一点
光源和一个物体,光源是以分散的方式照射到物体上的投影,这就是中心投影，中心投影是由同一点出发的投影射线所形成的投影，中心投影变换是从3维到2维的变换，结合预设的数字表面模型的中心投影逆变换是从2维到3维的变换。
[0050] 子步骤S1032，依据每一物点的地理空间坐标，从预设地图中确定与每一物点对应的像点的像元值。
[0051] 在本实施例中，预设地图为与仿真成像相关的地图。每一物点的地理空间坐标都可以在预设地图中找到对应的坐标点，根据待成像的仿真像片中所有像点对应的所有物点的地理空间坐标可以从预设地图中确定目标地图区域，然后根据目标地图区域确定与每一物点对应的像点的最终像元值。作为一种实施方式，确定每一物点对应的像点的最终像元值的方式可以是：
[0052] 首先，依据所有物点的地理空间坐标，从预设地图确定目标地图区域，并获取目标地图区域的视口图像。
[0053] 在本实施例中，目标地图区域为预设地图的一部分，目标地图区域中包括了所有物点的地理空间坐标在预设地图中对应的坐标点。
[0054] 在本实施例中，目标地图区域的视口图像可以通过GIS的电子地图提供的接口获取。
[0055] 其次，对每一物点的地理空间坐标进行仿射变换，得到每一物点在视口图像中对应的地图视口坐标。
[0056] 在本实施例中，GIS的电子地图系统提供了地理空间坐标到地图视口坐标的仿射变换接口，通过该仿射变换接口，可以得到每一物点在视口图像中对应的地图视口坐标。
[0057] 最后，根据每一地图视口坐标进行像元值采样，将得到的像元值作为与每一物点对应的像点的像元值。
[0058] 在本实施例中，像元值采样的方式可以、但不限于最近邻、双线性插值和三次卷积插值等方式，采集到的像元值作为与每一物点对应的像点的最终像元值。
[0059] 为了更直观地展示出成像仿真的过程，本发明实施例还给出了一个成像仿真过程的示例，请参照图5，图5示出了本发明实施例提供的成像仿真的过程示例图，图5中，摄像机坐标系u-v-w的原点S，图像坐标系x-y的原点为O1，地理空间坐标系X-Y-Z的原点为O2，首先，仿真图像中每一像点的初始像元值均初始化为(0，0，0)；其次，根据每一像点在像素坐标系中的像素坐标、摄像机的几何参数和外参数确定该像点对应的在图像坐标系统中的平面坐标(即图5中的a的平面坐标)；第三，根据平面坐标、摄像机的外参数计算中心投影的共线方程的系数，根据该系数进行中心投影逆变换确定该平面坐标在数字表面模型中对应的物点的地理空间坐标(即图5中A的地理空间坐标)；第四，物点的地理空间坐标(即图5中A的地理空间坐标)确定该物点在视口地图中的地图视口坐标(即图5中a’的地图视口坐标)；最后，根据地图视口坐标进行像元值采样，将得到的像元值作为像点的最终像元值，所有的像点的最终像元值替换对应的初始像元值之后，即得到仿真图像。
[0060] 需要说明的是，上述实施例只给出了仿真图像的成像仿真过程，基于仿真图像的成像仿真过程，可以得到对应的仿真视频的成像仿真过程。
[0061] 例如，以某型无人机为载体，以某型
数码相机为传感器，数码相机与无人机之间由
云台连接能够量测其相对位姿，在以网络墨卡托投影(Web Mercator Projection)为坐标系的谷歌卫星影像地图上进行成像仿真，设无人机以航向固定间距发出信号触发数码相机进行拍照，其具体步骤如下：①获取该型数码相机的几何参数和内参数(选定型号从预设数据库中获取对应参数，或者由用户输入预设数据库中不存在的型号及其对应参数)；②地理信息系统采集无人机对地位姿和数码相机相对无人机的位姿数据；③基于地理信息系统按照上述实施例揭示的仿真成像方法进行成像仿真；④输出固定间距“拍摄”的一系列仿真图像。
[0062] 又例如，以某型无人机为载体，以某型光电吊舱装配某型数码摄像机为传感器，光电吊舱的轴系控制系统能够量测数码摄像机相对无人机的位姿，在以网络墨卡托投影为坐标系的谷歌街道图层
叠加影像图层的地图上，以25fps的
帧率进行成像仿真，其具体步骤如下：①获取该型数码相机的几何参数和内参数(选定型号从预设数据库中获取对应参数，或者由用户输入预设数据库中不存在的型号及其对应参数)；②地理信息系统以25Hz的
频率，采集对地位姿和数码相机相对无人机的位姿数据；③基于地理信息系统按照上述实施例揭示的仿真成像方法进行成像仿真；④输出以25fps帧率“拍摄”的仿真视频。
[0063] 本发明实施例提供的上述方法，首先，不需要技术人员在物理目标的电磁
辐射理论和传感器的成像理论方面有很高
水平，因而更容易实现并进行推广应用；其次，不依赖于三维引擎，适用于提供2D或2.5D地图渲染机制的地理信息系统；第三，不仅适用于本地的地理空间数据，也适用于外部的地理空间数据，包括但不限于能够在线访问的谷歌地图、百度地图和高德地图等，皆能对其进行成像仿真；第四，本发明实施生成的仿真图像或者视频可以对多种不同的抽象的地理空间数据进行采样，以满足不同场景的需求，例如，对街道和行政区划地图进行采样，如此能够反映人工构筑物和人类活动等信息；也可选择真实的地理空间数据进行采样，例如从卫星影像地图上采样，就能够反映真实的地理环境；还可选择这两种地理空间数据混合叠加地进行采样，如此则能够将
增强现实的地理信息反映到图像或视频上。
[0064] 为了执行上述实施例及各个可能的实施方式中的相应步骤，下面给出一种成像仿真的实现方式。请参阅图6，图6示出了本发明实施例提供的成像仿真装置100的功能模块图。需要说明的是，本实施例所提供的成像仿真装置100，其基本原理及产生的技术效果和上述实施例相同，为简要描述，本实施例部分未提及指出，可参考上述实施例中的相应内容。成像仿真装置100包括获取模块110、确定模块120、生成模块130。
[0065] 获取模块110，用于获取传感器的外参数、传感器的几何参数、传感器的内参数。
[0066] 确定模块120，用于根据传感器的内参数、传感器的几何参数确定待成像的仿真像片。
[0067] 生成模块130，用于依据传感器的内参数、传感器的几何参数、传感器的外参数、预设数字表面模型及预设地图，确定待成像的仿真像片中每一像点的像元值，得到包含所有像点的像元值的仿真像片。
[0068] 在可选的实施方式中，生成模块130具体用于：基于传感器的外参数、传感器的几何参数及传感器的内参数，确定待成像的仿真像片中每一像点在预设数字表面模型上对应的物点的地理空间坐标；依据每一物点的地理空间坐标，从预设地图中确定与每一物点对应的像点的像元值。
[0069] 在可选的实施方式中，生成模块130执行基于传感器的外参数、传感器的几何参数及传感器的内参数，确定待成像的仿真像片中每一像点在预设数字表面模型上对应的物点的地理空间坐标的方式包括：基于传感器的几何参数及传感器的内参数，确定待成像的仿真像片中每一像点的平面坐标；基于传感器的外参数，通过中心投影逆变换确定平面坐标在预设数字表面模型中对应的物点的地理空间坐标。
[0070] 在可选的实施方式中，生成模块130在执行依据每一物点的地理空间坐标，从预设地图中确定与每一物点对应的像点的像元值的方式包括：依据所有物点的地理空间坐标，从预设地图确定目标地图区域，并获取目标地图区域的视口图像；对每一物点的地理空间坐标进行仿射变换，得到每一物点在视口图像中对应的地图视口坐标；根据每一地图视口坐标进行像元值采样，将得到的像元值作为与每一物点对应的像点的像元值。
[0071] 本发明实施例提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如前述实施方式中任一项所述的成像仿真方法。
[0072] 综上所述，本发明实施例提供了一种成像仿真方法、装置、电子设备和存储介质，所述方法包括：获取传感器的外参数、传感器的几何参数、传感器的内参数；根据传感器的内参数、传感器的几何参数确定待成像的仿真像片；依据传感器的内参数、传感器的几何参数、传感器的外参数、预设数字表面模型及预设地图，确定待成像的仿真像片中每一像点的像元值，得到包含所有像点的像元值的仿真像片。相对于现有技术，本发明能够通过传感器的外参数、几何参数及内参数确定待成像的仿真像片中每一像点的像元值，最终得到仿真图像，由于不需要基于三维引擎进行开发即可得到仿真图像，因而可以极大地减少成像仿真的计算量、降低对计算机图形渲染能力的要求，更易于实现。
[0073] 以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉
本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述
权利要求的保护范围为准。
