标记边缘以增强IR成像的方法、系统及计算机可读介质专利检索-画中画显示技术专利检索查询-专利查询网

标记边缘以增强IR成像的方法、系统及计算机可读介质

阅读：598发布：2020-05-08

专利汇可以提供标记边缘以增强IR成像的方法、系统及计算机可读介质专利检索，专利查询，专利分析的服务。并且本发明涉及总体上涉及热图像的边缘检测和呈现。对包括至少部分地重叠的目标场景的红外图像和可见光图像进行分析。对可见光图像进行边缘检测过程以确定哪些像素表示目标场景中的边缘。生成显示图像，其中，某些像素包括红外图像数据，并且其中，与可见光图像中的边缘相对应的像素包括预先确定的颜色但不包括相应的红外图像数据，以便强调边缘。显示图像中的边缘像素可以专门包括该预先确定的颜色、或者在某些示例中预先确定的颜色与可见光图像数据的混合体。各方法可以包括在将可见光图像数据与红外图像数据组合以创建显示图像之前用该预先确定的颜色替换可见光边缘像素或相应的红外像素中的一项或另一项。，下面是标记边缘以增强IR成像的方法、系统及计算机可读介质专利的具体信息内容。

权利要求

1.一种包含可执行指令的非瞬态计算机可读介质，这些指令致使一个或多个处理器执行一种创建场景的红外图像的方法，该红外图像强调多个可见边缘的位置，该方法包括：
接收与指示一个目标场景的一个VL图像的多个VL 像素相关联的可见光VL图像数据；
接收与指示该目标场景的一个IR图像的多个IR像素相关联的红外IR图像数据，每个IR像素具有指示该目标场景的同一部分的一个或多个相应的VL像素；
确定哪些VL像素对应于该VL图像数据中的多个边缘并且认为这种像素是VL边缘像素；
以及
生成与多个显示像素相关联的显示图像数据，每个显示像素具有与该目标场景的同一部分相对应的多个相应的VL像素和IR像素作为这种显示像素；其中
这些显示像素中的某些显示像素包括与多个相应的IR像素相关联的IR图像数据，并且与多个VL边缘像素相对应的多个显示像素包括一种预先确定的颜色但不包括与多个相应IR像素相关联的IR图像数据，以便强调该显示图像数据中的多个边缘的位置，其中所述VL图像和所述IR图像被同时收集并且在同一时间具有同一目标场景，以及其中借助于所述IR图像与所述VL图像之间的对应关系，被确定表示所述目标场景中的物理边缘的VL像素对应于也表示IR图像中的边缘的IR像素。
2.如权利要求1所述的非瞬态计算机可读介质，其中，该预先确定的颜色可由一位使用者选择。
3.如权利要求1所述的非瞬态计算机可读介质，其中，针对与是VL非边缘像素的多个VL像素相对应的多个显示像素，每个这种显示像素的所生成的显示图像数据包括在来自与这种显示像素相对应的相关联IR像素的0%与100%IR图像数据之间的一个混合体。
4.如权利要求3所述的非瞬态计算机可读介质，其中，混合量可由一位使用者选择。
5.如权利要求1所述的非瞬态计算机可读介质，
进一步包括：针对与这些VL边缘像素相对应的多个IR像素，用该预先确定的颜色替换每个这种IR像素的IR图像数据，从而创建经修改的IR图像数据，并且
其中，针对与这些VL边缘像素相对应的多个显示像素，包括该预先确定的颜色包括：针对每个这种显示像素，将与相应的IR像素相关联的经修改的IR图像数据与相应的VL图像数据混合。
6.如权利要求1所述的非瞬态计算机可读介质，被进一步配置成用于接收可见光图像数据和相应的红外图像数据并且基本上实时地生成一项显示图像数据。
7.如权利要求6所述的非瞬态计算机可读介质，其中，基本上实时地生成一项显示图像数据包括生成一个显示视频，该显示视频包括一个约60 帧每秒的帧速率。
8.如权利要求1所述的非瞬态计算机可读介质，其中，确定哪些VL像素与该目标场景的该VL图像数据中的这些边缘相对应：
（i）测量一个VL像素内核的变化；以及
（ii）如果该变化在一个预先确定的阈值以上，则将该内核内的一个目标像素与该内核内的平均像素进行比较。
9.一种用于生成并显示显示图像的显示系统，该显示系统包括：
一个处理器；
一个显示器；并且
其中，该显示系统被配置成用于
接收一个可见光VL图像和一个相应的红外IR图像；
检测该VL图像中的表示该VL图像中的多个所检测到的边缘的多个像素并认为这种像素是VL边缘像素；以及
生成一个与该VL图像和IR图像相对应并且包括多个显示像素的显示图像，其中与不被认为是一个VL边缘像素的一个VL像素相对应的至少一个显示像素包括相应的IR图像数据；
与被认为是多个VL边缘像素的这些VL像素相对应的多个显示像素包括一种预先确定的颜色但不包括相应的IR图像数据，以便强调该显示图像数据中的多个边缘的位置；以及所述VL图像和所述IR图像被同时收集并且在同一时间具有同一目标场景，以及借助于所述IR图像与所述VL图像之间的对应关系，被确定表示所述目标场景中的物理边缘的VL像素对应于也表示IR图像中的边缘的IR像素。
10.如权利要求9所述的系统，进一步包括：
一个便携式手持热成像照相机，包括：
一个红外IR照相机模块，该红外照相机模块包括一个IR透镜组和一个用于检测一个目标场景的多个IR图像的相关联的IR 传感器；以及
一个可见光VL照相机模块，该可见光照相机模块包括一个VL透镜组和一个用于检测该目标场景的多个VL图像的相关联的VL传感器；该系统被进一步配置成用于：
经由该VL照相机模块采集该目标场景的VL图像；以及
经由该IR照相机模块采集一个目标场景的相应的IR图像。
11.如权利要求10所述的系统，其中，该可见光照相机模块包括一个第二处理器，并且其中，该第二处理器被配置成用于检测该VL图像中的表示该VL图像中的多个所检测到的边缘的多个像素并且认为这种像素是VL边缘像素并且认为不与这些所检测到的边缘相对应的VL像素是VL非边缘像素。
12.如权利要求11所述的系统，其中，该第二处理器被配置成用于用专门地具有该预先确定的颜色的多个像素替换该VL图像中的被认为是VL边缘像素的那些像素，从而创建一个经修改的VL图像。
13.如权利要求12所述的系统，其中，该处理器被配置成用于：
（i）从该第二处理器接收该经修改的VL图像；以及
（ii）将该经修改的VL图像的至少一部分与该IR图像的一个相应的部分混合以生成该显示图像的一部分；其中
该经修改的VL图像中的专门地具有该预先确定的颜色的像素不受该混合的影响。
14.如权利要求13所述的系统，其中，该显示图像形成一个画中画图像的一部分，其中该画中画图像的一个第一部分包括该显示图像；以及
该画中画图像的一个第二部分包括该VL图像的一个未混合的部分。
15.如权利要求9所述的系统，被进一步配置成用于
接收VL图像和IR图像并基本上实时地生成多个显示图像；以及
在一个显示器上基本上实时地呈现这些显示图像。
16.如权利要求9所述的系统，其中
检测该VL图像中的表示该VL图像中的多个所检测到的边缘的多个像素包括执行一种用于检测该VL图像中的多个边缘的算法；并且其中
该算法可由一位使用者通过一个使用者界面来调节，这样使得该边缘检测的灵敏度可以由该使用者调节。
17.如权利要求16所述的系统，其中，该算法包括：
（i）测量一个像素内核的变化；以及
（ii）如果该变化在一个预先确定的阈值以上，则将该内核内的一个目标像素与该内核内的平均像素进行比较。
18.如权利要求16所述的系统，其中，该算法包括生成该VL图像中的这些VL像素的一个颜色直方图并基于该颜色直方图中的一个使用者定义的颜色频率阈值来检测多个VL边缘像素。
19.如权利要求9所述的系统，其中，生成该显示图像包括用该预先确定的颜色替换该IR图像中的与被认为是VL边缘像素的那些VL像素相对应的多个像素。
20.一种增强红外图像的方法，该方法包括：
接收与表示一个目标场景的可见光VL图像的多个VL像素相关联的可见光VL图像数据；
接收与表示该目标场景的至少一部分的红外IR图像的多个IR像素、以及这些IR像素的与一个或多个VL像素相对应的至少一部分相关联的红外IR图像数据；
检测该VL图像数据中表示该VL图像数据中的多个边缘的多个边缘像素；以及生成与多个显示像素相关联的显示图像数据，其中，至少一个显示像素包括来自至少一个相应的IR像素的IR图像数据，并且与该VL图像中的多个边缘像素相对应的多个显示像素包括一种预先确定的颜色但不包括相应的IR图像数据，以便强调该显示图像数据中的多个边缘的位置，
其中所述VL图像和所述IR图像被同时收集并且在同一时间具有同一目标场景，以及其中借助于所述IR图像与所述VL图像之间的对应关系，被确定表示所述目标场景中的物理边缘的VL像素对应于也表示IR图像中的边缘的IR像素。
21.如权利要求20所述的方法，其中，生成显示图像数据包括：
针对所检测到的多个边缘像素，用该预先确定的颜色替换以下各项之一：（a）该VL图像数据中的所检测到的该边缘像素，（b）与所检测到的该边缘像素相对应的一个或多个IR像素，或（c）与所检测到的该边缘像素相对应的一个或多个显示像素。

说明书全文

标记边缘以增强IR成像的方法、系统及计算机可读介质

[0001] 背景

[0002] 热成像照相机用于各种各样的情景。例如，在对设备进行热检查的维护检查过程中经常使用热成像照相机。除了其他类型的设备以外，示例设备可以包括旋转机床、配电板、或成排的断路器。热检查可以检测设备热点，如过热的机床或电气组件，从而在更大的问题形成之前帮助保证及时维修或替换过热的设备。

[0003] 取决于照相机的配置，热成像照相机还可以生成同一物体的可见光图像。照相机可以例如以协调的方式显示红外图像和可见光图像，以帮助操作员解释热成像照相机生成的热图像。与通常提供不同物体之间的良好的对比度的可见光图像不同，与现实世界场景相比，经常难于识别和区分热图像中的不同特征。出于这种原因，操作员可以依赖可见光图像来帮助解释和聚焦热图像。例如，使可见光图像和热图像重叠和/或组合可以为操作员提供某种指导。然而，在某些情景下，仍然会难于区分热图像中的物体的边缘和边界。

[0004] 概述

[0005] 本发明的各方面涉及热图像的边缘检测和显示。本发明的各实施例可以包括一种具有指令的非瞬态计算机可读介质，这些指令致使处理器执行用于生成强调边缘的显示图像的方法。例如，处理器可以接收包括多个VL 像素的可见光(VL)图像数据和包括多个IR像素的红外(IR)图像数据。一个或多个IR像素可以包括一个或多个相应的VL像素。

[0006] 该处理器可以分析目标场景的VL图像数据并检测该VL图像数据内的边缘。可以用各种各样的方式中的任意方式执行边缘检测。该处理器可以确定哪些VL像素与所检测到的边缘相对应并且认为这种像素是VL边缘像素。该处理器可以进一步生成具有与一个或多个VL像素相对应的多个显示像素的显示图像。显示像素通常可以包括VL像素、IR像素或VL像素和IR像素的组合。

[0007] 可以生成显示像素，这样使得这些显示像素中的某些包括与相应的IR 像素相关联的IR图像数据。这种像素可以例如被呈现为VL像素和IR像素的混合体或者专门包括IR图像数据。与VL边缘像素相对应的显示像素可以包括预先确定的颜色但不包括与相应IR像素相关联的IR图像数据，以便强调该显示图像数据中的边缘的位置。可以用多种方式执行为显示像素分配预先确定的颜色。例如，生成显示图像数据可以包括用该预先确定的颜色替换所有VL边缘像素并显示包括该预先确定的颜色的这种像素作为相应的显示像素。在其他实施例中，可以用该预先确定的颜色替换与VL边缘像素相对应的IR像素以创建经修改的IR图像数据。IR图像数据与VL图像数据的后续混合可以产生与 VL边缘像素相对应的显示像素，这些显示像素包括与VL图像数据混合的预先确定的颜色。

[0008] 在某些实施例中，可以基本上实时地生成显示图像数据并将其显示在显示器上。相应地，本发明的实施例可以包括能够进行以下各项中的任一项或所有项的显示系统：接收VL图像和相应的IR图像、检测VL图像数据中的边缘像素和生成并显示其中强调边缘的显示图像、向IR图像提供添加的背景。这种显示系统可以包括热成像照相机，该热成像照相机包括被配置成用于分别检测目标场景的IR图像和VL图像的IR照相机模块和VL照相机模块。

[0009] 使用者可以修改本发明的各方面。例如，在某些实施例中，使用者可以操控边缘检测过程以便检测更多或更少边缘。这种操控可以包括调节边缘检测过程中所使用的边缘检测灵敏度阈值。使用者可以调节在创建一个或多个显示像素时VL图像数据和IR图像数据之间的混合量。在某些实施例中，使用者可以选择预先确定的颜色以便自定义强调IR图像中的边缘。相应地，本发明的各方面可以包括从使用者界面接收一项或多项输出以便以使用者定义的方式执行边缘检测和/或显示。

[0010] 附图简要说明

[0011] 图1是示例热成像照相机的透视正视图。

[0012] 图2是图1中的示例热成像照相机的透视后视图。

[0013] 图3是功能框图，展示了图1和图2中的热成像照相机的示例组件。

[0014] 图4是过程流程图，展示了用于将所检测到的边缘信息结合到包括红外数据的显示图像内的一般方法。

[0015] 图5是过程流程图，展示了生成并修改显示图像的示例性操作。

[0016] 图6A至图6F展示了目标场景的各种显示图像。

[0017] 详细说明

[0018] 以下详细描述在性质上是示例性的而不旨在以任何方式限制本发明的范围、实用性或配置。而是，以下描述为实现本发明的各实施例提供了某些实践说明。为所选择的元件提供了结构、材料、尺寸和制造工艺的示例，并且所有其他元件采用本发明领域的普通技术人员已知的结构、材料、尺寸和制造工艺。本领域的技术人员将认识到所述示例中的许多示例具有各种各样的合适的替代方案。

[0019] 热成像照相机可以用于在观察下检测包括一个或多个物体的场景上的热量图案(heat pattern)。该热成像照相机可以检测场景发出的红外辐射并将该红外辐射转换成指示热量图案的红外图像。在某些实施例中，该热成像照相机还可以采集来自场景的可见光并且将该可见光转换成可见光图像。取决于该热成像照相机的配置，该照相机可以包括用于将红外辐射聚焦在红外传感器上的红外光学器件和用于将可见光聚焦在可见光传感器上的可见光光学器件。

[0020] 各实施例提供了用于使用平均技术产生噪声降低的热图像的方法和系统。为了进一步提高图像质量并且消除可能由于平均(例如，模糊、重影等) 引起的问题，在平均之前对热图像执行图像对准过程。

[0021] 图1和图2分别示出了示例热成像照相机100的正视透视图和后视透视图，该照相机包括外壳102、红外透镜组104、可见光透镜组106、显示器108、激光器110、以及触发控件112。外壳102将热成像照相机100的各组件罩住。热成像照相机100的底部部分包括用于通过一只手持住并操作该照相机的手提把手。红外透镜组104从场景接收红外辐射并将该辐射聚焦在红外传感器上以便生成场景的红外图像。可见光透镜组106从场景接收可见光并将该可见光聚焦在可见光传感器上以便生成同一场景的可见光图像。响应于按下触发控件
112，热成像照相机100采集可见光图像和/或红外图像。此外，热成像照相机 100控制显示器108显示该照相机生成的红外图像和可见光图像，例如，以便帮助操作员对场景进行热检查。热成像照相机100还可以包括与红外透镜组104 耦合的聚焦机构，该聚焦机构被配置成用于移动该红外透镜组中的至少一个透镜以便调节该热成像照相机生成的红外图像的焦点。

[0022] 在操作时，热成像照相机100通过从场景接收红外波长光谱中发出的能量并对该红外能量进行处理来检测场景中的热量图案以生成热图像。热成像照相机100还可以通过接收可见光波长光谱中的能量并对该可见光能量进行处理来生成同一场景的可见光图像，从而生成可见光图像。如以下更详细描述的，热成像照相机100可以包括被配置成用于采集场景的红外图像的红外照相机模块和被配置成用于采集同一场景的可见光图像的可见光照相机模块。该红外照相机模块可以接收透过红外透镜组104投射的红外辐射并从其中生成红外图像数据。该可见光照相机模块可以接收透过可见光透镜组106投射的光辐射并从其中生成可见光数据。

[0023] 在某些示例中，热成像照相机100基本上同时(例如，在同一时间) 收集或采集红外能量和可见光能量，这样使得该照相机生成的可见光图像和红外图像在基本上同一时间具有同一场景。在这些示例中，热成像照相机100生成的红外图像指示在具体时期场景内的局部温度，而该照相机生成的可见光图像指示同一时期的同一场景。在其他示例中，热成像照相机可以在不同时期从场景采集红外能量和可见光能量。

[0024] 可见光透镜组106包括将可见光能量聚焦在可见光传感器上以便生成可见光图像的至少一个透镜。可见光透镜组106定义穿过该透镜组中的至少一个透镜的曲率中心的可见光光轴。可见光能量投射通过该透镜的前面并聚焦在该透镜的相对面上。可见光透镜组106可以包括单个透镜或串联安排的多个透镜(例如，两个、三个、或更多个透镜)。此外，可见光透镜组106可以具有固定焦点或者可以包括用于改变可见光光学器件的焦点的调焦机构。在可见光透镜组106包括调焦机构的示例中，该调焦机构可以是手动调节机构或自动调节机构。

[0025] 红外透镜组104还包括将将红外能量聚焦在红外传感器上以便生成热图像的至少一个透镜。红外透镜组104定义穿过该组件的透镜曲率中心的红外光轴。在操作过程中，红外能量直接透过该透镜的前面并聚焦在该透镜的相对面上。红外透镜组104可以包括单个透镜或可以串联安排的多个透镜(例如，两个、三个、或更多个透镜)。

[0026] 如以上简要描述的，热成像照相机100包括用于调节该照相机采集的红外图像的焦点的聚焦机构。在图1和图2中所示的示例中，热成像照相机100 包括聚焦环114。聚焦环114操作性地耦合(例如，机械地和/或电耦合)至红外透镜组104中的至少一个透镜并且被配置成用于将该至少一个透镜移动至不同焦点位置以便使热成像照相机100所采集的红外图像聚焦。可以绕着外壳102 的至少一部分手动地转动聚焦环114以便将移动该聚焦环操作性地耦合至的至少一个透镜。在某些示例中，聚焦环114还操作性地耦合至显示器108，这样使得聚焦环114的转动引起同时显示在显示器108上的可见光图像的至少一部分和红外图像的至少一部分相对于彼此移动。在不同示例中，热成像照相机100 可以包括以除了聚焦环114以外的配置实现的手动调焦机构，或者在其他实施例中可以仅保持固定焦点。

[0027] 在某些示例中，除了或代替手动调焦机构，热成像照相机100可以包括自动调焦机构。自动调焦机构可以操作性地耦合至红外透镜组104中的至少一个透镜并且被配置成用于例如响应于来自热成像照相机100的指令自动地将该至少一个透镜移动至不同的焦点位置。在这种示例的一项应用中，热成像照相机100可以使用激光器110来电子地测量目标场景中的物体与该照相机之间的距离，该距离被称为目标距离。然后，热成像照相机100可以控制该自动调焦机构将红外透镜组104中的至少一个透镜移动至与热成像照相机100所确定的目标距离相对应的焦点位置。该焦点位置可以对应于目标距离数据，因为该焦点位置可以被配置成用于将目标场景中的物体置于所确定的焦点距离。在某些示例中，操作员可以例如通过转动聚焦环114来手动地强行改变该自动调焦机构所设置的焦点位置。

[0028] 在热成像照相机100的操作过程中，操作员可能想要观看该照相机生成的场景的热图像和/或同一场景的可见光图像。出于此原因，热成像照相机100 可以包括显示器。在图1和图2的示例中，热成像照相机100包括显示器108，该显示器位于外壳102的与红外透镜组104和可见光透镜组106相对的背面上。显示器108可以被配置成用于显示可见光图像、红外图像、和/或包括可见光图像与红外图像的同时显示的组合图像。在不同的示例中，显示器108可以远离热成像照相机100的红外透镜组104和可见光透镜组106(例如，与其分离开)，或者显示器108可以相对于红外透镜组104和/或可见光透镜组106在不同的空间安排中。因此，尽管显示器108在图2中被示出为位于红外透镜组104和可见光透镜组106后面，但用于显示器108的其他位置是可能的。

[0029] 热成像照相机100可以包括各种各样的使用者输入介质用于控制该照相机的操作和调节该照相机的不同设置。示例控制功能可以包括调节红外光学器件和/或可见光光学器件的焦点、打开/关闭快门、采集红外图像和/或可见光图像等等。在图1和图2的示例中，热成像照相机100包括用于采集红外图像和可见光图像的可按压触发控件112、以及用于控制该照相机的操作的其他方面的按钮116，这些按钮形成使用者界面的一部分。不同的使用者输入介质的数量和安排是可能的，并且应认识到本披露在此方面不受限制。例如，热成像照相机100可以包括触摸屏显示器108，通过按下该屏幕的不同部分，该显示器接收使用者输入。

[0030] 图3是功能框图，展示了热成像照相机100的示例的组件。热成像照相机100包括IR照相机模块200、前端电路202。IR照相机模块200和前端电路202有时以组合的方式被称为红外照相机100的前端台或前端组件204。热成像照相机100还可以包括可见光照相机模块206、显示器108、使用者界面 208、以及输出/控制装置210。

[0031] 红外照相机200可以被配置成用于接收目标场景发出的红外能量并且将该红外能量聚焦在红外传感器上以便生成例如可以用红外图像的形式显示在显示器108上和/或存储在存储器中的红外能量数据。红外照相机模块200可以包括任何适用于执行归属于此处的模块的功能的组件。在图3的示例中，红外照相机模块200被展示为包括红外透镜组104和红外传感器220。如以上关于图1和图2所描述的，红外透镜组104包括接受目标场景发出的红外能量并将该红外能量聚焦在红外传感器220上的至少一个透镜。红外传感器220通过生成可以被转换并且显示为显示器108上的红外图像的电信号对所聚焦的红外能量做出响应。

[0032] 红外传感器220可以包括一个或多个响应于通过红外透镜组104接收的红外能量而生成电信号的焦平面阵列(FPA)。每个FPA可以包括多个红外传感器元件，包括例如辐射热测量计、光子检测器、或其他合适的红外传感器元件。在操作时，可以各自被称为传感器像素的每个传感器元件可以响应于吸收了从目标场景接收的红外能量而改变电特性(例如，电压或电阻)。进而，电特性的改变可以提供可以由处理器222接收并且被处理成在显示器108上显示的红外图像的电信号。

[0033] 例如，在红外传感器220包括多个辐射热测量计的示例中，每个辐射热测量计可以吸收通过红外透镜组104聚焦的红外能量并且响应于所吸收的能量来提高温度。每个辐射热测量计的电阻可以随着辐射热测量计的温度的变化而变化。在每个检测器元件充当传感器像素的情况下，可以通过将每个检测器元件的电阻的变化转换成可以被处理以便在显示器上可视化或存储在(例如，计算机的)存储器中的时分复用电信号来进一步生成红外辐射的二维图像或图片展示。处理器222可以通过对每个辐射热测量计施加电流(或电压)来测量每个辐射热测量计的电阻的变化并且测量辐射热测量计上产生的电压(或电流)。基于这些数据，处理器222可以确定目标场景的不同部分发出的红外能量的量值并且控制显示器108显示该目标场景的热图像。

[0034] 独立于红外传感器220的FPA中所包括的特定类型的红外传感器元件，该FPA阵列可以定义任何合适的大小和形状。在某些示例中，红外传感器220 包括以网格图案安排的多个红外传感器元件，例如，以竖列和横排安排的传感器元件阵列。在各示例中，红外传感器220可以包括例如16×16、50×50、160 ×120、120×160、或650×480的竖列乘横排的阵列。在其他示例中，红外传感器220可以包括更小数量的竖列和横排(例如，1×1)、更大数量的竖列和横排(例如，1000×1000)、或不同比率的列与行。

[0035] 在某些实施例中，读出集成电路(ROIC)被结合在IR传感器220上。该ROIC用于输出与传感器像素中的每一个相对应的信号。这种ROIC常见地被制造成硅衬底上的集成电路。该多个检测器元件可以被制造在ROIC的顶部上，其中，其组合提供用于IR传感器220。在某些实施例中，该ROIC可以包括在本披露中的其他地方讨论的直接结合到该FPA电路上的组件(例如，模数转换器(ADC))。该ROIC的这种集成、或者其他没有明确讨论的进一步集成水平应被认为在本披露的范围内。

[0036] 如上所述，IR传感器220生成一系列与每个红外检测器元件所接收的红外辐射相对应的电信号以展现热图像。当通过对组成IR传感器220的所有行进行扫描而获得来自每个红外检测器元件的电压信号时，生成热图像数据“帧”。再次，在涉及到作为红外检测器元件的辐射热测量计的某些实施例中，通过将相应的检测器元件接入系统电路内并且在这种接入元件上施加偏置电压来完成这种扫描。通过反复扫描IR传感器220的行来生成连续的热图像数据帧，其中以足够生成该热图像数据的视频表示的速率(例如，30Hz或60Hz)产生这种帧。

[0037] 前端电路202包括用于与IR照相机模块200进行接口连接并且对其进行控制的电路。此外，前端电路202最初处理所收集的红外图像数据并经由与处理器222之间的连接将该数据传输至该处理器。更确切地，IR传感器220所生成的信号最初由热成像照相机100的前端电路202调节。在某些实施例中，如所示，前端电路202包括偏压发生器224和前置放大器/积分器226。除了提供检测器偏压以外，偏压发生器224可以可选地添加或从为每个接入检测器元件生成的总电流中减去平均偏置电流。可以改变该平均偏置电流以便(i)补偿由于热成像照相机100内的环境温度的变化而引起的检测器元件的整个电阻阵列的偏差和(ii)补偿IR传感器220的平均检测器元件的阵列到阵列的变化。这种偏置补偿可以由热成像照相机100或软件自动控制，或者可以由使用者通过到输出/控制装置210或处理器222的输入来控制。提供了检测器偏压和可选地减去或添加平均偏置电流后，可以将信号传递通过前置放大器/积分器226。典型地，前置放大器/积分器226用于调节进入信号，例如，在其数字化之前。其结果是，可以将这些进入信号调节成能够更有效地解释这些信号的形式，并且进而可以引起更有效地解析所创建的图像。随后，向下游发送经调节的信号至热成像照相机100的处理器222内。

[0038] 在某些实施例中，前端电路202可以包括一个或多个附加元件，例如，附加传感器228或ADC 230。附加传感器228可以包括例如温度传感器、可见光传感器(如CCD)、压力传感器、磁传感器等。这种传感器可以提供附加校准和检测信息以增强热成像照相机100的功能性。例如，温度传感器可以提供 IR传感器220附近的环境温度读数以帮助辐射测量计算。磁传感器(如霍尔效应传感器)可以与安装在透镜上的磁体组合使用，以提供透镜焦点位置信息。这些信息会对计算距离、或确定视差补偿有用，以便与从可见光传感器收集的可见光场景数据一起使用。

[0039] ADC 230可以提供相同的功能并且以与以下讨论的基本上相同的方式运行，然而，其包括在前端电路202内可以提供某些益处，例如，在经由其之间的连接传输至处理器222之前场景和其他传感器信息的数字化。在某些实施例中，ADC 230可以集成到如上讨论的ROIC内，由此消除了单独安装和装入 ADC 230的需要。

[0040] 在某些实施例中，前端组件可以进一步包括快门240。快门240相对于透镜位于外部或内部并且操作打开或关闭IR透镜组104提供的视野。如本领域内已知的，快门240可以是用机械方式定位的，或者可以由如直流电动机或螺线管机电装置致动。本发明的实施例可以包括校准或设置软件实现的方法或设置，这种方法或设置利用快门240确立对于每个检测器元件而言适当的偏置电平。

[0041] 被描述成热成像照相机100内的处理器的组件(包括处理器222)可以或者单独或者以任何合适的组合被实现为一个或多个处理器，如一个或多个微处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程序门阵列(FPGA)、可编程逻辑电路等等。处理器222还可以包括存储程序指令和相关数据的存储器，当被处理器222执行时，这些指令或相关数据致使热成像照相机100和处理器222执行本披露中归属于它们的功能。存储器可以包括任何固定或可移除的磁介质、光介质或电介质，如RAM、ROM、CD-ROM、硬磁盘或软磁盘、EEPROM等等。存储器还可以包括可移除的存储器部分，该存储器部分可以用于提供存储器更新或增加存储器容量。可移除的存储器还可以允许容易地将图像数据传输至另一个计算装置、或者在热成像照相机100用于另一应用之前被移除。处理器222还可以被实现为将计算机或其他电子系统的所有组件集成到单个芯片内的片上系统。这些元件操控着从前端台
204产生的经调节的场景图像数据以便提供可以被显示或存储供使用者使用的输出场景数据。随后，处理器222(处理电路)将经处理的数据发送至显示器108或其他输出/控制装置
210。

[0042] 在热成像照相机100的操作过程中，处理器222可以控制红外照相机 200生成红外图像数据用于创建红外图像。处理器222可以生成数字红外图像数据“帧”。通过生成红外图像数据帧，处理器222在给定的时间点采集目标场景的红外图像。

[0043] 处理器222可以通过测量红外传感器220的FPA中所包括的每个红外传感器元件的电信号来单次采集目标场景的单张红外图像或“快照(snap shot)”。可替代地，处理器222可以通过反复测量红外传感器220的FPA中所包括的每个红外传感器元件的电信号来采集目标场景的多个红外图像。在处理器222反复测量红外传感器220的FPA中所包括的每个红外传感器元件的电信号的示例中，处理器222可以生成目标场景的动态热图像(例如，视频表示)。例如，处理器222可以用足够生成热图像数据的视频表示的速率(例如，30Hz 或60Hz)测量该FPA中包括的每个红外传感器元件的电信号。处理器222可以在采集红外图像时执行其他操作，如顺序地致动快门240来打开和关闭红外透镜组104的光圈等。

[0044] 在红外传感器220的每个传感器元件充当传感器像素的情况下，处理器222可以通过将每个传感器元件的电特性(例如，电阻)的变化转换成可以被处理例如以便在显示器108上可视化和/或存储在存储器内的时分复用电信号来生成来自目标场景的红外辐射的二维图像或图片表示。当显示在显示器108 上时，红外图像可以包括多个显示像素。显示像素可以与相应的传感器像素具有任何定义的关系。在某些示例中，每个传感器像素对应于红外数据的图像表示中的显示像素。在其他示例中，可以组合(例如，平均)多个传感器像素来为单个显示像素提供红外信息。因为显示像素与传感器像素之间的关系是关于照相机操作定义的，除非以其他方式指明，否则通用术语“像素”可以指传感器像素、显示像素、或从传感器像素处理成显示像素的数据。处理器222可以执行计算来将原始红外图像数据转换成场景温度(辐射测量)，在某些示例中，场景温度包括与这些场景温度相对应的颜色。

[0045] 处理器222可以控制显示器108显示所采集的目标场景的红外图像的至少一部分。在某些示例中，处理器222控制显示器108使得红外传感器220 的每个传感器元件的电响应与显示器108上的单个像素相关联。在其他示例中，处理器222可以增加或降低红外图像的分辨率，这样使得相比红外传感器220 中具有的传感器元件，有更多或更少的像素显示在显示器108上，处理器222 可以控制显示器108显示整张红外图像(例如，热成像照相机100所采集的目标场景的所有部分)或少于整张红外图像(例如，热成像照相机100所采集的整个目标场景的较少部分)。处理器222可以执行如下文更详细描述的其他图像处理功能。

[0046] 独立于特定电路，热成像照相机100可以被配置成用于操控表示目标场景的数据，以便提供可以被显示、存储、传输或以其他方式被使用者利用的输出。

[0047] 热成像照相机100包括可见光照相机模块206。可见光照相机模块206 可以被配置成用于从目标场景接收可见光能量并且将该可见光能量聚焦在可见光传感器上以便生成例如可以用可见光图像的形式显示在显示器108上和/或存储在存储器中的可见光能量数据。可见光照相机模块206可以包括任何适用于执行归属于此处的模块的功能的组件。在图3的示例中，可见光照相机模块206 被展示为包括可见光透镜组106和可见光传感器242。如以上关于图1和图2 所描述的，可见光透镜组106包括接受目标场景发出的可见光能量并将该可见光能量聚焦在可见光传感器242上的至少一个透镜。可见光传感器242通过生成可以被转换并且显示在显示器108上的可见光图像的电信号对所聚焦的能量做出响应。

[0048] 可见光传感器242可以包括多个可见光传感器元件，例如，像CMOS 检测器、CCD检测器、PIN 二极管、雪崩光电二极管等等。可见光传感器元件的数量可以与红外光传感器元件的数量相同或不同。

[0049] 在操作时，从目标场景接收的光能可以传递通过可见光透镜组106并且聚焦在可见光传感器242上。当光能冲击在可见光传感器242的可见光传感器元件上时，光检测器内的光子会被释放并且转换成检测电流。处理器222可以对此检测电流进行处理以形成目标场景的可见光图像。

[0050] 在热成像照相机100的使用过程中，处理器222可以控制可见光照相机模块206从所采集的目标场景生成可见光数据用于创建可见光图像。该可见光数据可以包括光度数据，该光度数据指示与所采集的目标场景的不同部分相关联的颜色和/或与所采集的目标场景的不同部分相关联的光的幅值。处理器222可以通过测量热成像照相机100的每个可见光传感器元件的响应来单次生成可见光图像数据“帧”。通过生成可见光数据帧，处理器222在给定的时间点采集目标场景的可见光图像。处理器222还可以反复测量热成像照相机100的每个可见光传感器元件的响应以便生成目标场景的动态热图像(例如，视频表示)，如关于以上红外照相机模块200所描述的。

[0051] 在可见光照相机模块206的每个传感器元件充当传感器像素的情况下，处理器222可以通过将每个传感器元件的电响应转换成可以被处理例如以便在显示器108上可视化和/或存储在存储器内的时分复用电信号来生成来自目标场景的可见光的二维图像或图片表示。

[0052] 处理器222可以控制显示器108显示所采集的目标场景的可见光图像的至少一部分。在某些示例中，处理器222控制显示器108使得可见光照相机模块206的每个传感器元件的电响应与显示器108上的单个像素相关联。在其他示例中，处理器222可以增加或降低可见光图像的分辨率，这样使得相比可见光照相机模块206中具有的传感器元件，有更多或更少的像素显示在显示器 108上。处理器222可以控制显示器108显示整张可见光图像(例如，热成像照相机100所采集的目标场景的所有部分)或少于整张可见光图像(例如，热成像照相机100所采集的整个目标场景的较少部分)。

[0053] 在这些示例和其他示例中，处理器222可以控制显示器108同时地显示热成像照相机100所采集的可见光图像的至少一部分和热成像照相机100所采集的红外图像的至少一部分。这种同时显示会是有用的，因为操作员可以参考可见光图像中所显示的特征来帮助理解红外图像中同时显示的特征，因为与红外图像相比，操作员可以更容易地识别和区分可见光图像中的不同的现实世界的特征。在各实施例中，处理器222可以控制显示器108以并排的安排、以画中画安排(其中，这些图像之一围绕着这些图像中的另一个图像)、或者同时显示可见光图像和红外图像的任何其他合适的安排显示可见光图像和红外图像。

[0054] 例如，处理器222可以控制显示器108以组合的安排显示可见光图像和红外图像。在这种安排下，针对可见光图像中的表示目标场景的一部分的像素或像素集，红外图像中存在相应的表示该目标场景的基本上同一部分的像素或像素集。类似地，具有相应的像素(即，表示目标场景的同一部分的像素) 的图像可以被称为相应的图像。因此，在某些这种安排下，相应的可见光图像和红外图像可以按相应的像素叠加在彼此顶部上。操作员可以与使用者界面 208交互以控制显示器108上显示的图像中的一个或两个图像的透明度或不透明度。例如，操作员可以与使用者界面208交互以在完全透明与完全不透明之间调节红外图像并且还在完全透明与完全不透明之间调节可见光图像。这种可以被称为阿尔法混合安排的示例性组合安排可以允许操作员调节显示器108显示仅红外图像与仅可见光图像的极端情况之间的两个图像的任何重叠组合中的仅红外图像、仅可见光图像。处理器222还可以将场景信息与其他数据(如辐射测量数据、报警数据等等)组合。通常，可见光图像和红外图像的阿尔法混合组合可以包括从100％红外和0％可见光到0％红外和100％可见光的任何地方。在某些实施例中，混合量可以由照相机的使用者调节。因此，在某些实施例中，可以在
100％可见光与100％红外之间调节混合图像。

[0055] 此外，在某些实施例中，处理器222可以解释和执行来自使用者界面 208、输出/控制装置210的命令。这会涉及到处理各输入信号和经由其之间的连接将那些信号传输至前端电路202。可以致动离前端电路202最近的组件(例如，电动机或螺线管)来完成所期望的控制功能。示例性控制功能可以包括调节焦点、打开/关闭快门、触发传感器读数、调节偏压值等。而且，输入信号可以用于更改处理器222中进行的图像数据的处理。

[0056] 处理器可以进一步包括其他组件来帮助处理和控制红外成像照相机 100。例如，如以上所讨论的，在某些实施例中，ADC可以结合到处理器222 内。在这种情况下，前端台204调节的模拟信号直到到达处理器222时才被数字化。而且，某些实施例可以包括在传输至显示器108或输出/控制装置210之前用于存储处理命令信息和场景数据的附加在板存储器。

[0057] 操作员可以通过使用者界面208与热成像照相机100交互，该使用者界面可以包括按钮、按键、或用于接收使用者的输入的另一个机构。操作员可以通过显示器108从热成像照相机100接收输出。显示器108可以被配置成用于以任何可接受的调色板、或颜色方案显示红外图像和/或可见光图像，并且该调色板可以例如响应于使用者控制而变化。在某些示例中，显示器108被配置成用于以单色调色板(如灰度或琥珀色)显示红外图像。在其他示例中，显示器108被配置成用于以彩色调色板(例如，彩虹色、蓝红、或其他高对比度颜色方案)显示红外图像。还设想到灰度和彩色调色板显示的组合。

[0058] 虽然处理器222控制显示器108以任何合适的安排同时显示红外图像的至少一部分和可见光图像的至少一部分，但画中画安排可以通过以相邻安排的方式显示同一场景的相应的可见光图像来帮助操作员容易地聚焦和/或解释热图像。

[0059] 电源(未示出)向热成像照相机100的各组件输送工作功率，并且在某些示例中，可以包括可再充电或不可再充电的电池和发电电路。

[0060] 在热成像照相机100的操作过程中，处理器222在与存储器中存储的程序信息相关联的指令的帮助下控制红外照相机200和可见光照相机模块206 以生成目标场景的可见光图像和红外图像。处理器222进一步控制显示器108 显示热成像照相机100所生成的可见光图像和/或红外图像。

[0061] 如指出的，在某些情况下，会难于在热图像中的目标场景的现实世界特征之间进行区别。除了用可见光信息补充红外图像以外，在某些实施例中，强调目标场景内的物理边缘会是有用的。虽然边缘检测在红外图像中难于执行，但可以在同一目标场景的相应的可见光图像上执行已知的边缘检测方法。因为红外图像与可见光图像之间的对应关系，被确定表示目标场景中的物理边缘的可见光像素对应于也表示红外图像中的边缘的红外像素。

[0062] 示例性边缘检测方法可以包括Canny边缘检测、Kirsch算子、Sobel算子、Prewitt算子和Roberrs交叉算子。柏木(Kashiwagi)(下文中的“柏木”) 的论文“使用颜色直方图的聚焦边缘检测(Focused edge detection using color histogram)”中概括描述了替代性方法，该论文通过引用结合于此。在这种过程中，可见光图像中的像素被分解成3维颜色直方图，其中，对与组成可见光图像的每种具体颜色相对应的像素的数量进行分析。颜色可以在各种各样的颜色空间(RGB、YCbCr或CMYK)中的任何颜色空间中被定义和区分，并且可以被置于与包括特定颜色的出现的像素的数量相对应的竖条(bin)内。利用这种分析，填充最少的竖条(即，出现频率最少的颜色)被认为表示图像内的边缘。因此，如果某个像素是填充最少的竖条之一，则确定该像素是边缘像素，即，表示边缘的像素。

[0063] 应指出的是，各种边缘检测过程可以检测可见光图像中存在的可能或可能不表示目标场景中的物体的实际物理范围的边界。相应地，如在此使用的，边缘通常用于描述可见光图像中的任何可检测的、可能不专门与物体的物理范围相对应的边界。

[0064] 在某些实施例中，边缘像素可以由应用于竖条或像素本身的阈值定义。例如，一定数量的填充最少的竖条(例如，5个填充最少的竖条)中的像素或填充百分率最低的竖条(例如，最低填充竖条的5％)中的像素可以被认为是边缘像素。在其他示例中，填充最少的竖条中的每个竖条被认为包括边缘像素，直到边缘像素的数量或百分比与一定阈值相交。在某些这种实施例中，使用者可以定义该阈值以便确定边缘检测灵敏度。在进一步的实施例中，可以实时地向使用者指示所检测到的边缘，从而允许使用者动态地调节边缘检测灵敏度同时观察效果。在某些实施例中，处理器222采用该边缘检测方法同时通过显示器108将所检测到的边缘呈现给使用者。然后，使用者可以通过使用者界面208 调节边缘检测灵敏度同时观察对显示的实时效果。

[0065] 在替代性边缘检测过程中，可以对每个像素进行分析，而不对可见光图像的整个RGB成分进行采样。例如，在某些实施例中，定义并分析M乘N 像素内核，其中，M和N是任意正整数。在进一步的实施例中，分析正方形N 乘N像素内核，并且在再进一步的实施例中，N是奇整数并且目标像素在N乘 N正方形的中心。在这种实施例中，可以在两步骤过程中检测边缘。首先，对包括目标像素的具体内核的变化进行分析。如果该变化超过一定阈值，则将该目标像素与该内核内的平均像素值进行比较。如果该目标像素高出该内核的平均值一定阈值，则认为该目标像素是边缘像素。在某些实施例中，像素的比较值可以包括每个像素中检测到的光度值。

[0066] 在本示例性边缘检测过程中，针对使用者操控，存在多个阈值。此外，一次仅需要将每个像素定为目标并对其进行分析，而不需要执行后续处理或迭代。如此，关于所采集的帧，这种过程可以潜在地更快地执行边缘检测。更快的边缘检测可以促进便携式照相机(如手持式热成像照相机)中的实时边缘检测。在某些实施例中，热成像照相机可以检测边缘并且向使用者实时地指示边缘信息。在某些示例中，可以用各种各样的帧速率(如30或60帧每秒)执行实时边缘检测和指示。通常，可以使用任何值。在某些实施例中，帧速率可以由使用者选择。

[0067] 已经描述了各种边缘检测方法。通常，关于可见光图像和红外图像，可见光图像提供通过这种方法可检测的更明显的边缘特征。然而，如所描述的，在某些实施例中，热成像照相机可以采集目标场景的红外图像和相应的可见光图像，其中，红外图像的像素对应于可见光图像的像素并且表示目标场景的同一部分。因此，尽管边缘上可能缺乏热差异，但可见光图像中所检测到的边缘可以用于检测红外图像中的相应的边缘。

[0068] 应指出的是，在某些实施例中，可见光图像和相应的红外图像的像素计数和/或密度不需要相同。在某些实施例中，例如，单个可见光帧中具有的可见光像素可以比相应的红外帧中具有的红外像素更多，或者反之亦然。因此，相应的像素不需要具有直接一对一的关系。而是，在某些实施例中，单个红外像素具有多个相应的可见光像素，或者一个可见光像素具有多个相应的红外像素。此外或可替代地，在某些实施例中，不是所有的可见光像素都具有相应的红外像素，或者反之亦然。这种实施例可以指示例如如之前讨论的画中画类型的显示。因此，可见光像素在可见光图像内将不一定具有与相应的红外像素相同的像素坐标。相应地，如在此使用的，相应的像素通常指来自任何图像(例如，可见光图像、红外图像、组合图像、显示图像等)的包括来自目标场景的基本上同一部分的信息的像素。这种像素不需要在图像之间具有一对一的关系并且不需要在其对应的图像内具有相似的坐标位置。

[0069] 一旦检测到表示目标场景中的边缘的像素，有若干种可以将边缘数据结合到显示图像内的方式，以便帮助使用者解释热图像。图4是过程流程图，展示了用于将所检测到的边缘信息结合到包括红外数据的显示图像内的一般方法。可以例如由操作员执行该过程。通常，处理器可以接收250目标场景的可见光图像和相应的红外图像。接收250图像可以包括例如用热成像照相机采集图像、直接从成像阵列接收表示热场景的图像数据、或从存储器存储设备上传现有图像。该处理器可以通过分析可见光图像数据和使用任何适当的方法检测可见光图像中的边缘252。如处理器的功率和预期功能(即，目标场景的实时视频表示、图像的后采集处理等)等考虑事项可以解释有待使用的边缘检测方法。通常，对应于VL图像数据中的所检测到的边缘的VL像素可以被认为是 VL边缘像素。在某些示例中，不与VL图像数据中的所检测到的边缘相对应的 VL像素可以被认为是VL非边缘像素，尽管这种像素不需要一直如此规定。在某些实施例中，被检测作为边缘像素的像素集可以定义可见光图像中的第一像素集。类似地，红外图像中的相应的像素可以定义红外图像中的第一像素集，并且显示图像中的相应的像素可以定义显示图像中的第一像素集。

[0070] 然后，该处理器可以从可见光图像中选择254像素并且确定256该像素是否是边缘像素并且相应地生成相应的显示像素。相应的显示像素是有待用于可以旨在用于显示的结果图像中的像素。其是相应的像素，因为其包括来自目标场景的与所选择的可见光像素及其相应的红外像素基本上相同部分的信息。在某些实施例中，如果所选择的像素是边缘像素，则该处理器可以生成258 包括预先确定的颜色的相应的显示像素。即，针对与VL边缘像素相对应的显示像素，该处理器可以为该预先确定的颜色的每个这种显示像素分配显示图像数据以强调该显示图像数据中的边缘的位置。该预先确定的颜色可以是例如使用者从列表或彩色调色板中选择的颜色。应指出的是，分配预先确定的颜色的显示图像数据可以专门包括该颜色，或者可以包括该预先确定的颜色的某种混合或其他方式修改的版本。

[0071] 如果所选择的像素不是边缘像素，则该处理器可以生成260包括来自相应的红外像素的信息的相应的显示像素。包括来自相应的红外像素的信息的显示像素可以包括专门来自该红外像素的数据，或者可以包括相应的红外像素和可见光像素的混合体。即，针对与是VL非边缘像素的VL像素相对应的显示像素，该处理器可以为每个这种显示像素分配显示图像数据，作为与这种显示像素相对应的相关联IR像素和VL像素的IR图像数据与VL图形数据的混合体。应指出的是，IR图像数据和VL图像数据的混合体范围可以从100％IR 图像数据和0％VL图像数据到0％IR图像数据和100％VL图像数据。即，IR 图像数据和VL图像数据的混合体可以包括例如整个IR图像数据而没有VL图像数据。

[0072] 通常，可以生成多个这种显示像素以便生成与这种像素相关联的显示图像。在各实施例中，这些显示像素中的某些包括与相应的IR像素相关联的IR 图像数据。与VL边缘像素相对应的显示像素可以包括预先确定的颜色。在某些实施例中，这种显示像素不包括任何与相应的IR像素相关联的IR图像数据。相应地，在某些配置下，不与VL边缘相对应的显示像素可以包括与相应的IR 像素相关联的IR图像数据，而与VL边缘相对应的显示像素不包括这种相应的 IR图像数据。

[0073] 在某些实施例中，该处理器可以确定262是否已经分析了每个相关像素。即，该处理器可以确定是否已经分析了期望边缘检测的每个像素。如果没有，则该处理器选择254另一个可见光像素并重复该分析。然而，如果已经分析了每个相关像素，则可以组合所生成的显示像素集以生成包括显示图像，该显示图像在分别与可见光图像中的非边缘像素和边缘像素相对应的像素处包括红外数据和经强调的边缘数据。在某些实施例中，该处理器不一定以如展示的逐像素方式执行该方法。例如，一旦检测到252边缘像素，每个边缘像素可以用于生成显示图像中的边缘显示像素，而每个非边缘像素可以同时用于生成显示图像中的非边缘显示像素，而不需要如从262开始的反馈箭头所展示的迭代过程。在某些这种实施例中，该处理器不需要明确检查是否已经分析了每个相关像素。此外，应指出的是，可以置换图4中的过程流程图中的步骤。例如，在某些实施例中，处理器可以分析可见光图像中的单个像素，确定那个像素是否是边缘像素，并继续进行以在分析可见光图像中的任何后续像素之前生成相应的显示像素。

[0074] 图4中展示的过程的各实施例如下：

[0075] 示例1：如果检测到像素是可见光图像中的边缘像素，则显示图像中的显示像素将被显示为预先确定的颜色，该颜色可以由使用者选择。可以用来自红外图像的相应的红外像素、或相应的红外图像和可见光图像的混合体填充不与可见光图像中的边缘像素相对应的显示像素。在执行混合的实例中，在某些实施例中，在混合之前，将用预先确定的颜色替换在可见光图像中检测到的边缘像素。随后，混合可见光图像和红外图像，其中，可见光图像中的任何具有预先确定的颜色的像素将不会受到混合的影响并且将被作为该预先确定的颜色传递通过图像混合器并且到达显示图像。

[0076] 示例2：如果检测到像素是可见光图像中的边缘像素，则用预先确定的颜色替换红外图像中的相应的像素以创建经修改的红外图像。随后，经修改的红外图像可以作为显示图像被呈现，或者可以与可见光图像混合以创建显示图像。在某些示例中，可以执行混合，这样使得与所产生的显示图像中所检测到的VL边缘像素相对应的像素包括该预先确定的颜色，尽管由于混合步骤而不一定恰好包括在经修改的IR图像中。然而，这种显示像素仍然可以说是包括预先确定的颜色。

[0077] 在任何这种实施例中，显示图像可以呈现在包括红外信息并且具有包括预先确定的颜色的所检测到的边缘像素的显示器上。如上所述，在某些实施例中，这些显示像素中的某些包括与相应的IR像素相关联的IR图像数据。然而，在某些这种实施例中，与VL边缘像素相对应的显示像素包括预先确定的颜色但不包括任何与相应的IR像素相关联的IR图像数据。

[0078] 在生成这种显示图像时，通常在该显示图像的各部分上呈现IR图像信息，同时可以用预先确定的颜色强调与该显示图像中的与所检测到的边缘相对应的部分。具体地，在某些这种实施例中，与VL边缘像素相对应的显示像素不包括任何IR图像数据，以便更清晰地将这种边缘像素与不包括IR图像数据的非边缘像素区分开。因此，该显示图像可以包括IR图像数据，其中，用预先确定的颜色强调所检测到的边缘，由此向红外图像数据的观看者提供更好的目标场景背景。此外，在实施例中，在处理图像数据之前用预先确定的颜色替换像素和/或不需要将IR图像数据包括在与VL边缘像素相对应的显示像素中可以减少处理步骤的数量和/或生成显示图像所需的处理功率。相应地，可以快速地生成并基本上实时地呈现显示图像。

[0079] 在各实施例中，显示图像可以包括可见光像素和红外像素的混合体，其中，混合量可由使用者调节。可以用画中画安排呈现该显示图像，其中，例如，该显示图像可以呈现在可见光图像内。在某些实施例中，可以用颜色围绕着混合显示图像的方式呈现可见光图像。在进一步的实施例中，在与调色板化红外图像的相应部分混合之前，有待混合的可见光图像的一部分被转换成灰度。所产生的显示图像的混合部分可以呈现在剩余的(未混合的)可见光图像内，该剩余的可见光图像可以保持有颜色。即，在某些实施例中，仅有待与红外像素混合的像素被转换成用于混合的灰度，剩余的可见光像素保持呈现有颜色。

[0080] 这种画中画显示可以帮助使用者在目标场景的各元素之间进行区别。在其中产生的显示图像中检测和/或强调边缘的各实施例中，仅在显示图像的混合部分内强调边缘(尽管边缘像素本身不需要混合)。可替代地，可以贯穿整个显示图像呈现显示图像中的边缘像素，包括其混合部分之外的部分。

[0081] 例如热成像照相机或外部装置(如PC)中的处理器或一系列处理器可以实施在此描述的各实施例中的每个实施例。此外，可以在存储器中所存储的相应的可见光图像和红外图像上执行实施例，或者可以在尤其所接收的可见光图像数据和红外图像数据上执行实施例以便执行该方法并在显示器上基本上实时地呈现所产生的显示图像。可以例如基于所期望的功能性、可供使用的和所需的处理功率/速度、或其他原因选择所采用的方法。此外，可以在任何适用于处理和/或显示图像数据的系统(如各种移动装置，包括智能电话和平板计算机) 中实施方法。

[0082] 进一步参照图3，在一个示例性实施例中，热成像照相机包括用于处理和混合如上所述的可见光图像和红外图像的处理器222(如FPGA)，并且包括第二处理器223(例如，第二FPGA)，该第二处理器包括在可见光模块206内或以其他方式与其通信。第二处理器223可以从可见光模块206接收并且处理可见光图像数据并检测可见光图像中的边缘像素。在某些实施例中，第二处理器223通过检测边缘像素并且在将经修改的可见光图像数据传递至处理器222 之前用预先确定的颜色替换所检测到的边缘像素来对可见光图像数据进行处理。该预先确定的颜色可以由使用者通过使用者界面208选择并且被引导至第二处理器223用于可见光图像数据修改。

[0083] 处理器222可以根据若干种方法中的任何方法接收经修改的可见光图像数据并且继续进行以将边缘数据结合到显示图像内。例如，处理器222可以被配置成用于将来自第二处理器223的经修改的可见光数据的至少多个部分与来自红外照相机模块200或前端电路202的红外图像数据的相应的部分混合以创建显示图像。混合的范围可以从0％到100％可见光和100％到0％红外，并且可以由使用者确定。在某些实施例中，该混合过程如此使得如果处理器222在经修改的可见光图像数据中检测到专门具有该预先确定的颜色的像素，则那个像素不受该混合过程的影响并且显示图像中的相应的像素仅由该预先确定的颜色组合。类似地，在某些实施例中，在混合之前，可以为显示图像中与所检测到的VL边缘像素相对应的像素分配预先确定的颜色，并且可以整个跳过用于生成这种显示像素的混合过程。
在类似的实施例中，可以用该预先确定的颜色的像素替换与VL边缘像素相对应的显示像素。因此，在显示图像的至少一部分中，用该预先确定的颜色向使用者强调所检测到的边缘。在某些情况下，显示图像的一部分包括非边缘像素中的红外图像数据以及边缘像素中的预先确定的颜色。

[0084] 图5是过程流程图，展示了生成并修改显示图像的示例性操作。在各实施例中，使用者可以在具有相应的红外图像的可见光图像中发起270边缘检测。该使用者可以是热成像照相机或其他具有或不具有采集可见图像和/或红外图像能力的计算装置的使用者。在各装置中，这些图像可以由该装置采集或以其他方式存储在例如该装置中的存储器中。在发起270边缘检测时，该装置可以执行任何适用于检测可见光图像中的边缘的方法。

[0085] 使用者可以选择272用于强调现实图像中的所检测到的边缘的颜色。在某些实施例中，使用者可以从预定义的颜色列表中选择该颜色。在其他实施例中，使用者可以通过输入单独的R(红色)G(绿色)和B(蓝色)值，或者通过中从彩色调色板中选择颜色从而在RGB空间中选择任何颜色。类似地，在各实施例当中，使用者可以通过将值输入到任何已知的颜色空间(例如，像 YCbCr和CMYK)来定义颜色。所选择的颜色可以被定义为预先确定的颜色并且用于或者直接、或者通过将该预先确定的颜色与来自可见光图像的相应的像素数据(在某些示例中)混合来显示所检测到的边缘在显示图像中的位置。

[0086] 除了选择272用于对显示图像中的所检测到的边缘进行强调的预先确定的颜色之外，使用者可以定义274显示图像参数。这种参数可以包括例如所期望的彩色调色板，该调色板用于表示红外图像数据、有待使用的显示图像的类型(如画中画显示、混合图像、或其他已知的显示类型)、以及可见光图像与红外图像之间所期望的混合量。在某些实施例中，使用者还可以定义边缘检测的灵敏度。这会影响显示图像中呈现的边缘的厚度以及所检测到的边缘的数量。在其他实施例中，使用了默认的灵敏度。

[0087] 使用者可以用各种方式在该装置上发起276显示图像的生成。在某些装置中，使用者选择从其中产生显示图像的可见光图像和相应的红外图像。例如在PC中可能是这种情况。在其他装置(如便携式热成像照相机)中，使用者可以简单地将该照相机指向目标场景并且将实时地生成显示图像。在其他实施例中，使用者可以使用热成像照相机触发图像采集以便采集一个或多个可见光图像帧和相应的红外图像帧。当生成显示图像后，可以为使用者呈现显示图像，该显示图像包括来自目标场景的红外图像数据和包括预先确定的颜色的经强调的边缘数据。

[0088] 如之前所述，在某些实施例中，与可见光图像中所检测到的边缘相对应的显示图像像素可以专门由预先确定的颜色组成。在其他实施例中，这种像素包括与例如可见光像素混合的预先确定的颜色。在某些配置下并且用某些装置，在定义274显示图像参数的同时，使用者可以选择对边缘像素进行强调的性质。在其他装置或具体操作模式下，仅可以利用强调所检测到的边缘的具体方法。例如，在实时图像采集、边缘检测、和显示图像显示过程中，某些边缘检测和/或显示方法在提供实时显示的同时可能需要太多的处理时间来执行。

[0089] 在某些配置中，使用者可以调节278各种参数来修改显示图像。例如，在某些实施例中，使用者可以调节可见光和红外显示的类型(例如，混合、画中画等)、图像的混合部分中的混合量、所选择的颜色或边缘检测灵敏度。因此，使用者可以调节参数以便根据他或她的偏好改变显示图像的呈现或校正该图像的可能的错误表示(例如，检测到太多或不足够的边缘)。在各实施例中，使用者可以根据使用者正在执行的任务采集、打印、保存、修改或监控显示图像。

[0090] 将认识到，可以组合、置换和/或省略图5中所展示的过程中的各步骤。例如，发起270边缘检测和发起276显示图像的生成可以包括在同一步骤中或者同时执行。使用者可以选择272颜色(例如，从预定义的颜色列表、交互式彩色调色板、或使用者的输入以在多个颜色空间中的任意空间中定义值)成为预先确定的颜色，定义274显示图像参数，以及发起276显示图像的生成，其中该显示图像已经被配置成包括经强调的边缘数据，该边缘数据包括该预先确定的颜色。在这种情况下，可以当发起276显示图像生成后发起270边缘检测[0091] 此外，可以从例如处理器、热成像照相机、独立式计算机等等的角度执行图5中从使用者的角度概括的过程。这种过程可以包括接收边缘检测发起命令、接收所选择的颜色、生成显示图像数据以及接收调节显示图像数据的命令。附加示例性步骤可以包括在显示器上呈现显示图像数据、接收VL图像数据以及接收IR图像数据。接收调节至少一个参数的命令可以包括调节边缘检测阈值、所选择的颜色、图像显示类型(例如，画中画、重叠等)、以及VL与IR 图像数据之间有待结合的混合量中的至少一项的命令。如所指出的，在本发明的各实施例当中，可以省略和/或置换该过程中的各步骤。例如，处理器可以根据在此描述的各种方法仅生成显示图像而不从使用者接收输入。在生成和呈现包括红外图像数据和经强调的包括预先确定的颜色的边缘的实时显示图像时可以携带这种示例。

[0092] 图6A至图6F展示了目标场景的不同显示图像。图6A是包括目标场景的可见光图像数据的显示图像。图6B是包括目标场景的红外图像数据的显示图像。虽然不同温度的物体在该场景中是相对可区分的，但由于边缘的任一侧发出相对均匀的热辐射，该可见光图像中某些显著的边缘(尤其是显示该图像的各部分的细节的边缘，如鞋带)变阴暗。可以使用任何合适的边缘检测方案(如在此描述的那些)来检测该可见光图像的边缘。而且，在某些实施例中，具体边缘检测方案的灵敏度可由使用者调节，从而产生更多或更少的所检测到的边缘。图6C是使用具有第一灵敏度的边缘检测方案在图6A的可见光图像中检测到的示例性边缘像素集。

[0093] 图6D是显示图像，其中使用如图6C中所展示的边缘检测过程和第一灵敏度已经检测到了边缘。如所示，用图6C中所示的所检测到的线强调来自图6B的红外图像的边缘。这种线向观看该显示图像的观看者提供背景。图6D 中的显示图像可以被呈现为混合图像，其中，混合可见光图像数据和相应的红外图像数据来产生该图像。如所讨论的，混合范围可以从100％红外和0％可见光到0％红外和100％可见光。可以使用在此描述的方法和/或实施例中的任一个执行如图6C和图6D中所示的那种边缘检测和显示。例如，图6D中的显示图像可以实时地呈现在热成像照相机的显示器上，从而当该照相机指向不同目标场景和/或目标场景变化时继续进行更新。如所讨论的，在某些示例中，该显示图像的参数(如边缘检测的灵敏度)可由使用者调节。

[0094] 图6E是与图6C中的显示图像类似的显示图像，其中，呈现了图6A 和图6B中的图像中检测到的边缘。在图6E中，使用第二边缘灵敏度检测所显示的边缘，从而当与该第一灵敏度比较时产生更大数量的所检测到的边缘像素。例如，在用于检测图6E中的边缘像素的边缘检测过程中，检测阈值可能比用于检测图6C中所展现的边缘像素的边缘检测过程更低。

[0095] 图6F是如图6B所示的显示图像，包括图6E中的经强调的边缘像素。在图6F的显示图像中，呈现了比图6D的同一场景中多得多的经强调的边缘像素。在本具体示例中，已经提高了该边缘检测过程的灵敏度，由此增加了该可见光图像中的被认为是可见光边缘像素并且如此呈现在相关联的显示图像数据中的像素的数量。在某些实施例中，使用者可以调节该边缘检测灵敏度并且实时地观察所采集的图像的所检测到的边缘的变化。在进一步的实施例中，可以在实时地更新显示图像的同时调节边缘检测灵敏度，从而允许使用者在执行成像操作的同时立即观察所检测到的边缘的变化。

[0096] 已经描述了示例热图像照相机和相关技术。本披露中所描述的技术还可以体现或编码在计算机可读介质中，如包含指令的瞬态计算机可读存储介质。例如，当执行内置或编码在计算机可读存储介质中的指令时，这些指令可以致使可编程处理器、或其他处理器执行该方法。计算机可读存储介质可以包括随机存取存储器(RAM)、只读存储器(ROM)、硬盘、光介质、或其他计算机可读介质。

[0097] 例如，包括这种计算机可读介质的外部计算机可以从热成像照相机或从存储器接收相应的可见光图像和红外图像并且如在此描述的执行边缘检测和 /或生成显示图像。在某些实施例中，这些技术的各部分可以体现在多个组件中。例如，热成像照相机可以检测可见光图像中的边缘并将检测到的边缘信息传递至用于利用所检测到的图像生成显示图像的外部计算装置。

[0098] 在进一步的实施例中，本发明的实施例可以体现在显示系统中。该显示系统可以被配置成用于接收VL图像数据和IR图像数据并实施如在此描述的那些过程。示例性显示系统可以包括一个或多个处理器、显示器和用于实施这种过程的使用者界面。显示系统可以结合到任何能够接收和处理图像数据的适当的装置或系统中。在某些实施例中，该显示系统可以包括热成像照相机，如本文其他地方描述的手持式热成像照相机，以便采集相应的VL图像和IR图像和向该成像系统的其他组件提供VL图像数据和IR图像数据。在进一步的实施例中，该成像系统完全结合到这种照相机内，或者可以实质上由能够实施所描述的各过程中的任何过程的照相机组成。

[0099] 已经描述了各实施例。这种示例是非限制性的，并且不以任何方式定义或限制本发明的范围。而是，这些和其他示例在以下权利要求书的范围内。

标题	发布/更新时间	阅读量
互动课堂的智能控制系统、远程控制终端及教室终端	2020-05-13	482
标签的交互方法、装置及计算机存储介质	2020-05-14	760
一种设置多机位视频直播模式的方法	2020-05-14	196
一种多路视频流的编码方法及装置	2020-05-11	791
一种医疗影像处理方法	2020-05-12	437
基于硬件的画中画显示方法及装置	2020-05-13	885
基于增强现实效果的事件增强	2020-05-11	282
一种基于FPGA实现的车载视频图像画中画显示方法	2020-05-08	49
一种画中画显示方法以及显示设备	2020-05-12	690
显示器校正装置及显示器	2020-05-13	984

标记边缘以增强IR成像的方法、系统及计算机可读介质

标记边缘以增强IR成像的方法、系统及计算机可读介质

该功能需要专业版企业版VIP权限，您可以：