用于测量物体上或附近的特征的方法及装置专利检索-中央处理器电脑零配件专利检索查询-专利查询网

用于测量物体上或附近的特征的方法及装置

阅读：196发布：2024-01-03

专利汇可以提供用于测量物体上或附近的特征的方法及装置专利检索，专利查询，专利分析的服务。并且一种用于使用视频检测装置来测量物体上或附近的特征的尺寸的方法及装置。基于物体的表面上的参照表面点来确定参照表面。一个或多个测量光标放置在物体的图像的测量像素上。在参照表面上确定与测量像素相关联的投射的参照表面点。特征的尺寸可使用至少一个投射的参照表面点的三维坐标来确定。，下面是用于测量物体上或附近的特征的方法及装置专利的具体信息内容。

权利要求

1.一种用于测量观察物体上或附近的特征的方法，所述方法包括以下步骤：
在监视器上显示所述观察物体的图像；
使用中央处理器单元确定所述观察物体的表面上的多个点的三维坐标；
使用指向装置从所述观察物体的表面上的多个点选择一个或多个参照表面点；
使用所述中央处理器单元确定参照表面，其中所述参照表面基于所述参照表面点中的一个或多个来确定；
使用指向装置将一个或多个测量光标放置在所述图像的一个或多个测量像素上；
使用所述中央处理器单元在所述参照表面上确定与所述一个或多个测量光标相关联的一个或多个投射的参照表面点，其中所述一个或多个投射的参照表面点中的各个基于来自所述一个或多个测量像素的三维轨迹线和所述参照表面的交点来确定；以及使用所述中央处理器单元，使用所述一个或多个投射的参照表面点中的至少一个的三维坐标来确定所述观察物体上或附近的特征的尺寸。
2.根据权利要求1所述的方法，其特征在于，所述观察物体的图像是二维图像。
3.根据权利要求1所述的方法，其特征在于，所述参照表面是平面。
4.根据权利要求1所述的方法，其特征在于，使用指向装置选择一个或多个参照表面点的步骤通过将参照表面光标放置在所述参照表面点中的各个上而执行。
5.根据权利要求1所述的方法，其特征在于，所述方法还包括，在所述监视器上显示所述观察物体的表面上的多个点和所述参照表面上的一个或多个投射的参照表面点的三维视图的步骤。
6.根据权利要求1所述的方法，其特征在于，所述一个或多个投射的参照表面点中的至少一个与没有所述观察物体的表面上的点的相关联的三维坐标的测量像素相关联。
7.根据权利要求1所述的方法，其特征在于，所述一个或多个投射的参照表面点中的至少一个与具有所述观察物体的表面上的点的相关联的三维坐标的测量像素相关联。
8.根据权利要求7所述的方法，其特征在于，使用所述一个或多个投射的参照表面点中的至少一个的三维坐标确定所述观察物体上或附近的特征的尺寸的步骤还包括，使用所述观察物体的表面上的多个点中的至少一个的三维坐标。
9.根据权利要求1所述的方法，其特征在于，所述参照表面基于所述参照表面点中的一个或多个的三维坐标或所述参照表面点中的一个或多个附近的表面点的三维坐标来确定。
10.根据权利要求1所述的方法，其特征在于，所述观察物体上或附近的特征是所述观察物体的缺失转角，以及其中使用指向装置将一个或多个测量光标放置在所述图像的一个或多个测量像素上的步骤包括通过以下执行面积测量：
将第一测量光标放置在离所述参照表面点第一距离处的所述缺失转角附近的所述观察物体的第一边缘上，
将第二测量光标放置在离所述参照表面点第二距离处的所述缺失转角附近的所述观察物体的第二边缘上，以及
将第三测量光标放置在离所述参照表面点第三距离处。
11.根据权利要求10所述的方法，其特征在于，所述方法还包括以下步骤：
确定所述第三距离大于所述第一距离和所述第二距离；
使用中央处理器单元确定(i)在所述第一测量光标与所述第三测量光标之间延伸的第一线与(ii)在所述第二测量光标与所述第三测量光标之间延伸的第二线之间的角；以及如果所述角在预定角范围内，则自动地确定由所述测量光标和所述第一线和所述第二线的长度形成的面积。
12. 根据权利要求10所述的方法，其特征在于，所述方法还包括以下步骤：
使用中央处理器单元确定所述第一测量光标与所述第三测量光标之间延伸的第一线以及在所述第二测量光标与所述第三测量光标之间延伸的第二线的长度；以及在所述监视器上显示由所述测量光标以及所述第一线和所述第二线的长度形成的面积尺寸。
13.根据权利要求10所述的方法，其特征在于，所述方法还包括，在所述监视器上显示从所述第三测量光标沿所述观察物体的第一边缘延伸穿过所述第一测量光标的第一延伸线以及从所述第三测量光标沿所述观察物体的第二边缘延伸穿过所述第二测量光标的第二延伸线的步骤。
14.根据权利要求1所述的方法，其特征在于，所述方法还包括以下步骤：
使用所述中央处理器单元确定所述观察物体的表面上的点与所述参照表面之间的距离；
使用所述中央处理器单元将所述距离与预定距离阈值相比较；以及
如果所述距离低于所述预定距离阈值，则显示与所述观察物体的表面上的点相关联的所述二维图像中的像素上的覆盖。
15.根据权利要求14所述的方法，其特征在于，所述距离是所述观察物体的表面上的点与所述参照表面之间的垂直距离。
16.根据权利要求1所述的方法，其特征在于，所述方法还包括以下步骤：
使用中央处理器单元确定所述观察物体的表面上的点与所述参照表面之间的距离；
使用所述中央处理器单元将所述距离与预定距离阈值相比较；以及
在所述观察物体的表面上的多个点的三维视图中显示具有低于所述预定距离阈值的距离的表面点的指示。
17. 根据权利要求1所述的方法，其特征在于，所述方法还包括以下步骤：
在所述监视器上显示所述观察物体的表面上的多个点的三维视图；以及在所述三维视图上显示从视场原点延伸的多条视场线，以提供视频检测装置的探头的末梢相对于所述观察物体的定向的视觉指示。
18. 根据权利要求1所述的方法，其特征在于，所述方法还包括以下步骤：
在所述监视器上显示所述观察物体的表面上的多个点和所述参照表面的三维视图；以及
在所述三维视图上显示从与所述参照表面上的一个或多个测量光标相关联的一个或多个投射的参照表面点中的一个延伸到所述观察物体的表面上的点的引导线，其中所述引导线垂直于所述参照表面。
19.根据权利要求1所述的方法，其特征在于，所述参照表面是参照平面，还包括以下步骤：
使用所述中央处理器单元基于与放置在物体的边缘上的测量光标中的至少两个相关联的三维坐标而确定边缘视平面；
使用所述中央处理器单元确定所述参照平面与所述边缘视平面之间的角；以及如果所述角在预定角范围外，则在所述监视器上指示警告。

说明书全文

用于测量物体上或附近的特征的方法及装置

[0001] 相关申请的交叉引用本申请请求享有2015年9月25日提交的题为METHOD AND SYSTEM FOR MEASURING FEATURES ON OR NEAR AN OBJECT的美国临时专利申请第62/232866号和2016年2月8日提交的题为METHOD AND SYSTEM FOR MEASURING FEATURES ON OR NEAR AN OBJECT的美国专利申请第15/018628号的权益，其全部内容通过引用并入本文中。本申请也是在此通过引用整体并入本文中的2015年3月17日提交且题为METHOD AND DEVICE FOR DISPLAYING A TWO-DIMENSIONAL IMAGE OF A VIEWED OBJECT SIMULTANEOUSLY WITH AN IMAGE DEPICTING THE THREE-DIMENSIONAL GEOMETRY OF THE VIEWED OBJECT的美国专利申请序列第14/660464号的部分连续案且请求享有其优先权，且其为(1)通过引用整体并入本文中的2013年12月17日提交且题为METHOD AND DEVICE FOR AUTOMATICALLY IDENTIFYING THE DEEPEST POINT ON THE SURFACE OF AN ANOMALY的美国专利申请序列第14/108976号，以及(2)通过引用整体并入本文中的2011年3月4日提交且题为METHOD AND DEVICE FOR DISPLAYING A THREE-DIMENSIONAL VIEW OF THE SURFACE OF A VIEWED OBJECT的美国专利申请序列第13/040678号(现在是美国专利第9013469号)的部分连续案且请求享有其优先权。

技术领域

[0002] 本文公开的主题涉及用于使用视频检测装置来测量物体上或附近的特征的尺寸的方法及装置。

背景技术

[0003] 视频检测装置如视频内窥镜或管道镜可用于检测物体的表面以识别和分析物体上可能因例如损坏、磨损、腐蚀或不适当安装而引起的异常(例如，凹坑或凹陷)。在许多情况下，物体的表面是不可接近的并且在未使用视频检测装置的情况下是无法观察的。例如，视频检测装置可用于检测飞行器或发电单元上涡轮发动机叶片的表面以识别表面上可能已形成的任何异常以便确定是否需要任何修理或进一步维护。为了进行该评定，经常需要获得对表面和异常的高度准确的尺寸测量，以验证异常未超出或脱离针对该物体的操作限制或要求规定。

[0004] 视频检测装置可用于获得并显示观察物体的表面的二维图像，其示出异常以确定表面上异常的尺寸。表面的该二维图像可用于生成表面的三维数据，其提供表面上(包括异常附近)的多个点的三维坐标(例如，(x,y,z))。在一些视频检测装置中，用户可以以测量模式操作视频检测装置以进入测量屏幕，其中用户将光标放置在二维图像上以确定异常的几何尺寸。

[0005] 然而，在一些情况下，物体可能以一种方式受损，使得物体的部分可缺失(例如，涡轮叶片或其他物体可具有缺失的末梢)，或物体上的某些区域在图像中不够详细(例如，沿涡轮叶片的边缘，其中存在由外物破坏引起的小凹陷，或涡轮叶片与护罩之间的间隙)。缺失部分或不够详细的特征的测量可能不可能，因为期望测量区域中的表面点的三维坐标不可计算，或准确性较低(例如，如果缺失部分的区域中没有表面点，如果区域太暗、太亮、太高光泽，或具有太多炫光或镜面反射，区域具有不够的细节，区域具有太多噪声，等)。在其他情况下，视频检测装置的视角可使得用户不可准确地将光标放置在二维图像上的期望位置来进行测量。此外，当查看由视频检测装置取得的图像时，用户可能不能认识到探头与物体之间的物理关系来调整视图(如果需要)。发明内容

[0006] 公开了一种用于使用视频检测装置来测量物体上或附近的特征的尺寸的方法及装置。基于物体的表面上的参照表面点来确定参照表面。一个或多个测量光标放置在物体的图像的测量像素上。确定与参照表面上的测量像素相关联的投射的参照表面点。特征的尺寸可使用至少一个投射的参照表面点的三维坐标来确定。在一些公开的实施例的实践中可实现的优点在于，甚至在没有三维数据或低准确性三维数据可用的情况下也可进行物体特征的准确测量。

[0007] 在一个实施例中，公开了一种用于测量观察物体上或附近的特征的方法。该方法包括以下步骤：在监视器上显示观察物体的图像、使用中央处理器单元确定观察物体的表面上的多个点的三维坐标、使用指向装置从观察物体的表面上的多个点中选择一个或多个参照表面点、使用中央处理器单元确定参照表面(其中参照表面基于一个或多个参照表面点来确定)、使用指向装置将一个或多个测量光标放置在图像的一个或多个测量像素上、使用中央处理器单元确定与参照表面上的一个或多个测量光标相关联的一个或多个投射的参照表面点(其中一个或多个投射的参照表面点中的各个基于来自一个或多个测量像素的三维轨迹线和参照表面的交点来确定)，以及使用中央处理器单元使用一个或多个投射的参照表面点中的至少一个的三维坐标确定观察物体上或附近的特征的尺寸。

[0008] 以上实施例仅为示例性的。其他实施例在公开的主题的范围内。附图说明

[0009] 所以，可理解本发明的特征的方式，可参照某些实施例来详细描述本发明，其中一些实施例在附图中示出。然而，要注意，附图仅示出了本发明的某些实施例，且因此不认作是限制其范围，因为公开的主题的范围还包含其他实施例。附图不一定按比例，重点大体上放置在示出本发明的某些实施例的特征。在附图中，相似的数字贯穿各种视图用于指示相似部分。

[0010] 图1为示例性视频检测装置的框图；图2为示例性实施例中的具有异常的观察物体的物体表面由视频检测装置获得的示例性图像；
图3为示例性实施例中的用于自动地识别图2的图像中所示的观察物体上的异常的表面上最深点的示例性方法的流程图；
图4示出了由视频检测装置确定的示例性参照表面；
图5示出了由视频检测装置确定的示例性关注区域；
图6示出了由视频检测装置确定的另一个示例性关注区域；
图7为示例性实施例中的图1的图像中所示的观察物体的物体表面的示例性轮廓的图形表达；
图8为示例性实施例中的具有异常的观察物体的表面由视频检测装置获得的另一个图像；
图9为示例性实施例中的用于检测图8的图像中所示的观察物体的表面的用于显示三维数据的方法的流程图；
图10为点云视图中的多个表面点的子集的显示；
图11为另一个示例性实施例中的用于同时显示观察物体的二维图像以及绘出了观察物体的三维几何形状的图像的示例性方法的流程图；
图12为观察物体的二维图像和立体图像的显示；
图13为具有测量光标的观察物体的二维图像和具有测量标识符的深度轮廓图像形式的观察物体的三维几何形状的渲染图像的显示；
图14为具有测量光标的观察物体的二维图像和具有测量标识符的点云视图形式的观察物体的三维几何形状的渲染图像的显示；
图15A为另一个示例性实施例中的具有缺失转角的涡轮叶片由视频检测装置获得的另一个示例性图像；
图15B为另一个示例性实施例中的具有如图15A中所示的缺失转角的涡轮叶片的三维点云视图的显示；
图15C为另一个示例性实施例中的具有缺失转角的涡轮叶片由视频检测装置获得的另一个示例性图像；
图16示出了图像像素、传感器像素、参照表面坐标和物体表面坐标之间的关系；
图17为另一个示例性实施例中的具有缺失转角的涡轮叶片由视频检测装置获得的另一个示例性图像；
图18示出了测量平面和参照轮廓的并排二维/三维视图；
图19A和19B示出了用于以可视化覆盖来标记图像以可视化限定的参照表面(如测量平面)的技术；
图20示出了提供视频检测装置的探头的末梢的定向的视觉指示的具有视场线的物体的点云视图；
图21示出了示例性实施例中的与物体的三维点云并排的二维图像；
图22A示出了示例性实施例中的与物体的点云视图并排的另一个二维图像；以及图22B示出了视频检测装置的边缘视角与参照表面之间的几何关系。

具体实施方式

[0011] 公开的主题的实施例提供了使用视频检测装置测量物体上或附近的特征的尺寸的技术。在一个实施例中，参照表面基于物体的表面上的参照表面点来确定。一个或多个测量光标放置在物体的图像的测量像素上。确定与参照表面上的测量像素相关联的投射的参照表面点。特征的尺寸可使用至少一个投射的参照表面点的三维坐标来确定。其他实施例在公开的主题的范围内。

[0012] 图1为示例性视频检测装置100的框图。将理解，图1中所示的视频检测装置100是示例性的，且本发明的范围不限于任何特定视频检测装置100或视频检测装置100内的构件的任何特定构造。

[0013] 视频检测装置100可包括包含插入管110的长形探头102，以及设置在插入管110的远端处的头组件120。插入管110可为柔性的管状区段，头组件120与探头电子器件140之间的所有互连穿过该管状区段。头组件120可包括探头光学器件122以用于将来自观察物体202的光引导和聚焦到成像器124上。探头光学器件122例如可包括透镜单态或具有多个构件的透镜。成像器124可为固态CCD或CMOS图像传感器，以获得观察物体202的图像。

[0014] 可分离的末梢或适配器130可放置在头组件120的远端上。可分离的末梢130可包括末梢观察光学器件132(例如，透镜、窗或孔口)，其连同探头光学器件122工作，以将来自观察物体202的光引导和聚焦到成像器124上。如果用于视频检测装置100的光源从末梢130或光穿过元件(未示出)发射来使光从探头102穿至观察物体202，则可分离的末梢130也可包括照明LED(未示出)。末梢130还可通过包括波导(例如，棱镜)使相机视图和光输出转到侧面来提供侧视的能力。末梢130还可提供立体光学器件或结构光投射元件，以用于确定观察表面的三维数据。包括在末梢130中的元件还可包括在探头102自身中。

[0015] 成像器124可包括形成在多排和多列中的多个像素，且可生成代表入射到成像器124的各个像素上的光的模拟电压形式的图像信号。图像信号可经由提供电子器件来用于信号缓冲和调节的成像器混合电路126传播至成像器线束112，其提供线来用于成像器混合电路126与成像器接口电子器件142之间的控制和视频信号。成像器接口电子器件142可包括电源、用于生成成像器时钟信号的定时发生器、用于数字化成像器视频输出信号的模拟前端，以及用于将数字化成像器视频数据处理成更有用的视频格式的数字信号处理器。

[0016] 成像器接口电子器件142是探头电子器件140的一部分，其提供用于操作视频检测装置10的成批功能。探头电子器件140还可包括校准存储器144，其储存用于探头102和/或末梢130的校准数据。微控制器146也可包括在探头电子器件140中，以用于与成像器接口电子器件142通信来确定和设置增益和曝光设置、储存和读取来自校准存储器144的校准数据、控制输送至观察物体202的光，以及与视频检测装置100的中央处理器单元(CPU)150通信。

[0017] 除与微控制器146通信外，成像器接口电子器件142也可与一个或多个视频处理器160通信。视频处理器160可从成像器接口电子器件142接收视频信号，且示出信号至各种监视器170,172，包括集成显示器170和外部监视器172。集成显示器170可为嵌入视频检测装置100中的LCD屏幕，以用于将各种图像或数据(例如，观察物体202的图像、菜单、光标、测量结果)显示给检测人员。外部监视器172可为连接到视频检测装置100上以用于显示各种图像或数据的视频监视器或计算机类型的监视器。

[0018] 视频处理器160可至/自CPU 150提供/接收命令、状态信息、流视频、静止视频图像和图形覆盖，且可包括FPGA、DPS或其他处理元件，其提供诸如图像采集、图像增强、图形覆盖合并、畸变校正、帧平均、缩放、数字变焦、覆盖、合并、转换、运动探测和视频格式转换和压缩。

[0019] 除提供其他功能的主机(包括图像、视频和音频储存和调用功能、系统控制和测量处理)外，CPU 150可用于通过经由操纵杆180、按钮182、键区184和/或麦克风186接收输入。操纵杆180可由用户操纵来执行操作，如，菜单选择、光标移动、滑块调整和探头102的铰接控制，且可包括按钮功能。按钮182和/或键区184还可用于菜单选择，且提供用户命令至CPU
150(例如，定格或保存静止图像)。麦克风186可由检测人员使用来提供语音指令来定格或保存静止图像。

[0020] 视频处理器160还可与视频存储器162通信，视频存储器162由视频处理器160使用来在处理期间用于帧缓冲和数据的临时存放。CPU 150还可与CPU程序存储器152通信来用于储存由CPU 150运行的程序。此外，CPU 150可与易失性存储器154(例如，RAM)和非易失性存储器156(例如，闪速存储装置、硬盘驱动器、DVD或EPROM存储器装置)通信。非易失性存储器156是用于流视频和静止图像的主储存器。

[0021] CPU 150还可与计算机I/O接口158通信，其提供与外围装置和网络的各种接口，如，USB、Firewire、以太网、音频I/O和无线收发器。该计算机I/O接口158可用于保存、调用、传输和/或接收静止图像、流视频或音频。例如，USB"指状驱动器"或紧凑式闪速存储卡可插入计算机I/O接口158中。此外，视频检测装置100可构造成将图像数据或流视频数据的帧发送至外部计算机或服务器。视频检测装置100可结合TCP/IP通信协议套，且可并入包括多个本地计算机和远程计算机的广域网中，各个计算机还结合TCP/IP通信协议套。利用TCP/IP协议套的结合，视频检测装置100结合了包括TCP和UDP的若干输送层协议，以及包括HTTP和FTP的若干不同层协议。

[0022] 将理解的是，尽管某些构件在图1中示为单个构件(例如，CPU 150)，但多个单独的构件可用于执行CPU 150的功能。

[0023] 图2为本发明的示例性实施例中的具有异常204的观察物体202的物体表面210由视频检测装置100获得的示例性图像200。在该示例中，异常204示为凹陷，在该处，材料在异常204中从观察物体202的物体表面210通过破坏或磨损而除去。将理解，该示例性实施例中所示的异常204仅为示例，且本发明的方法适用于其他类型的不规则(例如，裂纹、侵蚀点、涂层损失、表面沉积物等)。一旦获得图像200且识别到异常204，则图像200可用于确定异常204的尺寸(例如，高度或深度、长度、宽度、面积、容积、点到线、轮廓切片等)。在一个实施例中，使用的图像200可为包括异常204的观察物体202的物体表面210的二维图像200。

[0024] 图3为本发明的示例性实施例中的用于自动地识别图2的图像200中所示的观察物体202上的异常204的物体表面210上的最深点的示例性方法300的流程图。将理解的是，图3的流程图中所描述的步骤可按不同于流程图中所示的顺序而执行，且某些实施例并非需要所有步骤。

[0025] 在示例性方法300(图3)的步骤310处且如图2中所示，用户可使用视频检测装置100(例如，成像器124)来获得具有异常204的观察物体202的物体表面210的至少一个图像
200，且将其显示在视频监视器(例如，集成显示器170或外部监视器172)上。在一个实施例中，图像200可在视频检测装置的测量模式中显示。

[0026] 在示例性方法300(图3)的步骤320中，视频检测装置100(例如，CPU 150)可确定观察物体202的物体表面210上的多个表面点的三维坐标(例如，(x,y,z))，包括异常204的表面点。在一个实施例中，视频检测装置可从图像200生成三维数据，以便确定三维坐标。若干不同的现有技术可用于提供物体表面210的图像200(图2)中的表面点的三维坐标(例如，立体扫描系统、立体三角测量、结构光方法，如，相移分析、相移云纹、激光点投射，等)。

[0027] 大多数此类技术包括使用校准数据，其尤其包括用于减少在其他情况下将由光学畸变引起的三维坐标中的误差的光学特征数据。利用一些技术，三维坐标可使用在接近的时间采集的一个或多个图像确定，该图像可包括投射的图案等。将理解的是，提到的使用图像200确定的三维坐标还可包括使用在接近的时间采集的物体表面210的一个或多个图像200确定的三维坐标，且在所述操作期间显示给用户的图像200可或可不实际用于确定三维坐标。

[0028] 在示例性方法300(图3)的步骤330处，且如图4中所示，视频检测装置100(例如，CPU 150)可确定参照表面250。在一些实施例中，参照表面250可为平的，而在其他实施例中，参照表面250可为弯曲的。类似地，在一个实施例中，参照表面250可为平面形式，而在其他实施例中，参照表面250可为不同形状的形式(例如，柱体、球形等)。例如，用户可使用视频检测装置100的操纵杆180(或其他指向装置(例如，鼠标、触摸屏))来选择邻近异常204的观察物体202的物体表面210上的一个或多个参照表面点来确定参照表面。

[0029] 在一个实施例中且如图4中所示，总共三个参照表面点221,222,223在邻近异常204的观察物体202的物体表面210上选择来进行异常204的深度测量，其中三个参照表面点
221,222,223在邻近异常204的物体表面210上选择。在一个实施例中，观察物体202的物体表面210上的多个参照表面点221,222,223可通过将参照表面光标231,232,233(或其他指向装置)放置在对应于物体表面210上的多个参照表面点221,222,223的图像200的像素
241,242,243上而选择。在示例性深度测量中，视频检测装置100(例如，CPU 150)可确定多个参照表面点221,222,223中的各个的三维坐标。

[0030] 在邻近异常204的物体表面210上选择的三个参照表面点221,222,223中的一个或多个附近的三个或更多个表面点的三维坐标可用于确定参照表面250(例如，平面)。在一个实施例中，视频检测装置100(例如，CPU 150)可执行三个参照表面点221,222,223的三维坐标的曲线拟合，以确定具有以下形式的参照表面250(例如，用于平面)的方程：其中(xiRS,yiRS,ziRS)是限定的参照表面250上的任何三维点的坐标，且k0RS,k1RS和k2RS是由三维坐标的曲线拟合获得的系数。

[0031] 应当注意，多个参照表面点(即，与k系数的数目至少一样多的点)用于执行曲线拟合。曲线拟合找出向使用的点给予最佳拟合的k系数(例如，最小二乘方途径)。k系数然后限定接近使用的三维点的平面或其他参照表面250。然而，如果在曲线拟合中使用比k系数数目更多的点，则当你将使用的点的x坐标和y坐标插入平面方程(1)中时，z结果由于噪声和与可能实际存在的平面的任何偏差而将大体上并未准确匹配点的z坐标。因此，xiRS1和yiRS1可为任何的任意值，且所得的ziRS告诉你限定平面在xiRS,yiRS处的z。因此，这些方程中所示的坐标可用于准确在限定表面上的任意点，而不一定是确定k系数的拟合中使用的点。

[0032] 在其他实施例中，仅存在选择的一个或两个参照表面点，限制了仅基于那些参照表面点的三维坐标的曲线拟合的使用，因为需要三个点来确定k0RS,k1RS和k2RS。在此情况下，视频检测装置100(例如，CPU 150)可识别对应于邻近参照表面点的物体表面210上的多个点的邻近图像的各个像素的多个像素，且确定邻近点的三维坐标，从而允许曲线拟合来确定参照表面250。

[0033] 尽管示例性参照表面250描述为基于由参照表面光标231,232,233选择的参照表面点221,222,223确定，但在其他实施例中，参照表面250可通过使用将参照表面形状260(例如，圆形、正方形、矩形、三角形等)放置在异常204附近且使用形状260的参照表面点261,262,263,264来形成，以确定参照表面250。将理解的是，形状260的参照表面点261,
262,263,264可为由指向装置选择的点，或可尺寸确定成包围异常204的形状的周边上或附近的其他点。

[0034] 在示例性方法300(图3)的步骤340处，且如图5中所示，视频检测装置100(例如，CPU 150)基于参照表面250的参照表面点来确定邻近异常204的关注区域270。关注区域270包括异常204的多个表面点。在一个实施例中，关注区域270通过基于两个或更多个参照表面点221,222,223形成关注区域形状271(例如，圆形)来形成。在另一个实施例中，关注区域270可通过形成垂直于参照表面260的柱体且使其穿过或邻近两个或更多个参照表面点
221,222,223来确定。又参照图4，关注区域可形成在参照表面形状260和参照表面点261,
262,263,264内。

[0035] 尽管图5中的示例性关注区域形状271通过穿过参照表面点221,222,223来形成，但在另一个实施例中，较小直径的参照表面形状可通过仅穿到参照表面点附近来形成。例如，如图6中所示，关注区域280通过使关注区域形状281(例如，圆形)穿到两个参照表面点221,222附近而形成，其中圆形281的直径小于两个参照表面点221,222之间的距离。将理解的是，关注区域形状271,281和关注区域270可或可不显示在图像200上。

[0036] 在确定关注区域270,280之后，在示例性方法300(图3)的步骤350处，视频检测装置100(例如，CPU 150)确定从关注区域中的多个表面点的各个到参照表面点250的距离(即，深度)。在一个实施例中，视频检测装置100(例如，CPU 150)确定参照表面250与关注区域270,280中的多个表面点中的各个之间延伸的线的距离，其中线垂直地交叉参照表面250。

[0037] 在示例性方法300(图3)的步骤360处，视频检测装置通过确定离参照表面250最远的表面点来确定关注区域270,280中的最深表面点224的位置(例如，选择具有延伸至参照表面250的最长线的表面点)。将理解到，如本文使用的"最深点"或"最深表面点"可为关于参照表面250凹入的最远点，或从参照表面250凸出的最远点(即，最高点)。视频检测装置100可通过例如将光标234(图5)或其他图形标识符282(图6)显示在最深表面点224上以识别图像上的关注区域270,280中的最深表面点224。此外且如图5和6中所示，视频检测装置
100可将关注区域270,280中的最深表面点224的深度290(按英寸或毫米)显示在图像200上(即，从最深表面点224延伸到参照表面250的垂直线的长度)。通过将光标234或其他图形标识符282(图6)自动地显示在关注区域270,280中的最深表面点224处，视频检测装置100减少执行深度测量所需的时间，且改进深度测量的准确性，因为用户不必手动地识别异常204中的最深表面点224。

[0038] 一旦光标234显示在关注区域270,280中的最深表面点224处，则用户可选择该点进行和保存深度测量。用户还可使光标234在关注区域270,280内移动来确定关注区域270,280中的其他表面点的深度。在一个实施例中，视频检测装置100(例如，CPU 150)可监视光标234的移动，且探测光标234何时停止移动。当光标234停止移动达预定量的时间(例如，1秒)时，视频检测装置100(例如，CPU 150)可确定邻近光标234的最深表面点(例如，围绕光标234定心的预定圆形)，且将光标234自动地移动到该位置。

[0039] 图7为图1的图像200中所示的观察物体202的物体表面210的示例性轮廓370的图形表达。在该示例性轮廓370中，参照表面250示为在两个参照表面点221,222与其相应的参照表面光标231,232之间延伸。关注区域中的最深表面点224的位置和深度290也在图形表达中示出。在另一个实施例中，点云视图也可用于显示最深的表面点224。

[0040] 图8为本发明的示例性实施例中的具有异常504的观察物体502的物体表面510由视频检测装置100获得的另一个图像500。再次，在该示例中，异常504示为凹陷，在该处，材料在异常504中从观察物体502的物体表面510通过破坏或磨损而除去。将理解，该示例性实施例中所示的异常504仅为示例，且本发明的方法适用于其他类型的不规则(例如，裂纹、侵蚀点、涂层损失、表面沉积物等)。一旦获得图像500且识别到异常504，则图像500可用于确定异常504的尺寸(例如，高度或深度、长度、宽度、面积、容积、点到线、轮廓切片等)。在一个实施例中，使用的图像500可为包括异常504的观察物体502的物体表面510的二维图像500。

[0041] 图9为本发明的示例性实施例的用于显示图8的图像500中所示的观察物体502的物体表面510的检测的三维数据的方法600的流程图。将理解的是，图9的流程图中所示的步骤可按不同于流程图中所示的顺序的执行，且某些实施例并非需要所有步骤。

[0042] 在步骤610处，且如图8中所示，操作者可使用视频检测装置100来获得具有异常504的观察物体502的物体表面510的图像500，且将其显示在视频监视器(例如，集成显示器
170或外部监视器172)上。在一个实施例中，图像500可在视频检测装置的测量模式中显示。

[0043] 在步骤620处，视频检测装置100的CPU 150可确定包括异常504的观察物体502的物体表面510上的多个表面点的第一坐标系中的三维坐标(xiS1,yiS1,ziS1)。在一个实施例中，视频检测装置可从图像500生成三维数据，以便确定三维坐标。如上文所述，若干不同的现有技术可用于提供物体表面510的图像500上的点的三维坐标(例如，立体扫描系统、结构光方法，如相移分析、相移云纹、激光点投射，等)。

[0044] 在步骤630处，且如图8中所示，操作者可使用视频检测装置100的操纵杆180(或其他指向装置(例如，鼠标、触摸屏))来选择邻近异常504的观察物体502的物体表面510上的多个测量点以进行特定类型的测量。选择的测量点的数目取决于进行的测量类型。某些测量可需要选择两个测量点(例如，长度、轮廓)，而其他测量可需要选择三个或更多个测量点(例如，点到线、面积、多节段)。在一个实施例中且如图8中所示，总共四个测量点521,522,523,524在邻近异常504的观察物体502的物体表面510上选择来进行异常504的深度测量，其中三个测量点521,522,523在邻近异常504的物体表面510上选择，且第四测量点524选择为异常504的最深点处。在一个实施例中，观察物体502的物体表面510上的多个测量点521,
522,523,524可通过将光标531,532,533,534(或其他指向装置)放置在对应于物体表面510上的多个测量点521,522,523,524的图像500的像素541,542,532,544上以选择。在示例性深度测量中，视频检测装置100可确定多个测量点521,522,523,524中的各个的第一坐标系中的三维坐标。将理解的是，本发明的方法不限于深度测量或涉及四个选择的测量点的测量，而是改为应用于涉及不同数目的点(包括上文所述的那些)的各种类型的测量。

[0045] 在步骤640处，且如图8中所示，视频检测装置100的CPU 150可确定参照表面550。在图8中所示的异常504的示例性深度测量中，邻近异常504的物体表面510上选择的三个测量点521,522,523中的一个或多个附近的三个或更多个表面点的三维坐标可用于确定参照表面550(例如，平面)。在一个实施例中，视频检测装置100可执行三维测量点521,522,523(xiM1,yiM1,ziM1)的第一坐标系中的三维坐标的曲线拟合，以确定具有以下形式的参照表面
550(例如，用于平面)的方程：
其中(xiRS1,yiRS1,ziRS1)是限定的参照表面550上的第一坐标系中的任何三维点的坐标，且k0RS1,k1RS1和k2RS1是由第一坐标系中的三维坐标的曲线拟合获得的系数。

[0046] 应当注意，多个测量点(即，与k系数的数目一样多的点)用于执行曲线拟合。曲线拟合找出对使用的点给予最佳拟合的k系数(例如，最小二乘方途径)。k系数然后限定接近使用的三维点的平面或其他参照表面550。然而，如果在曲线拟合中使用比k系数数目更多的点，则当你将使用的点的x坐标和y坐标插入平面方程(2)中时，z结果由于噪声和与可能实际存在的平面的任何偏差而将大体上并未准确匹配点的z坐标。因此，xiRS1和yiRS1可为任何的任意值，且所得的ziRS1告诉你限定平面在xiRS1,yiRS1处的z。因此，这些方程中所示的坐标可用于限定准确在表面上的任意点，而不一定是确定k系数的拟合中使用的点。

[0047] 在另一个实施例中，存在选择成用于特定测量(例如，长度、轮廓)的仅两个测量点，限制了仅基于那两个测量点的三维坐标的曲线拟合的使用，因为需要三个点来确定k0RS1,k1RS1和k2RS1。在该情况下，视频检测装置100可识别对应于邻近各个测量点的物体表面510上的多个点的图像的各个像素附近的多个像素，且确定那些点的三维坐标，从而允许曲线拟合来确定参照表面550。

[0048] 在一个实施例中且如图8中所示，视频检测装置100可确定形成围绕异常504和测量点521,522,523,524的参照表面550上的框架562(例如，矩形)的多个框架点560(xiF1,yiF1,ziF1)的第一坐标系中的三维坐标，其可用于随后显示参照表面550的位置。

[0049] 一旦确定参照表面550，则在图8中所示的示例性实施例中，视频检测装置100可通过确定选择成在异常504的最深点处的第四测量点524与参照表面550之间的距离来进行异常504的测量(例如，深度)。该深度测量的准确性通过选择观察物体502的物体表面510上的多个测量点521,522,523,524的准确性确定。在如前文所述的许多情况下，图像500中的异常504的轮廓很难从二维图像来评定，且可能太小或另外不足以可靠定位多个测量点521,522,523,524。因此，在许多情况下，操作者将需要异常504的区域中的进一步细节，以评估这些测量点521,522,523,524的位置的准确性。所以，尽管一些视频检测装置100可提供整个图像500的点云视图，但该视图可能未提供如前文所述的所需水平的异常504的细节。为了在围绕测量点521,522,523,524的区域中提供比由整个图像500的三维数据的点云视图提供的更有意义的物体表面510的视图，本发明的方法在关注区域中创建了三维数据的子集。

[0050] 在步骤650处，视频检测装置100的CPU 150可形成与第一坐标系不同的第二坐标系。在一个实施例中，第二坐标系可基于参照表面550和多个测量点521,522,523和524。视频检测装置100可将第二坐标系的原点(xO2,yO2,zO2) = (0,0,0)分配在位于对应于物体表面510上的多个测量点521,522,523,524中的两个或更多个的参照表面550上点的三维坐标的平均位置525附近(例如，通过将测量点521,522,523和524投射在参照表面550上且确定参照表面550上的平均位置525)。在一些情况下，对应于测量点521,522,523的参照表面上的点的三维坐标可为相同的。然而，在一些情况下，由于物体表面510中的噪声和/或小变化，故测量点521,522,523不会准确落在参照表面550上，且因此具有不同坐标。

[0051] 在确定对应于物体表面510上的测量点521,522,523,524的参照表面550上的点时，方便的是应用线方向的构想，其表达x,y和z平面中的线的相对斜率，且可用于形成垂直或平行线。对于穿过两个二维坐标(x1,y1,z1)和(x2,y2,z2)的给定的线，线方向(dx,dy,dz)可限定为：给定线(x1,y1,z1)上的点和线的方向(dx,dy,dz)，线可由以下限定：
因此，给定x,y或z坐标中的任一个，可计算其余两个。平行线具有相同或线性可缩放的线方向。具有方向(dx1,dy1,dz1)和(dx2,dy2,dz2)的两条线是垂直的，如果：
使用方程(2)限定的正交于参照平面的所有线的方向由以下给出：
基于方程(6)和(8)至(10)，垂直于参照表面550且穿过表面点(xS,yS,zS)的线可限定为：
在一个实施例中，对应于物体表面510上的点(xiS1,yiS1,ziS1)的参照表面550上的点(xiRS1,yiRS1,ziRS1)的坐标(例如，对应于测量点521,522,523,524的参照表面550上的点的第一坐标系中的三维坐标)可通过限定正交于具有在方程(8)-(10)中给出的方向的参照表面
550且穿过(xiS1,yiS1,ziS1)的线，以及确定该线与参照表面550的交点的坐标来确定。因此，从方程(2)和(11)：
在一个实施例中，这些步骤(方程(3)至(14))可用于确定对应于测量点521,522,523,
524的参照表面550上的点的三维坐标。然后，可确定参照表面550上的测量点的这些投射点的平均位置525(xM1avg,yM1avg,zM1avg)。第二坐标系的原点(xO2,yO2,zO2) = (0,0,0)然后可分配和定位在平均位置525(xM1avg,yM1avg,zM1avg)附近。

[0052] 将第二坐标系的原点定位在异常504的区域中的平均位置525附近(其中z值是从各个表面点到参照表面550的垂直距离)允许了围绕异常504的区域的中心的点云视图旋转，且允许了任何深度图色标来指示表面点从参照表面550的高度或深度。

[0053] 为了利用该第二坐标系，在步骤660处，视频检测装置100的CPU 150将针对各种点(例如，多个表面点，多个测量点521,522,523,524、包括帧点560的参照表面550上的点，等)确定的第一坐标系(xi1,yi1,zi1)中的三维坐标变换成第二坐标系(xi2,yi2,zi2)中的三维坐标。

[0054] 在一个实施例中，坐标变换矩阵([T])可用于根据以下而变换坐标：其中[T]是变换矩阵。

[0055] 在非矩阵形式中，第二坐标系中的三维坐标可由以下确定：其中变换矩阵值是第一坐标系中的新x,y和z轴的线方向值。

[0056] 在步骤670处，视频检测装置100的CPU 150确定在观察物体502的物体表面510上的关注区域内的多个表面点的子集。在一个实施例中，关注区域可为包绕多个选择的测量点521,522,523,524的观察物体502的物体表面510上的有限区域，以最小化点云视图中使用的三维数据的量。将理解的是，确定子集660的步骤可在变换步骤660之前或之后发生。例如，如果步骤670处的子集的确定在变换步骤660之后发生，则视频检测装置100可在确定那些点中的哪些在关注区域中之前变换所有表面点的坐标，包括关注区域外的点。作为备选，如果步骤670处的子集的确定发生在变换步骤660之前，则视频检测装置100可仅需要变换在关注区域内的那些表面点的坐标。

[0057] 在一个实施例中，关注区域可通过确定对应于测量点521,522,523,524的参照表面550上的各个点与参照表面550上的那些点的平均位置(如果在变换之后完成则第二坐标系的原点(xO2,yO2,zO2)=(0,0,0)，或如果在变换之前完成，则是第一坐标系中的(xM1avg,yM1avg,zM1avg))之间的最大距离(dMAX)来限定。在一个实施例中，关注区域可包括具有参照表面550上的对应点的所有表面点(即，在投射在参照表面上时)，其在参照表面上的测量点521,522,523,524的平均位置525的一定阈值距离(dROI)内(例如，小于最大距离(dROI = dMAX)或小于略大于(例如，大百分之二十)最大距离的距离(dROI = 1.2 * dMAX))。例如，如果第二坐标系中的平均位置525在(xO2,yO2,zO2) = (0,0,0)处，则从该点到对应于表面点(xiRS2,yiRS2,ziRS2)的参照表面550上的点的距离(d)由以下给出：
类似地，如果第一坐标系中的平均位置525在(xM1avg,yM1avg,zM1avg)处，则从该点到对应于表面点(xiRS1,yiRS1,ziRS1)的参照表面550上的点的距离(d)由以下给出：
如果表面点具有小于关注区域阈值距离(dROI)的距离值(diRS1或diRS2)且因此在关注区域中，则视频检测装置100可将该表面点的三维坐标和对应于该表面点的深度的像素颜色写入点云视图文件中。在该示例性实施例中，关注区域为柱体形式，其包括落入柱体的半径内的表面点。将理解的是，可使用用于确定关注区域的其他形状和方法。

[0058] 关注区域还可基于由第一坐标系中的视频检测装置100确定的观察物体502的物体表面510上的异常504的深度来限定。例如，如果异常504的深度测得为0.005英寸(0.127mm)，则关注区域可基于一个或多个测量点521,522,523,524到参照表面550的距离来限定成仅包括一定范围(±0.015英寸(0.381mm))内的离参照表面550(或z维度)的距离的那些点。如果表面点具有关注区域内的深度值，则视频检测装置100可将该表面点的三维坐标和对应于该表面点的深度的像素颜色写入点云视图文件。如果表面点具有关注区域外的深度值，则视频检测装置100可不在点云视图文件中包括该表面点。

[0059] 在步骤680处，且如图10中所示，视频检测装置100的监视器170,172可显示具有在视图中心处的原点725的第二坐标系的三维坐标中的多个表面点的子集的渲染三维视图(例如，点云视图)700。在一个实施例(未示出)中，点云视图700的显示可包括颜色图，以指示各个表面点与第二坐标系中的参照表面750之间的距离(例如，一定更深度处的第一点显示在对应于该深度的红色的阴影中，不同深度处的第二点示为在对应于该深度的绿色的阴影中)。显示的点云视图700还可包括多个测量点721,722,723,724的位置。为了有助于操作者查看点云视图700，视频检测装置100还可确定沿第二坐标的三维坐标中的多个测量点721,722,723中的两个或更多个之间的直线的三维线点771,772,773，且在点云视图700中显示那些线点771,772,773。点云视图700还可包括从旨在定位在异常504的最深点处的测量点724到参照表面750的深度线774。在一个实施例中，视频检测装置100可确定深度线774是否超过容限规格或其他阈值，且提供此发生的可视或听觉指示或警告。

[0060] 显示的点云视图700还可包括形成第二坐标系中的参照表面750上的帧762的多个帧点760，以指示参照表面750的位置。在另一个实施例中，显示的点云视图700还可包括指示从参照表面750的垂直距离的标度。

[0061] 如图10中所示，通过将点云视图中的数据限于关注区域中的那些点且允许视图在关注区域的中心(例如，在原点处)围绕点725旋转，操作者可更容易分析异常504，且确定深度测量和测量点721,722,723,724的放置是否准确。在一个实施例中，如果需要校正，则操作者可改变点云视图700中的测量点721,722,723,724中的一个或多个的位置。作为备选，如果需要校正，则操作者可回到图8的二维图像500，且重新选择一个或多个测量点521,522,523,524，且重复该过程。

[0062] 在另一个实施例中，视频检测装置100的监视器170,172可显示第一坐标系的三维坐标中的多个表面点的子集的渲染三维视图700，而甚至不进行坐标的变换。在该实施例中，基于原坐标的点云视图700还可包括上文所述的有助于操作者的各种特征，包括显示颜色图、多个测量点的位置、三维线点、深度线、帧或标度。

[0063] 图11为另一个示例性实施例中的用于同时显示观察物体的二维图像以及绘出了观察物体的三维几何形状的图像的示例性方法800的流程图。将理解的是，图11的流程图中所述的步骤可按不同于流程图中所示的顺序的执行，且某些实施例并非需要所有步骤。

[0064] 在示例性方法(图8)的步骤810处，且如图12中所示，视频检测装置100(例如，图1的成像器124)获得具有异常912的观察物体910的物体表面911的至少一个二维图像903，且将其显示在显示器900(例如，集成显示器170、外部监视器172或用户界面的触摸屏)的第一侧901上。在一个实施例中，二维图像903在视频检测装置100的测量模式中显示。

[0065] 在示例性方法800(图11)的步骤820处，且如图12中所示，视频检测装置100(例如，图1的CPU 150)确定观察物体910的物体表面911的多个表面点913,914的三维坐标(例如，(x,y,z))。在一个实施例中，视频检测装置从二维图像903生成三维数据，以便确定三维坐标。图12为显示器900的第一侧901上的观察物体910的二维第一立体图像903，以及显示器900的第二侧902上的观察物体910的对应二维第二立体图像904的显示900。在一个实施例中，视频检测装置100(例如，CPU 150)使用立体技术来通过找出对应的二维第二立体图像
904上的匹配表面点915,916，且然后基于二维第一立体图像903(或像素的区域(例如，4x4区域))上的多个表面点913,914与对应二维第二立体图像904上的匹配表面点915,916之间的像素距离差异计算三维坐标，来确定二维第一立体图像903上的多个表面点913,914的三维坐标(例如，(x,y,z))。将理解且如图12-14中所示，本文相对于立体图像903,904提到的二维图像可包括第一(左)立体图像903和第二(右)立体图像904中的两者或任一者。

[0066] 若干不同的现有技术可用于提供物体表面911的二维图像903(图12)中的表面点913,914的三维坐标(例如，立体扫描系统、立体三角测量、结构光方法，如，相移分析、相移云纹、激光点投射，等)。大多数此类技术包括使用校准数据，其尤其包括用于减少在其他情况下将由光学畸变引起的三维坐标中的误差的光学特征数据。利用一些技术，三维坐标可使用在接近的时间采集的一个或多个二维图像确定，该图像可包括投射的图案等。将理解的是，提到的使用二维图像903确定的三维坐标还可包括使用在接近的时间采集的物体表面911的一个或多个二维图像确定的三维坐标，且在所述操作期间显示给操作者的二维图像903可或可不实际用于确定三维坐标。

[0067] 在示例性方法800的步骤830处(图11)，且如图13和14中所示，具有测量光标931,932的观察物体910的二维图像903的至少一部分显示在显示器900的第一侧901上，且观察物体910的物体表面911的至少一部分的三维几何形状的渲染图像905显示在显示器900的第二侧902上。如与图12相比，渲染图像905替换显示器900中的第二(右)立体图像904。在一个实施例中，在测量光标931,932的放置和显示之前，视频检测装置100(例如，CPU 150)开始(且在一个实施例中完成)确定观察物体910的物体表面911上的多个表面点913,914的三维坐标(例如，(x,y,z))的过程。尽管图13和14的示例性实施例示出了显示在显示器900的第二侧902上的观察物体910的物体表面911的三维几何形状的单个渲染图像905，但将理解的是，可同时示出具有或没有二维图像903的一个以上的渲染图像905。

[0068] 在图13中所示的示例性实施例中，渲染图像905是深度轮廓图像906，其示出包括异常912的观察物体910的物体表面911的三维几何形状。在图14中所示的另一个示例性实施例中，渲染图像905是点云视图907，其示出了包括异常912的观察物体910的物体表面911的三维几何形状。在图14中所示的示例性点云视图907中，观察物体910的物体表面911上的表面点913,914的三维坐标的仅子集基于测量光标931,932的位置显示在关注区域中。在另一个实施例中，点云视图907显示观察物体910的物体表面911上的表面点913,914的所有计算的三维坐标。在一个实施例中，例如，当显示器是用户界面触摸屏时，用户可使用触摸屏来旋转点云视图907。

[0069] 在一个实施例中且如图14中所示，点云视图907可颜色确定成指示观察物体910的物体表面911的表面点与参照表面960之间的距离(例如，使用邻近多个测量光标931,932中的一个或多个的三维坐标确定的参照平面)。例如，一定深度处的第一点示为在对应于该深度的红色的阴影中，不同深度处的第二点示为在对应于该深度的绿色的阴影中。颜色深度标度908提供成示出在点云视图907上示出的颜色与离参照表面960的其相应距离之间的关系。在一个实施例中，点云视图907可为平面来图形地平滑化点云视图907中的相邻点之间的过渡。

[0070] 一旦三维坐标针对观察物体910的物体表面911上的多个表面点913,914确定，则用户可在二维图像903上进行测量。

[0071] 在一个实施例中，视频检测装置100将二维图像903和渲染图像905的拆分视图保存为图像。视频检测装置100还可将如图11中所示的第一(左)立体图像903和第二(右)立体图像904(例如，仅灰度)的原来的整个立体图像和校准数据保存为元数据，以允许三维数据的重新计算和从保存文件重新测量。作为备选，视频检测装置100可将计算的三维坐标和/或差异数据保存为元数据，这缩短了调用时的处理时间，但导致了较大的文件大小。

[0072] 在示例性方法800(图11)的步骤840处，且如图13和14中所示，测量光标931,932放置在(使用指向装置)且显示在二维图像903上，以允许视频检测装置100(例如，CPU 150)确定异常912的尺寸(例如，高度或深度、长度、宽度、面积、体积、点到线、轮廓切片等)。在二维图像不是立体图像的另一个实施例中，测量光标931,932(如图13和14中所示)也可放置在二维图像903上，以允许视频检测装置100(例如，CPU 150)确定异常912的尺寸(例如，高度或深度、长度、宽度、面积、体积、点到线、轮廓切片，等)。在又一个实施例中，替代放置在二维图像903上，测量光标可放置在(使用指向装置)显示器900的第二侧902上的观察物体910的物体表面911的至少一部分的三维几何形状的渲染图像905上。

[0073] 在示例性显示器900中，第一测量光标931放置在观察物体910的物体表面911上的第一测量点921上，且第二测量光标932放置在观察物体910的物体表面911上的第二测量点922上。由于观察物体910的物体表面911上的测量点921,922的三维坐标是已知的，物体表面911的几何测量(例如，深度或长度测量)可由用户执行，且视频检测装置100(例如，CPU
150)可确定如图13和14中所示的测量尺寸950。在图13和14中所示的示例中，测量线933显示在二维图像903上。

[0074] 观察物体910的物体表面911的三维几何形状的渲染图像905显示在显示器900的第二侧902上，以便有助于将测量光标931,932放置在二维图像903上以进行几何测量。在涉及立体或非立体二维图像的常规系统中，这些测量光标931,932(如图13和14中所示)仅基于由二维图像903提供的视图放置，其可能不允许测量光标931,932的准确放置和准确测量。

[0075] 在示例性方法800(图11)的步骤850处，且如图13和14中所示，对应于放置在二维图像903上的测量光标931,932的测量标识符941,942显示在观察物体912的物体表面911的三维图像的渲染图像905上。例如，第一测量标识符942在观察物体912的物体表面911的相同三维坐标处的渲染图像905上示为第一测量光标931，且第二测量标识符942在观察物体912的物体表面911的相同三维坐标处的渲染图像905上示为第二测量光标932。在图14中所示的示例性点云视图907中，显示了对应于二维图像901中的测量线933(例如，深度测量线)的测量线标识符943。与观察物体912的物体表面911的二维图像903同时显示的观察物体
910的物体表面911的三维几何形状的该渲染图像905允许用户将测量光标931,932更准确放置来提供更准确的几何测量。在又一个实施例中，其中测量光标放置在渲染图像905上(使用指向装置)，对应于测量光标的测量标识符显示在二维图像903上。

[0076] 在一个实施例中，当用户改变二维图像903中的测量光标931,932的位置时，视频检测装置100(例如，CPU 150)自动地更新对应于测量光标931,932的测量标识符941,942的位置，且观察物体912的物体表面911的三维几何形状的渲染图像905(例如，图14中的点云视图907的关注区域或深度颜色)也改变，以允许用户实际上实时地可视化新测量。在另一个实施例中，在测量光标931,932放置在二维图像903中之后，测量标识符941,942可再定位在渲染图像905中。

[0077] 在又一个实施例中，在测量光标放置在(使用指向装置)渲染图像905上且对应于测量光标的测量标识符显示在二维图像903上的情况下，当用户改变渲染图像905中的测量光标的位置时，视频检测装置100(例如，CPU 150)自动地更新对应于测量光标的测量标识符的位置，且二维图像也改变，以允许用户实际上实时地可视化新测量。在另一个实施例中，在测量光标放置在渲染图像905上之后，测量标识符可再定位在二维图像903中。

[0078] 在示例性方法800(图11)的步骤860处，且如图13和14中所示，视频检测装置100(例如，CPU 150)基于测量光标931,932的位置针对特定几何测量(例如，深度或长度测量)确定由用户看到的测量尺寸950，且将该测量尺寸950在显示器900上显示。在另一个实施例中，测量尺寸可在渲染图像905上显示在显示器900上。

[0079] 如图12-14中所示，软键909可设在显示器900上以向用户提供各种功能以获得图像和进行测量(例如，查看、取消、添加测量、下次测量、选择、删除、注释、取得图像、重置、变焦、完整图像/测量图像、深度图开/关等)。在一个实施例中，当用户触动二维图像903或渲染图像905时，显示的特定软键909可基于活跃图像变化。

[0080] 图15A为另一个示例性实施例中的具有缺失转角(由多边形1050示出)的涡轮叶片1010和护罩1015由视频检测装置100获得的另一个示例性图像1001。在一个实施例中，使用的图像1001可为观察物体(涡轮叶片1010)的表面1013的二维图像1001。在另一个示例中，二维图像可为立体图像。如图15A中所示，用户可使用视频检测装置100(例如，成像器124)来获得涡轮叶片1010的表面1013的至少一个图像1001，且将其显示在视频监视器(例如，集成显示器170或外部监视器172)上。在一个实施例中，图像1001可在视频检测装置100的测量模式中显示。

[0081] 视频检测装置100(例如，CPU 150)可确定观察物体1010的物体表面1013上的多个表面点的三维坐标(例如，(x,y,z))。在一个实施例中，视频检测装置可从图像1001生成三维数据，以便确定三维坐标。观察物体1010的物体表面1013上的表面点的三维坐标可与显示的二维图像1001的像素相关联。若干不同的现有技术可用于提供物体表面1013的图像1001(图15A)中的表面点的三维坐标(例如，立体扫描系统、立体三角测量、结构光方法，如，相移分析、相移云纹、激光点投射，等)。在一个实施例中，视频检测装置100使用具有结构光图案的扩散检测光源来采集二维图像1001，且三维表面坐标使用采集的一个或多个图像来计算出，其中结构光图案投射到物体上。在此情况下，结构光图案可在扩散检测光源停用的情况下投射。

[0082] 再次，大多数此类技术包括使用校准数据，其尤其包括用于减少在其他情况下将由光学畸变引起的三维坐标中的误差的光学特征数据。利用一些技术，三维坐标可使用在接近的时间采集的一个或多个图像确定，该图像可包括投射的图案等。在一个实施例中，视频检测装置100(例如，CPU 150)可使用校准数据来计算物体表面点坐标。在一个示例中，校准数据可为使用的视频检测装置100特有的，且可包括传感器和确定实际尺寸和距离所需的光学器件信息。在另一个示例中，校准数据可包括射线方程，以使传感器的各个像素与观察物体上的特定点关联。

[0083] 将理解的是，提到的使用图像1001确定的三维坐标还可包括使用在接近的时间采集的物体表面1013的一个或多个图像1001确定的三维坐标，且在所述操作期间显示给用户的图像1001可或可不实际用于确定三维坐标。在一个实施例中，视频检测装置100(例如，CPU 150)可使多个采集的图像一起平均，以便生成相比于单个图像更强细节或降低噪声的复合图像。

[0084] 如图15A中所示，视频检测装置100(例如，CPU 150)可确定三维参照表面1020(例如，由延伸穿过图像的虚线示出的测量平面)。在一些实施例中，参照表面1020可为平的，而在其他实施例中，参照表面1020可为弯曲的。类似地，在一个实施例中，参照表面1020可为平面形式，而在其他实施例中，参照表面1020可为不同形状的形式(例如，柱体、球形等)。例如，用户可使用视频检测装置100的操纵杆180(或其他指向装置(例如，鼠标、触摸屏))来选择观察物体1010(涡轮叶片)的物体表面1013的图像1001上的一个或多个参照表面点1021,1022,1023。

[0085] 在一个实施例中且如图15A中所示，总共三个参照表面点1021,1022,1023在观察物体1010的物体表面1013的图像1001上选择。在一个实施例中，观察物体101的物体表面1013上的多个参照表面点1021,1022,1023可通过将参照表面光标1031,1032,1033(或其他指向装置)放置在对应于物体表面1013上的多个参照表面点102,1022,1023的图像1001的参照表面像素1041,1042,1043上以选择。视频检测装置100(例如，CPU 150)可确定多个参照表面点1021,1022,1023中的各个的三维坐标。

[0086] 如图15A中所示，视频检测装置100的CPU 150可确定参照表面1020。在图15A中所示的示例性面积测量中，三个参照表面点1021,1022,1023或邻近三个参照表面点1021,1022,1023中的一个或多个的三个或更多个表面点的三维坐标可用于确定参照表面1020(例如，平面)。如上文所述，在一个实施例中，视频检测装置100可执行三个参照表面点
1021,1022,1023的三维坐标的曲线拟合，以确定参照表面1020的方程(例如，沿所有方向无限延伸的平面)。在一个实施例中，视频检测装置100(例如，CPU 150)可执行与参照表面光标1031,1032,1033附近的像素相关联的表面点的三维坐标的曲线拟合，以确定如以上方程(1)所述的参照表面1020(例如，平面)的方程。在另一个实施例中，曲线拟合可仅使用与参照表面1020的参照表面光标1031,1032,1033中的仅一个附近的像素相关联的表面点的三维坐标。在另一个实施例中，单个选择的参照表面点的三维坐标可由视频检测装置100(例如，CPU 150)使用，以将参照表面形成为z=10mm处的平面(z轴沿管道镜视图的中心光轴)。
在另一个示例中，单个光标可用于限定参照表面，例如，通过形成正交于或平行于观察光学系统的表面或主轴线且穿过与光标位置相关联的三维表面坐标的平面。在另一个示例中，四个或更多选择的坐标可形成各种弯曲参照表面，如，球形、柱状或其他表面形状，以作为参照表面。在其他示例中，许多光标可用于拟合弯曲表面，如，球形、柱体等。在另一个实施例中，一个或多个光标可用于选择像素区域，即，圆形光标内的区域，且参照表面可通过使平面或其他表面拟合至与选择的一个或多个区域相关联的三维表面坐标来确定。

[0087] 如图15A中所示，涡轮叶片1010具有缺失转角(由多边形1050示出)。本公开案提供了用于测量物体上或附近的特征的方法和装置，包括可具有缺失或与物体间隔开的部分的特征。例如，可检测涡轮叶片1010来确定叶片1010的末梢或转角是否破损。在此情况下，待测量的相关特征(例如，缺失转角的尺寸)未在涡轮叶片1010自身的表面1013上，且改为延伸到超过涡轮叶片1010的表面1013之外的空间中。因此，仅使用涡轮叶片1010的表面1013上的点的三维坐标的测量将不会提供期望的信息(缺失区域、缺失边缘的长度等)。如将论述，一旦参照表面1020形成，则用户可通过将测量光标1034,1035,1036,1037甚至不在观察物体1010的表面(没有与其相关联的涡轮叶片1010的表面1013上的表面点)上的区域中定位在图像1001上以执行几何尺寸的测量，如，长度、点到线、面积或多长度测量。

[0088] 在一个实施例中且如图15A中所示，总共四个测量光标1034,1035,1036,1037定位在图像1001的测量光标像素1044,1045,1046,1047上。如将论述，通过校准，与图像1001的各个二维测量光标像素1044,1045,1046,1047相关联的三维轨迹是已知的，且用于计算来自图像1001的各个测量光标像素1044,1045,1046,1047的轨迹线(例如，其可为其中将使用内插的分数像素位置)定位成与三维空间中的参照表面1020交叉的位置，以确定参照表面1020上的与那些测量光标像素1044,1045,1046,1047相关联的投射的参照表面点1024,
1025,1026,1027。如图15A中可见，一旦参照表面1020上的投射的参照表面点1024,1025,
1026,1027是已知的，则用户可基于参照表面1020上的投射的参照表面点1024,1025,1026,
1027的三维坐标执行测量，如，长度、点到线、面积或多长度测量。例如，如图15A中所示，用户可执行形成多边形1050的面积测量，多边形1050具有第一侧1051(其提供了叶片的第一边缘1011的缺失部分的长度)、第二侧1052(其提供了叶片的第二边缘1012的缺失部分的长度)和第三侧1053。

[0089] 图15B为另一个示例性实施例中的如图15A中所示的具有缺失转角(由多边形1050所示)的涡轮叶片1010和护罩1015的三维点云视图1002的显示。示出涡轮叶片1010的三维表面点的三维点云视图1002、参照表面1020和投射的参照表面点1024,1025,1026,1027允许用户较好可视化测量来确保测量适当执行。如图15B中所示，点云视图1002可包括可示为独立点、网或连续表面的观察物体1010上的计算的三维表面坐标。与测量光标1034,1035,1036,1037相关联的三维坐标可示为点、球等，且可包括绘出特征(缺失转角)的互连线(具有侧1051,1052,1053,1054的多边形1050)。参照表面1020和其位置还可由附加的特征如矩形或正方形代表。因此，三维点云视图1002允许用户可视化三维空间中的测量，以确保其适当执行。此评定可能很难仅使用二维图像1001来作出。在一个实施例中，三维点云视图1002与二维图像1001同时显示，且三维点云视图1002在测量光标再定位在二维图像1001中时自动地更新。在另一个实施例中，用户可选择独立地查看二维图像1001或三维点云视图1002。

[0090] 图15C为另一个示例性实施例中的具有缺失转角的涡轮叶片1010由视频检测装置100获得的另一个示例性图像1003。在一些情况下，其可用于使用观察物体上的投射的参照表面点(观察物体外的点)的三维坐标和表面点的三维坐标两者来执行测量。参照图15C，面积测量(多边形170)可使用参照表面1020执行。在所示实施例中，可选择四个测量光标
1071,1072,1073,1074，其中两个测量光标1071,1072位于观察物体1010的表面1013上，且两个测量光标1073,1074位于观察物体1010的表面1013外。位于观察物体1010的表面1013上的两个测量光标1071,1072位于与观察物体1010的表面1013上的表面点的三维坐标和参照表面1020上的投射的参照表面点的三维坐标相关联的像素上。位于观察物体1010的表面
1013外的两个测量光标1073,1074位于与参照表面1020上的投射的参照表面点的三维坐标相关联但不与观察物体1010的表面1013上的表面点的三维坐标相关联的像素上。测量可使用位于与两个测量光标1071,1072相关联的观察物体1010的表面1013上的表面点的三维坐标，以及与位于观察物体1010的表面1013外的两个测量光标1073,1074相关联的参照表面
1020上的投射的参照表面点的三维坐标。作为备选，测量可使用与所有四个测量光标1071,
1072,1073,1074相关联的参照表面1020上的投射的参照表面点的三维坐标。在另一个实施例中，对于位于观察物体1010的表面1013上的两个测量光标1071,1072，视频检测装置100允许用户选择使用观察物体1010的表面1013上的表面点的三维坐标，还是参照表面1020上的投射的参照表面点的三维坐标。在一个示例中，当测量涡轮叶片1010与护罩1015之间的间隙时，平面可形成在护罩1015上(使用具有相关联的三维坐标的像素上的3个光标)，测量表面可形成在叶片1010上，使用另一个光标设置叶片1010的边缘上的投射的点，且计算从平面到点的垂直距离。

[0091] 图16示出了根据本文所述的方面的图像像素、传感器像素、参照表面坐标和物体表面坐标之间的关系。例如，如下文所述，显示器1101上的像素可涉及传感器1102上的像素，其可通过射线方程关联物体1100的表面上的点C。在所示实施例中，用户可通过选择物体1100的表面上的至少一个点A来形成参照表面1130。例如，参照表面1130可为在点A处与物体1100交叉的平面。

[0092] 在一个示例中，用户可能期望使用参照表面1130来执行物体1100的特征的测量。在此情况下，用户可通过将光标定位在显示器1101上所示的二维图像上以选择显示器1101上的特征的的第一像素(像素PD)。在此情况下，例如，使用下文所述的显示的图像像素到采集的图像像素的转换方程，显示器1101上的像素PD可映射至传感器1102上的像素PS。此外，传感器1102上的像素PS可映射至参照表面1130上的投射的三维参照表面坐标B。在所示示例中，传感器1102上的像素PS也可与物体1100上的三维表面坐标C相关联，其为使用采集的图像计算的特征自身的三维坐标。因此，像素Ps可具有相关联的三维表面坐标和投射的三维参照表面坐标两者，其中任一者都可用于计算测量结果。在一个示例中，三维表面坐标C由三维数据噪声影响，且因此并未准确地代表物体1100的表面。在此情况下，使用投射的三维参照表面坐标B计算的测量结果可比使用坐标C的测量结果更准确。在另一个示例中，坐标C可准确地代表物体1100的表面，且用户可选择使用作为C而非坐标B来用于计算测量结果。

[0093] 在某些实施方式中，测量系统可包括具有一定采集分辨率的传感器，如，640x480的电荷耦合装置(CCD)。此外，测量系统可具有带不同显示分辨率(如，1024x768像素)的用户界面。在此情况下，当用户选择用户界面屏幕上的光标位置时，选择的屏幕像素可映射至传感器像素。参照针孔相机模型，例如，如果显示分辨率是1024x768且采集分辨率是640x480，则采集的列(列)和行可计算为以下：
采集列=显示列*640/1024=显示列*0.0625
采集行=显示行*480/768=显示行*0.0625
例如，具有{列、行}={15.33,100.67}的显示光标等同于采集{列、行}={9.581,
62.919}。在此情况下，双线性内插可用于采集像素(9,62),(10,62),(9,63),(10,63)之间，以便内插用于等同的像素的射线方程。

[0094] 在一个示例中，射线方程是：xr,c(z) = ar,c * z，以及yr,c (z) = br,c * z，其中ar,c和br,c是取决于像素的。

[0095] 在此情况下，内插系数可计算为：kc1 = 列 – (内插)列= 9.581 – 9 = 0.581
kc0 = 1 – kc1 = 0.419
kr1 = 行 – (内插)行 = 62.919 – 62 = 0.919
kr0 = 1 – kr1 = 0.081
a9.581,62.919 = kc0 * kr0 * a9,62 + kc1 * kr0 * a10,62 + kc0 * kr1 * a9,63 + kc1 * kr1 * a10,63
b9.581,62.919 = kc0 * kr0 * b9,62 + kc1 * kr0 * b10,62 + kc0 * kr1 * b9,63 + kc1 * kr1 * b10,63
类似的双线性内插途径可用于确定与显示或采集的图像像素坐标相关联的x,y,z表面坐标。

[0096] 在一个特定示例中，射线方程可用于在二维图像像素与参照表面坐标之间映射为以下。

[0097] 平面的方程可表示为：z = z0 + c * x + d * y
射线的方程可表示为：
x = a * z ; y = b * z
在此情况下，交点可如以下解出：
zi = z0 + c * a * zi + d * b * zi
zi * (1 – c * a – d * b) = z0
zi = z0/(1 - c * a – d * b)
例如，zi可代入射线方程中得到xi,yi。因此，对于给定的二维显示或采集的图像像素坐标，可计算相关联的投射的三维参照表面坐标xi,yi,zi。对于给定的测量，计算与一个或多个测量光标二维图像像素坐标相关联的一个或多个投射的三维参照表面坐标。一个或多个投射的三维参照表面坐标然后用于计算观察物体的特征的几何尺寸。

[0098] 鉴于上文，本发明的实施例允许了使用视频检测系统来测量物体的表面上或附近的特征的尺寸。技术效果将允许在没有三维尺寸数据或低准确度的三维数据的情况下准确测量物体特征。

[0099] 如图15A和15C中所示，具有缺失转角的涡轮叶片1010由视频检测装置100执行的普通测量是缺失转角的面积、叶片1010的第一边缘1011的缺失部分1051的长度，以及叶片1010的第二边缘1012的缺失部分1052的长度。然而，为了在参照平面1020上进行测量，用户必须视觉地准确确定将测量光标1037放置在等使用的缺失部分的末梢或转角的位置，这可能难以外推。此外，如果用户想要得出缺失转角的面积和两个长度1051,1052，则用户需要放置光标来形成参照表面，且然后执行面积测量和两个点到线的测量，其需要若干光标放置。此外，点到线的测量提供了假定直角转角的缺失边缘部分的长度1051,1052，这通常不是此情况。

[0100] 图17为另一个示例性实施例中的具有缺失转角的涡轮叶片1010由视频检测装置100获得的另一个示例性图像1004。如将论述，视频检测装置100能够探测何时执行缺失转角面积的测量，且简化测量来自动地获得缺失转角的面积和缺失边缘部分的长度1051,
1052。如上文所述，在一个实施例中且如图15A和17中所示，总共三个参照表面点1021,
1022,1023通过将参照表面光标1031,1032,1033(或其他指向装置)放置在对应于物体表面
1013上的多个参照表面点1021,1022,1023的图像1001的参照表面像素1041,1042,1043上以在观察物体1010的物体表面1013的图像1004上选择。视频检测装置100的CPU 150然后可确定如上文所述的参照表面1020。用户然后可选择选项来执行面积测量。

[0101] 在一个实施例中且如图15A和17中所示，总共四个测量光标1034,1035,1036,1037定位在图像1001的测量光标像素1044,1045,1046,1047上。视频检测装置100然后可确定与参照表面1020上的那些测量光标像素1044,1045,1046,1047相关联的投射的参照表面点1024,1025,1026,1027。

[0102] 在一个实施例中，当视频检测装置100(例如，CPU 150)确定参照表面1020(例如，测量平面)，且确定用户执行如图15A和17中所示的面积测量时，视频检测装置100然后可确定用户是否执行缺失转角测量。例如，在一个实施例中，视频检测装置100(例如，CPU 150)可确定各个测量光标1034,1035,1036,1037与所有三个参照表面光标1031,1032,1033之间的总距离，以识别具有离参照表面光标1031,1032,1033最大距离的测量光标1037。视频检测装置100(例如，CPU 150)然后可确定到达区域多边形1050中的该测量光标1037的两条线1051,1052之间的角(α)。如果角(α)在45度到135度之间的范围中，则视频检测装置100(例如，CPU 150)确定用户进行缺失转角测量且自动地确定和例如在文本框1083中显示叶片边缘1011,1012的缺失边缘部分的面积、角(α)和长度1051(A),1052(B)。此外，为了有助于用户将测量光标1037定位在缺失部分的末梢或转角过去所处的位置处，视频检测装置100(例如，CPU 150)确定和显示从测量光标1037沿涡轮叶片第一边缘1011延伸的第一边缘线延伸
1081，以及从测量光标1037沿涡轮叶片第二边缘1012延伸的第二边缘线延伸1082，以向用户提供视觉协助来将那些边缘线延伸1081,1082与涡轮叶片边缘1011,1012对准来适当定位测量光标1037。如图17中所示，第一边缘线延伸1081和第二边缘线延伸1082是三维空间中的直线，其在二维图像1004中显现为曲线。

[0103] 鉴于前文，本发明的实施例允许使用视频检测系统来测量涡轮叶片的缺失转角的尺寸。技术效果在于允许使用最少数目的光标放置来准确测量缺失转角的面积和长度，从而加快了测量。

[0104] 由于本文所述的参照表面用于使用关于观察物体的各种测量来测量进行的检测中的关键尺寸(例如，深度、深度轮廓，或面积深度轮廓测量)，故重要的是，参照表面与物理物体表面适当对准且准确地代表物理物体表面。选择为参照表面点的三维表面坐标中的噪声可引起参照表面相对于实际表面倾斜，从而引起随后的测量的较差准确性。如所述且如图19A和19B中所示，视觉指示如半透明可视化覆盖1240,1280可放置在具有相关联的表面点的二维图像中的像素上，该表面点具有小于离三维参照表面的预定距离的三维表面坐标，以有助于用户评定参照表面与物体表面之间的匹配。例如，邻近参照表面的物体的像素可以以对比色如绿色来突出(覆盖)，以提供可视化覆盖。在另一个示例中，视频检测装置100在三维点云视图中显示哪些表面点具有小于离三维参照表面的预定距离的三维坐标的指示，其还可有助于用户评定参照表面与物体表面之间的匹配。邻近参照表面的物体的表面点可由笛卡尔距离限定，或可为简化量度如z值距离，以允许容易计算。图19A和19B示出了用于以可视化覆盖来标记图像以可视化限定的参照表面如测量平面的技术。

[0105] 图19A绘出了较差对准至物体表面1210的参照表面1220。如包括异常1204的观察物体1202的表面1210的图像1201中所示，参照表面1220基于图像1201上的参照表面光标1231,1232,1233的放置而形成。半透明的可视化覆盖1240覆盖在二维图像1201中的像素上，其中相关联的表面点具有小于离三维参照表面1220的预定距离的三维表面坐标。如图
19A中所示，参照表面1220的仅小部分由可视化覆盖1240覆盖，指示了参照表面1220倾斜或另外未与物体表面1210良好对准。因此，以该参照表面1220对异常1204进行的测量将可能不准确。可视化覆盖1240的存在将促进用户改变参照光标位置来找到由可视化覆盖1240更好覆盖的较好匹配的参照表面1220。

[0106] 图19B绘出了良好对准的参照表面1260，其中参照表面1260几乎完全以可视化覆盖1280来覆盖。如包括异常1244的观察物体1242的表面1250的图像1241中所示，参照表面1260基于图像1241上的参照表面光标1271,1272,1273的放置而形成。半透明的可视化覆盖
1280覆盖在二维图像1241中的像素上，其中相关联的表面点具有小于离三维参照表面1260的预定距离的三维表面坐标。如图19A中所示，整个参照表面1260由可视化覆盖1280覆盖，指示了参照表面1260与物体表面1250适当对准。因此，以参照表面1260对异常1244进行的测量将很可能准确。可视化覆盖1280的存在将通知用户光标位置不需要改变。

[0107] 在一个示例中，可视化覆盖可在光标由用户移动时实时更新。在其他示例中，例如，在诸如深度轮廓和面积深度轮廓测量的测量类型的情况下，当光标移动时可暂时显示可视化覆盖，且可在光标移动停止之后几秒除去。在深度测量的情况下，可视化覆盖可在每当参照表面光标活跃时显示，且如果第四光标或结果活跃则可隐藏。在另一个示例中，可视化覆盖可总是在每当参照表面活跃时显示。

[0108] 为了确定是否将可视化覆盖放置在二维图像中的像素上，视频检测装置100(例如，CPU 150)确定该像素是否与具有小于离三维参照表面的预定距离(或在其内)的三维坐标的表面点相关联。在一些实施例中，表面点与参照表面之间的距离可确定为垂直距离，而在其他实施例中，距离可为非垂直距离。

[0109] 在一个实施例中，如果其相关的表面点在离表面点的z值的±1%的参照表面的距离内，则像素可包括在可视化覆盖中。在一个实施例中，视频检测装置100(例如，CPU 150)可执行坐标变换，使得参照表面上的所有点的变换的z值是z=0。然后，对于给定表面点，视频检测装置100(例如，CPU 150)可将表面点的实际(未变换)z值与变换的z值相比较。如果变换的z值的绝对值(其提供离参照表面的垂直距离)小于实际z值的1%，则与该表面点相关联的像素可包括在可视化覆盖中。

[0110] 在不需要坐标变换的另一个实施例中，对于各个像素，视频检测装置100(例如，CPU 150)可确定参照表面上的垂直投射，且确定在垂直方向上从表面点到参照表面的距离。如果垂直距离小于实际z值的1%，则与该表面点相关联的像素可包括在可视化覆盖中。例如，如果距离是0.08mm，且表面点具有10.0mm的z值，则与该表面点相关联的像素可包括在可视化覆盖中。

[0111] 在不需要垂直距离的另一个实施例中，对于各个像素，视频检测装置100(例如，CPU 150)可确定表面点的实际z坐标，以及从该表面点投射的参照表面上的对应投射点的z坐标，其中此投射不一定在垂直方向上。如果参照表面上的z值与对应表面点的z值之间的差异小于任一z值的1%，则与该表面点相关联的像素可包括在可视化覆盖中。

[0112] 鉴于前文，本发明的实施例允许确定参照表面是否与物理物体表面适当对准且准确代表物理物体表面。技术效果在于提供涉及参照表面的更准确测量。

[0113] 在一些情况下，在看二维图像或甚至点云视图时，用户可能难以理解视觉检测装置的探头的末梢关于检测的物体的定向。例如，用户可能难以理解如何调整观察视角。图20示出了物体1310的完整图像点云视图1300，显示了从视场原点1330(0,0,0)延伸的视场线1331,1332,1333,1334，以提供视觉检测装置100的探头末梢相对于物体1310的定向的视觉指示。如图20中所示，参照表面1320和其位置也可由附加特征代表，如，矩形或正方形。在一个实施例中，用户可如期望将视场线1331,1332,1333,1334开启或关闭。

[0114] 在如本文所述的涉及参照表面的一些应用中，可能期望对参照表面进行测量，其涉及可包括未位于参照表面上且甚至可能离参照表面较大距离的至少一个表面点的特征。在参照表面是参照平面时，此测量可描述为平面外的表面点的平面内测量。

[0115] 图21示出了具有上表面1411和下表面1412的物体1410的点云视图1402所并排的二维图像1401。如图21中所示，参照表面1420基于图像1401上的参照表面光标1431,1432,1433的放置来形成。如上文所述，通过校准，与参照表面光标1431,1432,1433中的各个相关联的各个像素关联的三维轨迹是已知的，且用于计算轨迹线在何处与三维空间中的参照表面1420交叉，以确定参照表面1420上的投射的参照表面点1424,1425,1426。在一个实施例中，用户可能想要在参照表面1420上测量从上表面1411和下表面1412之间的第一边缘1413到不在参照表面1420上的下表面1412上的关注点1450的距离。该测量可例如使用以第一测量光标1434(参照表面点1424)和第二测量光标1435(第二参照点1425)之间的第一测量线
1441(参照线)以及第一测量线1441(参照线)与定位在对应于下表面1412上的关注点的位置的参照表面上的点处的第三测量光标1436(参照表面点1426)之间的第二测量线1442的点到线的测量来执行。

[0116] 如图21的图像1401和点云视图1402中所见，基于物体1410的视角和几何形状，第三测量光标1436(和对应的参照表面点1426)与关注点1450在视觉上偏离(即，并未直接在上方或视觉上成线)，使得找到对应于下表面1412上的关注点1450的参照表面1420上的第三测量光标1436(和对应的参照表面点1426)的正确位置可能是有挑战的。为了有助于用户，视频检测装置100(例如，CPU 150)可提供点云视图1402上的引导线(例如，引导线1460)，以有助于用户放置第三测量光标1436。

[0117] 在一个实施例中，当执行的测量涉及参照表面1420(例如，测量平面)时，视频检测装置100(例如，CPU 150)识别邻近(例如，在0.1mm内)垂直于参照表面1420且穿过从测量光标1436投射的投射参照表面点1426的线的物体表面(例如，下表面1412)上的点。如果找到此表面点，则视频检测装置100(例如，CPU 150)提供沿垂直方向从对应于测量光标1436(或对应的参照表面点1426)的参照表面1420上的三维坐标延伸的点云视图1402中的引导线1460。在一个实施例中，球放置在表面点上(例如，如图21的点云视图1402中所示的关注点
1450)。该引导线1460有助于用户将第三测量光标1436定位在对应于关注点1450的位置处的二维图像1401中的参照表面1420上，以提供准确测量。因此，用户可移动二维图像1401中的第三测量光标1436，直到与该光标1436相关联的引导线1460在关注点1450处接触下表面
1412。在一个实施例中，引导线1460可选隐藏或示出。

[0118] 在利用视频检测装置100的一些检测中，用户需要将测量光标放置在物体的边缘处。例如，图22A示出了示例性实施例中与物体(涡轮叶片1510)的点云视图1502并排的另一个二维图像1501。如图22A中所示，涡轮叶片1510的边缘1512具有凹陷1513，其例如可由穿过涡轮发动机的石头或其他外物引起。在一个实施例中，在用户可能想要测量凹陷1513的尺寸的情况下，用户可将第一测量光标1541和第二测量光标1542定位在涡轮叶片1510的边缘1512上，且将第三测量光标1543定位在凹陷1513的边缘上。三个测量光标1541,1542,1543可用于使用第一测量光标1541与第二测量光标1542之间的第一测量线1541(参照线)以及第一测量线1541(参照线)与第三测量光标1543之间的第二测量线1542来执行凹陷
1513的深度的点到线的测量。第二测量线1542的长度提供了凹陷1513的深度。

[0119] 在一些情况下，涡轮叶片1510的边缘1512上的点的三维坐标不可用或不是很准确。因此，正如上文所述的缺失转角测量，凹陷1513的点到线的测量可在参照表面(例如，测量平面)上执行。参照表面1520基于参照表面光标1531,1532,1533在图像1501上的放置而形成在涡轮叶片1510的表面1511上，在该处，三维还可用且非常准确。一旦形成参照表面1520，则凹陷1513的点到线的测量可使用与如图22A和22B中所示的测量光标1541,1542,
1543相关联的参照表面1520上的投射的参照表面点1521,1522,1523的三维坐标来在参照表面1520上执行。

[0120] 该测量的准确性取决于涡轮叶片1510的实际边缘1512上的第一测量光标1541和第二测量光标1542的用户放置的准确性。例如，测量取决于涡轮叶片1510的实际边缘1512上的第一测量光标1541和第二测量光标1542的用户放置的准确性，使得与测量光标1541,1542相关联的参照表面1520上的投射参照表面点1521,1522准确地反映涡轮叶片1510的实际边缘1512的几何位置。在许多情况下，涡轮叶片1510的边缘1512是辐射式或弯曲的，使得涡轮叶片1510的实际边缘1512弯离涡轮叶片1510的表面1511，且不在如图22A中所示的参照表面1520上。

[0121] 图22B示出了视频检测装置100的边缘视角(θ)与参照表面1520之间的几何关系。如图22A和22B中所示，取决于从视场(由视场线1561,1562,1563,1564)的原点1560(坐标(0,0,0))的边缘视角线1570(或下文所述的边缘视平面1572)与涡轮叶片1510的参照表面
1520或表面1511之间的边缘视角(θ)，用户在试图将第一测量光标1541放置在涡轮叶片
1510的边缘1512上时，不知不觉可能不能看到涡轮叶片1510的实际边缘1512。例如，如图
22B中所示，基于边缘视角(θ)，用户不正确地将旨在放置在涡轮叶片1510的实际边缘1512上的第一测量光标1541放置在不是边缘1512的涡轮叶片1510上的点上。如图22B中所示，由于不准确的光标放置，与测量光标1541,1543(即，凹陷1513的测量深度)相关联的参照表面
1520上的投射的参照表面点1521,1523之间的距离(B)将小于将基于正确投射的参照表面点1571将测得的凹陷1513的实际深度(A)(如果第一测量光标1541放置在实际边缘1512上，则其将得出)。如果边缘视角线1570(或下文所述的边缘视平面1572)与涡轮叶片1510的参照表面1520或表面1511之间的边缘视角(θ)较接近90度(或如果边缘视角线1570(或下文所述的边缘视平面1572)与正交于涡轮叶片1510的参照表面1520或表面1511的平面1580之间的边缘视角(φ)较接近0度)，则可能避免此误差。

[0122] 在一个实施例中且如图22A和22B中所示，视频检测装置100可使用警告系统，其中在测量光标放置在边缘上的位置处存在非期望(例如，远非垂直)观察视角时，给予用户视觉或听觉的警告。在涉及点到线的测量或涉及沿物体1510的边缘1512放置来形成第一测量线1551(参照线)的两个或更多个测量光标1541,1542所涉及的物体1510的边缘1512的其他测量(面积、长度、深度等)的一个实施例中，视频检测装置100(例如，CPU 150)使用边缘探测来确定任一测量光标1541,1542是否位于边缘(例如，涡轮叶片1510的边缘1512)附近。如果一个或多个测量光标1541,1542沿边缘1512放置，则视频检测装置100(例如，CPU 150)可基于视场的原点1560的三维坐标(0,0,0)和与沿涡轮叶片1510的边缘1511放置的测量光标1541,1542相关联的三维坐标来确定边缘视平面1572。在一个实施例中，如图22B中所示，视频检测装置100(例如，CPU 150)然后确定边缘视平面1572与参照表面1520之间的边缘视角(θ)，其对于用于光标放置在边缘上的最佳边缘视角，理想的是90度(垂直)。在另一个实施例中，视频检测装置100(例如，CPU 150)确定边缘视平面1572与正交于参照表面1520且包括与沿涡轮叶片1510的边缘1511放置测量光标1541,1542相关联的三维坐标的平面1580之间的边缘视角(φ)，其对于用于光标放置在边缘上的最佳边缘视角，理想的是0度(平行)。
如果计算的边缘视角(θ或φ)在可接受的角范围外，或超过(或低于)阈值(例如，如果θ小于
60度或如果φ大于30度)，则视频检测装置100可将警告消息1503显示给用户(例如，"为了改进准确性，在边缘附近的光标处以更垂直视图采集")。示出测量和边缘视角的文本框
1504的边界可以以警告色(橙色)示出，且闪光来警告用户。此外，位于边缘视平面1570上且垂直于第一测量线1541(参照线)的边缘视角线1570也可以以点云视图1502上的警告色(例如，橙色)示出。如图22A中所示，点云视图1502包括视场线1561,1562,1563,1564和参照平面1520的呈现，以有助于用户再定位视频检测装置的探头的末梢来改进边缘视角以用于更准确的光标放置。

[0123] 在图22A和22B中所示的示例性点到线的测量中，除放置在涡轮叶片1510的边缘1512上的第一测量光标1541和第二测量光标1542外，第三测量光标1543也沿凹陷1513的边缘放置。类似地，在图17A和17C中，测量中涉及且偏离前两个测量光标的第三或第四光标也可放置在物体的另一个边缘上。在一个实施例中，除基于形成第一测量线1551(参照线)的前两个测量光标1541,1542确定边缘视平面1572外，视频检测装置100(例如，CPU 150)也可确定第三测量光标1543是否在边缘附近，以及该边缘是否平行于或垂直于第一测量线1551(参照线)。视频检测装置100(例如，CPU 150)可基于视场的原点1560的三维坐标(0,0,0)，以及与第三测量光标1543和取决于探测边缘的方向平行于或垂直于第一测量线1551(参照线)的方向偏离第三测量光标1543的附加点相关联的三维坐标，来确定点视平面。在一个实施例中，视频检测装置100(例如，CPU 150)然后确定点视平面与参照表面1520之间的点视角，其对于用于光标放置在边缘上的最佳视角，理想的是90度(垂直)。在另一个实施例中，视频检测装置100(例如，CPU 150)确定点视平面与正交于参照表面1520且包括与第三测量光标1543和偏离第三测量光标1543的附加点相关联的三维坐标的平面之间的点视角，其对于用于光标放置在边缘上的最佳视角，理想的是0度(平行)。

[0124] 视频检测装置100(例如，CPU 150)然后确定边缘视角与点视角之间的选择的视角，其中选择的视角然后用于确定是否需要提供警告。例如，如果(i)测量光标1541,1542,1543都不在边缘附近或(ii)第一测量光标1541或第二测量光标1542中的至少一者在边缘附近且第三测量光标1543在边缘附近，则选择的视角是边缘视角和点视角中较大的。如果第一测量光标1541或第二测量光标1542中的至少一者在边缘附近，但第三测量光标1543不在，则选择的视角是边缘视角。如果第一测量光标1541或第二测量光标1542都不在边缘附近，但第三测量光标1543在边缘附近，则选择的视角是点视角。如果选择的视角(θ或φ)在可接受的角范围外或超过(或低于)阈值，则视频检测装置100可将警告消息1503显示给用户(例如，"为了改进准确性，在边缘附近的光标处以更垂直的视图采集")。示出测量和边缘视角的文本框1504的边界可以以警告色(橙色)示出，且闪光来警告用户。

[0125] 鉴于前文，当视角可能产生不准确的光标放置时，本发明的实施例警告用户。技术效果在于提供涉及光标放置的更准确的测量。

[0126] 在一些情形中，用户可能期望在具有带弯曲边缘轮廓的叶片的涡轮上或附近执行测量。例如，如果破坏沿边缘发生，则用户可能需要测量破坏从边缘延伸多远。此外，用户还可使用磨削工具，且从破坏周围的边缘除去材料。在此情况下，用户可能需要测量破坏和从原始弯曲边缘的磨削深度两者，以确保实现将没有可引起故障的应力集中的轮廓。不考虑叶片边缘的曲率的点到线的测量无法提供期望的信息。

[0127] 有利地，本文提出的技术可包括使用参照轮廓，超过点到线的测量，且能够解决物体如涡轮的叶片边缘的曲率。在一个实施例中，三维参照轮廓使用沿未破坏的叶片的边缘的点限定，且然后在破坏或修理的叶片的图像上测量时调用。这允许了从弯曲原始表面进行测量。在此情况下，在限定其和调用其时，参照表面用于将参照轮廓定向到三维空间中的叶片的面。

[0128] 当调用轮廓来在已经受损或混杂(磨削)的叶片上使用时，参照轮廓可定位成与三维空间中的叶片的其余未改变的边缘对准。存在可完成此的若干方式。一个示例在于使用与参照表面光标相关联的三维坐标来在限定参照轮廓的原始图像和调用其的第二图像中形成备选坐标系，且然后使用该备选坐标系来限定且然后重构三维空间中的轮廓。因此，在两个图像中将参照表面光标放置在叶片上的相同位置处会将调用的参照轮廓定位在三维空间中关于叶片的相同位置和定向，因为其在限定其的第一图像中，而不论观察位置或视角的变化。

[0129] 作为备选，调用的参照轮廓可直接地定位在三维视图中。调用的参照轮廓的位置还可在二维图像中通过识别二维像素来示出，二维像素具有像素射线，其在三维空间中的调用参照轮廓的最大距离内穿过。在另一个实施例中，限定参照轮廓的三维坐标可使用叶片的CAD模型或物理示例来确定，其然后可输入且定位成对准至叶片。在另一个实施例中，系统可储存多个参照轮廓，且用户可调用一个或多个来使用。在另一个实施例中，系统可使用调用的参照轮廓来计算几何尺寸。例如，可计算调用的参照轮廓与用户指定的三维表面坐标或投射的三维参照表面坐标之间的最短距离。

[0130] 图18示出了测量平面(3个连接的光标)和由其他7个光标限定的参照轮廓的并排的二维/三维视图。如点云中所示，参照轮廓使用三维立方样条拟合来以仅几个光标较好地遵循弯曲边缘轮廓。在该情况下，参照轮廓使用三维表面坐标限定，但其还可使用投射的三维测量表面坐标来限定。光标位置处的三维表面坐标可保存来代表参照轮廓。

[0131] 如本领域的技术人员认识到那样，本发明的方面可体现为系统、方法或计算机程序产品。因此，本发明的方面可采用全硬件实施例、全软件实施例(包括固件、常驻软件、微代码等)或组合软件和硬件方面的实施例(其都可大体上在本文中称为"服务"、"电路"、"回路"、"模块"和/或"系统")的形式。此外，本发明的方面可采用体现在具有体现在其上的计算机可读程序代码的一个或多个计算机可读介质中的计算机程序产品的形式。

[0132] 可使用一个或多个计算机可读介质的任何组合。计算机可读介质可为计算机可读信号介质或计算机可读储存介质。例如，计算机可读储存介质可为但不限于电子、磁性、光、电磁、红外或半导体系统、设备或装置，或前述的任何适合的组合。计算机可读储存介质的更具体的示例(非详尽清单)将包括以下：具有一条或多条线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦可编程只读存储器(EPROM或闪速存储器)、光纤、便携式光盘只读存储器(CD-ROM)、光学储存装置、磁储存装置或前述的任何适合的组合。在该文献的上下文中，计算机可读储存介质可为任何有形介质，其包含或储存由指令运行系统、设备或装置使用或结合的程序。

[0133] 体现在计算机可读介质上的程序代码和/或可运行指令可使用任何适合的介质传输，包括但不限于无线、有线、光纤线缆、RF等，或前述的任何适合的组合。

[0134] 用于执行本发明的方面的操作的计算机程序代码可以一种或多种编程语言的任何组合编写，包括面向对象编程语言如Java、Smalltalk、C++等，以及常规程序编程语言，如"C"程序编程语言或类似编程语言。程序代码可完全在用户的计算机(装置)上、部分地在用户的计算机上、作为独立的软件包、部分地用户的计算机上且部分地在远程计算机上、或完全在远程计算机或服务器上运行。在后一方案中，远程计算机可经由任何类型的网络连接到用户的计算机上，包括局域网(LAN)或宽域网(WAN)，或可对外部计算机产生的连接(例如，通过使用因特网服务提供者的因特网)。

[0135] 参照根据本发明的实施例的方法、设备(系统)和计算机程序产品的流程图图示和/或框图在本文描述了本发明的方面。将理解的是，流程图图示和/或框图的各个框，以及流程图图示和/或框图中的框的组合可通过计算机程序指令实施。这些计算机程序指令可提供至通用计算机、专用计算机或其他可编程数据处理设备的处理器，以产生机器，使得经由计算机或其他可编程数据处理设备的处理器运行的指令产生用于实施流程图和/或框图的框或多个框中指定的功能/动作。

[0136] 这些计算机程序指令还可储存在可指导计算机、其他可编程数据处理设备或其他装置以特定方式起作用的计算机可读介质中，使得储存在计算机可读介质中的指令产生包括实施流程图和/或框图的一个或多个框中指定的功能/动作的指令的制品。

[0137] 计算机程序指令也可载入计算机、其他可编程数据处理设备或其他装置上，以引起一系列操作步骤在计算机、其他可编程设备或其他装置上执行，以产生计算机实施的过程，使得在计算机或其他可编程设备上运行的指令提供用于实施流程图和/或框图的一个或多个框中的指定的功能/动作的过程。

[0138] 在权利要求参照多个元件叙述短语"至少一个"的程度上，其旨在意指至少一个或多个列出的元件，且不限于各个元件的至少一个。例如，"元件A、元件B和元件C中的至少一个"旨在指示单独的元件A、或单独的元件B、或单独的元件C、或它们的任何组合。"元件A、元件B和元件C中的至少一个"不旨在限于至少一个元件A、至少一个元件B和至少一个元件C。

[0139] 本书面描述使用了示例来公开本发明，包括最佳模式，且还使本领域的任何技术人员能够实践本发明，包括制作和使用任何装置或系统，以及执行任何并入的方法。本发明的专利范围由权利要求限定，且可包括本领域的技术人员想到的其他示例。如果此类其他实施例具有并非不同于权利要求的书面语言的结构元件，或如果它们包括与权利要求的书面语言无实质差别的等同结构元件，则期望此类其他示例在权利要求的范围内。

标题	发布/更新时间	阅读量
一种污水中转池水位自动监控系统	2020-05-08	176
管道几何尺寸检测装置及方法	2020-05-08	506
泛在互联网下的太阳能路灯故障维修系统	2020-05-08	191
一种赛事手环控制方法和装置	2020-05-11	257
一种机械臂式光伏板清洗装置	2020-05-08	5
一种破门机器人、控制方法、装置及存储介质	2020-05-08	268
一种电缆沟智能远程自动排水装置	2020-05-08	502
贴片机吸嘴更换智能控制系统	2020-05-08	474
一种温湿度记录仪	2020-05-08	303
一种DCDC供电装置	2020-05-08	532

用于测量物体上或附近的特征的方法及装置

用于测量物体上或附近的特征的方法及装置

技术领域

背景技术

具体实施方式

该功能需要专业版企业版VIP权限，您可以：