使用超声波深度感测的RGB-D成像系统和方法
阅读：124发布：2020-05-08
专利汇可以提供使用超声波深度感测的RGB-D成像系统和方法专利检索，专利查询，专利分析的服务。并且本 发明 提供了一种RGB-D成像系统(100)，用于产生包括深度数据的图像。所述RGB-D成像系统(100)包括 超 声波 传感器 阵列(110)，所述 超声波 传感器 阵列(110)用于通过波束成形生成 深度图 数据；RGB相机组件(130)，可操作地连接至所述 超声波传感器 阵列(110)，所述RGB相机组件(130)用于生成RGB图像数据。因此所述RGB-D成像系统(100)相比传统系统提供/能够改进在各种光照条件下的成像。本发明还提供了产生RGB-D图像的方法。，下面是使用超声波深度感测的RGB-D成像系统和方法专利的具体信息内容。
1.一种RGB-D成像系统，其特征在于，包括：
超声波传感器阵列，所述超声波传感器阵列用于生成深度图数据；
RGB相机组件，可操作地连接至所述超声波传感器阵列，所述RGB相机组件用于生成RGB图像数据；
成像装置，可操作地连接至所述超声波传感器阵列，以及可操作地连接至所述RGB相机组件，所述成像装置用于通过波束成形处理所述深度图数据和所述RGB图像数据。
2.如权利要求1所述的RGB-D成像系统，其特征在于，所述超声波传感器阵列包括：多个超声波传感器。
3.如权利要求2所述的RGB-D成像系统，其特征在于，所述超声波传感器阵列还包括：基板；
所述多个超声波传感器定位在所述基板的由多个行和多个列所限定的矩阵上。
4.如权利要求3所述的RGB-D成像系统，其特征在于，所述超声波传感器阵列还包括：一个或多个超声波发射器；
所述超声波发射器被定位在所述基板上的所述矩阵内的介于所述行与所述列之间；或者，
所述超声波发射器被定位在所述矩阵之外。
5.一种产生RGB-D图像的方法，其特征在于，所述方法包括：
从RGB相机组件接收RGB图像数据；
从超声波传感器阵列接收深度图数据，所述深度图数据的至少一部分对应于所述RGB图像数据的一部分；以及
将对应的深度图数据和RGB图像数据相结合，以产生RGB-D图像；
所述将对应的深度图数据和RGB图像数据相结合包括：
剪切所述RGB图像数据中与所述深度图数据不对应的一部分；和/或，剪切所述深度图数据中与所述述RGB图像数据不对应的一部分。
6.如权利要求5所述的方法，其特征在于，所述将对应的深度图数据和RGB图像数据相结合还包括：将所述RGB图像数据与所述深度图数据对齐。
7.如权利要求5所述的方法，其特征在于，所述将对应的深度图数据和RGB图像数据相结合还包括：通过波束成形来处理从所述超声波传感器阵列接收到的所述深度图数据。
8.一种产生RGB-D图像的方法，其特征在于，所述方法包括：
从RGB相机组件接收RGB图像数据；
从超声波传感器阵列接收深度图数据，所述深度图数据的至少一部分对应于所述RGB图像数据的一部分；以及
将对应的深度图数据和RGB图像数据相结合，以产生RGB-D图像；
所述将对应的深度图数据和RGB图像数据相结合包括：
对齐所述RGB图像数据与所述深度图数据；
剪切所述RGB图像数据与所述深度图数据；
对所述深度图数据上采样以匹配所述RGB图像数据的分辨率。
9.如权利要求8所述的方法，其特征在于，所述剪切所述RGB图像数据与所述深度图数据包括：剪切所述RGB图像数据中与所述深度图数据不对应的一部分。
10.如权利要求8所述的方法，其特征在于，所述剪切所述RGB图像数据与所述深度图数据包括：剪切所述深度图数据中与所述述RGB图像数据不对应的一部分。
使用超声波深度感测的RGB-D成像系统和方法
技术领域
[0002] 本发明涉及数字成像、计算机视觉和超声波感测，并且更确切地涉及RGB-D相机系统和方法。
背景技术
[0003] RGB-D相机是能够产生三维图像(平面二维图像+垂直深度图图像)的相机。RGB-D相机通常具有两组不同的传感器。其中一组传感器包括光学接收传感器(例如，RGB相机)，用于接收通常以R(红)、G(绿)和B(蓝)三种颜色各自的强度值来表示的环境图像。另一组传感器包括红外激光或结构光传感器，用于检测被观测物体的距离(D)并且获取深度图图像。RGB-D相机的应用包括空间成像、手势识别、距离检测等。
[0004] 一种类型的RGB-D相机应用红外光源用于成像(例如Microsoft的Kinect)。该相机具有某个光源，能够发出具有特定空间结构的红外光。此外，该相机配备用于接收红外光的镜头和滤波芯片。相机的内部处理器计算接收到的红外光的结构，并且通过光结构的变化，该处理器感知物体的结构和距离信息。
[0005] 传统的RGB-D相机(如Microsoft的Kinect)利用红外光检测方法获取深度信息。然而，基于红外光检测的方法在室外环境下，特别是对于被阳光照射的物体来说很难工作，因为阳光光谱具有很强的红外特征，会掩盖检测器发出的红外光。有些红外光检测器通过提高功率(例如，使用激光或通过增加光源的强度)来解决这个问题。然而，这种方法是不期望的，因为它需要较大的功耗。
发明内容
[0007] 本发明提供了一种RGB-D成像系统，包括：
[0008] 超声波传感器阵列，所述超声波传感器阵列用于通过波束成形生成深度图数据；
[0009] RGB相机组件，可操作地连接至所述超声波传感器阵列，所述RGB相机组件用于生成RGB图像数据。
[0010] 在一些实施方式中，所述超声波传感器阵列包括：多个超声波传感器。
[0011] 在一些实施方式中，所述超声波传感器阵列还包括：基板；
[0012] 所述多个超声波传感器定位在所述基板的由多个行和多个列所限定的矩阵上。
[0013] 在一些实施方式中，所述超声波传感器阵列还包括：一个或多个超声波发射器；
[0014] 所述超声波发射器被定位在所述基板上的所述矩阵内的介于所述行与所述列之间；或者，
[0015] 所述超声波发射器被定位在所述矩阵之外。
[0016] 在一些实施方式中，所述超声波发射器被定位在与所述矩阵相同、平行或分开的平面上。
[0017] 在一些实施方式中，还包括：壳体；
[0018] 所述超声波传感器阵列和所述RGB相机组件定位在所述壳体上。
[0019] 在一些实施方式中，所述RGB相机组件包括：感光成像芯片；
[0020] 所述超声波传感器阵列和所述感光成像芯片在所述壳体上被定位在共同的、平行的平面上。
[0021] 在一些实施方式中，所述超声波传感器阵列和所述感光成像芯片在所述壳体上被定位在所述平行的平面上，且二者之间的距离为10cm或小于10cm。
[0022] 在一些实施方式中，还包括处理器和存储器，所述处理器和所述存储器被定位在所述壳体内且可操作地连接至所述超声波传感器阵列和所述RGB相机组件。
[0023] 在一些实施方式中，还包括定位在所述壳体上的显示器。
[0025] 在一些实施方式中，所述超声波传感器阵列包括：压电式换能器、电容式传感器、磁致伸缩材料。
[0026] 在一些实施方式中，所述RGB相机组件包括：镜头；
[0027] 所述镜头被配置用于将光聚焦到所述感光成像芯片上。
[0028] 本发明还提供了一种包括上述任一项的RGB-D成像系统的移动平台。
[0030] 本发明还提供了一种产生RGB-D图像的方法，所述方法包括：
[0031] 从RGB相机组件接收RGB图像数据；
[0032] 从超声波传感器阵列接收深度图数据，所述深度图数据对应于所述RGB图像数据的一部分；以及
[0033] 将对应的深度图数据和RGB图像数据相结合，以产生RGB-D图像；
[0034] 所述将对应的深度图数据和RGB图像数据相结合包括：
[0035] 剪切所述RGB图像数据中与所述深度图数据不对应的一部分；和/或，[0036] 剪切所述深度图数据中与所述述RGB图像数据不对应的一部分。
[0037] 在一些实施方式中，所述将对应的深度图数据和RGB图像数据相结合还包括：将所述RGB图像数据与所述深度图数据对齐。
[0038] 在一些实施方式中，所述将对应的深度图数据和RGB图像数据相结合还包括：通过波束成形来处理从所述超声波传感器阵列接收到的所述深度图数据。
[0039] 在一些实施方式中，所述深度图数据的分辨率与所述RGB图像数据的分辨率相同。
[0040] 在一些实施方式中，所述深度图数据的分辨率与所述RGB图像数据的分辨率不同。
[0041] 在一些实施方式中，所述深度图数据的分辨率小于所述RGB图像数据的分辨率；
[0042] 所述将对应的深度图数据和RGB图像数据相结合还包括：对所述深度图数据上采样以匹配所述RGB图像数据的分辨率。
[0043] 在一些实施方式中，通过插值的方法对所述深度图数据上采样。
[0045] 在一些实施方式中，所述插值的方法包括如下的至少一种：
[0046] 最近邻插值、双线性插值、双三次插值、双三次插值平滑化、双三次插值锐化。
[0047] 在一些实施方式中，所述将对应的深度图数据和RGB图像数据相结合还包括：
[0048] 对所述RGB图像数据和/或所述深度图数据重采样。
[0049] 在一些实施方式中，根据视场内的感兴趣物体的距离值执行所述对齐。
[0051] 本发明还提供了一种产生RGB-D图像的方法，所述方法包括：
[0052] 从RGB相机组件接收RGB图像数据；
[0053] 从超声波传感器阵列接收深度图数据，所述深度图数据对应于所述RGB图像数据的一部分；以及
[0054] 将对应的深度图数据和RGB图像数据相结合，以产生RGB-D图像；
[0055] 所述将对应的深度图数据和RGB图像数据相结合包括：
[0056] 对齐所述RGB图像数据与所述深度图数据；
[0057] 剪切所述RGB图像数据与所述深度图数据；
[0058] 对所述深度图数据上采样以匹配所述RGB图像数据的分辨率。
[0059] 在一些实施方式中，所述剪切所述RGB图像数据与所述深度图数据包括：剪切所述RGB图像数据中与所述深度图数据不对应的一部分。
[0060] 在一些实施方式中，所述剪切所述RGB图像数据与所述深度图数据包括：剪切所述深度图数据中与所述述RGB图像数据不对应的一部分。
[0061] 在一些实施方式中，还包括：通过波束成形来处理从所述超声波传感器阵列接收到的所述深度图数据。
[0062] 在一些实施方式中，通过插值的方法对所述深度图数据上采样。
[0063] 在一些实施方式中，根据所述深度图数据的像素的距离值进行所述插值。
[0064] 在一些实施方式中，所述插值的方法包括如下的至少一种：
[0065] 最近邻插值、双线性插值、双三次插值、双三次插值平滑化、双三次插值锐化。
[0066] 在一些实施方式中，根据视场内的感兴趣物体的距离值执行所述对齐。
[0068] 图1图示了RGB-D成像系统的一个实施例的示例性顶层图。
[0069] 图2图示了将深度数据与RGB数据相结合的一个实施例的示例性图。
[0070] 图3图示了将深度数据与RGB数据相结合的另一个实施例的示例性图。
[0071] 图4图示了包括一个RGB相机系统和一个超声波深度传感器的RGB-D成像系统的一个实施例的示例性正视图。
[0072] 图5图示了图4所示RGB-D成像系统的视场的示例性顶层图。
[0073] 图6图示了根据一个实施例的一种产生RGB-D图像的方法。
[0074] 图7图示了包括一个RGB相机系统和两个超声波深度传感器的RGB-D成像系统的一个实施例的示例性正视图。
[0075] 图8图示了图7所示RGB-D成像系统的视场的示例性顶层图。
[0076] 图9图示了根据一个实施例的一种产生RGB-D图像的方法。
[0077] 图10图示了包括多个RGB-D成像系统的RGB-D成像组件的一个实施例。
[0078] 图11图示了根据一个实施例的一种产生RGB-D图像的方法。
[0079] 应该指出的是，附图并未按比例绘制，并且为了说明的目的，在全部附图中一般以相同的附图标记来表示结构或功能相似的元件。还应该指出的是，附图的目的仅仅是为了方便描述优选实施例。附图并未图示所描述实施例的每个方面，也不限制本发明的范围。
具体实施方式
[0080] 因为当前可用的RGB-D成像系统存在缺陷，它们在很多操作条件下如在阳光下的室外不能工作，因此包含超声波深度或距离感测的RGB-D成像系统可以证明是所期望的，并能够为广泛范围的RGB-D成像应用如空间成像、手势识别、距离检测、三维映射等提供依据。相比传统的RGB-D系统，使用了波束成形的超声波阵列能够获取包括深度信息的三维地图，而不会受到环境光干扰的制约。此外，超声波传感器比使用红外传感器的RGB-D系统使用明显更少的功率，因此可能适合移动平台或活动平台，如无人飞行器(UAV)等。可由如图1所示的RGB-D成像系统100根据本文所公开的一个实施例来实现这些结果。
[0081] 转向图1，RGB-D成像系统100示为包括可操作地连接至成像装置120的超声波传感器阵列110和可操作地连接至成像装置120的RGB相机组件130。
[0082] 在各种实施例中，超声波传感器阵列110可以包括定位在基板113的矩阵114上的多个超声波传感器112，所述矩阵114由多个行R和列C所限定。一个或多个超声波发射器111可被定位在基板113上矩阵114内的介于超声波传感器112的行R与列C之间。在另外的实施例中，一个或多个超声波发射器111可被定位在矩阵114之外在RGB-D成像系统100周围的任何合适位置。例如，一个或多个超声波发射器111可被定位在与矩阵114相同、平行或分开的平面上。
[0083] 在某些实施例中，可以存在单个超声波发射体111也可以存在以任何所期望的或合适的配置而布置或定位的任何合适复数量的超声波发射体111。也可以存在以任何所期望的或合适的配置而布置或定位的任何合适复数量的超声波传感器112，所述配置可以是也可以不是矩阵114配置。在各种实施例中，超声波传感器阵列110可以包括压电式换能器、电容式传感器、磁致伸缩材料等。因此，在各种实施例中，可以无限制地采用用于传输和/或感测任何合适频率的声波的任何合适的阵列。
[0084] 相机组件130可以包括镜头131，所述镜头被配置用于将光132聚焦到像素134的感光阵列或芯片133上，所述感光阵列或芯片将接收到的光132转换成信号，所述信号限定如本文所述的图像。尽管镜头131被描述为单反相机(DSLR)镜头，但在各种实施例中，可以使用任何合适类型的镜头。例如，在某些实施例中，镜头131可以包括任何合适的镜头系统，包括针孔镜头(pin-hole lens)、生物镜头(biological lens)、简单凸面玻璃镜头(simple convex glass lens)等。此外，根据各种实施例的镜头可以被配置成具有某些成像性质，包括微距镜头、变焦镜头、远摄镜头、鱼眼镜头、广角镜头等。
[0085] 虽然相机系统130可用于检测在可见光谱中的光并从中产生图像，但在某些实施例中，相机系统130也可适于检测其他波长的光，包括，X-射线、红外光、微波等。此外，相机系统130可以包括一个或多个滤波器。例如，相机系统130可以包括基本上滤掉红外波长的红外截止滤波器，这可能是RGB-D系统在存在红外干涉问题的环境中进行操作所期望的。在另一个实施例中，相机系统130可以包括基本上滤掉除了红外波长之外的所有波长的红外带通滤波器，并且感光阵列或芯片133可以被配置用于感测红外波长。
[0086] 相机系统130还可以适用于静止图像、视频图像和三维图像等。因此，本发明不应该被理解为限于本文所显示和所描述的示例相机系统130。
[0087] 在各种实施例中，成像装置120可以包括处理器121、存储器122和显示器123。相机系统130和超声波传感器阵列110可以可操作性地连接至成像装置120，以使得由相机系统130和超声波传感器阵列110所产生的图像或数据可以由处理器121处理和/或存储存储器
122中。可以在显示器123上呈现处理后的图像。
122中。可以在显示器123上呈现处理后的图像。
[0088] 在另外的实施例中，处理器121、存储器122和显示器123中的任一者可以复数量存在也可以不存在。例如，在某些实施例中，RGB-D成像系统100并不包括显示器123，而是将本文所论述的所产生的图像发送至其中可以呈现此类图像的另一个计算装置或显示器。
[0089] 在某些实施例中，相机系统130、成像装置120和超声波传感器阵列110中的任一者可以任意合适的复数量存在。例如，如本文更详细论述并且如图4所示，RGB-D成像系统100的一个实施例100A可以包括一个相机系统130和一个超声波传感器阵列110。在另一个实施例中，如本文更详细描述并且如图7所示，RGB-D成像系统100的一个实施例100B可以包括一个相机系统130和两个超声波传感器阵列110。
[0090] 在另一个实施例中，如本文更详细论述并且如图10所示，三维成像系统800可以包括多个RGB-D成像系统100，所述RGB成像系统100各自包括一个相机系统130和一个或多个超声波传感器阵列110。在该实施例中，每个RGB-D成像系统100可以与单独的成像装置120(图10未示出)相关联，或者每个RGB-D图像系统100可以与中心的或共同的成像装置120(图10未示出)相关联。换句话说，相关联的相机系统130和超声波传感器阵列110组可以各自与成像装置120相关联，或者可以与中心的或共同的成像装置120可操作性地连接。
[0091] 如本文更详细论述，RGB-D成像系统110可以被配置用于产生RGB-D图像。例如，参照图1、2和3，相机系统130可以被配置用于产生RGB三元组图像(triplet image)210，所述RGB三元组图像包括关于红值211R、绿值211G和蓝值211B的像素阵列。超声波传感器阵列110可以被配置用于产生深度图阵列220。如本文详细论述，RGB三元组图像210和深度图阵列220可以结合在一起，产生RGB-D四元组图像(quad image)230，所述RGB-D四元组图像包括关于红值211R、绿值211G和蓝值211B以及深度图阵列220的像素阵列。因此，RGB-D四元组图像230的每个像素位置与红值(R)、绿值(G)和蓝值(B)相关联，此外还与深度或距离值(D)相关联，所述深度或距离值对应于离超声波传感器阵列110或RGB-D成像系统100的距离。
[0092] 在某些实施例中，如图2所描述，RGB三元组图像210和深度图阵列220可以具有相同的分辨率和尺寸(即，对于所定义图像尺寸，像素的数量相同)。在该实施例中，RGB三元组图像210和深度图阵列220可一起添加。
[0093] 然而，在某些实施例中，如图3所描述，RGB三元组图像210和深度图阵列320可以具有不同的分辨率(即，对于所定义图像尺寸，像素的数量不同)。例如，在图3中，关于红值211R、绿值211G和蓝值211B的像素阵列为N1xM1的图像尺寸中的8x8像素，而深度图阵列320为N2xM2的图像尺寸中的4x4像素。在其中N1＝N2并且M1＝M2的一个实施例中，RGB三元组图像210和/或深度图阵列320可以修改以结合，形成RGB-D四元组图像230。在图3所示的例子中，深度图阵列320可以被上采样至N3xM3的图像尺寸中的8x8像素。这导致较低分辨率的深度图阵列320中的像素321的距离值与RGB-D四元组图像230中所呈现的经过上采样的深度图阵列340中所呈现的四个像素的高亮显示组323中的像素322结合使用。
[0094] 在该例子中，较低分辨率的4x4深度图阵列320上采样至较高分辨率的8x8深度图阵列340导致清晰的上采样，只要像素321能够清晰地分成四个像素323。然而，在另外的实施例中，较低分辨率的深度图阵列320的转换在上采样期间(例如，4x4图像上采样至11x11图像等)可能需要某些像素的插值。在该实施例中，可以使用任何合适的插值方法，所述插值方法可以包括最近邻插值(nearest neighbor)、双线性插值(bilinear)、双三次插值(bicubic)、双三次插值平滑化(bicubic smoother)、双三次插值锐化(bicubic sharper)等。
[0095] 在某些实施例中，距离值的插值可以基于所述距离值。例如，与较小的差异相比，较长距离的插值可以用不同的方法来处理。在某些实施例中，可以对RGB三元组图像210和/或深度图阵列220重采样，并且RGB三元组图像210和/或深度图阵列220的重采样方法可以是基于距离值。
[0096] 尽管某些实施例包括RGB三元组图像210和深度图阵列320，其中N1＝N2并且M1＝M2，但在另外的实施例中，RGB三元组图像210和深度图阵列320可以具有不同的尺寸。例如，在某些实施例中，RGB三元组图像210可以比深度图阵列320更大。在其他实施例中，RGB三元组图像210可以比深度图阵列320更小。此外，在各种实施例中，M3/N3可以与M1/N1和/或M2/N2相同，但在某些实施例中，也可以不同。
[0097] RGB-D成像系统100可以以各种合适的方式实现，例如如图4所描述，一个实施例100A包括定位在壳体401上的超声波传感器阵列110和相机系统130。成像装置120(图4中未示，参见图1)可以被定位在壳体401之内和/或之上。例如，处理器121(参见图1)和存储器
122(参见图1)可以被定位在壳体401内，并且显示器123(参见图1)可以被定位在壳体401的合适部分上。
122(参见图1)可以被定位在壳体401内，并且显示器123(参见图1)可以被定位在壳体401的合适部分上。
[0098] 如图4和5所示，超声波传感器阵列110和感光成像芯片133可以在壳体401上并排地定位在共同的或平行的平面上。在一个优选实施例中，超声波传感器阵列110和感光成像芯片133是分开的，其距离不超过10cm。本文所使用的术语“共同的平面”和“平行的平面”并不是同义词，这些术语是有区别的。
[0099] 超声波传感器阵列110可以具有由边缘411A、411B所限定的视场413，RGB相机组件130可以具有由边缘412A、412B所限定的视场414。如图5所示，视场413、414是可以偏移的。
换句话说，由感光成像芯片133和超声波传感器阵列110所产生的图像由于成像芯片133和超声波传感器阵列110在壳体上的物理距离而可能不完全相同。在该示例实施例中，视场
413、414是相对于表面410而显示的，并包括重叠部分415和其中视场没有重叠的偏移部分
420A、420B。更确切地，偏移部分420A并不在RGB相机组件的视场414之内，并且偏移部分
420B不在超声波传感器阵列的视场413之内。
换句话说，由感光成像芯片133和超声波传感器阵列110所产生的图像由于成像芯片133和超声波传感器阵列110在壳体上的物理距离而可能不完全相同。在该示例实施例中，视场
413、414是相对于表面410而显示的，并包括重叠部分415和其中视场没有重叠的偏移部分
420A、420B。更确切地，偏移部分420A并不在RGB相机组件的视场414之内，并且偏移部分
420B不在超声波传感器阵列的视场413之内。
[0100] 重叠部分415可以通过各种合适的方法识别和/或确定。例如，在一个实施例中，重叠部分415的尺寸可以是已知的或假定的，并且可以基于此类已知或假定的值来将非重叠部分420自动剪切掉。在另外的实施例中，可以通过任何合适的机器视觉或图像处理方法来使图像对齐。例如，在一个实施例中，加速分割检测特征算法(Features from Accelerates Segment Test algorithm)(FAST算法)可以用于在图像中进行角点检测，以识别一个或多个特殊特征点；二进制稳健独立基元特征算法(Binary Robust Independent Elementary Features algorithm)(BRIEF算法)可以用于识别图像的特征描述符并且两个图像中所识别出来的描述符之间的汉明距离(Hamming distance)可以用于识别第一图像和第二图像的重叠区域。
[0101] 因此，由成像芯片133和超声波传感器阵列110所产生的相应的图像和距离图可以包括彼此不对应的部分，当这些图像和距离图结合形成RGB-D图像时，这些不对应的部分可能是所不期望的。换句话说，为使RGB-D精确地显示指定像素下的距离值，可能需要使图像与距离图。在某些实施例中，偏移距离和偏移部分420A、420B可以被认为是可忽略不计的，并且图像与距离图可以不对齐。在其中偏移距离基本上恒定的另外的实施例中，图像与距离图可以基于已知的或所限定的距离而对齐。例如，在其中传感器阵列110和感光成像芯片133被定位在平行平面上的一个实施例中，传感器阵列110与感光成像芯片133之间的几何距离可以包括在已知或所限定的距离中以进行对齐。相似地，在传感器阵列110和感光成像芯片133被定位在共同平面上的情况下，传感器阵列110与感光成像芯片133之间的几何距离可以包括在已知或所限定的距离中以进行对齐。
[0102] 然而，当偏移距离变化时(例如，由于受试物体离成像系统100的距离、环境条件等而引起)，可以基于距离图中的距离值来执行对齐。在其中偏移基于距离而变化的某些实施例中，可能期望识别视场内的感兴趣物体(objects of interest)并且使图像与距离图的对齐优化，以使得感兴趣物体能够更精确地对齐。例如，可以确定，在距离1米处的前景物体为感兴趣物体，位于20米之外的背景物体不是很重要。因此，可以优化1米距离的对齐，而不是20米距离的对齐，以使得对应于前景物体的距离数据比背景距离数据更精确并且更为对齐。
[0103] 可以利用任何合适的方法并且可以基于各种设置(如特写镜头、中距离、远处、人物、风景等)来确定感兴趣物体。这些感兴趣物体可以基于合适的机器视觉和/或人工智能方法等来识别。在另外的实施例中，图像与距离图的对齐可以通过使用特征检测算法、提取算法和/或匹配算法来进行，诸如RANSAC(随机采样一致(RANdom SAmple Consensus))算法、施和托马西角点检测(Shi&Tomasi corner detection)算法、SURF斑点检测(加速稳健特征(Speeded Up Robust Features))算法、MSER斑点检测(最大稳定极值区域(Maximally Stable Extremal Regions))算法、SURF描述符(加速稳健特征(Speeded Up Robust Features))算法、SIFT描述符(尺度不变特征变换(Scale-Invariant Feature Transform))算法、FREAK描述符(快速视网膜关键点(Fast REtinA Keypoint))算法、BRISK描述符(二进制稳健不变尺度关键点(Binary Robust Invariant Scalable Keypoints))算法、HOG描述符(方向梯度直方图(Histogram of Oriented Gradients))算法等。
[0104] 在各种实施例中，可能期望将图像和/或距离图中彼此不对应的部分剪切掉。例如，参照图5，对于所拍摄的物体410的图像来说，可以从相应的图像和距离图中剪切掉部分420A、420B，而留下重叠部分415。
[0105] 图6图示了根据一个实施例的产生RGB-D图像的方法500。方法500开始于块510，在块510中，从RGB相机组件130(参见图1和4)接收RGB图像数据，并且在块520中，从超声波阵列110(参见图1和4)接收与RGB图像数据的一部分相对应的深度图数据。
[0106] 在块530中，将RGB图像数据与深度图数据对齐。在块540中，将RGB图像数据中与深度图数据不对应的一部分剪切掉，并且在块550中，将深度图数据中与RGB数据不对应的一部分剪切掉。在块560中，对深度图数据上采样，以匹配RGB图像数据的分辨率，并且在块570中，将对应的深度图数据和RGB图像数据相结合，产生RGB-D图像。
[0107] 如图7所描述，RGB-D成像系统100的另一个实施例100B包括定位在壳体601上的第一超声波传感器阵列110A和第二超声波传感器阵列110B以及相机系统130。成像装置120(图7未示，参见图1)可以被定位在壳体601之内和/或之上。例如，处理器121(参见图1)和存储器122(参见图1)可以被定位在壳体601内并且显示器123(参见图1)可以被定位在壳体601的合适部分上。
[0108] 如图7和8所示，超声波传感器阵列110和感光成像芯片133可以以线性配置的方式在壳体401上并排地定位在的平行的或共同的平面上，其中感光成像芯片133定位在第一超声波阵列110A与第二超声波阵列110B之间。在一个优选实施例中，超声波传感器阵列110和感光成像芯片133各自分开，其距离不超过10cm。
[0109] 超声波传感器阵列110A、110B可以具有分别由边缘611C、611D和611A、611B所限定的视场613A、613B。RGB相机组件130可以具有由边缘612A、612B所限定的视场614。如图8所示，视场613A、613B、614可以是偏移的。换句话说，由感光成像芯片133和超声波传感器阵列110所产生的图像由于成像芯片133和超声波传感器阵列110在壳体601上的物理距离而可能并不完全相同。在该示例实施例中，视场613A、613B、614是相对于表面610而显示的并包括重叠部分615和其中视场613A、613B、614没有重叠的偏移部分620A、620B。更确切地，偏移部分620A、620B都不在RGB相机组件的视场614内，而重叠部分615包括对应的从成像芯片的视场614得到的图像数据和从阵列的视场613A、614B之一或两者得到的深度图数据。
[0110] 图9图示了根据一个实施例的产生RGB-D图像的方法700。方法700开始于块710，在块710中，从RGB相机组件130(参见图1和7)接收RGB图像数据。在块720中，从第一超声波阵列110A(参见图1和4)接收与RGB图像数据的一部分相对应的第一深度图数据集，并且在块730中，从第二超声波阵列110A(参见图1和4)接收与RGB图像数据的一部分相对应的第二深度图数据集。
[0111] 在块740中，将RGB图像数据与深度图数据对齐。在块750中，将深度图数据集中与RGB图像数据不对应的一部分剪切掉，并且在块760中，对深度图数据集上采样，以匹配述RGB图像数据的分辨率。因此，在各种实施例中，第一和第二深度图数据集之一或两者的分辨率要比RGB图像数据的分辨率低。在块770中，将对应的深度图数据集与RGB图像数据相结合，产生RGB-D图像。
[0112] 图10图示了RGB-D成像组件800的一个实施例，所述RGB-D成像组件包括分别定位在壳体801的面802上的多个RGB-D成像系统100。尽管示例实施例800图示了具有八个面802的八边形壳体801，在其中在每个表面上定位有RGB-D成像系统100，但在另一个实施例中，也可以在各个平面上定位有任何合适复数量的成像系统100。
[0113] 使多个成像系统100定位在不同的平面上可能是所期望的，因为有可能产生全景的和/或三维的RGB-D图像，所述RGB-D图像是多个RGB图像数据和多个距离图数据的组合。此外，尽管示例实施例800描述了在共同的或平行的平面上位于共同高度的成像系统100，但在另外的实施例中，壳体可以包括规则或不规则的多面体等。
[0114] 图11图示了根据一个实施例的产生RGB-D图像的方法900。所述方法900开始于块910，在块910中分别从各自的RGB相机组件130(参见图1)接收多个RGB图像。在块920中，从多个超声波阵列110(参见图1)接收与RGB相机组件130之一分别相关联的多个深度图集，并且在块930中，将RGB图像与深度图数据集对齐。在块940中，将RGB图像中与深度图数据集不对应的部分剪切掉，并且在块950中，将深度图数据集中与RGB图像不对应的部分剪切掉。在块960中，对深度图数据集上采样，以与RGB图像的分辨率相匹配，并且在块970中，将对应的深度图数据集和RGB图像结合，产生连续的RGB-D图像。
[0115] 所描述的实施例易于进行各种修改且具有各种替代形式，并且已在附图中通过举例的方式示出了并在本文详细描述了它们的特定实施例。然而，应该了解的是，所描述的实施例并非限于所公开的具体形式或方法，而相反，本发明意欲涵盖所有的修改、同等替换和改变。
| 标题 | 发布/更新时间 | 阅读量 |
|---|---|---|
| 一种双目内窥镜软组织图像的在线三维重建方法 | 2020-05-08 | 975 |
| 基于深度摄像和身高阈值像素标定的自动身高检测方法 | 2020-05-11 | 106 |
| 一种玉米对靶变量施肥方法、装置及应用 | 2020-05-11 | 844 |
| 铁路货车小部件轴承挡键螺母松动和丢失故障检测方法 | 2020-05-08 | 299 |
| 铁路货车滚轴承甩油故障检测方法 | 2020-05-11 | 86 |
| 一种烟叶等级自动识别分拣方法 | 2020-05-11 | 550 |
| 一种基于虚拟训练的机器人智能抓取方法 | 2020-05-11 | 523 |
| 一种伤口测量的方法及装置、存储介质 | 2020-05-11 | 977 |
| 一种室内场景三维重建的RGB-D相机位姿估计方法 | 2020-05-08 | 898 |
| 一种抗遮挡目标跟踪方法 | 2020-05-08 | 106 |
高效检索全球专利专利汇是专利免费检索,专利查询,专利分析-国家发明专利查询检索分析平台，是提供专利分析，专利查询，专利检索等数据服务功能的知识产权数据服务商。
我们的产品包含105个国家的1.26亿组数据，免费查、免费专利分析。
分析报告
专利汇分析报告产品可以对行业情报数据进行梳理分析，涉及维度包括行业专利基本状况分析、地域分析、技术分析、发明人分析、申请人分析、专利权人分析、失效分析、核心专利分析、法律分析、研发重点分析、企业专利处境分析、技术处境分析、专利寿命分析、企业定位分析、引证分析等超过60个分析角度，系统通过AI智能系统对图表进行解读，只需1分钟，一键生成行业专利分析报告。
QQ群二维码
意见反馈
意见反馈