基于ARM和FPGA的工件位置获取系统专利检索-嵌入式计算人工智能专利检索查询-专利查询网

基于ARM和FPGA的工件 位置获取系统

阅读：84发布：2020-05-11

专利汇可以提供基于ARM和FPGA的工件位置获取系统专利检索，专利查询，专利分析的服务。并且本发明公开了一种基于ARM和FPGA的工件位置获取系统，包括：相机和控制器；相机采集工件图像，控制器包括：FPGA芯片和ARM芯片；ARM芯片设置有依次连接的采图控制模块、图像分割模块、图像信息获取模块、共享内存模块；采图控制模块与相机通讯；图像分割模块得出待匹配区域；图像信息获取模块计算得出待匹配区域的待匹配信息；FPGA芯片对模板信息、待匹配信息匹配，得到匹配位置的像点Q的坐标；本发明系统利用嵌入式芯片完成了整个坐标信息的获取过程，实现了控制设备的小型化；针对不同的特征区域选择相应的处理方法，提高了算法的鲁棒性，两个匹配模块能够同时进行匹配过程，缩短计算时间。，下面是基于ARM和FPGA的工件位置获取系统专利的具体信息内容。

权利要求

1.一种基于ARM和FPGA的工件位置获取系统，其特征在于：包括相机和控制器；相机采集工件图像，并将工件图像传输给控制器；所述控制器包括：相互通讯的FPGA芯片和ARM芯片；
所述ARM芯片设置有依次连接的采图控制模块、图像分割模块、图像信息获取模块、共享内存模块；
所述共享内存模块包括模板图像信息存储区I、待匹配图像信息存储区II和匹配结果存储区III；
所述模板图像信息存储区I内预先存储了模板图像的模板信息和定位点坐标；所述模板图像为原始图像中的局部区域；所述模板信息为模板图像的灰度信息或梯度信息；所述定位点坐标为模板图像中的一点在原始图像中的坐标；
所述采图控制模块与相机通讯，控制相机采集工件图像，并将实时采集的工件图像发送到所述图像分割模块；
图像分割模块调取定位点坐标，根据定位点坐标信息，对所述工件图像进行图像分割，得出待匹配区域，并将待匹配区域传输给所述图像信息获取模块；
图像信息获取模块计算得出待匹配区域的待匹配信息，并将所述待匹配信息存储到所述待匹配图像信息存储区II中；所述待匹配信息为待匹配区域的灰度信息或梯度信息，其与该位置的模板信息相对应；
所述FPGA芯片分别从模板图像信息存储区I、待匹配图像信息存储区II中调取模板信息、待匹配信息；设置在FPGA芯片中的匹配模块对模板信息和待匹配信息进行匹配，得到匹配位置的像点Q的坐标，再将像点Q的坐标存储到所述匹配结果存储区III中；完成工件特征区域的位置Q的坐标获取。
2.如权利要求1所述基于ARM和FPGA的工件位置获取系统，其特征在于：预先存储模板图像的模板信息和定位点坐标的方式如下：
采图控制模块控制相机在标准位置拍摄放置在预设位置处工件的原始图像，并将原始图像发送给所述图像分割模块；
图像分割模块对标准图像进行感兴趣区域提取，得出模板区域，并将模板区域传输到图像信息获取模块；
图像信息获取模块计算得出模板区域的模板信息，选取模板图像中的一点记为定位点，并将模板信息和定位点在原始图像中的坐标存储到所述模板图像信息存储区I中。
3.如权利要求1或2所述基于ARM和FPGA的工件位置获取系统，其特征在于：所述模板区域为矩形，所述定位点为模板区域的几何中心点，其与模板区域上边缘之间的距离为a、与左边缘之间的距离为b；
则：根据调取定位点坐标信息，对所述工件图像进行图像分割，得出待匹配区域的方式如下：
以定位点坐标为中心，截取待匹配区域，所述待匹配区域的上边缘与定位点之间的距离为a+p、左边缘与定位点之间的距离为b+p；p＝10～200 像素。
4.如权利要求1或2所述基于ARM和FPGA的工件位置获取系统，其特征在于：所述匹配模块包括灰度信息匹配模块和梯度信息匹配模块，FPGA芯片分析当前调取的模板信息、待匹配信息的信息类型，若为灰度信息，则将其发送给灰度信息匹配模块进行处理；若为梯度信息，则将其发送给梯度信息匹配模块进行处理。
5.如权利要求4所述基于ARM和FPGA的工件位置获取系统，其特征在于：原始图像中的模板区域有多个，根据每个模板区域中待匹配特征的特点，计算模板信息；
在模板图像信息存储区I中将多个模板信息排序；
FPGA芯片依次调取模板信息及与其位置对应的待匹配信息，二者构成匹配对；
灰度信息匹配模块和梯度信息匹配模块同步处理携带不同信息类型的匹配对，得出工件上不同特征区域的位置Q的坐标。
6.如权利要求5所述基于ARM和FPGA的工件位置获取系统，其特征在于：图像分割模块每分割一个待匹配区域，随即将该待匹配区域传输给所述图像信息获取模块，图像分割模块继续分割下一个待匹配区域；同时，图像信息获取模块计算得出当前待匹配区域的待匹配信息，并将所述待匹配信息存储到所述待匹配图像信息存储区II中；FPGA芯片调取该待匹配信息及相应的模板信息，进行匹配过程。
7.如权利要求5所述基于ARM和FPGA的工件位置获取系统，其特征在于：所述ARM芯片中还设置有坐标转换模块，其通过以下方式将像点Q的坐标转换到世界坐标系：
所述相机为双目视觉系统，所述坐标转换模块利用立体匹配方法将像点Q的坐标转换到世界坐标系，得到其三维坐标。
8.如权利要求7所述基于ARM和FPGA的工件位置获取系统，其特征在于：
按照如下方法计算待抓取工件的实际位置与工件预设位置之间的旋转平移矩阵T；
(Xc,Yc,Zc)表示利用模板图像中像点Q的二维坐标得出的三维坐标；在同一幅原始图像中至少选取4个模板区域；联立多个方程解出平移矩阵T；
其中，Tx表示X方向平移量，Ty表示Y方向平移量，Tz表示Z方向平移量，εx表示绕X轴旋转量，εy表示绕Y轴旋转量，εz表示绕Z轴旋转量；
所述ARM芯片中还设置有通讯模块，所述通讯模块与机器人相互通讯，将计算得出的旋转平移矩阵T传输到机器人控制器；
机器人控制器利用旋转平移矩阵T，引导机器人进行轨迹修正，完成当前工件的抓取；
机器人退回到零位，完成单次抓件。
9.如权利要求8所述基于ARM和FPGA的工件位置获取系统，其特征在于：所述控制器还包括显示模块和光源驱动模块；所述显示模块连接显示器，对工件图像进行显示；所述光源驱动模块控制光源开启、关闭，为相机采图进行照明。

说明书全文

基于ARM和FPGA的工件 位置获取系统

技术领域

[0001] 本发明涉及视觉测量领域，具体涉及一种基于ARM和FPGA的工件位置获取系统。

背景技术

[0002] 随着制造业的不断进步和对产品质量需求的不断提高，人们对工件装配过程的精准化、智能化的要求也逐步增加，受限于装配人员的操练熟悉程度、机器人装料位置偏差等主客观因数，容易工件装配位置不当，从而影响外观的美观性，因此需要准确获取工件位置信息，基于视觉方法近年来受到了广泛的关注，其中，利用图像匹配方法，能够准确获得待匹配图像中特征区域的位置，但现有方法中，其通过上位机解算，控制设备体积大、价格高；整个解算过程耗时长，影响生产节拍。

发明内容

[0003] 为了解决上述问题，本发明提出基于ARM和FPGA的工件位置获取系统及视觉引导方法，本发明系统利用嵌入式芯片完成了整个坐标信息的获取过程，实现了控制设备的小型化；降低成本，同时屏蔽掉当前传统工控机方案占地面积大、灵活性不足等缺点；

[0004] 采用梯度信息匹配和灰度信息匹配两种算法，针对不同的特征区域选择相应的处理方法，提高了算法的鲁棒性，匹配结果更为准确，且两个匹配模块能够同时进行匹配过程，缩短计算时间；采用ARM和FPGA相互配合，对数据进行并行流水解算，极大的提高了计算效率，而本发明解算过程小于500ms，实时性好，有效提高测量效率；将本系统应用于机器人视觉引导抓件过程，能够有效提高引导过程的准确性、实时性。

[0005] 一种基于ARM和FPGA的工件位置获取系统，包括：相机和控制器；相机采集工件图像，并将工件图像传输给控制器；所述控制器包括：相互通讯的FPGA芯片和ARM芯片；

[0006] 所述ARM芯片设置有依次连接的采图控制模块、图像分割模块、图像信息获取模块、共享内存模块；

[0007] 所述共享内存模块包括模板图像信息存储区I、待匹配图像信息存储区II和匹配结果存储区III；

[0008] 所述模板图像信息存储区I内预先存储了模板图像的模板信息和定位点坐标；所述模板图像为原始图像中的局部区域；所述模板信息为模板图像的灰度信息(特征区域像点的灰度值)或梯度信息；所述定位点坐标为模板图像中的一点在原始图像中的坐标；

[0009] 所述采图控制模块与相机通讯，控制相机采集工件图像，并将实时采集的工件图像发送到所述图像分割模块；

[0010] 图像分割模块调取定位点坐标，根据定位点坐标信息，对所述工件图像进行图像分割，得出待匹配区域，并将待匹配区域传输给所述图像信息获取模块；

[0011] 图像信息获取模块计算得出待匹配区域的待匹配信息，并将所述待匹配信息存储到所述待匹配图像信息存储区II中；所述待匹配信息为待匹配区域的灰度信息或梯度信息，其与该位置的模板信息相对应；

[0012] 所述FPGA芯片分别从模板图像信息存储区I、待匹配图像信息存储区II中调取模板信息、待匹配信息；设置在FPGA芯片中的匹配模块对模板信息和待匹配信息进行匹配，得到匹配位置的像点Q的坐标(像点Q为得出相似度最大值的像点)，再将像点Q的坐标存储到所述匹配结果存储区III中；完成工件特征区域的位置Q的坐标获取。

[0013] 进一步，预先存储模板图像的模板信息和定位点坐标的方式如下：

[0014] 采图控制模块控制相机在标准位置拍摄放置在预设位置处工件的原始图像，并将原始图像发送给所述图像分割模块；

[0015] 图像分割模块对标准图像进行感兴趣区域提取，得出模板区域，并将模板区域传输到图像信息获取模块；

[0016] 图像信息获取模块计算得出模板区域的模板信息，选取模板图像中的一点记为定位点，并将模板信息和定位点在原始图像中的坐标存储到所述模板图像信息存储区I中。

[0017] 优选，所述模板区域为矩形，所述定位点为模板区域的几何中心点，其与模板区域上边缘之间的距离为a、与左边缘之间的距离为b；

[0018] 则：根据调取定位点坐标信息，对所述工件图像进行图像分割，得出待匹配区域的方式如下：

[0019] 以定位点坐标为中心，截取待匹配区域，所述待匹配区域的上边缘与定位点之间的距离为a+p、左边缘与定位点之间的距离为b+p；p＝10～200 像素。

[0020] 进一步，所述匹配模块包括灰度信息匹配模块和梯度信息匹配模块，FPGA芯片分析当前调取的模板信息、待匹配信息的信息类型，若为灰度信息，则将其发送给灰度信息匹配模块进行处理；若为梯度信息，则将其发送给梯度信息匹配模块进行处理。

[0021] 优选，原始图像中的模板区域有多个，根据每个模板区域中待匹配特征的特点，计算模板信息；

[0022] 若待匹配特征轮廓清晰或对比度差，则获取梯度信息，该位置的待匹配区域也获取梯度信息，利用梯度信息匹配模板处理；

[0023] 若待匹配特征轮廓不清晰或对比度强，则获取灰度信息，该位置的待匹配区域也获取灰度信息，利用灰度信息匹配模板处理；

[0024] 在模板图像信息存储区I中将多个模板信息排序；

[0025] FPGA芯片依次调取模板信息及与其位置对应的待匹配信息，二者构成匹配对；

[0026] 灰度信息匹配模块和梯度信息匹配模块同步处理携带不同信息类型的匹配对，得出工件上不同特征区域的位置Q的坐标。

[0027] 为了加快匹配进程，ARM芯片和FPGA芯片采用并行流水的方式进行数据处理，即：

[0028] 图像分割模块每分割一个待匹配区域，随即将该待匹配区域传输给所述图像信息获取模块，图像分割模块继续分割下一个待匹配区域；同时，图像信息获取模块计算得出当前待匹配区域的待匹配信息，并将所述待匹配信息存储到所述待匹配图像信息存储区II中；FPGA芯片调取该待匹配信息及相应的模板信息，进行匹配过程；实现ARM和FPGA对数据的并行流水处理。

[0029] 进一步，所述ARM芯片中还设置有坐标转换模块，其通过以下方式将像点Q的坐标转换到世界坐标系：

[0030] 所述相机为双目视觉系统，所述坐标转换模块利用立体匹配方法将像点Q的坐标转换到世界坐标系，得到其三维坐标；

[0031] 进一步，按照如下方法计算待抓取工件的实际位置与工件预设位置之间的旋转平移矩阵T；

[0032]

[0033] (Xc,Yc,Zc)表示利用模板图像中像点Q的二维坐标得出的三维坐标；在同一幅原始图像中至少选取4个模板区域；联立多个方程解出平移矩阵T；

[0034]

[0035] 其中，Tx表示X方向平移量，Ty表示Y方向平移量，Tz表示Z方向平移量，εx表示绕X轴旋转量，εy表示绕Y轴旋转量，εz表示绕Z轴旋转量；

[0036] 所述ARM芯片中还设置有通讯模块，所述通讯模块与机器人相互通讯，将计算得出的旋转平移矩阵T传输到机器人控制器；

[0037] 机器人控制器利用旋转平移矩阵T，引导机器人进行轨迹修正，完成当前工件的抓取；

[0038] 机器人退回到零位，完成单次抓件。

[0039] 进一步，所述控制器还包括显示模块和光源驱动模块；所述显示模块连接显示器，对工件图像进行显示；所述光源驱动模块控制光源开启、关闭，为相机采图进行照明。

[0040] 本发明系统单纯利用嵌入式芯片完成了整个坐标信息的获取过程，实现了控制设备的小型化；降低成本，同时屏蔽掉当前传统工控机方案占地面积大、灵活性不足等缺点；

[0041] FPGA芯片中的匹配模块包含了梯度信息匹配和灰度信息匹配两种算法，针对不同的特征区域选择相应的处理方法，提高了算法的鲁棒性，匹配结果更为准确，且两个匹配模块能够同时进行匹配过程，缩短计算时间；

[0042] 采用ARM和FPGA相互配合，对数据进行并行流水解算，极大的提高了计算效率，采用本发明解算过程小于500ms，实时性好，有效提高测量效率；

[0043] 将本系统应用于机器人视觉引导抓件过程，能够有效提高引导过程的准确性、实时性。附图说明

[0044] 图1为实施例中工件位置获取系统结构框图；

[0045] 图2为ARM和FPGA对数据的并行流水处理示意图。

具体实施方式

[0046] 以下结合附图和实施例对本发明的技术方案进行详细描述。

[0047] 一种基于ARM和FPGA的工件位置获取系统，如图1所示，包括：相机和控制器；相机采集工件图像，并将工件图像传输给控制器；控制器包括：相互通讯的FPGA芯片和ARM芯片；

[0048] ARM芯片设置有依次连接的采图控制模块、图像分割模块、图像信息获取模块、共享内存模块；

[0049] 共享内存模块包括模板图像信息存储区I、待匹配图像信息存储区II和匹配结果存储区III；共享内存模块中的每个存储区再平均细分为多份且遵循4K字节对齐原则。

[0050] 模板图像信息存储区I内预先存储了模板图像的模板信息和定位点坐标；模板图像为原始图像中的局部区域；模板信息为模板图像的灰度信息或梯度信息；定位点坐标为模板图像中的一点在原始图像中的坐标；

[0051] 采图控制模块与相机通讯，控制相机采集工件图像，并将实时采集的工件图像发送到图像分割模块；

[0052] 图像分割模块调取定位点坐标，根据定位点坐标信息，对工件图像进行图像分割，得出待匹配区域，并将待匹配区域传输给图像信息获取模块；

[0053] 图像信息获取模块计算得出待匹配区域的待匹配信息，并将待匹配信息存储到待匹配图像信息存储区II中；待匹配信息为待匹配区域的灰度信息或梯度信息，其与该位置的模板信息相对应；

[0054] FPGA芯片分别从模板图像信息存储区I、待匹配图像信息存储区II中调取模板信息、待匹配信息；设置在FPGA芯片中的匹配模块对模板信息和待匹配信息进行匹配，得到匹配位置的像点Q的坐标(像点Q为得出相似度最大值的像点)，再将像点Q的坐标存储到匹配结果存储区III中；完成工件特征区域的位置Q的坐标获取。

[0055] 其中，预先存储模板图像的模板信息和定位点坐标的方式如下：

[0056] 采图控制模块控制相机在标准位置拍摄放置在预设位置处工件的原始图像，并将原始图像发送给图像分割模块；

[0057] 图像分割模块对标准图像进行感兴趣区域提取，得出模板区域，并将模板区域传输到图像信息获取模块；

[0058] 图像信息获取模块计算得出模板区域的模板信息，选取模板图像中的一点记为定位点，并将模板信息和定位点在原始图像中的坐标存储到模板图像信息存储区I中。

[0059] 为了便于解算，模板区域为矩形，定位点为模板区域的几何中心点，其与模板区域上边缘之间的距离为a、与左边缘之间的距离为b；

[0060] 则：根据调取定位点坐标信息，对工件图像进行图像分割，得出待匹配区域的方式如下：

[0061] 以定位点坐标为中心，截取待匹配区域，待匹配区域的上边缘与定位点之间的距离为a+p、左边缘与定位点之间的距离为b+p；p＝10～200像素。

[0062] 本实施中，匹配模块包括灰度信息匹配模块和梯度信息匹配模块，FPGA芯片分析当前调取的模板信息、待匹配信息的信息类型，若为灰度信息，则将其发送给灰度信息匹配模块进行处理；若为梯度信息，则将其发送给梯度信息匹配模块进行处理。

[0063] 作为本发明的一种实施方式，原始图像中的模板区域有多个，根据每个模板区域中待匹配特征的特点，计算模板信息；

[0064] 若待匹配特征轮廓清晰或对比度差，则获取梯度信息，该位置的待匹配区域也获取梯度信息，利用梯度信息匹配模板处理；

[0065] 若待匹配特征轮廓不清晰或对比度强，则获取灰度信息，该位置的待匹配区域也获取灰度信息，利用灰度信息匹配模板处理；

[0066] 在模板图像信息存储区I中将多个模板信息排序；

[0067] FPGA芯片依次调取模板信息及与其位置对应的待匹配信息，二者构成匹配对；

[0068] 灰度信息匹配模块和梯度信息匹配模块同步处理携带不同信息类型的匹配对，得出工件上不同特征区域的位置Q的坐标。

[0069] 此时，为了加快匹配进程，提高效率，ARM芯片和FPGA芯片采用并行流水的方式进行数据处理，即：

[0070] 如图2所示，图像分割模块每分割一个待匹配区域，随即将该待匹配区域传输给图像信息获取模块，图像分割模块继续分割下一个待匹配区域；同时，图像信息获取模块计算得出当前待匹配区域的待匹配信息，并将待匹配信息存储到待匹配图像信息存储区II中；FPGA芯片调取该待匹配信息及相应的模板信息，进行匹配过程；实现ARM和FPGA对数据的并行流水处理。

[0071] 本实施例中，还将本发明系统应用于机器人视觉引导过程中，具体的：

[0072] ARM芯片中还设置有坐标转换模块，其通过以下方式将像点Q的坐标转换到世界坐标系：

[0073] 相机为双目视觉系统，坐标转换模块利用立体匹配方法将像点Q的坐标转换到世界坐标系，得到其三维坐标。

[0074] 按照如下方法计算待抓取工件的实际位置与工件预设位置之间的旋转平移矩阵T；

[0075]

[0076] (Xc,Yc,Zc)表示利用模板图像中像点Q的二维坐标得出的三维坐标；在同一幅原始图像中至少选取4个模板区域；联立多个方程解出平移矩阵T；

[0077]

[0078] ARM芯片中还设置有通讯模块，通讯模块与机器人相互通讯，将计算得出的旋转平移矩阵T传输到机器人控制器；

[0079] 机器人控制器利用旋转平移矩阵T，引导机器人进行轨迹修正，完成当前工件的抓取；

[0080] 机器人退回到零位，完成单次抓件。

[0081] 若需要重复抓件，则重复上述过程，得出下一个待抓取工件的实际位置与工件预设位置之间的旋转平移矩阵，机器人经过轨迹修正后，继续对下一个工件进行抓取。

[0082] 在本实施例中，控制器还包括显示模块和光源驱动模块；显示模块连接显示器，对工件图像进行显示；光源驱动模块控制光源开启、关闭，为相机采图进行照明。

[0083] 前面对本发明具体示例性实施方案所呈现的描述是出于说明和描述的目的。前面的描述并不想要成为毫无遗漏的，也不是想要把本发明限制为所公开的精确形式，显然，根据上述教导很多改变和变化都是可能的。选择示例性实施方案并进行描述是为了解释本发明的特定原理及其实际应用，从而使得本领域的其它技术人员能够实现并利用本发明的各种示例性实施方案及其不同选择形式和修改形式。本发明的范围旨在由所附权利要求书及其等价形式所限定。

标题	发布/更新时间	阅读量
一种肢体康复训练方法、系统及嵌入式设备	2020-05-08	345
用于提供带有标记的容器的系统及方法	2020-05-11	39
基于FPGA-ARM嵌入式系统的R-LATs系统移动端信号处理方法	2020-05-08	102
传感器网络节点的数据处理方法及传感器网络节点	2020-05-08	27
一种针对嵌入式轨道钢槽式道床路基不均匀沉降的维修方法	2020-05-08	822
一种基于机器视觉的玉米苗期机械除草识别方法及装置	2020-05-11	753
深度可分离卷积的加速方法、存储介质及应用	2020-05-08	421
多芯片集成功率管理解决方案	2020-05-08	427
通用型无人机机载计算机测试台	2020-05-08	308
一种用于车辆的载重与定位信息综合监控系统	2020-05-08	1019

基于ARM和FPGA的工件位置获取系统

基于ARM和FPGA的工件位置获取系统

技术领域

背景技术

发明内容

具体实施方式

该功能需要专业版企业版VIP权限，您可以：