首页 / 专利库 / 信号处理 / 信噪比 / 一种基于FPGA的实时三维重建系统及其方法

一种基于FPGA的实时三维重建系统及其方法

阅读:838发布:2020-05-08

专利汇可以提供一种基于FPGA的实时三维重建系统及其方法专利检索,专利查询,专利分析的服务。并且本 发明 公开了一种基于FPGA的实时 三维重建 系统及其方法,该系统包括:采集模 块 、投影模块、 数据处理 模块和显示模块;该数据处理模块包括:数据缓存单元、 相位 打包裹单元、非线性误差校正单元、相位解包裹单元、求取 信噪比 单元、三维重建单元。本发明能实时得到被测物体的三维点 云 信息并显示,并消除非线性误差,从而提高工业的测量速度和 精度 。,下面是一种基于FPGA的实时三维重建系统及其方法专利的具体信息内容。

1.一种基于FPGA的实时三维重建系统,其特征包括:采集模、投影模块、数据处理模块和显示模块;
所述投影模块将12幅正弦条纹图依次投影到被测物体上,每投影一幅正弦条纹图时,触发所述采集模块下实时采集被测物体在当前投影周期下的灰度图像,从而得到12幅灰度图像并作为一组图像数据后传递给所述数据处理模块;
所述数据处理模块包括:数据缓存单元、相位打包裹单元、非线性误差校正单元、相位解包裹单元、求取信噪比单元、三维重建单元;
所述数据缓存单元在系统时钟周期的控制下,通过千兆网接收并缓存所述采集模块发送的图像数据;
所述相位打包裹单元从所述数据缓存单元中依次读取3幅灰度图像并进行相位打包裹运算,得到1幅包裹相位图,从而根据12幅灰度图像得到4幅包裹相位图并传递给所述非线性误差校正单元;
所述非线性误差校正单元对第3幅包裹相位图和第4幅包裹相位图包裹相位图进行处理,得到去除非线性误差的包裹相位图,并输入到所述相位解包裹单元;
所述相位解包裹单元对第1幅包裹相位图、第2幅包裹相位图以及所述去除非线性误差的包裹相位图分别进行相位解包裹运算,得到1幅相位展开图,并传递到所述三维重建单元;
所述求取信噪比单元对所述一组图像数据进行处理,得到每幅灰度图像中每个像素点的调制度,并传递到所述三维重建单元;
所述三维重建单元对所述每个像素点的调制度和所述相位展开图进行处理,得到去除噪声点的被测物体的三维点数据,并作为所述被测物体在当前投影周期下的重构结果。
2.根据权利要求1所述的实时三维重建系统,其特征是,所述相位打包裹单元是按如下过程得到包裹相位图:
步骤I、利用式(1)得到3幅灰度图像的比值A:
式(1)中,I0、I1、I2分别表示3幅灰度图像;
步骤II、利用CORDIC算法对所述比值A进行arctan函数求解,从而得到1幅包裹相位图。
3.根据权利要求书1所述的实时三维重建系统,其特征是,所述非线性误差校正单元是利用式(2)获得去除非线性误差的包裹相位图
式(2)中, 分别表示第3幅包裹相位图和第4幅包裹相位图包裹相位图。
4.根据权利要求3所述的实时三维重建系统,其特征是,所述相位解包裹单元是按如下过程得到相位展开图:
步骤A、利用式(3)得到第2幅包裹相位图 的条纹级数k1:
式(3)中, 表示第1幅包裹相位图;round表示四舍五入的求整运算;
步骤B、利用式(4)得到第2幅包裹相位图 的相位展开图Φ2:
步骤C、利用式(5)得到去除非线性误差的包裹相位图 的条纹级数k2:
步骤D、利用式(6)得到去除非线性误差的包裹相位图 的相位展开图Φ3;
5.根据权利要求4所述的实时三维重建系统,,其特征是,所述三维重建单元是按如下过程得到三维点云数据:
步骤a、根据所述相位展开图Φ3拟合得到相位-高度映射系数;
步骤b、根据所述相位-高度映射系数求得被测物体的三维点云数据;
步骤c、根据每个像素的调制度得到去除噪声点的三维点云数据。
6.一种基于FPGA的实时三维重建方法,其特征是按如下步骤进行:
步骤1、利用投影仪在一个投影周期将12幅正弦条纹图依次投影到被测物体上,每投影一幅正弦条纹图时,利用相机实时采集被测物体在当前投影周期下的灰度图像,从而得到
12幅灰度图像并作为一组图像数据;
步骤2、利用式(1)得到3幅灰度图像的比值A:
式(1)中,I0、I1、I2分别表示3幅灰度图像;
步骤3、利用CORDIC算法对所述比值A进行arctan函数求解,从而得到1幅包裹相位图,从而得到当前投影周期产生四幅包裹相位图分别为
步骤4、利用式(2)获得去除非线性误差的包裹相位图
式(2)中, 分别表示第3幅包裹相位图和第4幅包裹相位图包裹相位图;
步骤5、利用式(3)得到第2幅包裹相位图 的条纹级数k1:
步骤6、利用式(4)得到第2幅包裹相位图 的相位展开图Φ2:
步骤7、利用式(5)得到去除非线性误差的包裹相位图 的条纹级数k2:
步骤8、利用式(6)得到去除非线性误差的包裹相位图 的相位展开图Φ3;
步骤9、根据所述相位展开图Φ3拟合得到相位-高度映射系数;
步骤10、根据所述相位-高度映射系数求得被测物体的三维点云数据;
步骤11、对12幅灰度图像进行处理,得到每幅灰度图像中每个像素点的调制度;
步骤12、根据每个像素的调制度得到去除噪声点的三维点云数据。

说明书全文

一种基于FPGA的实时三维重建系统及其方法

技术领域

[0001] 本发明涉及视觉三维重建测量技术领域,具体涉及一种基于FPGA的实时三维重建系统及其方法。

背景技术

[0002] 数字投影技术被广泛应用于三维表面测量领域。通过投影正弦条纹图,物体对正弦条纹图进行调制,通过相位和高度之间的映射关系求得物体的深度信息。
[0003] 随着人工智能的快速发展,对三维重建的速度和精度越来越重视,在无人驾驶、医学检测、数据建模等领域有很大需求快速和精确求得物体的三维点数据越来越受到人们关注。传统的三维重建系统在pc机上实现很难达到实时,速度限制了无人驾驶、医学检测、数据建模等领域的发展。

发明内容

[0004] 本发明是为了解决上述现有技术存在的不足之处,提出了一种基于FPGA的实时三维重建系统及其方法,以期能实时得到被测物体的三维点云信息并显示,并消除非线性误差,从而提高工业的测量速度和精度。
[0005] 本发明为达到上述发明目的,采用如下技术方案:
[0006] 本发明一种基于FPGA的实时三维重建系统的特点包括:采集模、投影模块、数据处理模块和显示模块;
[0007] 所述投影模块将12幅正弦条纹图依次投影到被测物体上,每投影一幅正弦条纹图时,触发所述采集模块下实时采集被测物体在当前投影周期下的灰度图像,从而得到12幅灰度图像并作为一组图像数据后传递给所述数据处理模块;
[0008] 所述数据处理模块包括:数据缓存单元、相位打包裹单元、非线性误差校正单元、相位解包裹单元、求取信噪比单元、三维重建单元;
[0009] 所述数据缓存单元在系统时钟周期的控制下,通过千兆网接收并缓存所述采集模块发送的图像数据;
[0010] 所述相位打包裹单元从所述数据缓存单元中依次读取3幅灰度图像并进行相位打包裹运算,得到1幅包裹相位图,从而根据12幅灰度图像得到4幅包裹相位图并传递给所述非线性误差校正单元;
[0011] 所述非线性误差校正单元对第3幅包裹相位图和第4幅包裹相位图包裹相位图进行处理,得到去除非线性误差的包裹相位图,并输入到所述相位解包裹单元;
[0012] 所述相位解包裹单元对第1幅包裹相位图、第2幅包裹相位图以及所述去除非线性误差的包裹相位图分别进行相位解包裹运算,得到1幅相位展开图,并传递到所述三维重建单元;
[0013] 所述求取信噪比单元对所述一组图像数据进行处理,得到每幅灰度图像中每个像素点的调制度,并传递到所述三维重建单元;
[0014] 所述三维重建单元对所述每个像素点的调制度和所述相位展开图进行处理,得到去除噪声点的被测物体的三维点云数据,并作为所述被测物体在当前投影周期下的重构结果。
[0015] 本发明所述的实时三维重建系统的特点也在于,所述相位打包裹单元是按如下过程得到包裹相位图:
[0016] 步骤I、利用式(1)得到3幅灰度图像的比值A:
[0017]
[0018] 式(1)中,I0、I1、I2分别表示3幅灰度图像;
[0019] 步骤II、利用CORDIC算法对所述比值A进行arctan函数求解,从而得到1幅包裹相位图。
[0020] 所述非线性误差校正单元是利用式(2)获得去除非线性误差的包裹相位图[0021]
[0022] 式(2)中, 分别表示第3幅包裹相位图和第4幅包裹相位图包裹相位图;
[0023] 所述相位解包裹单元是按如下过程得到相位展开图:
[0024] 步骤A、利用式(3)得到第2幅包裹相位图 的条纹级数k1:
[0025]
[0026] 式(3)中,表示第1幅包裹相位图;round表示四舍五入的求整运算;
[0027] 步骤B、利用式(4)得到第2幅包裹相位图 的相位展开图Φ2:
[0028]
[0029] 步骤C、利用式(5)得到去除非线性误差的包裹相位图 的条纹级数k2:
[0030]
[0031] 步骤D、利用式(6)得到去除非线性误差的包裹相位图 的相位展开图Φ3;
[0032]
[0033] 所述三维重建单元是按如下过程得到三维点云数据:
[0034] 步骤a、根据所述相位展开图Φ3拟合得到相位-高度映射系数;
[0035] 步骤b、根据所述相位-高度映射系数求得被测物体的三维点云数据;
[0036] 步骤c、根据每个像素的调制度得到去除噪声点的三维点云数据。
[0037] 本发明一种基于FPGA的实时三维重建方法的特点是按如下步骤进行:
[0038] 步骤1、利用投影仪在一个投影周期将12幅正弦条纹图依次投影到被测物体上,每投影一幅正弦条纹图时,利用相机实时采集被测物体在当前投影周期下的灰度图像,从而得到12幅灰度图像并作为一组图像数据;
[0039] 步骤2、利用式(1)得到3幅灰度图像的比值A:
[0040]
[0041] 式(1)中,I0、I1、I2分别表示3幅灰度图像;
[0042] 步骤3、利用CORDIC算法对所述比值A进行arctan函数求解,从而得到1幅包裹相位图,从而得到当前投影周期产生四幅包裹相位图分别为
[0043] 步骤4、利用式(2)获得去除非线性误差的包裹相位图
[0044]
[0045] 式(2)中, 分别表示第3幅包裹相位图和第4幅包裹相位图包裹相位图;
[0046] 步骤5、利用式(3)得到第2幅包裹相位图 的条纹级数k1:
[0047]
[0048] 步骤6、利用式(4)得到第2幅包裹相位图 的相位展开图Φ2:
[0049]
[0050] 步骤7、利用式(5)得到去除非线性误差的包裹相位图 的条纹级数k2:
[0051]
[0052] 步骤8、利用式(6)得到去除非线性误差的包裹相位图 的相位展开图Φ3;
[0053]
[0054] 步骤9、根据所述相位展开图Φ3拟合得到相位-高度映射系数;
[0055] 步骤10、根据所述相位-高度映射系数求得被测物体的三维点云数据;
[0056] 步骤11、对12幅灰度图像进行处理,得到每幅灰度图像中每个像素点的调制度;
[0057] 步骤12、根据每个像素的调制度得到去除噪声点的三维点云数据。
[0058] 与已有现有技术相比,本发明的有益效果是:
[0059] 1、本发明采用基于FPGA的实时三维重建系统,本发明使用并行性和流线的处理过程实现本系统,在系统时钟频率为62.5MHz时,可以在20ms内完成一幅场景的三维重建,其速度是传统电脑重建速度的100多倍。
[0060] 2、本发明采用基于FPGA的实时三维重建系统,利用FPGA低功耗的特点,降低了设备功耗,其功耗只有几十瓦,相对于电脑主机几百瓦的功耗,本发明有着显著优势。由于功耗低,使得本发明系统比传统PC机搭建的系统体积大大减小,使系统的更加灵活性和便于携带
[0061] 3、本发明采用基于FPGA的实时三维重建系统,利用非线性误差进行补偿方法对投影仪的非线性误差进行了校正,消除了投影仪的非线性误差,提高了系统的测量精度。附图说明
[0062] 图1为本发明的系统结构图;
[0063] 图2为本发明FPGA处理流程图
[0064] 图3为本发明要投影的12幅条纹图;
[0065] 图4为本发明非线性误差校正流程图;
[0066] 图5为本发明相位解包裹流程图。

具体实施方式

[0067] 如图1所示,一种基于FPGA的实时三维重建系统,包括采集模块、投影模块、数据处理模块、显示模块。
[0068] 投影模块由DLP4500投影仪组成,将12幅正弦条纹图依次投影到被测物体上,正弦条纹图如图3所示,每投影一幅正弦条纹图时,通过触发线触发采集模块下实时采集被测物体在当前投影周期下的灰度图像,从而得到12幅灰度图像并作为一组图像数据后传递给数据处理模块,采集模块由高速相机组成,保证了高速数据传输;
[0069] 数据处理模块如图2所示,数据处理模块包括:数据缓存单元、相位打包裹单元、非线性误差校正单元、相位解包裹单元、求取信噪比单元、三维重建单元;
[0070] 由于需要对连续采集到的12幅图像进行处理,因此需要对数据进行缓存,数据缓存单元在系统时钟周期的控制下,通过千兆网接收并缓存采集模块发送的图像数据;
[0071] 相位打包裹单元从数据缓存单元中依次读取3幅灰度图像并进行相位打包裹运算,得到1幅包裹相位图,从而根据12幅灰度图像得到4幅包裹相位图并传递给非线性误差校正单元;
[0072] 具体的说,相位打包裹单元是按如下过程得到包裹相位图:
[0073] 步骤I、利用式(1)得到3幅灰度图像的比值A:
[0074]
[0075] 式(1)中,I0、I1、I2分别表示3幅灰度图像;
[0076] 步骤II、利用CORDIC算法对比值A进行arctan函数求解,从而得到1幅包裹相位图。
[0077] 非线性误差校正单元对第3幅包裹相位图和第4幅包裹相位图包裹相位图进行处理,得到去除非线性误差的包裹相位图,并输入到相位解包裹单元;
[0078] 具体的说,非线性误差校正单元是利用式(2)获得去除非线性误差的包裹相位图[0079]
[0080] 式(2)中, 分别表示第3幅包裹相位图和第4幅包裹相位图包裹相位图;
[0081] 具体数据流与数据操作如图4所示,通过分支(BRANCH)分别得到两个数据流,然后将进行加操作,把结果送到减法器与π/3相减,将差的结果分两路送出一路送到if判断器,另一路送到加法器与2π相加后输入if判断器的else接口。通过比较器比较大小后输出0或1到if判断接口来控制哪一路输出。
[0082] 相位解包裹单元对第1幅包裹相位图、第2幅包裹相位图以及去除非线性误差的包裹相位图分别进行相位解包裹运算,得到1幅相位展开图,并传递到三维重建单元;
[0083] 具体的说,相位解包裹单元是按如下过程得到相位展开图:
[0084] 步骤A、利用式(3)得到第2幅包裹相位图 的条纹级数k1:
[0085]
[0086] 式(3)中,表示第1幅包裹相位图;round表示四舍五入的求整运算;
[0087] 步骤B、利用式(4)得到第2幅包裹相位图 的相位展开图Φ2:
[0088]
[0089] 步骤C、利用式(5)得到去除非线性误差的包裹相位图 的条纹级数k2:
[0090]
[0091] 步骤D、利用式(6)得到去除非线性误差的包裹相位图 的相位展开图Φ3;
[0092]
[0093] 如图5所示在FPGA中实现则是先将数据流 左移3位, 分别分为两个数据流等待后续使用,然后与数据流 相减输入到除法器与2π相除,最后通过取整IP核求出第2幅包裹相位图 的条纹级数k1。数据流k1输入到乘法器与2π相乘后再与 相加得到相位展开图Φ2,得到Φ2后再左移3位,然后与数据流 相减输入到除法器与2π相除,最后通过取整IP核求出包裹相位图 的条纹级数k2。数据流k2输入到乘法器与2π相乘后再与 相加得到相位展开图Φ3。
[0094] 求取信噪比单元对一组图像数据进行处理,得到每幅灰度图像中每个像素点的调制度,并传递到三维重建单元;调制度M计算方法如式(7)所示:
[0095] M=3×(I1-I2)2+(2I0-I1-I2)2  (7)
[0096] 三维重建单元对每个像素点的调制度和相位展开图进行处理,得到去除噪声点的被测物体的三维点云数据,并作为被测物体在当前投影周期下的重构结果。
[0097] 具体的说,三维重建单元是按如下过程得到三维点云数据:
[0098] 步骤a、根据相位展开图Φ3拟合得到相位-高度映射系数;
[0099] 步骤b、根据相位-高度映射系数求得被测物体的三维点云数据;
[0100] 步骤c、根据每个像素的调制度得到去除噪声点的三维点云数据。
[0101] 本实施例中,一种基于FPGA的实时三维重建方法是按如下步骤进行:
[0102] 步骤1、利用投影仪在一个投影周期将12幅正弦条纹图依次投影到被测物体上,每投影一幅正弦条纹图时,利用相机实时采集被测物体在当前投影周期下的灰度图像,从而得到12幅灰度图像并作为一组图像数据;
[0103] 步骤2、利用式(1)得到3幅灰度图像的比值A:
[0104]
[0105] 式(1)中,I0、I1、I2分别表示3幅灰度图像;
[0106] 步骤3、利用CORDIC算法对比值A进行arctan函数求解,从而得到1幅包裹相位图,从而得到当前投影周期产生四幅包裹相位图分别为
[0107] 步骤4、利用式(2)获得去除非线性误差的包裹相位图
[0108]
[0109] 式(2)中, 分别表示第3幅包裹相位图和第4幅包裹相位图包裹相位图;
[0110] 步骤5、利用式(3)得到第2幅包裹相位图 的条纹级数k1:
[0111]
[0112] 步骤6、利用式(4)得到第2幅包裹相位图 的相位展开图Φ2:
[0113]
[0114] 步骤7、利用式(5)得到去除非线性误差的包裹相位图 的条纹级数k2:
[0115]
[0116] 步骤8、利用式(6)得到去除非线性误差的包裹相位图 的相位展开图Φ3;
[0117]
[0118] 步骤9、根据相位展开图Φ3拟合得到相位-高度映射系数;
[0119] 步骤10、根据相位-高度映射系数求得被测物体的三维点云数据;
[0120] 步骤11、对12幅灰度图像进行处理,利用式(7)得到每幅灰度图像中每个像素点的调制度M:
[0121] M=3×(I1-I2)2+(2I0-I1-I2)2  (7)
[0122] 步骤12、根据每个像素的调制度得到去除噪声点的三维点云数据。
高效检索全球专利

专利汇是专利免费检索,专利查询,专利分析-国家发明专利查询检索分析平台,是提供专利分析,专利查询,专利检索等数据服务功能的知识产权数据服务商。

我们的产品包含105个国家的1.26亿组数据,免费查、免费专利分析。

申请试用

分析报告

专利汇分析报告产品可以对行业情报数据进行梳理分析,涉及维度包括行业专利基本状况分析、地域分析、技术分析、发明人分析、申请人分析、专利权人分析、失效分析、核心专利分析、法律分析、研发重点分析、企业专利处境分析、技术处境分析、专利寿命分析、企业定位分析、引证分析等超过60个分析角度,系统通过AI智能系统对图表进行解读,只需1分钟,一键生成行业专利分析报告。

申请试用

QQ群二维码
意见反馈