首页 / 专利库 / 图形技术 / 光栅图像 / 一种图像数据获取方法、装置及系统

一种图像数据获取方法、装置及系统

阅读:551发布:2020-05-11

专利汇可以提供一种图像数据获取方法、装置及系统专利检索,专利查询,专利分析的服务。并且本 发明 实施例 提供了一种图像数据获取方法、装置及系统,方法包括:投影仪针对待测量物体,按照不同的曝光时间投射测量结构光;相机采集每次投射结构光的 光栅图像 ; 电子 设备在每张光栅图像中确定 亮度 值满足条件的有效区域;将所确定的每个有效区域进行拼接,得到有效图像数据。假设同 时针 对表面反射率大的物体A和表面反射率小的物体B采集光栅图像,由于投影仪的曝光时间不同,则一部分光栅图像中A清晰,一部分光栅图像中B清晰,将A清晰的图像区域与B清晰的图像区域进行拼接,得到的图像数据中A和B的清晰度均较高。,下面是一种图像数据获取方法、装置及系统专利的具体信息内容。

1.一种图像数据获取方法,其特征在于,包括:
获取N张第一光栅图像;其中,所述N为大于1的正整数,所述第一光栅图像为:投影仪按照不同的曝光时间投射的测量结构光对应的图像;
针对每张第一光栅图像,在该张第一光栅图像中确定亮度值满足条件的第一有效区域;
将所确定的每个第一有效区域进行拼接,得到有效图像数据。
2.根据权利要求1所述的方法,其特征在于,所述方法还包括:
获取所述N张第二光栅图像,所述第二光栅图像为:投影仪按照所述不同的曝光时间投射的单一亮度值结构光对应的图像;
分别在每张第二光栅图像中确定亮度值满足条件的区域,作为第二有效区域;
所述在该张第一光栅图像中确定亮度值满足条件的第一有效区域,包括:
将与该张第一光栅图像对应的投影仪曝光时间相同的第二光栅图像中的第二有效区域映射至该张第一光栅图像中,得到第一有效区域。
3.根据权利要求2所述的方法,其特征在于,所述分别在每张第二光栅图像中确定亮度值满足条件的区域,作为第二有效区域,包括:
在未被分割的第二光栅图像中确定待分割图像;所述未被分割的第二光栅图像为:未确定第二有效区域的第二光栅图像;
将所述待分割图像中亮度值满足预设条件的区域,作为第二有效区域。
4.根据权利要求3所述的方法,其特征在于,所述在未被分割的第二光栅图像中确定待分割图像,包括:
将曝光时间最小的第二光栅图像确定为待分割图像;和/或
按照曝光时间由小到大的顺序,选择除曝光时间最小的第二光栅图像外的未被分割的第二光栅图像;将所选择的第二光栅图像,除去与其他第二光栅图像中已确定为第二有效区域对应的区域后确定为待分割图像。
5.根据权利要求3所述的方法,其特征在于,所述将所述待分割图像中亮度值满足预设条件的区域,作为第二有效区域,包括:
确定所述待分割图像对应的亮度阈值
将所述待分割图像中亮度值大于所述亮度阈值的区域确定为第二有效区域。
6.根据权利要求1所述的方法,其特征在于,所述在该张第一光栅图像中确定亮度值满足条件的第一有效区域,包括:
将该张第一光栅图像输入至预先训练得到的神经网络模型,根据所述神经网络模型的输出结果确定第一有效区域;其中,所述神经网络模型以光栅图像样本为输入、以光栅图像样本中分割的图像区域的坐标为监督、训练得到。
7.根据权利要求1所述的方法,其特征在于,所述获取N张第一光栅图像,包括:
分别确定每个待测量物体对应的最优曝光时间;
控制投影仪分别按照所确定的各最优曝光时间投射测量结构光;
获取每次投射的测量结构光对应的光栅图像,作为第一光栅图像。
8.根据权利要求7所述的方法,其特征在于,所述分别确定每个待测量物体对应的最优曝光时间,包括:
针对每个待测量物体,获取该待测量物体对应的多张第三光栅图像;其中,所述第三光栅图像为:投影仪依次按照所设定的各曝光时间、向该待测量物体投射的结构光对应的图像;
确定所述多张第三光栅图像中的亮度参数,所述亮度参数为表示亮度分布范围的参数;
根据所确定的亮度参数,在所设定的曝光时间中确定该待测量物体对应的最优曝光时间。
9.根据权利要求8所述的方法,其特征在于,所述确定所述多张第三光栅图像中的亮度参数,包括:
计算所设定的初始曝光时间对应的结构光的有效亮度范围,作为第一亮度参数;
确定第三光栅图像亮度值与其对应的结构光亮度值的斜率,作为第二亮度参数;
所述根据所确定的亮度参数,在所设定的曝光时间中确定该待测量物体对应的最优曝光时间,包括:
判断所述初始曝光时间对应的结构光的有效亮度范围的最大值是否大于第一预设阈值;
如果大于,在所设定的、大于所述初始曝光时间中,确定所述斜率的拐点对应的曝光时间,作为该待测量物体对应的最优曝光时间。
10.根据权利要求9所述的方法,其特征在于,所述计算所设定的初始曝光时间对应的结构光的有效亮度范围,包括:
在所投射的结构光中,依次选择待比较结构光亮度值;
确定在所设定的初始曝光时间下、所述待比较结构光亮度值对应的光栅图像亮度值变化情况,作为待比较亮度显著性系数;
判断所述待比较亮度显著性系数是否大于全局亮度显著性系数;其中,所述全局亮度显著性系数为第二亮度差与第一亮度差的比值,所述第一亮度差为结构光的最大亮度值与最小亮度值之差,所述第二亮度差为在所述初始曝光时间下、最大亮度值结构光对应的光栅图像亮度值与最小亮度值对应的光栅图像亮度值之差;
如果大于,则确定在所述初始曝光时间下、所述待比较结构光亮度值属于结构光有效亮度范围。
11.根据权利要求7所述的方法,其特征在于,所述分别确定每个待测量物体对应的最优曝光时间,包括:
针对每个待测量物体,获取该待测量物体对应的多张第四光栅图像,所述第四光栅图像为:投影仪依次按照所设定的各曝光时间、向该待测量物体投射的结构光对应的图像;
确定所述多张第四光栅图像中的质量参数,所述质量参数为表示光栅图像成像质量的参数;
将质量参数最优的第四光栅图像对应的投影仪曝光时间确定为该待测量物体对应的最优曝光时间。
12.根据权利要求11所述的方法,其特征在于,所述获取该待测量物体对应的多张第四光栅图像,包括:
获取该待测量物体对应的多组第四光栅图像;其中,每组中各张第四光栅图像对应的编码算法相同,每组中各张第四光栅图像对应的测量结构光的编码参数按照预设规则发生变化;
所述确定所述多张第四光栅图像的质量参数,包括:
针对每组第四光栅图像,对该组第四光栅图像进行解码,得到解码数据;基于所述解码数据,确定该组第四光栅图像的质量参数。
13.根据权利要求1所述的方法,其特征在于,在所述在该张第一光栅图像中确定亮度值满足条件的第一有效区域之前,还包括:
获取多张曝光时间相同的第五光栅图像;
在所获取的第五光栅图像中,选择两张待处理光栅图像;
计算所述两张待处理光栅图像之间的亮度差;
确定亮度差大于第二预设阈值的区域,作为候选区域;
所述在该张第一光栅图像中确定亮度值满足条件的第一有效区域,包括:
在该张第一光栅图像的候选区域中,确定亮度值满足条件的第一有效区域。
14.一种图像数据获取装置,其特征在于,包括:
第一获取模,用于获取N张第一光栅图像;其中,所述N为大于1的正整数,所述第一光栅图像为:投影仪按照不同的曝光时间投射的测量结构光对应的图像;
第一确定模块,用于针对每张第一光栅图像,在该张第一光栅图像中确定亮度值满足条件的第一有效区域;
拼接模块,用于将所确定的每个第一有效区域进行拼接,得到有效图像数据。
15.根据权利要求14所述的装置,其特征在于,所述装置还包括:
第二获取模块,用于获取所述N张第二光栅图像,所述第二光栅图像为:投影仪按照所述不同的曝光时间投射的单一亮度值结构光对应的图像;
第二确定模块,用于分别在每张第二光栅图像中确定亮度值满足条件的区域,作为第二有效区域;
所述第一确定模块,还用于将与该张第一光栅图像对应的投影仪曝光时间相同的第二光栅图像中的第二有效区域映射至该张第一光栅图像中,得到第一有效区域。
16.根据权利要求15所述的装置,其特征在于,所述第二确定模块,包括:
第一确定子模块,用于在未被分割的第二光栅图像中确定待分割图像;所述未被分割的第二光栅图像为:未确定第二有效区域的第二光栅图像;
第二确定子模块,用于将所述待分割图像中亮度值满足预设条件的区域,作为第二有效区域。
17.根据权利要求16所述的装置,其特征在于,所述第一确定子模块,具体用于:
将曝光时间最小的第二光栅图像确定为待分割图像;和/或
按照曝光时间由小到大的顺序,选择除曝光时间最小的第二光栅图像外的未被分割的第二光栅图像;将所选择的第二光栅图像,除去与其他第二光栅图像中已确定为第二有效区域对应的区域后确定为待分割图像。
18.根据权利要求16所述的装置,其特征在于,所述第二确定子模块,具体用于:
确定所述待分割图像对应的亮度阈值;将所述待分割图像中亮度值大于所述亮度阈值的区域确定为第二有效区域。
19.根据权利要求14所述的装置,其特征在于,所述第一确定模块,还用于:
将该张第一光栅图像输入至预先训练得到的神经网络模型,根据所述神经网络模型的输出结果确定第一有效区域;其中,所述神经网络模型以光栅图像样本为输入、以光栅图像样本中分割的图像区域的坐标为监督、训练得到。
20.根据权利要求14所述的装置,其特征在于,所述第一获取模块,包括:
第三确定子模块,用于分别确定每个待测量物体对应的最优曝光时间;
控制子模块,用于控制投影仪分别按照所确定的各最优曝光时间投射测量结构光;
第一获取子模块,用于获取每次投射的测量结构光对应的光栅图像,作为第一光栅图像。
21.根据权利要求20所述的装置,其特征在于,所述第三确定子模块,包括:
第一获取单元,用于针对每个待测量物体,获取该待测量物体对应的多张第三光栅图像;其中,所述第三光栅图像为:投影仪依次按照所设定的各曝光时间、向该待测量物体投射的结构光对应的图像;
第一确定单元,用于确定所述多张第三光栅图像中的亮度参数,所述亮度参数为表示亮度分布范围的参数;
第二确定单元,用于根据所确定的亮度参数,在所设定的曝光时间中确定该待测量物体对应的最优曝光时间。
22.根据权利要求21所述的装置,其特征在于,所述第一确定单元,具体用于:
计算所设定的初始曝光时间对应的结构光的有效亮度范围,作为第一亮度参数;确定第三光栅图像亮度值与其对应的结构光亮度值的斜率,作为第二亮度参数;
所述第二确定单元,具体用于:
判断所述初始曝光时间对应的结构光的有效亮度范围的最大值是否大于第一预设阈值;如果大于,在所设定的、大于所述初始曝光时间中,确定所述斜率的拐点对应的曝光时间,作为该待测量物体对应的最优曝光时间。
23.根据权利要求22所述的装置,其特征在于,所述第一确定单元,还用于:
在所投射的结构光中,依次选择待比较结构光亮度值;
确定在所设定的初始曝光时间下、所述待比较结构光亮度值对应的光栅图像亮度值变化情况,作为待比较亮度显著性系数;
判断所述待比较亮度显著性系数是否大于全局亮度显著性系数;其中,所述全局亮度显著性系数为第二亮度差与第一亮度差的比值,所述第一亮度差为结构光的最大亮度值与最小亮度值之差,所述第二亮度差为在所述初始曝光时间下、最大亮度值结构光对应的光栅图像亮度值与最小亮度值对应的光栅图像亮度值之差;
如果大于,则确定在所述初始曝光时间下、所述待比较结构光亮度值属于结构光有效亮度范围。
24.根据权利要求20所述的装置,其特征在于,所述第三确定子模块,包括:
第二获取单元,用于针对每个待测量物体,获取该待测量物体对应的多张第四光栅图像,所述第四光栅图像为:投影仪依次按照所设定的各曝光时间、向该待测量物体投射的结构光对应的图像;
第三确定单元,用于确定所述多张第四光栅图像中的质量参数,所述质量参数为表示光栅图像成像质量的参数;
第四确定单元,用于将质量参数最优的第四光栅图像对应的投影仪曝光时间确定为该待测量物体对应的最优曝光时间。
25.根据权利要求24所述的装置,其特征在于,所述第二获取单元,具体用于:
获取该待测量物体对应的多组第四光栅图像;其中,每组中各张第四光栅图像对应的编码算法相同,每组中各张第四光栅图像对应的测量结构光的编码参数按照预设规则发生变化;
所述第三确定单元,具体用于:
针对每组第四光栅图像,对该组第四光栅图像进行解码,得到解码数据;基于所述解码数据,确定该组第四光栅图像的质量参数。
26.根据权利要求14所述的装置,其特征在于,所述装置还包括:
第三获取模块,用于获取多张曝光时间相同的第五光栅图像;
选择模块,用于在所获取的第五光栅图像中,选择两张待处理光栅图像;
计算模块,用于计算所述两张待处理光栅图像之间的亮度差;
第三确定模块,用于确定亮度差大于第二预设阈值的区域,作为候选区域;
所述第一确定模块,还用于:
在该张第一光栅图像的候选区域中,确定亮度值满足条件的第一有效区域。
27.一种三维测量系统,其特征在于,包括:投影仪、相机和计算机;
所述投影仪,用于按照不同的曝光时间投射测量结构光;
所述相机,用于针对所述投影仪所投射的测量结构光进行图像采集,得到第一光栅图像,并将所述第一光栅图像发送至所述计算机;
所述计算机,用于接收所述相机发送的多张第一光栅图像;针对每张第一光栅图像,在该张第一光栅图像中确定亮度值满足条件的第一有效区域;将所确定的每个第一有效区域进行拼接,得到有效图像数据。

说明书全文

一种图像数据获取方法、装置及系统

技术领域

[0001] 本发明涉及三维测量技术领域,特别是涉及一种图像数据获取方法、装置及系统。

背景技术

[0002] 利用结构光进行三维测量的方案一般包括:投影仪投射结构光,结构光照射到待测量物体上形成投影光栅;相机对该投影光栅进行采集,得到光栅图像;计算机根据该光栅图像,计算待测量物体的测量数据。
[0003] 不同材质表面的反射率不同,如果待测量物体表面的反射率较大,则对应的投影仪曝光时间应该小一些,才能获取到较清晰的光栅图像;如果待测量物体表面的反射率较小,则对应的投影仪曝光时间应该大一些,才能获取到较清晰的光栅图像。
[0004] 但是,若同时针对表面反射率大的物体和表面反射率小的物体,采集光栅图像,则不能获得清晰的光栅图像。

发明内容

[0005] 本发明实施例的目的在于提供一种图像数据获取方法、装置及系统,以获得清晰的光栅图像。
[0006] 为达到上述目的,本发明实施例提供了一种图像数据获取方法,包括:
[0007] 获取N张第一光栅图像;其中,所述N为大于1的正整数,所述第一光栅图像为:投影仪按照不同的曝光时间投射的测量结构光对应的图像;
[0008] 针对每张第一光栅图像,在该张第一光栅图像中确定亮度值满足条件的第一有效区域;
[0009] 将所确定的每个第一有效区域进行拼接,得到有效图像数据。
[0010] 可选的,所述方法还包括:
[0011] 获取所述N张第二光栅图像,所述第二光栅图像为:投影仪按照所述不同的曝光时间投射的单一亮度值结构光对应的图像;
[0012] 分别在每张第二光栅图像中确定亮度值满足条件的区域,作为第二有效区域;
[0013] 所述在该张第一光栅图像中确定亮度值满足条件的第一有效区域,包括:
[0014] 将与该张第一光栅图像对应的投影仪曝光时间相同的第二光栅图像中的第二有效区域映射至该张第一光栅图像中,得到第一有效区域。
[0015] 可选的,所述分别在每张第二光栅图像中确定亮度值满足条件的区域,作为第二有效区域,包括:
[0016] 在未被分割的第二光栅图像中确定待分割图像;所述未被分割的第二光栅图像为:未确定第二有效区域的第二光栅图像;
[0017] 将所述待分割图像中亮度值满足预设条件的区域,作为第二有效区域。
[0018] 可选的,所述在未被分割的第二光栅图像中确定待分割图像,包括:
[0019] 将曝光时间最小的第二光栅图像确定为待分割图像;和/或
[0020] 按照曝光时间由小到大的顺序,选择除曝光时间最小的第二光栅图像外的未被分割的第二光栅图像;将所选择的第二光栅图像,除去与其他第二光栅图像中已确定为第二有效区域对应的区域后确定为待分割图像。
[0021] 可选的,所述将所述待分割图像中亮度值满足预设条件的区域,作为第二有效区域,包括:
[0022] 确定所述待分割图像对应的亮度阈值
[0023] 将所述待分割图像中亮度值大于所述亮度阈值的区域确定为第二有效区域。
[0024] 可选的,所述在该张第一光栅图像中确定亮度值满足条件的第一有效区域,包括:
[0025] 将该张第一光栅图像输入至预先训练得到的神经网络模型,根据所述神经网络模型的输出结果确定第一有效区域;其中,所述神经网络模型以光栅图像样本为输入、以光栅图像样本中分割的图像区域的坐标为监督、训练得到。
[0026] 可选的,所述获取N张第一光栅图像,包括:
[0027] 分别确定每个待测量物体对应的最优曝光时间;
[0028] 控制投影仪分别按照所确定的各最优曝光时间投射测量结构光;
[0029] 获取每次投射的测量结构光对应的光栅图像,作为第一光栅图像。
[0030] 可选的,所述分别确定每个待测量物体对应的最优曝光时间,包括:
[0031] 针对每个待测量物体,获取该待测量物体对应的多张第三光栅图像;其中,所述第三光栅图像为:投影仪依次按照所设定的各曝光时间、向该待测量物体投射的结构光对应的图像;
[0032] 确定所述多张第三光栅图像中的亮度参数,所述亮度参数为表示亮度分布范围的参数;
[0033] 根据所确定的亮度参数,在所设定的曝光时间中确定该待测量物体对应的最优曝光时间。
[0034] 可选的,所述确定所述多张第三光栅图像中的亮度参数,包括:
[0035] 计算所设定的初始曝光时间对应的结构光的有效亮度范围,作为第一亮度参数;
[0036] 确定第三光栅图像亮度值与其对应的结构光亮度值的斜率,作为第二亮度参数;
[0037] 所述根据所确定的亮度参数,在所设定的曝光时间中确定该待测量物体对应的最优曝光时间,包括:
[0038] 判断所述初始曝光时间对应的结构光的有效亮度范围的最大值是否大于第一预设阈值;
[0039] 如果大于,在所设定的、大于所述初始曝光时间中,确定所述斜率的拐点对应的曝光时间,作为该待测量物体对应的最优曝光时间。
[0040] 可选的,所述计算所设定的初始曝光时间对应的结构光的有效亮度范围,包括:
[0041] 在所投射的结构光中,依次选择待比较结构光亮度值;
[0042] 确定在所设定的初始曝光时间下、所述待比较结构光亮度值对应的光栅图像亮度值变化情况,作为待比较亮度显著性系数;
[0043] 判断所述待比较亮度显著性系数是否大于全局亮度显著性系数;其中,所述全局亮度显著性系数为第二亮度差与第一亮度差的比值,所述第一亮度差为结构光的最大亮度值与最小亮度值之差,所述第二亮度差为在所述初始曝光时间下、最大亮度值结构光对应的光栅图像亮度值与最小亮度值对应的光栅图像亮度值之差;
[0044] 如果大于,则确定在所述初始曝光时间下、所述待比较结构光亮度值属于结构光有效亮度范围。
[0045] 可选的,所述分别确定每个待测量物体对应的最优曝光时间,包括:
[0046] 针对每个待测量物体,获取该待测量物体对应的多张第四光栅图像,所述第四光栅图像为:投影仪依次按照所设定的各曝光时间、向该待测量物体投射的结构光对应的图像;
[0047] 确定所述多张第四光栅图像中的质量参数,所述质量参数为表示光栅图像成像质量的参数;
[0048] 将质量参数最优的第四光栅图像对应的投影仪曝光时间确定为该待测量物体对应的最优曝光时间。
[0049] 可选的,所述获取该待测量物体对应的多张第四光栅图像,包括:
[0050] 获取该待测量物体对应的多组第四光栅图像;其中,每组中各张第四光栅图像对应的编码算法相同,每组中各张第四光栅图像对应的测量结构光的编码参数按照预设规则发生变化;
[0051] 所述确定所述多张第四光栅图像的质量参数,包括:
[0052] 针对每组第四光栅图像,对该组第四光栅图像进行解码,得到解码数据;基于所述解码数据,确定该组第四光栅图像的质量参数。
[0053] 可选的,在所述在该张第一光栅图像中确定亮度值满足条件的第一有效区域之前,还包括:
[0054] 获取多张曝光时间相同的第五光栅图像;
[0055] 在所获取的第五光栅图像中,选择两张待处理光栅图像;
[0056] 计算所述两张待处理光栅图像之间的亮度差;
[0057] 确定亮度差大于第二预设阈值的区域,作为候选区域;
[0058] 所述在该张第一光栅图像中确定亮度值满足条件的第一有效区域,包括:
[0059] 在该张第一光栅图像的候选区域中,确定亮度值满足条件的第一有效区域。
[0060] 为达到上述目的,本发明实施例还提供了一种图像数据获取装置,包括:
[0061] 第一获取模,用于获取N张第一光栅图像;其中,所述N为大于1的正整数,所述第一光栅图像为:投影仪按照不同的曝光时间投射的测量结构光对应的图像;
[0062] 第一确定模块,用于针对每张第一光栅图像,在该张第一光栅图像中确定亮度值满足条件的第一有效区域;
[0063] 拼接模块,用于将所确定的每个第一有效区域进行拼接,得到有效图像数据。
[0064] 可选的,所述装置还包括:
[0065] 第二获取模块,用于获取所述N张第二光栅图像,所述第二光栅图像为:投影仪按照所述不同的曝光时间投射的单一亮度值结构光对应的图像;
[0066] 第二确定模块,用于分别在每张第二光栅图像中确定亮度值满足条件的区域,作为第二有效区域;
[0067] 所述第一确定模块,还用于将与该张第一光栅图像对应的投影仪曝光时间相同的第二光栅图像中的第二有效区域映射至该张第一光栅图像中,得到第一有效区域。
[0068] 可选的,所述第二确定模块,包括:
[0069] 第一确定子模块,用于在未被分割的第二光栅图像中确定待分割图像;所述未被分割的第二光栅图像为:未确定第二有效区域的第二光栅图像;
[0070] 第二确定子模块,用于将所述待分割图像中亮度值满足预设条件的区域,作为第二有效区域。
[0071] 可选的,所述第一确定子模块,具体用于:
[0072] 将曝光时间最小的第二光栅图像确定为待分割图像;和/或
[0073] 按照曝光时间由小到大的顺序,选择除曝光时间最小的第二光栅图像外的未被分割的第二光栅图像;将所选择的第二光栅图像,除去与其他第二光栅图像中已确定为第二有效区域对应的区域后确定为待分割图像。
[0074] 可选的,所述第二确定子模块,具体用于:
[0075] 确定所述待分割图像对应的亮度阈值;将所述待分割图像中亮度值大于所述亮度阈值的区域确定为第二有效区域。
[0076] 可选的,所述第一确定模块,还用于:
[0077] 将该张第一光栅图像输入至预先训练得到的神经网络模型,根据所述神经网络模型的输出结果确定第一有效区域;其中,所述神经网络模型以光栅图像样本为输入、以光栅图像样本中分割的图像区域的坐标为监督、训练得到。
[0078] 可选的,所述第一获取模块,包括:
[0079] 第三确定子模块,用于分别确定每个待测量物体对应的最优曝光时间;
[0080] 控制子模块,用于控制投影仪分别按照所确定的各最优曝光时间投射测量结构光;
[0081] 第一获取子模块,用于获取每次投射的测量结构光对应的光栅图像,作为第一光栅图像。
[0082] 可选的,所述第三确定子模块,包括:
[0083] 第一获取单元,用于针对每个待测量物体,获取该待测量物体对应的多张第三光栅图像;其中,所述第三光栅图像为:投影仪依次按照所设定的各曝光时间、向该待测量物体投射的结构光对应的图像;
[0084] 第一确定单元,用于确定所述多张第三光栅图像中的亮度参数,所述亮度参数为表示亮度分布范围的参数;
[0085] 第二确定单元,用于根据所确定的亮度参数,在所设定的曝光时间中确定该待测量物体对应的最优曝光时间。
[0086] 可选的,所述第一确定单元,具体用于:
[0087] 计算所设定的初始曝光时间对应的结构光的有效亮度范围,作为第一亮度参数;确定第三光栅图像亮度值与其对应的结构光亮度值的斜率,作为第二亮度参数;
[0088] 所述第二确定单元,具体用于:
[0089] 判断所述初始曝光时间对应的结构光的有效亮度范围的最大值是否大于第一预设阈值;如果大于,在所设定的、大于所述初始曝光时间中,确定所述斜率的拐点对应的曝光时间,作为该待测量物体对应的最优曝光时间。
[0090] 可选的,所述第一确定单元,还用于:
[0091] 在所投射的结构光中,依次选择待比较结构光亮度值;
[0092] 确定在所设定的初始曝光时间下、所述待比较结构光亮度值对应的光栅图像亮度值变化情况,作为待比较亮度显著性系数;
[0093] 判断所述待比较亮度显著性系数是否大于全局亮度显著性系数;其中,所述全局亮度显著性系数为第二亮度差与第一亮度差的比值,所述第一亮度差为结构光的最大亮度值与最小亮度值之差,所述第二亮度差为在所述初始曝光时间下、最大亮度值结构光对应的光栅图像亮度值与最小亮度值对应的光栅图像亮度值之差;
[0094] 如果大于,则确定在所述初始曝光时间下、所述待比较结构光亮度值属于结构光有效亮度范围。
[0095] 可选的,所述第三确定子模块,包括:
[0096] 第二获取单元,用于针对每个待测量物体,获取该待测量物体对应的多张第四光栅图像,所述第四光栅图像为:投影仪依次按照所设定的各曝光时间、向该待测量物体投射的结构光对应的图像;
[0097] 第三确定单元,用于确定所述多张第四光栅图像中的质量参数,所述质量参数为表示光栅图像成像质量的参数;
[0098] 第四确定单元,用于将质量参数最优的第四光栅图像对应的投影仪曝光时间确定为该待测量物体对应的最优曝光时间。
[0099] 可选的,所述第二获取单元,具体用于:
[0100] 获取该待测量物体对应的多组第四光栅图像;其中,每组中各张第四光栅图像对应的编码算法相同,每组中各张第四光栅图像对应的测量结构光的编码参数按照预设规则发生变化;
[0101] 所述第三确定单元,具体用于:
[0102] 针对每组第四光栅图像,对该组第四光栅图像进行解码,得到解码数据;基于所述解码数据,确定该组第四光栅图像的质量参数。
[0103] 可选的,所述装置还包括:
[0104] 第三获取模块,用于获取多张曝光时间相同的第五光栅图像;
[0105] 选择模块,用于在所获取的第五光栅图像中,选择两张待处理光栅图像;
[0106] 计算模块,用于计算所述两张待处理光栅图像之间的亮度差;
[0107] 第三确定模块,用于确定亮度差大于第二预设阈值的区域,作为候选区域;
[0108] 所述第一确定模块,还用于:
[0109] 在该张第一光栅图像的候选区域中,确定亮度值满足条件的第一有效区域。
[0110] 为达到上述目的,本发明实施例还提供了一种电子设备,包括处理器和存储器
[0111] 存储器,用于存放计算机程序
[0112] 处理器,用于执行存储器上所存放的程序时,实现上述任一种图像数据获取方法。
[0113] 为达到上述目的,本发明实施例还提供了一种三维测量系统,包括:投影仪、相机和计算机;
[0114] 所述投影仪,用于按照不同的曝光时间投射测量结构光;
[0115] 所述相机,用于针对所述投影仪所投射的测量结构光进行图像采集,得到第一光栅图像,并将所述第一光栅图像发送至所述计算机;
[0116] 所述计算机,用于接收所述相机发送的多张第一光栅图像;针对每张第一光栅图像,在该张第一光栅图像中确定亮度值满足条件的第一有效区域;将所确定的每个第一有效区域进行拼接,得到有效图像数据。
[0117] 本发明实施例中,投影仪针对待测量物体,按照不同的曝光时间投射测量结构光;相机采集每次投射结构光的光栅图像;电子设备在每张光栅图像中确定亮度值满足条件的有效区域;将所确定的每个有效区域进行拼接,得到有效图像数据。假设同时针对表面反射率大的物体A和表面反射率小的物体B采集光栅图像,由于投影仪的曝光时间不同,则一部分光栅图像中A清晰,一部分光栅图像中B清晰,将A清晰的图像区域与B清晰的图像区域进行拼接,得到的图像数据中A和B的清晰度均较高。
[0118] 当然,实施本发明的任一产品或方法并不一定需要同时达到以上所述的所有优点。附图说明
[0119] 为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
[0120] 图1为本发明实施例提供的图像数据获取方法的第一种流程示意图;
[0121] 图2a-2c为本发明实施例提供的不同曝光时间下的光栅图像示意图;
[0122] 图3a-3b为本发明实施例提供的亮度分布统计直方图;
[0123] 图4为本发明实施例提供的图像数据获取方法的第二种流程示意图;
[0124] 图5为本发明实施例提供的一种图像数据获取装置的结构示意图;
[0125] 图6为本发明实施例提供的一种电子设备的结构示意图;
[0126] 图7为本发明实施例提供的一种图像数据获取系统的结构示意图。

具体实施方式

[0127] 下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
[0128] 为了解决上述技术问题,本发明实施例提供了一种图像数据获取方法、装置及系统,该方法及装置可以应用于三维测量系统中的计算机、或者应用于投影仪、相机或者其他电子设备,具体不做限定。下面首先对本发明实施例提供的图像数据获取方法进行详细介绍。为了方便描述,以下实施例中将执行主体称为电子设备。
[0129] 图1为本发明实施例提供的图像数据获取方法的第一种流程示意图,包括:
[0130] S101:获取N张第一光栅图像。
[0131] 其中,N为大于1的正整数,第一光栅图像为:投影仪按照不同的曝光时间投射的测量结构光对应的图像。本实施例中,为了区分描述,将用于拼接的光栅图像称为第一光栅图像。
[0132] 一种实施方式中,可以分别确定每个待测量物体对应的最优曝光时间;控制投影仪分别按照所确定的各最优曝光时间投射测量结构光;获取每次投射的测量结构光对应的光栅图像,作为第一光栅图像。
[0133] 举例来说,假设存在三个待测量物体A、B和C,其中,确定出A对应的最优曝光时间为20ms,确定出B对应的最优曝光时间为60ms,确定出C对应的最优曝光时间为140ms;则投影仪可以按照20ms、60ms、140ms的曝光时间,分别投射三次测量结构光,得到三张第一光栅图像。每张第一光栅图像中都包括这三个待测量物体。
[0134] 待测量物体对应的最优曝光时间可以为经验值,或者,也可以通过其他方式确定待测量物体对应的最优曝光时间。比如,投影仪针对待测量物体,投射各种曝光时间下的结构光;相机采集对应的光栅图像;电子设备(执行主体)在这些光栅图像中选择清晰度最高、或者说亮度值最合适的图像,所选择的图像对应的投影仪曝光时间即为待测量物体对应的最优曝光时间。
[0135] 一种实施方式中,确定每个待测量物体对应的最优曝光时间,可以包括:
[0136] 针对每个待测量物体,获取该待测量物体对应的多张第三光栅图像;其中,所述第三光栅图像为:投影仪依次按照所设定的各曝光时间、向该待测量物体投射的结构光对应的图像;确定所述多张第三光栅图像中的亮度参数,所述亮度参数为表示亮度分布范围的参数;根据所确定的亮度参数,在所设定的曝光时间中确定该待测量物体对应的最优曝光时间。
[0137] 为了区分描述,将根据亮度参数确定最优曝光时间过程中获取的光栅图像称为第三光栅图像。举例来说,亮度参数可以包括第三光栅图像亮度值与其对应的结构光亮度值的斜率,这样,可以在所设定的曝光时间中,确定该斜率的拐点对应的曝光时间,作为最优曝光时间。
[0138] 假设在曝光时间为t的情况下,第三光栅图像亮度值与结构光亮度值的响应关系为:y=k*x+b;其中,y表示第三光栅图像亮度值,x表示结构光亮度值,k表示斜率,b表示截距。
[0139] 可以理解,曝光时间存在一个最优值,如果所设定的初始曝光时间为一个较小值,则在该初始曝光时间的基础上增加曝光时间的过程中,在到达该最优值之前,k随曝光时间的增大而增大,在到达该最优值之后,k不再随曝光时间的增大而增大。因此,可以将k的拐点对应的曝光时间确定为最优曝光时间。
[0140] 再举一例,亮度参数可以包括所设定的初始曝光时间对应的结构光的有效亮度范围。为了方便描述,将该有效亮度范围的最大值记为S_max,将预设阈值记为T_max。可以将有效亮度范围的最大值S_max与预设阈值T_max进行对比,T_max可以为一个较大值,如250。如果S_max不大于T_max,则表示光栅图像太亮了,导致S_max与T_max之间部分被湮没。一般来说,曝光时间越大,S_max越小。
[0141] 一种情况下,初始曝光时间可以为一个较小值;这种情况下,如果初始曝光时间对应的结构光的S_max不大于T_max,可以将初始曝光时间确定为最优曝光时间。
[0142] 如上所述,如果S_max不大于T_max,则表示光栅图像太亮了,导致S_max与T_max之间部分被湮没,这种情况下,不应再增加曝光时间;而初始曝光时间已经为一较小值,也不应再减少曝光时间;因此,可以直接将投影仪的初始曝光时间确定为最优曝光时间。
[0143] 再举一例,可以计算所设定的初始曝光时间对应的结构光的有效亮度范围,作为第一亮度参数;确定第三光栅图像亮度值与其对应的结构光亮度值的斜率,作为第二亮度参数;也就是说,亮度参数既包括上述斜率,还包括上述有效亮度范围。这样,判断初始曝光时间对应的结构光的有效亮度范围的最大值S_max是否大于第一预设阈值T_max;如果大于,在所设定的、大于所述初始曝光时间中,确定所述斜率的拐点对应的曝光时间,作为该待测量物体对应的最优曝光时间。
[0144] 如果S_max大于T_max,表示光栅图像并不太亮,可以继续增加曝光时间,并在继续增加曝光时间的过程中,将斜率拐点对应的曝光时间,作为该待测量物体对应的最优曝光时间。
[0145] 计算初始曝光时间对应的结构光的有效亮度范围,可以包括:
[0146] 在所投射的结构光中,依次选择待比较结构光亮度值;
[0147] 确定在所述初始曝光时间下、所述待比较结构光亮度值对应的光栅图像亮度值变化情况,作为待比较亮度显著性系数;
[0148] 判断所述待比较亮度显著性系数是否大于全局亮度显著性系数;其中,所述全局亮度显著性系数为第二亮度差与第一亮度差的比值,所述第一亮度差为结构光的最大亮度值与最小亮度值之差,所述第二亮度差为在所述初始曝光时间下、最大亮度值结构光对应的光栅图像亮度值与最小亮度值对应的光栅图像亮度值之差;
[0149] 如果大于,则确定在所述初始曝光时间下、所述待比较结构光亮度值属于结构光有效亮度范围。
[0150] 举例来说,可以先计算全局亮度显著性系数:
[0151] 假设在初始曝光时间下依次投射0-255的结构光,则结构光的最大亮度值为255、最小亮度值为0,则第一亮度差为255,假设在初始曝光时间下,亮度值为255的结构光对应的光栅图像亮度值为Imax,亮度值为0的结构光对应的光栅图像亮度值为Imin,则全局亮度显著性系数=(Imax-Imin)/255。
[0152] 或者,也可以根据经验设定全局亮度显著性系数。
[0153] 可以依次选择0-255的结构光亮度值,作为待比较结构光亮度值。待比较结构光亮度值对应的光栅图像亮度值变化情况也就是:在初始曝光时间下,△光栅图像亮度值/△待比较结构光亮度值。换句话说,假设以结构光亮度值为自变量x、光栅图像亮度值为因变量y,生成一条曲线(或者直线),则该变化情况即为待比较结构光亮度值处的斜率。
[0154] 将待比较结构光亮度值记为Scur,Scur处的斜率记为η,η即为待比较亮度显著性系数,η可以为以下任意一种:
[0155] η=(I_cur-I_low)/(S_cur-S_low)、或η=(I_high-I_cur)/(S_high-S_cur)、或η=(I_high-I_low)/(S_high-S_low);
[0156] 其中,Sdelta为预设亮度间隔,Slow=Scur-Sdelta,Shigh=Scur+Sdelta,将Scur对应的光栅图像亮度值记为Icur,将Slow对应的光栅图像亮度值记为Ilow,将Shigh对应的光栅图像亮度值记为Ihigh。
[0157] Sdelta可以为10,或者也可以为其他,具体不做限定。假设预设亮度间隔Sdelta为10,η=(I_high-I_cur)/(S_high-S_cur),Scur从0开始依次递加;则第一次选择的Scur为
0,Shigh为10;第二次选择的Scur为1,Shigh为11;第三次选择的Scur为2,Shigh为12……不再一一列举。下面以Scur为50、Shigh为60进行举例说明:
[0158] 假设在初始曝光时间下,亮度值为50的结构光S50对应的光栅图像亮度值为I50,亮度值为60的结构光S60对应的光栅图像亮度值为I60,则Scur对应的待比较亮度显著性系数为:
[0159] η=(I_60-I_50)/(S_60-S_50)。
[0160] 将计算得到的η与上述全局亮度显著性系数进行比较,如果η大于全局亮度显著性系数,则Scur属于结构光有效亮度范围。类似的,对每次选择的待比较结构光亮度值都进行上述处理,便可以确定出结构光有效亮度范围。
[0161] 比如,可以先从Scur=0开始,按照升序(Scur=1,Scur=2……)依次对每个亮度值进行上述处理,直至η小于全局亮度显著性系数时,将上一个Scur的值确定为结构光有效亮度范围的最小值;然后,从Scur=255开始,按照降序(Scur=254,Scur=253……)依次对每个亮度值进行上述处理,直至η小于全局亮度显著性系数时,将上一个Scur的值确定为结构光有效亮度范围的最大值;这样,便确定出了初始曝光时间下的结构光有效亮度范围。
[0162] 另一种实施方式中,确定每个待测量物体对应的最优曝光时间,可以包括:
[0163] 针对每个待测量物体,获取该待测量物体对应的多张第四光栅图像,所述第四光栅图像为:投影仪依次按照所设定的各曝光时间、向该待测量物体投射的结构光对应的图像;确定所述多张第四光栅图像中的质量参数,所述质量参数为表示光栅图像成像质量的参数;将质量参数最优的第四光栅图像对应的投影仪曝光时间确定为该待测量物体对应的最优曝光时间。
[0164] 为了区分描述,将根据质量参数确定最优曝光时间过程中获取的光栅图像称为第四光栅图像。
[0165] 本实施方式中,获取该待测量物体对应的多张第四光栅图像,可以包括:获取该待测量物体对应的多组第四光栅图像;其中,每组中各张第四光栅图像对应的编码算法相同,每组中各张第四光栅图像对应的测量结构光的编码参数按照预设规则发生变化。
[0166] 确定所述多张第四光栅图像的质量参数,可以包括:针对每组第四光栅图像,对该组第四光栅图像进行解码,得到解码数据;基于所述解码数据,确定该组第四光栅图像的质量参数。
[0167] 简单来说,结构光是对空间位置进行网格化数字编码,比如,条纹结构光是对二维平面的网格化数字编码,iPhone X结构光是对三维空间的网格化数字编码。对空间位置进行网格化数字编码,也就是对每个离散空间位置编码一个唯一的值。相对应的,通过光栅图像的每个像素点,可以解码出这个空间编码数值。
[0168] 编码过程可以理解为:投影仪投射出对空间位置进行网格化编码的结构光;解码过程可以理解为:通过对一组光栅图像进行计算,恢复出每个像素点的空间编码值;空间编码值是符合分布规律的,一种编码算法可以对应一种分布规律。因此,可以统计所述解码数据中符合分布规律的像素点比例,作为该组光栅图像的质量参数。符合分布规律的像素点比例越大,表示该组光栅图像的质量参数越优。
[0169] 以曝光时间t为例来说,可以控制投影仪在曝光时间为t的情况下,投射一组结构光,这一组结构光对应的编码算法相同,而编码参数按照预设规则发生变化,获取这一组结构光对应的一组光栅图像。结构光的编码算法可以为相移法、二进制码法、或者格雷码法等等。如果编码算法为相移法,则编码参数可以为相位,也就是这一组结构光的相位按照预设规则发生变化。如果编码算法为二进制码法、格雷码法,则编码参数可以为条纹宽度、或者为其他改变结构光图案的参数,具体不做限定。
[0170] 举例来说,如果编码算法为相移法,则结构光可以为正弦光或余弦光。结构光的方向分布可以为横向分布、纵向分布等等,具体不做限定。本实施例中,同一组结构光的编码算法及方向分布是相同的,同一组结构光的编码参数是不同的。
[0171] 举例来说,可以控制投影仪在所设定的每个曝光时间下,投射三次纵向正弦分布的结构光;或者,可以控制投影仪在所设定的每个曝光时间下,投射三次横向正弦分布的结构光;等等,不再一一列举。各曝光时间下结构光的编码算法、方向分布、及编码参数变化规则是相同的,这样后续质量参数才更合理。
[0172] 再举一例,可以控制投影仪在所设定的每个曝光时间下,投射多组结构光,比如,可以投射三次纵向正弦分布的结构光(作为一组结构光)、三次横向正弦分布的结构光(作为另一组结构光),这样,一个曝光时间对应多组光栅图像,这也是可以的。
[0173] 或者,也可以控制投影仪在在所设定的每个曝光时间下,投射多组编码算法不同的结构光,比如,可以投射三次纵向正弦分布的结构光(作为一组结构光)、三次采用二进制码法编码的结构光(作为另一组结构光),这样,一个曝光时间对应多组光栅图像,这也是可以的。
[0174] 每组光栅图像的数量不做限定。举例来说,如果编码算法为相移法,则一组光栅图像中可以包括3张、4张或者5张光栅图像,如果编码算法为格雷码法,每组光栅图像的数量可以与光栅图像分辨率相关,比如,分辨率为1440*900的情况下,一组光栅图像中可以包括10张光栅图像。该例子中的具体数值仅为举例说明,并不对本发明实施例构成限定。
[0175] 可以理解,光栅图像的解码数据中包括各像素点对应的位置标记。解码方式有多种,比如,采用格雷码的解码方式、相移法的解码方式等等,不再一一列举。
[0176] 一组光栅图像对应一份解码数据;如上所述,如果投影仪在所设定的每个曝光时间下,投射一组结构光,则一个曝光时间对应一份解码数据;如果投影仪在所设定的每个曝光时间下,投射多组结构光,则一个曝光时间对应多份解码数据。
[0177] 可以理解,编码算法与解码算法(或者说解码方式)相对应。举例来说,如果采用的编码算法为相移法,则解码时也相应地采用相移法对应的解码方式,这种情况下,解码数据为周期性横向分布或纵向分布的相位数据(或者说,相移法对应的分布规律为:解码数据周期性横向分布或纵向分布),解码数据中,顺序正常分布的像素点比例越大,表示光栅图像的成像质量越好。
[0178] 再举一例,如果采用的编码算法为格雷码法,则解码时也相应地采用格雷码法对应的解码方式,这种情况下,解码数据为横向顺序分布或纵向顺序分布的位置数据(或者说,格雷码法对应的分布规律为:解码数据横向顺序分布或纵向顺序分布),类似的,解码数据中顺序正常分布的像素点比例越大,表示光栅图像的成像质量越好。
[0179] 或者,本实施方式中,也可以根据该光栅图像中的条纹宽度,确定该光栅图像的质量参数。
[0180] 举例来说,如果按照格雷码的编码算法投射结构光,则得到的光栅图像中通常包括黑条纹和白条纹;而且在图像偏亮的情况下,白条纹比黑条纹宽;在图像偏暗的情况下,黑条纹比白条纹宽。因此,可以根据条纹的宽度变化判断成像质量,比如,可以把各条纹宽度的偏差像素数量作为质量参数,这样,偏差像素数量越小,表示质量参数越优。
[0181] 将质量参数最优的光栅图像对应的投影仪曝光时间确定为投影仪的最优曝光时间。
[0182] S102:针对每张第一光栅图像,在该张第一光栅图像中确定亮度值满足条件的第一有效区域。
[0183] 亮度值满足条件,可以理解为亮度值适中(既不太明亮,也不太黑暗),清晰度较高。为了区分描述,将第一光栅图像中满足亮度条件的区域称为第一有效区域。
[0184] 一种实施方式中,在S102之前,可以获取N张第二光栅图像,所述第二光栅图像为:投影仪按照所述不同的曝光时间投射的单一亮度值结构光对应的图像;分别在每张第二光栅图像中确定亮度值满足条件的区域,作为第二有效区域;这样,S102为:将与该张第一光栅图像对应的投影仪曝光时间相同的第二光栅图像中的第二有效区域映射至该张第一光栅图像中,得到第一有效区域。
[0185] 为了区分描述,将单一亮度值结构光对应的光栅图像称为第二光栅图像,将第二光栅图像中满足亮度条件的区域称为第二有效区域。
[0186] 第一光栅图像对应的曝光时间与第二光栅图像对应的曝光时间是同一组曝光时间。延续上述例子,投影仪针对待测量物体A、B和C,分别按照20ms、60ms、140ms的曝光时间,分别投射三次测量结构光,得到三张第一光栅图像,每张第一光栅图像中都包括这三个待测量物体。则相对应的,投影仪针对待测量物体A、B和C,按照20ms、60ms、140ms的曝光时间,分别投射三次单一亮度值的结构光,得到三张第二光栅图像,每张第二光栅图像中都包括这三个待测量物体。
[0187] 该N张第二光栅图像对应的单一亮度值结构光可以相同或者不同。举个例子,假设N为3,则第一张第二光栅图像对应的单一亮度值结构光可以为250,第二张第二光栅图像对应的单一亮度值结构光可以为251,第一张第二光栅图像对应的单一亮度值结构光可以为252。或者,这三张第二光栅图像对应的单一亮度值结构光均为250。结构光的具体亮度值仅为举例说明,并不对本发明构成限定。
[0188] 由于第二光栅图像对应的结构光为单一亮度值,因此,在第二光栅图像中,能够更准确地反应由待测量物体反射率不同造成的图像各区域亮度值不同。进而,在第二光栅图像中能够更准确地确定出第二有效区域。
[0189] 举例来说,假设有三个待测量物体,最左侧为鸡蛋托盘,中间为深色布料,最右侧为白色纸张,其中,白色纸张的反射率较大,深色布料次之,鸡蛋托盘的反射率较小。假设按照上述确定待测量物体对应的最优曝光时间的方式,确定出白色纸张对应的最优曝光时间为20ms,深色布料对应的最优曝光时间为60ms,鸡蛋托盘对应的最优曝光时间为140ms。
[0190] 假设投影仪在20ms的曝光时间,投射单一亮度值的结构光,得到图2a,图2a中白色纸张较清晰;投影仪在60ms的曝光时间,投射单一亮度值的结构光,得到图2b,图2b中深色布料较清晰;投影仪在140ms的曝光时间,投射单一亮度值的结构光,得到图2c,图2c中鸡蛋托盘较清晰。
[0191] 在第二光栅图像中确定第二有效区域的方式有多种。比如,可以设定一个亮度区间,将亮度值位于该区间的区域确定为第二有效区域。如图2a-2c所示,图2a中白色纸张、图2b中深色布料、图2c中鸡蛋托盘亮度均适中,因此可以针对该适中的亮度设定一个亮度区间,以选择出合适的有效区域。
[0192] 再比如,可以在未被分割的第二光栅图像中确定待分割图像;所述未被分割的第二光栅图像为:未确定第二有效区域的第二光栅图像;将所述待分割图像中亮度值满足预设条件的区域,作为第二有效区域。
[0193] 其中,在未被分割的第二光栅图像中确定待分割图像可以包括:将曝光时间最小的第二光栅图像确定为待分割图像;和/或,按照曝光时间由小到大的顺序,选择除曝光时间最小的第二光栅图像外的未被分割的第二光栅图像;将所选择的第二光栅图像,除去与其他第二光栅图像中已确定为第二有效区域对应的区域后确定为待分割图像。
[0194] “亮度值满足条件的区域”可以为:亮度值大于阈值的区域。每张第二光栅图像对应的阈值可以相同或不同,该阈值可以由用户指定,或者,也可以利用全局自适应算法计算该阈值。全局自适应算法如OTSU(大津法或最大类间方差法)、Kittler(一种全局二值化方法)等等,具体不做限定。
[0195] 一种情况下,将待分割图像中亮度值满足预设条件的区域,作为第二有效区域,可以包括:确定所述待分割图像对应的亮度阈值;将所述待分割图像中亮度值大于所述亮度阈值的区域确定为第二有效区域。这种情况下,不同图像对应的亮度阈值不同。各图像对应的亮度阈值可以由用户指定,或者,也可以利用上述各种全局自适应算法计算该阈值。
[0196] 下面以参考图2a-2c以及图3a-3b,说明如何“分别在每张第二光栅图像中确定亮度值满足条件的区域”:
[0197] 先将曝光时间最小的第二光栅图像图2a确定为待分割图像。参考图3a,图3a为图2a的亮度分布统计直方图。亮度分布直方图中,横轴坐标表示亮度值,纵轴坐标表示相应亮度值的像素点个数。图3a中的三个波峰从左至右分别表示鸡蛋托盘所在区域、深色布料所在区域和白色纸张所在区域(鸡蛋托盘所在区域亮度值最小、深色布料所在区域次之、白色纸张所在区域亮度值最大),设定图2a对应的阈值为100,也就是将亮度值大于100的区域作为第二有效区域,图2a中的第二有效区域也就是白色纸张所在区域,记为A区域。
[0198] 然后按照曝光时间由小到大的顺序,选择除曝光时间最小的第二光栅图像外的未被分割的第二光栅图像;将所选择的第二光栅图像,除去与其他第二光栅图像中已确定为第二有效区域对应的区域后确定为待分割图像。
[0199] 按照曝光时间由小到大的顺序,选择图2b进行处理,在图2b中除去与图2a中A区域对应的区域。可以理解,投影仪、待测量物体、相机的位置均固定不变,因此,得到的光栅图像中的像素点位置也不变,也就是说光栅图像中的像素点坐标均一致。在图2a中确定出的A区域坐标同样适用于其他光栅图像,可以根据A区域的坐标,在图2b中除去与该A区域对应的区域。
[0200] 将除去A区域对应区域后的图2b确定为待分割图像,继续在该待分割图像中确定第二有效区域。参考图3b,图3b为去除A区域对应区域后图2b的亮度分布统计直方图,图3b中的两个波峰从左至右分别表示鸡蛋托盘所在区域和深色布料所在区域(鸡蛋托盘所在区域亮度值最小、深色布料所在区域次之、白色纸张所在区域已被去除),设定图2b对应的阈值为119,也就是将亮度值大于119的区域作为第二有效区域,图2b中的第二有效区域也就是深色布料所在区域,记为B区域。
[0201] 按照曝光时间由小到大的顺序,选择图2c进行处理。如上所述,光栅图像中的像素点位置也不变,也就是说光栅图像中的像素点坐标均一致,因此,可以在图2c中除去图2a中A区域及图2b中B区域对应的区域。图2c中去除这两部分区域后的剩余区域也就是鸡蛋托盘所在区域,记为C区域。
[0202] 类似的,如果还存在其他未被分割的第二光栅图像,则继续按照曝光时间由小到大的顺序,选择除曝光时间最小的第二光栅图像外的未被分割的第二光栅图像;将所选择的第二光栅图像,除去与其他第二光栅图像中已确定为第二有效区域对应的区域后确定为待分割图像,不再赘述。
[0203] 本实施例中,可以利用图像分割算法,在第二光栅图像中确定第二有效区域,不需要逐像素对应成像质量,减少了计算量。
[0204] 如上所述,光栅图像中的像素点坐标均一致,因此可以将第二有效区域映射至第一光栅图像中,得到第一有效区域。如上所述,第一光栅图像对应的曝光时间与第二光栅图像对应的曝光时间是同一组曝光时间,这里的“映射”是指曝光时间相同的图像之间进行坐标映射。
[0205] 举例来说,投影仪按照20ms的曝光时间,投射测量结构光,得到第一光栅图像,记为I1;投影仪按照60ms的曝光时间,投射测量结构光,得到第一光栅图像,记为I2;投影仪按照140ms的曝光时间,投射测量结构光,得到第一光栅图像,记为I3。投影仪投射单一亮度值结构光与投射测量结构光的先后顺序不做限定。
[0206] 在图2a中确定A区域的坐标后,在A区域的坐标映射至I1中,得到I1中的第一有效区域;在图2b中确定B区域的坐标后,在B区域的坐标映射至I2中,得到I2中的第一有效区域;在图2c中确定C区域的坐标后,在C区域的坐标映射至I3中,得到I3中的第一有效区域。
[0207] 另一种实施方式中,在第一光栅图像中确定亮度值满足条件的第一有效区域,可以包括:将第一光栅图像输入至预先训练得到的神经网络模型,根据所述神经网络模型的输出结果确定第一有效区域;其中,所述神经网络模型以光栅图像样本为输入、以光栅图像样本中分割的图像区域的坐标为监督、训练得到。
[0208] 举例来说,可以预先设定神经网络的层级结构,并获取多张光栅图像样本、以及这些光栅图像样本的分割结果;该分割结果可以为光栅图像样本中分割的图像区域的坐标。将所获取的光栅图像样本输入至预设结构的该神经网络中,将该分割结果作为监督,对该神经网络进行迭代训练;直至满足迭代条件时,得到训练完成的神经网络模型。该迭代条件可以为迭代次数达到阈值,或者为输出结果与监督的偏差小于阈值,等等,具体不做限定。
[0209] 然后便可以将第一光栅图像输入训练完成的神经网络模型中,神经网络模型的输出结果可以为第一有效区域的坐标值,根据输出的坐标值,从第一光栅图像中确定第一有效区域。
[0210] S103:将所确定的每个第一有效区域进行拼接,得到有效图像数据。
[0211] 延续上述例子,分别在I1、I2、中I3确定出第一有效区域,则将I1中确定出的第一有效区域、I2中确定出的第一有效区域和I3中确定出的第一有效区域进行拼接,得到有效图像数据。
[0212] 如上所述,光栅图像中的像素点坐标均一致,可以将I1中第一有效区域中的图像数据赋值到I4中的相应位置处,将I2中第一有效区域中的图像数据赋值到I4中的相应位置处,将I3中第一有效区域中的图像数据赋值到I4中的相应位置处;I4即为拼接得到的有效图像数据。
[0213] 或者,S103也可以理解为:针对每张第一光栅图像,从该张第一光栅图像中分割出第一有效区域,再将分割出的每个第一有效区域进行拼接,得到有效图像数据。
[0214] 该有效图像数据中,三部分第一有效区域的图像数据都是清晰的,也就是说三个待测量物体都是清晰的,利用该有效图像数据进行三维测量,准确度较高。
[0215] 在三维测量方案中,如果需要多张光栅图像进行对比,根据对比结果得到测量数据,则可以多次执行本发明实施例,得到多份有效图像数据,一份有效图像数据即为一张清晰的光栅图像,基于该多份有效图像数据的对比结果,得到测量数据。
[0216] 举例来说,如果采用三步相移法进行三维测量,则可以采集三张横条纹光栅图像、三张竖条纹光栅图像,利用这六张光栅图像的对比结果,得到测量数据。这三张横条纹光栅图像的相位不同,这三张竖条纹光栅图像的相位不同。假设这三张横条纹光栅图像分别为I11、I12、I13,这三张竖条纹光栅图像分别为I21、I22、I23,针对这六张光栅图像,分别执行图1所示实施例。
[0217] 以I11为例来说,延续上述例子,假设存在三个待测量物体,投影仪按照20ms、60ms、140ms的曝光时间,以I11对应的相位投射测量结构光,得到三张第一光栅图像,分别在这三张第一光栅图像中确定第一有效区域,将所确定的第一有效区域进行拼接,得到I11对应的有效图像数据。同理,分别得到I12、I13、I21、I22、I23对应的有效图像数据,也就是共得到6份有效图像数据,采用三步相移法,基于这6份有效图像数据,得到测量数据。
[0218] 作为一种实施方式,在S102之前,可以先获取多张曝光时间相同的第五光栅图像;在所获取的第五光栅图像中,选择两张待处理光栅图像;计算所述两张待处理光栅图像之间的亮度差;确定亮度差大于第二预设阈值的区域,作为候选区域;这种情况下,S102为:在该张第一光栅图像的候选区域中,确定亮度值满足条件的第一有效区域。
[0219] 为了区分描述,将确定候选区域过程中的光栅图像称为第五光栅图像。本实施方式中的“候选区域”可以理解为非背景区域,可以理解,光栅图像中除待测量物体外还存在背景区域,对背景区域像素点进行处理是没有必要的。本实施方式中,先识别出光栅图像中的候选区域,也就是非背景区域,仅对候选区域像素点进行处理,提高处理效率。
[0220] 举例来说,可以在所获取的第五光栅图像中选择一张亮度值较高的光栅图像和一张亮度值较低的光栅图像。例如,可以选择亮度值最高的光栅图像和亮度值最低的光栅图像,具体选择方式不做限定。为了方便描述,将所选择的两张光栅图像称为待处理光栅图像,将亮度值较高的待处理光栅图像记为I10,将亮度值较低的待处理光栅图像记为I20。
[0221] 如上所述,光栅图像中的像素点位置不变,因此I10与I20中的像素点一一对应。将I10与I20中对应的像素点称为像素点对,如果一对像素点对的亮度值之差大于预设阈值,则认为该像素点对属于候选区域。
[0222] 可以理解,同一曝光时间下,利用不同亮度值的结构光照射待测量物体时,投影光栅区域的亮度值差别较大,而背景区域亮度值差别不大,因此,亮度值差别较大的像素点对属于候选区域。
[0223] 如上所述,光栅图像中的像素点位置不变,因此,候选区域的位置也不变。在待处理光栅图像中确定出候选区域后,可以将其他光栅图像中相同的位置也确定为候选区域。因此,可以在第一光栅图像的候选区域中,确定亮度值满足条件的第一有效区域,这样,并不是在整个第一光栅图像中确定有效区域,而只是在投影光栅所在区域(候选区域)中确定有效区域,可以提高处理效率。
[0224] 应用本发明实施例,投影仪针对待测量物体,按照不同的曝光时间投射测量结构光;相机采集每次投射结构光的光栅图像;电子设备在每张光栅图像中确定亮度值满足条件的有效区域;将所确定的每个有效区域进行拼接,得到有效图像数据。假设同时针对表面反射率大的物体A和表面反射率小的物体B采集光栅图像,由于投影仪的曝光时间不同,则一部分光栅图像中A清晰,一部分光栅图像中B清晰,将A清晰的图像区域与B清晰的图像区域进行拼接,得到的图像数据中A和B的清晰度均较高。
[0225] 另一方面,上述一种实施例中,先投射单一亮度值的结构光,得到第二光栅图像,在第二光栅图像中确定有效区域,再将所确定的有效区域映射至测量结构光对应的第一光栅图像中;由于结构光亮度值相同,第二光栅图像能够准确地反应由待测量物体反射率不同造成的图像各区域亮度值不同,确定出的有效区域更准确。
[0226] 图4为本发明实施例提供的图像数据获取方法的第二种流程示意图,包括:
[0227] S401:获取多张曝光时间相同的第五光栅图像。
[0228] S402:在所获取的第五光栅图像中,选择两张待处理光栅图像。
[0229] S403:计算两张待处理光栅图像之间的亮度差。
[0230] S404:确定亮度差大于第二预设阈值的区域,作为候选区域。
[0231] 为了区分描述,将确定候选区域过程中的光栅图像称为第五光栅图像。本实施例中的“候选区域”可以理解为非背景区域。可以理解,光栅图像中除待测量物体外还存在背景区域,对背景区域像素点进行处理是没有必要的。本实施方式中,先识别出光栅图像中的候选区域,也就是非背景区域,仅对候选区域像素点进行处理,提高处理效率。
[0232] 举例来说,可以在所获取的第五光栅图像中选择一张亮度值较高的光栅图像和一张亮度值较低的光栅图像。例如,可以选择亮度值最高的光栅图像和亮度值最低的光栅图像,具体选择方式不做限定。为了方便描述,将所选择的两张光栅图像称为待处理光栅图像,将亮度值较高的待处理光栅图像记为I10,将亮度值较低的待处理光栅图像记为I20。
[0233] 可以理解,投影仪、待测量物体、相机的位置均固定不变,因此,得到的光栅图像中的像素点位置也不变,也就是说光栅图像中的像素点坐标均一致。因此,I10与I20中的像素点一一对应。将I10与I20中对应的像素点称为像素点对,如果一对像素点对的亮度值之差大于预设阈值,则认为该像素点对属于候选区域。
[0234] 可以理解,同一曝光时间下,利用不同亮度值的结构光照射待测量物体时,投影光栅区域的亮度值差别较大,而背景区域亮度值差别不大,因此,亮度值差别较大的像素点对属于候选区域。
[0235] S405:获取N张第二光栅图像。其中,所述N为大于1的正整数,第二光栅图像为:投影仪按照所述不同的曝光时间投射的单一亮度值结构光对应的图像。
[0236] 举例来说,假设有三个待测量物体,最左侧为鸡蛋托盘,中间为深色布料,最右侧为白色纸张,其中,白色纸张的反射率较大,深色布料次之,鸡蛋托盘的反射率较小。假设确定出白色纸张对应的最优曝光时间为20ms,深色布料对应的最优曝光时间为60ms,鸡蛋托盘对应的最优曝光时间为140ms。
[0237] 假设投影仪在20ms的曝光时间,投射单一亮度值的结构光,得到图2a,图2a中白色纸张较清晰;投影仪在60ms的曝光时间,投射单一亮度值的结构光,得到图2b,图2b中深色布料较清晰;投影仪在140ms的曝光时间,投射单一亮度值的结构光,得到图2c,图2c中鸡蛋托盘较清晰。
[0238] S406:分别在每张第二光栅图像的候选区域中确定亮度值满足条件的区域,作为第二有效区域。
[0239] 如上所述,光栅图像中的像素点位置不变,因此,候选区域的位置也不变。在待处理光栅图像中确定出候选区域后,可以将其他光栅图像中相同的位置也确定为候选区域。可以在第二光栅图像的候选区域中,确定亮度值满足条件的第二有效区域,这样,并不是在整个第二光栅图像中确定有效区域,而只是在投影光栅所在区域(候选区域)中确定有效区域,可以提高处理效率。
[0240] 亮度值满足条件,可以理解为亮度值适中(既不太明亮,也不太黑暗),清晰度较高。为了区分描述,将第二光栅图像中满足亮度条件的区域称为第二有效区域。
[0241] 在第二光栅图像中确定第二有效区域的方式有多种。比如,可以设定一个亮度区间,将亮度值位于该区间的区域确定为第二有效区域。如图2a-2c所示,图2a中白色纸张、图2b中深色布料、图2c中鸡蛋托盘亮度均适中,因此可以针对该适中的亮度设定一个亮度区间,以选择出合适的有效区域。
[0242] 再比如,可以在未被分割的第二光栅图像中确定待分割图像;所述未被分割的第二光栅图像为:未确定第二有效区域的第二光栅图像;将所述待分割图像中亮度值满足预设条件的区域,作为第二有效区域。
[0243] 其中,在未被分割的第二光栅图像中确定待分割图像可以包括:将曝光时间最小的第二光栅图像确定为待分割图像;和/或,按照曝光时间由小到大的顺序,选择除曝光时间最小的第二光栅图像外的未被分割的第二光栅图像;将所选择的第二光栅图像,除去与其他第二光栅图像中已确定为第二有效区域对应的区域后确定为待分割图像。
[0244] “亮度值满足条件的区域”可以为:亮度值大于阈值的区域。每张第二光栅图像对应的阈值可以相同或不同,该阈值可以由用户指定,或者,也可以利用全局自适应算法计算该阈值。全局自适应算法如OTSU(大津法或最大类间方差法)、Kittler(一种全局二值化方法)等等,具体不做限定。
[0245] 一种情况下,将待分割图像中亮度值满足预设条件的区域,作为第二有效区域,可以包括:确定所述待分割图像对应的亮度阈值;将所述待分割图像中亮度值大于所述亮度阈值的区域确定为第二有效区域。这种情况下,不同图像对应的亮度阈值不同。各图像对应的亮度阈值可以由用户指定,或者,也可以利用上述各种全局自适应算法计算该阈值。
[0246] 下面以参考图2a-2c以及图3a-3b,说明如何“分别在每张第二光栅图像中确定亮度值满足条件的区域”:
[0247] 先将曝光时间最小的第二光栅图像图2a确定为待分割图像。参考图3a,图3a为图2a的亮度分布统计直方图。亮度分布直方图中,横轴坐标表示亮度值,纵轴坐标表示相应亮度值的像素点个数。图3a中的三个波峰从左至右分别表示鸡蛋托盘所在区域、深色布料所在区域和白色纸张所在区域(鸡蛋托盘所在区域亮度值最小、深色布料所在区域次之、白色纸张所在区域亮度值最大),设定图2a对应的阈值为100,也就是将亮度值大于100的区域作为第二有效区域,图2a中的第二有效区域也就是白色纸张所在区域,记为A区域。
[0248] 然后按照曝光时间由小到大的顺序,选择除曝光时间最小的第二光栅图像外的未被分割的第二光栅图像;将所选择的第二光栅图像,除去与其他第二光栅图像中已确定为第二有效区域对应的区域后确定为待分割图像。
[0249] 按照曝光时间由小到大的顺序,选择图2b进行处理,在图2b中除去与图2a中A区域对应的区域。可以理解,投影仪、待测量物体、相机的位置均固定不变,因此,得到的光栅图像中的像素点位置也不变,也就是说光栅图像中的像素点坐标均一致。在图2a中确定出的A区域坐标同样适用于其他光栅图像,可以根据A区域的坐标,在图2b中除去与该A区域对应的区域。
[0250] 将除去A区域对应区域后的图2b确定为待分割图像,继续在该待分割图像中确定第二有效区域。参考图3b,图3b为去除A区域对应区域后图2b的亮度分布统计直方图,图3b中的两个波峰从左至右分别表示鸡蛋托盘所在区域和深色布料所在区域(鸡蛋托盘所在区域亮度值最小、深色布料所在区域次之、白色纸张所在区域已被去除),设定图2b对应的阈值为119,也就是将亮度值大于119的区域作为第二有效区域,图2b中的第二有效区域也就是深色布料所在区域,记为B区域。
[0251] 按照曝光时间由小到大的顺序,选择图2c进行处理。如上所述,光栅图像中的像素点位置也不变,也就是说光栅图像中的像素点坐标均一致,因此,可以在图2c中除去图2a中A区域及图2b中B区域对应的区域。图2c中去除这两部分区域后的剩余区域也就是鸡蛋托盘所在区域,记为C区域。
[0252] 本实施例中,在投影光栅所在区域(候选区域)中确定有效区域,也就是说,在图2a、2b、2c中除去了背景区域。对于图2c来说,可以将图2c中除去背景区域、A区域对应的区域、和B区域对应的区域后的剩余区域作为图2c的第二有效区域,也就是鸡蛋托盘所在区域,记为C区域。
[0253] 类似的,如果还存在其他未被分割的第二光栅图像,则继续按照曝光时间由小到大的顺序,选择除曝光时间最小的第二光栅图像外的未被分割的第二光栅图像;将所选择的第二光栅图像,除去与其他第二光栅图像中已确定为第二有效区域对应的区域后确定为待分割图像,不再赘述。
[0254] 本实施例中,可以利用图像分割算法,在第二光栅图像中确定第二有效区域,不需要逐像素对应成像质量,减少了计算量。
[0255] S407:获取N张第一光栅图像。第一光栅图像为:投影仪按照不同的曝光时间投射的测量结构光对应的图像。
[0256] 第一光栅图像对应的曝光时间与第二光栅图像对应的曝光时间是同一组曝光时间。延续上述例子,假设有三个待测量物体,鸡蛋托盘、深色布料,和白色纸张,白色纸张对应的最优曝光时间为20ms,深色布料对应的最优曝光时间为60ms,鸡蛋托盘对应的最优曝光时间为140ms。这种情况下,S407中,投影仪针对这三个待测量物体A、B和C,分别按照20ms、60ms、140ms的曝光时间,投射三次测量结构光,得到三张第一光栅图像。
[0257] S408:针对每张第一光栅图像,将与该张第一光栅图像对应的投影仪曝光时间相同的第二光栅图像中的第二有效区域映射至该张第一光栅图像中,得到第一有效区域。
[0258] 如上所述,光栅图像中的像素点坐标均一致,因此可以将第二有效区域映射至第一光栅图像中,得到第一有效区域。如上所述,第一光栅图像对应的曝光时间与第二光栅图像对应的曝光时间是同一组曝光时间,这里的“映射”是指曝光时间相同的图像之间进行坐标映射。
[0259] 举例来说,投影仪按照20ms的曝光时间,投射测量结构光,得到第一光栅图像,记为I1;投影仪按照60ms的曝光时间,投射测量结构光,得到第一光栅图像,记为I2;投影仪按照140ms的曝光时间,投射测量结构光,得到第一光栅图像,记为I3。投影仪投射单一亮度值结构光与投射测量结构光的先后顺序不做限定。
[0260] 在图2a中确定A区域的坐标后,在A区域的坐标映射至I1中,得到I1中的第一有效区域;在图2b中确定B区域的坐标后,在B区域的坐标映射至I2中,得到I2中的第一有效区域;在图2c中确定C区域的坐标后,在C区域的坐标映射至I3中,得到I3中的第一有效区域。
[0261] S409:将所确定的每个第一有效区域进行拼接,得到有效图像数据。
[0262] 延续上述例子,分别在I1、I2、中I3确定出第一有效区域,则将I1中确定出的第一有效区域、I2中确定出的第一有效区域和I3中确定出的第一有效区域进行拼接,得到有效图像数据。
[0263] 如上所述,光栅图像中的像素点坐标均一致,可以将I1中第一有效区域中的图像数据赋值到I4中的相应位置处,将I2中第一有效区域中的图像数据赋值到I4中的相应位置处,将I3中第一有效区域中的图像数据赋值到I4中的相应位置处;I4即为拼接得到的有效图像数据。
[0264] 或者,S409也可以理解为:针对每张第一光栅图像,从该张第一光栅图像中分割出第一有效区域,再将分割出的每个第一有效区域进行拼接,得到有效图像数据。
[0265] 该有效图像数据中,三部分第一有效区域的图像数据都是清晰的,也就是说三个待测量物体都是清晰的,利用该有效图像数据进行三维测量,准确度较高。
[0266] 在三维测量方案中,如果需要多张光栅图像进行对比,根据对比结果得到测量数据,则可以多次执行本发明实施例,得到多份有效图像数据,一份有效图像数据即为一张清晰的光栅图像,基于该多份有效图像数据的对比结果,得到测量数据。
[0267] 举例来说,如果采用三步相移法进行三维测量,则可以采集三张横条纹光栅图像、三张竖条纹光栅图像,利用这六张光栅图像的对比结果,得到测量数据。这三张横条纹光栅图像的相位不同,这三张竖条纹光栅图像的相位不同。假设这三张横条纹光栅图像分别为I11、I12、I13,这三张竖条纹光栅图像分别为I21、I22、I23,针对这六张光栅图像,分别执行图1所示实施例。
[0268] 以I11为例来说,延续上述例子,假设存在三个待测量物体,投影仪按照20ms、60ms、140ms的曝光时间,以I11对应的相位投射测量结构光,得到三张第一光栅图像,分别在这三张第一光栅图像中确定第一有效区域,将所确定的第一有效区域进行拼接,得到I11对应的有效图像数据。同理,分别得到I12、I13、I21、I22、I23对应的有效图像数据,也就是共得到6份有效图像数据,采用三步相移法,基于这6份有效图像数据,得到测量数据。
[0269] 应用本发明图4所示实施例,第一方面,得到的图像数据各部分清晰度均较高,第二方面,先投射单一亮度值的结构光,得到第二光栅图像,在第二光栅图像中确定有效区域,再将所确定的有效区域映射至测量结构光对应的第一光栅图像中;由于结构光亮度值相同,第二光栅图像能够准确地反应由待测量物体反射率不同造成的图像各区域亮度值不同,确定出的有效区域更准确。
[0270] 与上述方法实施例相对应,本发明实施例还提供了一种图像数据获取装置,如图5所示,包括:
[0271] 第一获取模块501,用于获取N张第一光栅图像;其中,所述N为大于1的正整数,所述第一光栅图像为:投影仪按照不同的曝光时间投射的测量结构光对应的图像;
[0272] 第一确定模块502,用于针对每张第一光栅图像,在该张第一光栅图像中确定亮度值满足条件的第一有效区域;
[0273] 拼接模块503,用于将所确定的每个第一有效区域进行拼接,得到有效图像数据。
[0274] 作为一种实施方式,所述装置还包括:第二获取模块和第二确定模块(图中未示出),其中,
[0275] 第二获取模块,用于获取所述N张第二光栅图像,所述第二光栅图像为:投影仪按照所述不同的曝光时间投射的单一亮度值结构光对应的图像;
[0276] 第二确定模块,用于分别在每张第二光栅图像中确定亮度值满足条件的区域,作为第二有效区域;
[0277] 第一确定模块502,还用于将与该张第一光栅图像对应的投影仪曝光时间相同的第二光栅图像中的第二有效区域映射至该张第一光栅图像中,得到第一有效区域。
[0278] 作为一种实施方式,所述第二确定模块,包括:第一确定子模块和第二确定子模块(图中未示出),其中,
[0279] 第一确定子模块,用于在未被分割的第二光栅图像中确定待分割图像;所述未被分割的第二光栅图像为:未确定第二有效区域的第二光栅图像;
[0280] 第二确定子模块,用于将所述待分割图像中亮度值满足预设条件的区域,作为第二有效区域。
[0281] 作为一种实施方式,所述第一确定子模块,具体用于:
[0282] 将曝光时间最小的第二光栅图像确定为待分割图像;和/或
[0283] 按照曝光时间由小到大的顺序,选择除曝光时间最小的第二光栅图像外的未被分割的第二光栅图像;将所选择的第二光栅图像,除去与其他第二光栅图像中已确定为第二有效区域对应的区域后确定为待分割图像。
[0284] 作为一种实施方式,所述第二确定子模块,具体用于:
[0285] 确定所述待分割图像对应的亮度阈值;将所述待分割图像中亮度值大于所述亮度阈值的区域确定为第二有效区域。
[0286] 作为一种实施方式,所述第一确定模块,还用于:
[0287] 将该张第一光栅图像输入至预先训练得到的神经网络模型,根据所述神经网络模型的输出结果确定第一有效区域;其中,所述神经网络模型以光栅图像样本为输入、以光栅图像样本中分割的图像区域的坐标为监督、训练得到。
[0288] 作为一种实施方式,第一获取模块502,包括:第三确定子模块、控制子模块和第一获取子模块(图中未示出),其中,
[0289] 第三确定子模块,用于分别确定每个待测量物体对应的最优曝光时间;
[0290] 控制子模块,用于控制投影仪分别按照所确定的各最优曝光时间投射测量结构光;
[0291] 第一获取子模块,用于获取每次投射的测量结构光对应的光栅图像,作为第一光栅图像。
[0292] 作为一种实施方式,所述第三确定子模块,包括:第一获取单元、第一确定单元和第二确定单元(图中未示出),其中,
[0293] 第一获取单元,用于针对每个待测量物体,获取该待测量物体对应的多张第三光栅图像;其中,所述第三光栅图像为:投影仪依次按照所设定的各曝光时间、向该待测量物体投射的结构光对应的图像;
[0294] 第一确定单元,用于确定所述多张第三光栅图像中的亮度参数,所述亮度参数为表示亮度分布范围的参数;
[0295] 第二确定单元,用于根据所确定的亮度参数,在所设定的曝光时间中确定该待测量物体对应的最优曝光时间。
[0296] 作为一种实施方式,所述第一确定单元,具体用于:
[0297] 计算所设定的初始曝光时间对应的结构光的有效亮度范围,作为第一亮度参数;确定第三光栅图像亮度值与其对应的结构光亮度值的斜率,作为第二亮度参数;
[0298] 所述第二确定单元,具体用于:
[0299] 判断所述初始曝光时间对应的结构光的有效亮度范围的最大值是否大于第一预设阈值;如果大于,在所设定的、大于所述初始曝光时间中,确定所述斜率的拐点对应的曝光时间,作为该待测量物体对应的最优曝光时间。
[0300] 作为一种实施方式,所述第一确定单元,还用于:
[0301] 在所投射的结构光中,依次选择待比较结构光亮度值;
[0302] 确定在所设定的初始曝光时间下、所述待比较结构光亮度值对应的光栅图像亮度值变化情况,作为待比较亮度显著性系数;
[0303] 判断所述待比较亮度显著性系数是否大于全局亮度显著性系数;其中,所述全局亮度显著性系数为第二亮度差与第一亮度差的比值,所述第一亮度差为结构光的最大亮度值与最小亮度值之差,所述第二亮度差为在所述初始曝光时间下、最大亮度值结构光对应的光栅图像亮度值与最小亮度值对应的光栅图像亮度值之差;
[0304] 如果大于,则确定在所述初始曝光时间下、所述待比较结构光亮度值属于结构光有效亮度范围。
[0305] 作为一种实施方式,所述第三确定子模块,包括:第二获取单元、第三确定单元和第四确定单元(图中未示出),其中,
[0306] 第二获取单元,用于针对每个待测量物体,获取该待测量物体对应的多张第四光栅图像,所述第四光栅图像为:投影仪依次按照所设定的各曝光时间、向该待测量物体投射的结构光对应的图像;
[0307] 第三确定单元,用于确定所述多张第四光栅图像中的质量参数,所述质量参数为表示光栅图像成像质量的参数;
[0308] 第四确定单元,用于将质量参数最优的第四光栅图像对应的投影仪曝光时间确定为该待测量物体对应的最优曝光时间。
[0309] 作为一种实施方式,所述第二获取单元,具体用于:
[0310] 获取该待测量物体对应的多组第四光栅图像;其中,每组中各张第四光栅图像对应的编码算法相同,每组中各张第四光栅图像对应的测量结构光的编码参数按照预设规则发生变化;
[0311] 所述第三确定单元,具体用于:
[0312] 针对每组第四光栅图像,对该组第四光栅图像进行解码,得到解码数据;基于所述解码数据,确定该组第四光栅图像的质量参数。
[0313] 作为一种实施方式,所述装置还包括:第三获取模块、选择模块、计算模块和第三确定模块(图中未示出),其中,
[0314] 第三获取模块,用于获取多张曝光时间相同的第五光栅图像;
[0315] 选择模块,用于在所获取的第五光栅图像中,选择两张待处理光栅图像;
[0316] 计算模块,用于计算所述两张待处理光栅图像之间的亮度差;
[0317] 第三确定模块,用于确定亮度差大于第二预设阈值的区域,作为候选区域;
[0318] 第一确定模块502,还用于:
[0319] 在该张第一光栅图像的候选区域中,确定亮度值满足条件的第一有效区域。
[0320] 应用本发明图5所示实施例,投影仪针对待测量物体,按照不同的曝光时间投射测量结构光;相机采集每次投射结构光的光栅图像;电子设备在每张光栅图像中确定亮度值满足条件的有效区域;将所确定的每个有效区域进行拼接,得到有效图像数据。假设同时针对表面反射率大的物体A和表面反射率小的物体B采集光栅图像,由于投影仪的曝光时间不同,则一部分光栅图像中A清晰,一部分光栅图像中B清晰,将A清晰的图像区域与B清晰的图像区域进行拼接,得到的图像数据中A和B的清晰度均较高。
[0321] 本发明实施例还提供了一种电子设备,如图6所示,包括处理器601和存储器602,[0322] 存储器602,用于存放计算机程序;
[0323] 处理器601,用于执行存储器602上所存放的程序时,实现上述任一种图像数据获取方法。
[0324] 上述电子设备提到的存储器可以包括随机存取存储器(Random Access Memory,RAM),也可以包括非易失性存储器(Non-Volatile Memory,NVM),例如至少一个磁盘存储器。可选的,存储器还可以是至少一个位于远离前述处理器的存储装置。
[0325] 上述的处理器可以是通用处理器,包括中央处理器(Central Processing Unit,CPU)、网络处理器(Network Processor,NP)等;还可以是数字信号处理器(Digital Signal Processing,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现场可编程阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
[0326] 本发明实施例还提供一种计算机可读存储介质,所述计算机可读存储介质内存储有计算机程序,所述计算机程序被处理器执行时实现上述任一种图像数据获取方法。
[0327] 本发明实施例还提供一种三维测量系统,如图7所示,包括:投影仪、相机和计算机;
[0328] 所述投影仪,用于按照不同的曝光时间投射测量结构光;
[0329] 所述相机,用于针对所述投影仪所投射的测量结构光进行图像采集,得到第一光栅图像,并将所述第一光栅图像发送至所述计算机;
[0330] 所述计算机,用于接收所述相机发送的多张第一光栅图像;针对每张第一光栅图像,在该张第一光栅图像中确定亮度值满足条件的第一有效区域;将所确定的每个第一有效区域进行拼接,得到有效图像数据。
[0331] 该计算机还可以执行上述任一种图像数据获取方法。
[0332] 或者,在另一种实施方式中,相机可以针对每张第一光栅图像,在该张第一光栅图像中确定亮度值满足条件的第一有效区域;将所确定的每个第一有效区域进行拼接,得到有效图像数据。相机还可以执行上述任一种图像数据获取方法。
[0333] 需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
[0334] 本说明书中的各个实施例均采用相关的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。尤其,对于图5所示的图像数据获取装置实施例、图6所示的电子设备实施例、图7所示的图像数据获取系统实施例而言,由于其基本相似于图1-4所示的图像数据获取方法实施例,所以描述的比较简单,相关之处参见图1-4所示的图像数据获取方法实施例的部分说明即可。
[0335] 以上所述仅为本发明的较佳实施例而已,并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等,均包含在本发明的保护范围内。
高效检索全球专利

专利汇是专利免费检索,专利查询,专利分析-国家发明专利查询检索分析平台,是提供专利分析,专利查询,专利检索等数据服务功能的知识产权数据服务商。

我们的产品包含105个国家的1.26亿组数据,免费查、免费专利分析。

申请试用

分析报告

专利汇分析报告产品可以对行业情报数据进行梳理分析,涉及维度包括行业专利基本状况分析、地域分析、技术分析、发明人分析、申请人分析、专利权人分析、失效分析、核心专利分析、法律分析、研发重点分析、企业专利处境分析、技术处境分析、专利寿命分析、企业定位分析、引证分析等超过60个分析角度,系统通过AI智能系统对图表进行解读,只需1分钟,一键生成行业专利分析报告。

申请试用

QQ群二维码
意见反馈