技术领域
[0001] 本
发明涉及森工行业的自动化生产、检测领域，尤其涉及一种面向实木锯材的线扫相机图像自动抠图及拼接方法。
背景技术
[0002] 我国森林面积约为2.08亿公顷，但人均占比却很少，不足世界平均值的1/4，是世界上木材资源比较短缺的国家之一。相比于其他种类的木材，实木锯材由于生长周期长、原材料供应有限等因素成为森工家具行业的“稀缺资源”。因此，在当前我国实木锯材贫乏的现实条件下，提高木材检验的
水平是使有限的木材资源发挥最大经济效益的重要途径。
[0003] 目前，国内主要采用人工对锯材的
质量进行检测，这种检测方法不仅工作量大，而且易受到检测人员主观因素的影响，不能够保证检测的效率与
精度。特别是随着大规模生产过程自动化需求的不断提高，采用人工检测的方法已越来越不能满足当今工业领域的应用要求。为了克服人工检测的缺点，
机器视觉、
超声波、
微波、
核磁共振、
X射线密度成像等技术已被相继尝试用于锯材的自动检测。
[0004] 在这些检测方法中，机器视觉技术因其采集信息量大、方法简单且直观性强、尤其是不破坏木材材料本身这一特性，成为目前木材自动检测的首选方案。然而，由于实木锯材本身材料结构和纹理等因素，将机器视觉技术用于实木锯材的处理，却并非易事。首先，由于实木原材料的限制，造成了其大小尺寸不一，短的几十厘米，长的可能要四五米，机器视觉系统需要适应这些不同规格的锯材，对系统的软
硬件提出了更高的要求。一般而言，对于尺寸超过一米的锯材，传统的面阵扫描相机由于
视野的限制已经不能适用，必须选择工业线扫相机实施检测。然而，工业线扫相机及镜头价格非常昂贵，市场普及率不高，相关技术也并不完善。其次，虽然使用线扫相机能够完成长料锯材的采集，但是由于锯材尺寸过长，将造成采集的图像非常巨大。另外，实木锯材不仅具有丰富的木纹纹理，而且还有诸如死结、活结、
腐蚀、霉烂等各种
缺陷，这些纹理和缺陷都会对锯材的图像提取造成影响。
[0005] 因此，在选择线扫相机扫描锯材的前提下，如何选择
图像采集、拼接及处理方案，以有效适应锯材的自动化在线检测，成为目前实木锯材检测，尤其是大尺寸锯材检测亟需解决的关键问题。
发明内容
[0006] 本发明的目的在于克服
现有技术的不足，提供一种实木锯材线扫相机图像自动拼接及抠图方法，实现对锯材的质量进行自动化检测。
[0007] 为了实现上述目的，本发明的技术方案是：
[0008] 一种实木锯材线扫相机图像自动拼接及抠图方法，包括：
[0009] 图像采集，通过工业线扫描相机对传送带上的实木锯材进行图像采集，获得线扫图像数据；
[0010] 锯材图像拼接，将线扫图像数据依次进行
帧缓冲处理、有效候选帧确定及帧拼接处理以完成实木锯材图像的自动拼接完整；
[0011] 锯材图像抠取，对自动拼接后的图像，根据线扫实木锯材的形状和纹理特点，综合多项
图像处理技术，实现锯材图像的稳定抠取。
[0012] 优选的，所述工业线扫相机能够调整设置扫描
频率和
采样ROI；所述传送带采用黑色亚光面材料，速度恒定，并设定所述工业线扫相机扫描的频率与所述传送带的输送频率一致。
[0013] 优选的，所述帧缓冲处理，具体包括：
[0014] 把每次线扫的500行
像素组成一幅小图像，作为候选拼接帧；在内存中为每一个候选帧分配一个缓存，按照顺序标号，根据锯材长度的不同，8-15个缓冲可以满足锯材30m/min的传送速度。
[0015] 优选的，所述有效候选帧确定，具体包括：
[0016] 利用图像二值化对候选帧处理，扫描与传送带等宽范围的像素；读取图像上白色像素的数量，只要任意一行有超过1/3的白色像素，认定为木材，该帧为有效帧。
[0017] 优选的，所述帧拼接处理，具体包括：
[0018] 根据木材在有效帧中出现的
位置确定图像帧的种类，若某帧图像的前半部分无木材，而后半部分有木材，判断为开始帧，表示线扫相机已经发现木材，后续的一系列图像帧为正在检测的木材；当发现某帧前半部分有木材，而后半部分无木材则是结束帧；在头帧之前和尾帧之后各增加一帧，并按照从头至尾的顺序依次拼接成图像；拼接完成后，清空内存中的缓冲区。
[0019] 优选的，所述锯材图像抠取，具体包括：
[0020] 对拼接后图像灰度化处理，将直方图统计范围为7-120的像素作为木材抠图的依据，利用此依据二值化处理图像，对二值图像
边缘检测，并对提取出的边缘用boundingrect函数计算轮廓外接矩形，所得矩形边长作为木材初步的长度与宽度。
[0021] 优选的，所述锯材图像抠取，还包括：制定锯材轮廓在宽度方向的抖动优化策略；具体如下：
[0022] 将抠取出的二值化图，由上至下均匀地取20行，读取每一行宽度上的白点个数，即图像的宽度，然后，再将每一行获得的白点个数排序，最后，按照排序结果取中值，将所述中值作为修正后的锯材宽度。
[0023] 优选的，所述锯材图像抠取，还包括：制定锯材轮廓长度方向的倾
角修正策略；具体如下：
[0024] 设木材左上角为原点，x方向向右，y方向向下，从左至右，上部最顶端一行两个端点坐标为P1(x1,y1)，P2(x2,y2)，最下端两个端点为P3(x3,y3)，P4(x4,y4)；采用如下方法计算倾角：
[0025] 设d＝(|x3-x1|+|x4-x2|)/2，当d大于设定
阈值时，计算h＝(|y3-y1|+|y4-y2|)/2，theta＝actan(d/y)；d表示x方向倾斜阈值，h表示y方向倾斜阈值；则实际锯材长度为L＝h/cos(theta)。
[0026] 优选的，每次线扫图像的采样间隔设置为2秒及以上，采样间隔用于图像拼接和处理。
[0027] 采用上述方案后，本发明的有益效果是：
[0028] 一种实木锯材线扫相机图像自动拼接及抠图方法，首先利用帧缓冲将线扫图像数据合成候选帧，根据木材在图像中出现的位置确定候选帧的种类，并通过增加冗余帧避免图像截取不完整；其次，针对拼接过程中可能出现的重复拼接、帧序混乱等问题，给出了实际可行的拼接方案；最后，根据线扫实木锯材的形状和纹理特点，设计了基于图像处理的实木锯材线扫图像抠图
算法，并从长度和宽度方向上，对抠图轮廓进行了优化。
[0029] 以下结合
附图及
实施例对本发明作进一步详细说明，但本发明的一种实木锯材线扫相机图像自动拼接及抠图方法不局限于实施例。
附图说明
[0030] 图1为本发明一种实木锯材线扫相机图像自动拼接及抠图方法的
流程图；
[0031] 图2为本发明的有效候选拼接帧示意图；其中，图(a)表示开始帧，图(b)表示中间帧，图(c)表示尾帧；
[0032] 图3为本带有缺陷的实木锯材示意图；
[0033] 图4为锯材宽度方向的抖动示意图。
具体实施方式
[0034] 以下将结合本发明附图，对本发明实施例中的技术方案进行详细描述和讨论。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
[0035] 参见图1所示，本发明一种实木锯材线扫相机图像自动拼接及抠图方法，包括：
[0036] S101，图像采集，通过工业线扫描相机对传送带上的实木锯材进行图像采集，获得线扫图像数据；
[0037] S102，锯材图像拼接，将线扫图像数据依次进行帧缓冲处理、有效候选帧确定及帧拼接处理以完成实木锯材图像的自动拼接完整；
[0038] S103，锯材图像抠取，对自动拼接后的图像，根据线扫实木锯材的形状和纹理特点，综合多项图像处理技术，实现锯材图像的稳定抠取。
[0039] 本发明具体的实施步骤如下：
[0040] 1、硬件所需条件：
[0041] 本发明所需硬件设备如下包括：工业线扫描相机及镜头，工业线扫相机要求能够调整设置扫描频率和采样ROI。用于传送实木锯材的传送机构，如传送带或推选机，要求传动设备速度恒定，并设定相机扫描的频率与传送带的输送频率一致。
[0042] 2、候选帧选择及帧缓冲处理方法
[0043] (2.1)候选帧选择：根据线扫描成像的原理，线扫相机每次只能采集一行图像，为完成木料的图像采集，需要设计合理的方法将将线扫相机扫描到的数据帧合成小图像，完成木料的拼接。在本发明实施例中，把每次线扫的500行像素组成一幅小图像，作为候选拼接帧，为保证这些拼接帧互不干扰，在内存中为每一帧分配一个缓存保存图像。
[0044] (2.2)缓冲区分配：以5个缓冲区为例，摄像机获取到第一个候选帧图像后将其存入1号缓冲，紧接着相机获取到第个候选帧图像放入2号缓冲，3号缓冲的情况也相同，这个时候4号缓冲也即将开始要接受第四张图像了，但如果已知前三帧图像已经可以拼凑成一张完整的木材图像了，应该在读取第三帧后将前三帧图像拼合成一幅图像并保存。
[0045] (2.3)拼接完成后，要清空缓存，以为后续拍摄工作继续提供空闲的缓冲区。增加缓冲区的大小和数量，可以提高系统的工作效率，但缓冲区数过大也会造成资源浪费，以本发明实施例500行像素组成小图像为例，在每行8000像素的线扫精度下，每幅图像所占缓冲区大小4M。在16G内存，Intel i7 8700系统配置的情况下，根据锯材长度的不同，8-15个缓冲可以满足锯材30m/min的传送速度。
[0046] 3、候选帧帧拼接算法
[0047] 确定了候选帧的数量和大小后，如何选择候选帧以拼接成完整的图像是保证锯材图像准确提取的关键，候选帧如果选择多了，会把传送带后面的图像拼接过来，拼接图像尺寸超过实际尺寸，候选帧如果选择少了，图像不完整，拼接图像尺寸小于实际尺寸。
[0048] 为选择合适的候选帧，本发明实施例采用的方法是，首先利用图像处理方法确定木材头帧和尾帧，然后，在头帧和尾帧后再增加两帧冗余帧，避免图像截取不完整。多增加的冗余部分可以用后续的抠图算法截取，并获得最终图像。
[0049] (3.1)有效候选帧确定方法
[0050] 在拼接算法中，只有有木材的候选帧才用于拼接，而传送带在较多的时间内是没有木头的，因此，图像拼接正确的前提是找到有效的候选帧，也就是有木材的候选帧。
[0051] 有效候选帧的选择是基于实木锯材与黑色传送带二者在灰度空间上差异明显，因此可以利用图像二值化的方法区分锯材与传送带。二值处理后，读取图像上白色像素的数量，如果超过设定的阈值，则该帧为有效帧。统计像素的数量是为了克服工作现场中飞尘或传送带上的污渍带来的影响，这些噪声一般只是随机分布在一个小区域，而只有出现大面积白色像素，才确定为有效候选帧。
[0052] (3.2)头帧、尾帧和中间帧的判断
[0053] 参见图2所示，有效候选帧确定后，根据木材在图像中出现的位置确定图像帧的种类，若某帧图像的前半部分无木材，而后半部分有木材，则判断为开始帧，表示线扫相机已经发现木材，后续的一系列图像帧为正在检测的木材，当发现某帧前半部分有木材，而后半部分无木材则是结束帧。
[0054] (3.3)加入冗余帧的图像帧拼接算法
[0055] 确定了头帧、尾帧和中间帧后，就可以按照顺序将这些帧拼接起来。然而，由于线扫相机是高速对
工件进行扫描的，由于相机配置参数或木材分割阈值参数等设置的不合理，可能存在扫描处理速度过快，视觉系统没有及时将扫描到的图像压入缓冲。为确保图像完整，在每张图像拼接时加入头帧的上一帧和尾帧的下一帧，由于多加入了两帧，会使拼接的图片略大于实际图像，但是加入冗余帧保证了拼接的图像不会遗漏有效的锯材信息，而多增加的冗余部分可以用后续的抠图算法截取。
[0056] (3.4)拼接错误处理算法：
[0057] 在实际的锯材拼接过程中，可能出现帧序混乱、重复帧选取、以及没有将实木锯材完整取得三种问题，本发明实施例采用如下三种方法予以克服。
[0058] (3.4.1)缓冲区按顺序编号避免帧序混乱
[0059] 为避免提取重复的图像帧拼接，每个在内存设定的缓冲区必须标号，并按照顺序选择(不能随意选择)，否则如果缓冲读取错误，就会造成图像拼接错误。
[0060] (3.4.2)软硬件协调避免重复帧提取
[0061] 重复帧提取主要是由于系统软硬件协调不一致造成，因此设定两张采集图像间隔2秒以上，留给拼接和处理足够的时间，避免系统卡顿造成缓冲读取不及时。
[0062] (3.4.3)木材本身缺陷误判影响
[0063] 实木锯材本身具有油囊、结疤等缺陷，这些缺陷一般
亮度较暗，而本发明实施例区分有效帧的方法是根据图像的亮度来判别是否存在木头，因此，如果直接以二值化处理结果判定有效帧，则可能因将缺陷判定为背景，造成拼接的误判。
[0064] 针对锯材缺陷的影响，本发明实施例采用如下策略予以解决：
[0065] (1)改变当前工业自动化领域常用的绿色传送带的
颜色，因为绿色在二值化处理后与木纹缺陷的亮度相近，将造成缺陷和背景难以区分，为此，传送带将选择黑色亚光面材料，黑色是便于图像前景和背景的分割，亚光面是避免
光源照射时出现较大的
镜面反射。
[0066] (2)参见图3所示，虽然木材深色缺陷会对前景和背景的分割造成影响，但在选择纯黑色背景后，其亮度仍然是明显高于背景的。为此，判别木材的规则进一步细化为：扫描与传送带等宽范围的像素，只要一行有1/3较亮就认为是有木材，不做切分处理。
[0067] 4、锯材抠图及尺寸修正算法
[0068] 实木锯材特征虽然尺寸不一，但其主要的形状为长条状矩形，颜色多呈现木纹色，整体的灰度区间和颜色分布均匀，抠图算法主要针对实木锯材的形状和颜色特征，结合图像处理中的灰度化处理、直方图和形状拟合等多种技术。
[0069] (4.1)利用颜色直方图分割木材区域
[0070] 首先，利用颜色直方图分割木材区域。根据实验测试，发现实木锯材的统计像素值范围为7-120，将此统计范围作为木材图像的颜色直方图特征。采用颜色直方图区分木材和背景的原因是，该特征代表的是整张图片的全局统计特征，不会受到旋转、颠倒等因素影响，且容易处理，计算负担较小。
[0071] (4.2)图像处理方法获得木材的轮廓
[0072] 将拼接而成的图像灰度化处理，获得灰度直方图。根据设定的直方图阈值范围做图像二值化处理，获得二值化图像；对二值图像边缘检测，并对提取出的边缘用boundingrect函数(OpenCV
计算机视觉库中功能函数)计算轮廓外接矩形，所得矩形边长即可作为木材初步的长度与宽度。
[0073] (4.3)锯材轮廓的优化处理
[0074] 理论上，按照如上所述方法可以将锯材图像从拼接图像中抠取出来。然而，由于拼接图像本身与传动机构有关，扣取图像会受到传动机构
稳定性影响，主要体现在如下两方面：
[0075] 在宽度方向上，工件在传送过程中，会存在由于皮带松动、机构不稳等导致的轻微抖动。锯材工件的长度一般远大于宽度，这些抖动对于长度的影响微乎其微，但锯材的宽度有限，这些影响却不可忽视，参见图4所示，必须加以限制。
[0076] 在长度方向上，虽然传送带的抖动对长度影响甚微，其主要误差来自于锯材放置不当所引起的倾角误差，一般自动化生产线上都有对放置角度校正的机构，所以倾角误差一般都很小，但如不加矫正，将会对锯材的尺寸测量等造成影响。
[0077] (4.3.1)宽度方向的抖动优化。
[0078] 首先，将扣取出的二值化图，由上至下均匀地取20行，读取每一行宽度上的白点个数，即图像的宽度，然后，再将每一行获得的白点个数排序，最后，按照排序结果取中值，这个中值即可作为修正后的锯材宽度。
[0079] (4.3.2)长度方向的倾角修正
[0080] 计算木材倾斜率来修正，设木材左上角为原点，x方向向右，y方向向下，从左至右，上部最顶端一行两个端点坐标为P1(x1,y1)，P2(x2,y2)，最下端两个端点为P3(x3,y3)，P4(x4,y4)。采用如下方法计算倾角theta：
[0081] 设d＝(|x3-x1|+|x4-x2|)/2，当d大于设定阈值时，计算h＝(|y3-y1|+|y4-y2|)/2，theta＝actan(d/y)；d表示x方向倾斜阈值，h表示y方向倾斜阈值；
[0082] 则实际锯材长度为L＝h/cos(theta)。
[0083] 以上仅为本发明实例中一个较佳的实施方案。但是，本发明并不限于上述实施方案，凡按本发明所做的任何均等变化和修饰，所产生的功能作用未超出本方案的范围时，均属于本发明的保护范围。
