[0001] 本
申请以日本
专利申请2017-234250(申请日期:2017年12月6日)为
基础,自该申请享受优先权。本申请通过参考该申请而包含该申请的全部内容。
技术领域
[0002] 本
发明的实施方式涉及一种用于
电梯的
门控制等的影像检测系统。
背景技术
[0003] 在利用摄像机检测人物而进行门控制的系统中,必须将拍摄影像中映入的影子去除掉。此处,作为影子的判定方法,有如下方法:对拍摄对象的背景施加格子图样等纹理,将输入影像中留有背景纹理的暗淡区域判定为影子。此外,有根据背景影像与输入影像的
亮度比来判定影子的方法。
发明内容
[0004] 然而,使用背景纹理(背景图样)的方法在无法自由设定背景的图样的情况下无法运用。此外,在摄像机的
分辨率较低而无法捕捉背景纹理(背景图样)的情况下也无法运用。对背景影像与输入影像的亮度进行比较的方法是将变暗的区域判定为影子,因此,例如存在将穿着暗色服装的人误判定为影子的情况。
[0005] 本发明要解决的问题在于提供一种能够准确地检测拍摄影像中映入的影子或光的影像检测系统。
[0006] 本发明的一实施方式的影像检测系统具备摄像装置、边缘提取部、特定边缘提取部、候选区域提取部及检测对象区域判定部。
[0007] 边缘提取部从由摄像装置获得的影像中提取表示特征不同的区域的交界线的边缘。特定边缘提取部对预先从背景影像中提取到的边缘与从输入影像中提取到的边缘进行比较,提取至少包含同时存在于两影像中的残留边缘的特定边缘。候选区域提取部从输入影像中提取预先设定的检测对象区域的候选。检测对象区域判定部根据特定边缘从候选区域中判定检测对象区域。
[0008] 根据上述构成的影像检测系统,能够准确地检测拍摄影像中映入的影子或光。
附图说明
[0009] 图1为表示第1实施方式的影像检测系统的构成的
框图。
[0010] 图2为表示第1实施方式中的由影像处理装置执行的影子区域检测处理的
流程图。
[0011] 图3为用以说明上述影子区域检测处理的背景影像和输入影像的
概念图。
[0012] 图4为用以说明第1实施方式中的背景/输入影像与边缘区域的关系的图。
[0013] 图5为表示用以说明第1实施方式中的各种边缘的具体例的图。
[0014] 图6为表示第2实施方式的影像检测系统的构成的框图。
[0015] 图7为表示第2实施方式中的由影像处理装置执行的影子区域检测处理的流程图。
[0016] 图8为用以说明第2实施方式中的各种边缘的判定条件的图。
[0017] 图9为用以说明第2实施方式的
变形例的背景影像和输入影像的概念图。
[0018] 图10为表示第3实施方式的影像检测系统的构成的框图。
[0019] 图11为表示第3实施方式中的由影像处理装置执行的影子区域检测处理的流程图。
[0020] 图12为用以说明第3实施方式中的均匀区域的分割的概念图。
[0021] 图13为表示第4实施方式中的由影像处理装置执行的光部分区域检测处理的流程图。
[0022] 图14为用以说明上述光部分区域检测处理的背景影像和输入影像的概念图。
[0023] 图15为用以说明第4实施方式中的背景/输入影像与边缘区域的关系的图。
[0024] 图16为用以说明第4实施方式中的各种边缘的具体例。
[0025] 图17为表示第5实施方式中的由影像处理装置执行的光部分区域检测处理的流程图。
[0026] 图18为用以说明第5实施方式中的各种边缘的判定条件的图。
[0027] 图19为用以说明第5实施方式的变形例的背景影像和输入影像的概念图。
[0028] 图20为表示第6实施方式中的由影像处理装置执行的光部分区域检测处理的流程图。
[0029] 图21为用以说明第6实施方式中的均匀区域的分割的概念图。
[0030] 图22为表示作为应
用例的电梯的乘坐检测系统的构成的图。
[0031] 图23为表示由上述乘坐检测系统的摄像机拍摄到的影像的一例的图。
具体实施方式
[0032] 本发明的影像检测系统例如用于电梯的门、大厦的自动门等的开闭控制。该影像检测系统具有检测由摄像机拍摄到的影像中映入的影子或光的功能。下面,分为以影子为检测对象的情况和以光为检测对象的情况来进行说明。
[0033] (第1实施方式)
[0034] 图1为表示第1实施方式的影像检测系统的构成的框图。
[0035] 本实施方式中的影像检测系统具备摄像装置101和影像处理装置102。摄像装置101例如为车载摄像机等小型的监视用摄像机。摄像装置101具有广
角镜头,能够1秒钟连续拍摄数
帧(例如30帧/秒)的影像。例如,若是电梯,则摄像装置101设置于轿厢的门上部附近,在规定的拍摄范围内拍摄乘坐至轿厢内的使用者。再者,摄像装置101的设置
位置不限于电梯的轿厢,只要是能够利用本系统的地方,哪儿都可以。
[0036] 此处,在第1实施方式中,是以拍摄影像中映入的影子为检测对象。影像处理装置102中,作为用以检测影子的功能,配备有边缘提取部103、背景边缘存储部104、特定边缘提取部105、候选区域提取部106及检测对象区域判定部107。
[0037] 边缘提取部103从由摄像装置101逐次拍摄的影像中提取边缘。所谓“边缘”,除了影像内的直线、曲线以外,还意指
颜色、亮度、图样等特征不同的区域间的交界线。该边缘的提取通过现有方法来进行即可。例如,可使用Sobel边缘滤波、Canny边缘滤波。或者,也可通过
像素的亮度值的离散的差异来求区域的交界位置。
[0038] 背景边缘存储部104中存储由边缘提取部103从背景影像中提取到的边缘的信息(影像上的坐标位置等)。“背景影像”是在不存在人、物等的环境下拍摄到的影像,作为用以与后文叙述的输入影像进行比较的基准影像加以使用。“输入影像”是检测时拍摄到的影像,有时包含人、物还有影子或光等。
[0039] 特定边缘提取部105对从背景影像中提取到的边缘与从输入影像中提取到的边缘进行比较,提取成为检测对象区域的条件的特定边缘。在第1实施方式中,“检测对象区域”是存在人、物的影子的区域。“特定边缘”至少包含同时存在于背景影像和输入影像中的残留边缘。特定边缘提取部105具有残留边缘提取部105a,对背景影像的边缘与输入影像的边缘进行比较,从这些边缘当中提取同时存在于两影像中的残留边缘作为影子区域的判定所需的特定边缘。
[0040] 候选区域提取部106从输入影像中提取预先设定为检测对象区域的影子区域的候选(以下称为影子候选区域)。再者,关于影子候选区域的提取,例如使用公知的背景差分法或者下述文献的方法即可。
[0041] “Shadow Detection:A Survey and Comparative Evaluation of Recent Methods”(A.Sanin et al.Pattern Recognition-2012)
[0042] 检测对象区域判定部107根据由特定边缘提取部105提取到的残留边缘从由候选区域提取部106提取到的影子候选区域中判定影子区域。
[0043] 接着,对第1实施方式的动作进行说明。
[0044] 图2为表示由影像处理装置102执行的影子区域检测处理的流程图。图3为用以说明上述影子区域检测处理的背景影像和输入影像的概念图。在图3的例子中,设想的是隔着一对柱子分成房间的内侧与外侧的环境。例如,若是电梯的轿厢,则柱子为
门框,内侧为厢室内侧,外侧为大厅(参考图23)。摄像装置101设置在房间的出入口上部,从房间的内侧朝向外侧对规定范围内进行拍摄。
[0045] 在第1实施方式中,是以影子区域为检测对象区域。作为初始设定,预先在不存在人、物等的环境下获取到背景边缘。具体而言,首先,通过摄像装置101来获取背景影像并导入至影像处理装置102(步骤S101)。影像处理装置102的边缘提取部103例如使用Sobel边缘滤波、Canny边缘滤波等从该背景影像中提取表示特征不同的区域的交界线的边缘(步骤S102)。边缘提取部103将上述边缘相关的信息存储到背景边缘存储部104中(步骤S103)。
[0046] 图3所示的背景影像201中不含人、物等,从该背景影像201提取的边缘202也不含人、物等。再者,此处,为方便起见,仅描绘有较大的框,但实际上是提取更复杂的线条、曲线等作为边缘202。
[0047] 接着,在检测时,通过摄像装置101来获取输入影像并导入至影像处理装置102(步骤S104)。输入影像是在存在人、物等的环境下拍摄到的。与上述背景影像时一样,影像处理装置102的边缘提取部103从该输入影像中提取表示特征不同的区域的交界线的边缘(步骤S105)。
[0048] 再者,实际上是将1秒钟数帧(例如30帧/秒)的输入影像逐次导入至影像处理装置102,对这些输入影像进行影子区域的检测处理。在图3的例子中,第1输入影像211中房间内存在人的腿脚,提取到包含该人的腿脚的边缘212。另一方面,第2输入影像221中房间内存在人或物的影子,提取到包含该影子的边缘222。
[0049] 当提取到输入影像的边缘时,特定边缘提取部105对背景边缘存储部104中存储的背景影像的边缘与该输入影像的边缘进行比较。特定边缘提取部105从输入影像中提取同时存在于两影像中的残留边缘作为影子区域的判定所需的特定边缘(步骤S106)。
[0050] 对于图3所示的第1输入影像211,由于人的腿脚挡住了背景,因此获得部分中断的残留边缘213。此外,通常而言,存在于影子下的背景不会消失,因此,对于第2输入影像221,获得包含背景和影子的残留边缘223。
[0051] 另一方面,候选区域提取部106例如使用背景差分法等公知的方法从输入影像中提取影子候选区域(步骤S107)。在图3的例子中,第1输入影像211中提取人的腿脚作为影子候选区域214,第2输入影像221中提取映入有影子的部分作为影子候选区域224。
[0052] 检测对象区域判定部107根据由特定边缘提取部105提取到的残留边缘在由候选区域提取部106提取到的影子候选区域中判定影子区域(步骤S108)。在该情况下,区域内部充分含有残留边缘的区域会被判定为影子区域。在图3的例子中,从第1输入影像211获得的影子候选区域214内没有残留边缘,从第2输入影像221获得的影子候选区域224内含有残留边缘。因而,提取从第2输入影像221获得的影子候选区域224作为影子区域225。
[0053] 参考图4及图5,对影子区域的判定处理进行详细说明。
[0054] 图4为用以说明背景/输入影像与边缘区域的关系的图。背景影像中,以纵轴来分类有边缘的区域与没有边缘的区域,输入影像中,以横轴来分类有边缘的区域与没有边缘的区域。图5为用以说明各种边缘的具体例,展示了作为背景的房间内混存有腿脚和影子的状态。
[0055] 图4中,(a)栏表示同时存在于背景影像和输入影像中的边缘(残留边缘)。在图5的例子中,影子下能看见的背景的部分(e1)、未被前景挡住的背景的各部分(e2)相当于残留边缘。此处所说的“前景”是指
覆盖在背景影像上的输入影像。
[0056] (b)栏表示背景影像中以边缘的形式存在但被前景覆盖的部分(消失边缘)。在图5的例子中,前景将背景挡住的部分(e3)相当于消失边缘。
[0057] (c)栏为背景影像中不存在边缘但输入影像中出现了边缘的部分(追加边缘)。在图5的例子中,前景的轮廓以外的边缘(e4)、前景的轮廓(e5)、影子的轮廓(e6)相当于追加边缘。
[0058] (d)栏表示背景影像中、输入影像中都不存在边缘的区域。在图5的例子中,前景的内部(e7)、背景的内部(e8)、影子的内部(e9)相当于无边缘区域。
[0059] 此处,提取比作为背景的房间暗的区域作为影子候选区域。在该影子候选区域内,判定内部缺乏残留边缘的区域不是影子、判定内部有足够的残留边缘的区域为影子即可。
[0060] 关于残留边缘的足够与否的判定,例如使用预先设定的
阈值TH。即,在残留边缘的像素数E为“E≥TH”的情况下,判定为残留边缘足够多的区域。否则,判定为残留边缘极少的区域。
[0061] ·阈值TH的决定方法
[0062] 例如将像下式所示那样对影子候选区域的面积S乘以根据影像尺寸、环境等加以设定的系数W而得的值作为TH。
[0063] TH=S*W
[0064] 再者,关于上述判定方法,已利用实际影像、通过多次实验确认了影子区域内大量存在残留边缘这一情况。
[0065] 如此,根据第1实施方式,通过提取同时存在于背景影像和输入影像中的残留边缘,能够检测影像中包含的影子区域。因而,例如若是利用拍摄影像来检测人物的系统,即便拍摄影像中映入有影子,也能将其排除而仅将人物准确地检测出来。
[0066] 此外,由于背景不需要纹理(格子图案等图样),因此,还能应对无法自由设定背景的图样的情况或者摄像机的分辨率较低而无法捕捉背景纹理的情况。
[0067] 再者,为了从拍摄影像中稳定地提取更多的边缘,例如可对柱子与地板等的交界线实施
涂装、标记来加以强调,或者使用不同地板材料来强调交界线。强调交界线的涂装、标记能够相对容易地进行,因此成本效益高。
[0068] (第2实施方式)
[0069] 接着,对第2实施方式进行说明。
[0070] 在上述第1实施方式中,是着眼于同时存在于背景影像和输入影像中的残留边缘来判定影子区域,而在第2实施方式中,除了残留边缘以外,还考虑消失边缘和追加边缘来判定影子区域。
[0071] 图6为表示第2实施方式的影像检测系统的构成的框图。再者,对与上述第1实施方式中的图1的构成相同的部分标注同一符号并省略其说明。
[0072] 与上述第1实施方式一样,第2实施方式以拍摄影像内存在的影子为检测对象。此处,特定边缘提取部105中,除了残留边缘提取部105a以外,还设置有消失边缘提取部105b和追加边缘提取部105c。
[0073] 消失边缘提取部105b提取存在于背景影像中但不存在于输入影像中的消失边缘。追加边缘提取部105c提取不存在于背景影像中但存在于输入影像中的追加边缘。
[0074] 特定边缘提取部105对从背景影像中提取到的边缘与从输入影像中提取到的边缘进行比较,提取上述3种边缘(残留边缘、消失边缘、追加边缘)作为影子区域的判定所需的特定边缘。
[0075] 检测对象区域判定部107根据由特定边缘提取部105提取到的上述3种边缘从由候选区域提取部106提取到的候选区域中判定影子区域。
[0076] 接着,对第2实施方式的动作进行说明。
[0077] 图7为表示第2实施方式中的由影像处理装置102执行的影子区域检测处理的流程图。再者,步骤S201~S205的处理与图2的步骤S101~S105的处理相同,因此省略其说明。
[0078] 当提取到输入影像的边缘时,特定边缘提取部105对背景边缘存储部104中存储的背景影像的边缘与该输入影像的边缘进行比较。特定边缘提取部105根据该比较结果从输入影像中提取残留边缘、消失边缘、追加边缘作为影子区域的判定所需的特定边缘(步骤S206)。
[0079] 残留边缘是同时存在于背景影像和输入影像中的边缘(参考图4的(a)、图5的e1、e2)。消失边缘是背景影像中存在但被输入影像的前景覆盖而消失的边缘(参考图4的(b)、图5的e3)。追加边缘是背景影像中不存在但输入影像中出现的边缘(参考图4的(c)、图5的e4、e5、e6)。
[0080] 另一方面,候选区域提取部106例如使用背景差分法等公知的方法从输入影像中提取影子区域的候选(影子候选区域)(步骤S207)。检测对象区域判定部107根据由特定边缘提取部105提取到的上述3种边缘在由候选区域提取部106提取到的影子候选区域中判定影子区域(步骤S208)。在该情况下,判定方法根据边缘的种类而不同。
[0081] 即,如图8所示,对于残留边缘而言,是将影子候选区域的内部充分含有残留边缘的区域判定为影子区域。对于消失边缘而言,是将影子候选区域的内部未充分含有消失边缘的区域判定为影子区域。对于追加边缘而言,是将判定影子候选区域的内部未充分含有追加边缘的区域判定为影子区域。
[0082] 反过来,判定影子候选区域的内部未充分含有残留边缘的区域、充分含有消失边缘的区域、充分含有追加边缘的区域为前景而非影子区域。
[0083] 关于边缘的足够与否的判定,例如使用针对各种边缘中的每一种预先设定的阈值TH1、TH2、TH3。即,在残留边缘的像素数E1为“E1≥TH1”的情况下,判定为残留边缘足够多的区域。否则,判定为残留边缘极少的区域。
[0084] 在消失边缘的像素数E2为“E2≥TH2”的情况下,判定为消失边缘足够多的区域。否则,判定为消失边缘极少的区域。
[0085] 在追加边缘的像素数E3为“E3≥TH3”的情况下,判定为追加边缘足够多的区域。否则,判定为追加边缘极少的区域。
[0086] ·阈值TH1、TH2、TH3的决定方法
[0087] 例如像下式所示那样对影子候选区域的面积S分别乘以根据影像尺寸、环境等加以设定的系数W1、W2、W3,将所得的这些值作为TH1、TH2、TH3。
[0088] TH1=S*W1
[0089] TH2=S*W2
[0090] TH3=S*W3
[0091] 此处,根据拍摄环境等的不同,上述3种边缘未必全部都会被提取到,因此,使用上述3种边缘中的至少1种来判定影子区域即可。在该情况下,可仅使用1种/2种明显多于或少于其他边缘的边缘。
[0092] ·使用上述3种边缘中的1种的情况
[0093] 例如,在仅使用消失边缘的情况下,消失边缘的足够与否的判定如下。
[0094] 即,在消失边缘的像素数E2为“E2≥TH2”的情况下,判定为消失边缘足够多的区域,在这之外的情况下,判定为消失边缘极少的区域即可。在上述步骤S208的判定处理中,若消失边缘较少,则判定为影子,若消失边缘较多,则判定为前景(不是影子)即可。
[0095] ·使用上述3种边缘中的2种的情况
[0096] 例如,在使用残留边缘和消失边缘的情况下,这些边缘的足够与否的判定如下。
[0097] 在残留边缘的像素数E1为“E1≥TH1”的情况下,判定为残留边缘足够多的区域。在消失边缘的像素数E2为“E2≥TH2”的情况下,判定为消失边缘足够多的区域。在这之外的情况下,判定为残留边缘、消失边缘边缘极少的区域。
[0098] 在上述步骤S208的判定处理中,若残留边缘较多、消失边缘较少,则判定为影子,若残留边缘较少、消失边缘较多,则判定为前景。除此之外判定为前景(不是影子)即可。
[0099] 再者,在图8的组合中,将“残留边缘较多、消失边缘较少”判定为影子,将“残留边缘较少、消失边缘较多”判定为前景(不是影子)。在这之外的情况下,也就是说,例如在“残留边缘较多、消失边缘较多”或者“残留边缘较少、消失边缘较少”的情况下,可判定为影子,也可判定为前景。
[0100] 但是,考虑到将“前景(人)”误判定为影子而例如将门关闭这一情况,优选判定为“前景”。
[0101] 此处,追加边缘在前景的轮廓、影子的轮廓中都存在。因此,追加边缘当中处于候选区域的轮廓近旁的追加边缘不用于是否为影子的判定,将候选区域的内部有足够多的追加边缘的区域判定为不是影子(前景)。
[0102] (变形例)
[0103] 图9为用以说明第2实施方式的变形例的背景影像和输入影像的概念图,设想了2个影子重叠的环境。现在,设定背景影像301中存在源于外部光线的影子a。从该背景影像301中提取到的边缘302包含对应于影子a的边缘。
[0104] 此处,在输入影像311中,当新的影子b重叠至影子a时,获得将影子a和影子b作为1个影子的边缘312。在该情况下,背景的影子a与输入的影子b由于出现于相同地板区域内,因此亮度值大致相同,其交界不会产生边缘(亮度差)。影子a与影子b的交界部分的边缘消失,获得图示那样的残留边缘313。此外,在从输入影像311获得的影子候选区域314内,在影子a与影子b的交界部分包含消失边缘。
[0105] 在图8的判定条件下,消失边缘较多的区域会被判定为前景(不是影子)。因此,在像图9的例子那样输入影像311的影子b的轮廓出现消失边缘的情况下,误判定为前景的可能性升高。因此,对于消失边缘而言,通过将影子候选区域的“不包括轮廓的内部”作为对象,能够防止将影子b误判定为前景(不是影子)这一情况。
[0106] 如此,根据第2实施方式,通过在考虑残留边缘之外还考虑消失边缘、追加边缘,即便在例如背景的边缘在影子下消失、仅靠残留边缘无法进行判定这样的情况下,也能使用消失边缘或追加边缘来判定影子区域。
[0107] (第3实施方式)
[0108] 接着,对第3实施方式进行说明。
[0109] 在第3实施方式中,在影子候选区域中分割亮度分布类似的接近区域,将它们提取为影子候选区域。
[0110] 图10为表示第3实施方式的影像检测系统的构成的框图。再者,对与上述第1实施方式中的图1的构成相同的部分标注同一符号并省略其说明。
[0111] 与上述第1实施方式一样,第3实施方式以拍摄影像内存在的影子为检测对象。此处,影像处理装置102中,除了上述第1实施方式的构成以外,还配备有均匀区域分割部108。均匀区域分割部108在由候选区域提取部106提取到的影子候选区域中分割亮度分布类似的接近区域。
[0112] 检测对象区域判定部107根据由特定边缘提取部105提取到的残留边缘在由均匀区域分割部108分割出的各候选区域中判定影子区域。
[0113] 接着,对第3实施方式的动作进行说明。
[0114] 图11为表示第3实施方式中的由影像处理装置102执行的影子区域检测处理的流程图。再者,步骤S301~S307的处理与图2的步骤S101~S107的处理相同,因此省略其说明。
[0115] 在第3实施方式中,当通过候选区域提取部106获得影子候选区域时,通过均匀区域分割部108在影子候选区域中单独提取亮度分布类似的接近区域作为1个影子候选区域(步骤S308)。
[0116] 图12表示具体例。
[0117] 现在,设定针对像图12的(a)所示那样人的腿脚与影子连在一起的输入影像401而提取到该图(b)所示那样的影子候选区域402。在该例中,人的腿脚(裤子和
鞋子)和影子被提取为1个影子候选区域402。
[0118] 此处,若利用亮度分布类似的区域来分割影子候选区域402,则像该图(c)所示那样获得3个区域403a、403b、403c作为影子候选区域403。区域403a对应于裤子,区域403b对应于鞋子。区域403c对应于影子,具有残留边缘。
[0119] 检测对象区域判定部107在由均匀区域分割部108获得的各候选区域中判定影子区域(步骤S309)。在该情况下,像上述第1实施方式中说明过的那样,区域内部充分含有残留边缘的候选会被判定为影子区域。在图12(c)的例子中,区域403a、403b内没有残留边缘,区域403c内部含有残留边缘。因而,如该图(d)所示,区域403c最终被提取为影子区域404。
[0120] 如此,根据第3实施方式,在拍摄影像中人的区域与影子的区域连在一起的情况下,不是在这整个区域内判定是否为影子,而是在分割为亮度分布类似的区域之后各自进行判定,由此,能够仅将影子的区域准确地检测出来。
[0121] 再者,在上述步骤S309的判定处理中,通过像上述第2实施方式那样不仅使用残留边缘还使用消失边缘和追加边缘,能够更准确地判定影子的区域。
[0122] (第4实施方式)
[0123] 接着,对第4实施方式进行说明。
[0124] 在上述第1至第3实施方式中,对检测拍摄影像内存在的影子的情况进行了说明,而在第4实施方式中,是对检测拍摄影像内存在的光的情况进行说明。
[0125] 此处所说的“光”例如是指由照明设备局部性地射入至房间内的光(注光)、太阳光从房间的间隙等局部性地射入的光等。这种局部性的光与人、物的影子一样,有时也会对利用摄像机的检测动作产生影响。例如,在房间内有光局部性地照到的区域的情况下,有时无法在拍摄影像上判别该区域是光部分的区域还是穿着白色服装的人的区域。
[0126] 下面,对判定这种光部分的区域的处理进行详细说明。
[0127] 再者,装置构成与上述第1实施方式中的图1的构成基本相同,因此省略图示。但在图1的构成中,检测对象区域不是影子区域而是局部性地存在光的区域(以下称为光部分区域)。候选区域提取部106提取该光部分区域的候选。关于光部分候选区域的提取,例如提取通过公知的背景差分法获得的差分区域当中变得比过去的背景亮的区域即可。
[0128] 检测对象区域判定部107根据由特定边缘提取部105提取到的残留边缘从由候选区域提取部106提取到的光部分候选区域中判定光部分区域。
[0129] 接着,对第4实施方式的动作进行说明。
[0130] 图13为表示第4实施方式中的由影像处理装置102执行的光部分区域检测处理的流程图。图14为用以说明上述光部分区域检测处理的背景影像和输入影像的概念图,与图3一样,设想了隔着一对柱子分成房间的内侧与外侧的环境。但是,此处设定房间的内侧和外侧处于稍微暗淡的状态。
[0131] 处理的基本流程与上述第1实施方式的图2相同。但在第4实施方式中,是以光部分区域为检测对象区域。如上所述,所谓“光部分区域”,是指局部性地存在光的区域,与影子一样,会对利用摄像机的检测动作产生影响。
[0132] 作为初始设定,预先在不存在人、物等的环境下获取到背景边缘。具体而言,首先,通过摄像装置101来获取背景影像并导入至影像处理装置102(步骤S401)。影像处理装置102的边缘提取部103例如使用Sobel边缘滤波、Canny边缘滤波等从该背景影像中提取表示特征不同的区域的交界线的边缘(步骤S402)。边缘提取部103将上述边缘相关的信息存储到背景边缘存储部104中(步骤S403)。
[0133] 图14所示的背景影像501中不含人、物等,从该背景影像501中提取的边缘502也不含人、物等。再者,此处,为方便起见,仅描绘有较大的框,但实际上是提取更复杂的线条、曲线等作为边缘502。
[0134] 接着,在检测时,通过摄像装置101来获取输入影像并导入至影像处理装置102(步骤S404)。输入影像是在存在人、物等的环境下拍摄到的。与上述背景影像时一样,影像处理装置102的边缘提取部103从该输入影像中提取表示特征不同的区域的交界线的边缘(步骤S405)。
[0135] 再者,实际上是将1秒钟数帧(例如30帧/秒)的输入影像逐次导入至影像处理装置102,对这些输入影像进行光部分区域的检测处理。在图14的例子中,第1输入影像511内存在穿着明亮颜色(例如白色)的裤子和鞋子的人的腿脚,提取到包含该人的腿脚的边缘512。
另一方面,第2输入影像521内局部性地存在例如照明设备的光、日光等,提取到包含该光部分的边缘522。
[0136] 当提取到输入影像的边缘时,特定边缘提取部105对背景边缘存储部104中存储的背景影像的边缘与该输入影像的边缘进行比较,由此提取同时存在于两影像中的残留边缘作为光部分区域的判定所需的特定边缘(步骤S406)。
[0137] 对于图14所示的第1输入影像511,由于人的腿脚挡住了背景,因此获得局部性地中断的残留边缘513。此外,通常而言,存在于光下的背景不会消失,因此,对于第2输入影像521,获得包含背景和光部分的残留边缘523。
[0138] 另一方面,候选区域提取部106例如使用背景差分法等公知的方法从输入影像中提取光部分候选区域(步骤S407)。在图14的例子中,第1输入影像511中提取人的腿脚作为光部分候选区域514,第2输入影像521中提取映入有光的部分作为光部分候选区域524。
[0139] 检测对象区域判定部107根据由特定边缘提取部105提取到的残留边缘在由候选区域提取部106提取到的光部分候选区域中判定光部分区域(步骤S408)。在该情况下,区域内部充分含有残留边缘的候选区域会被判定为光部分区域。在图14的例子中,从第1输入影像511获得的光部分候选区域514内没有残留边缘,从第2输入影像521获得的光部分候选区域524内含有残留边缘。因而,从第2输入影像521获得的光部分候选区域524被提取为光部分区域525。
[0140] 参考图15及图16,对光部分区域的判定处理进行详细说明。
[0141] 图15为用以说明背景/输入影像与边缘区域的关系的图。与图4一样,背景影像中,以纵轴来分类有边缘的区域与没有边缘的区域,输入影像中,以横轴来分类有边缘的区域与没有边缘的区域。但是,此处是以光部分区域而非影子区域为检测对象区域。图16为用以说明各种边缘的具体例,展示了作为背景的房间内混存有腿脚和光的状态。
[0142] 图15中,(a)栏表示同时存在于背景影像和输入影像中的边缘(残留边缘)。在图16的例子中,光下能看见的背景的部分(e11)、未被前景挡住的背景的各部分(e12)相当于残留边缘。此处所说的“前景”是指覆盖在背景影像上的输入影像。
[0143] (b)栏表示背景影像中以边缘的形式存在但被前景覆盖的部分(消失边缘)。在图16的例子中,前景将背景挡住的部分(e13)相当于消失边缘。
[0144] (c)栏是背景影像中不存在边缘但输入影像中出现了边缘的部分(追加边缘)。在图16的例子中,前景的轮廓以外的边缘(e14)、前景的轮廓(e15)、光部分的轮廓(e16)相当于追加边缘。
[0145] (d)栏表示背景影像中、输入影像中都不存在边缘的区域。在图16的例子中,前景的内部(e17)、背景的内部(e18)、光部分的内部(e19)相当于无边缘区域。
[0146] 此处,提取比作为背景的房间亮的区域作为光候选区域。在该光候选区域中,判定内部缺乏残留边缘的区域不是光部分、判定内部有足够的残留边缘的区域为光部分即可。
[0147] 残留边缘的足够与否的判定与上述第1实施方式相同,例如针对预先设定的阈值TH,在残留边缘的像素数E为“E≥TH”的情况下,判定为残留边缘足够多的区域,否则判定为残留边缘极少的区域即可。再者,也可在将检测对象设为影子的情况下和设为光的情况下改变上述阈值TH。
[0148] 如此,根据第4实施方式,在将映入有光的区域作为检测对象区域的情况下,与上述第1实施方式一样,也可以通过提取同时存在于背景影像和输入影像中的残留边缘来检测影像中包含的光部分区域。因而,例如若是利用拍摄影像来检测人物的系统,例如即便检测范围内存在照明设备的光、日光,也能将它们排除而仅将人物准确地检测出来。
[0149] 再者,在第4实施方式中,也可以采用与上述第1实施方式组合来检测影子和光两方的构成。
[0150] (第5实施方式)
[0151] 接着,对第5实施方式进行说明。
[0152] 在上述第4实施方式中,是着眼于同时存在于背景影像和输入影像中的残留边缘来判定光部分区域,而在第5实施方式中,除了残留边缘以外,还考虑消失边缘和追加边缘来判定光部分区域。
[0153] 再者,装置构成与上述第2实施方式中的图6的构成基本相同,因此省略图示。但在图6的构成中,检测对象区域不是影子区域而是光部分区域。候选区域提取部106提取该光部分区域的候选。此外,特定边缘提取部105中,除了残留边缘提取部105a以外,还设置有消失边缘提取部105b和追加边缘提取部105c。消失边缘提取部105b提取存在于背景影像中但不存在于输入影像中的消失边缘。追加边缘提取部105c提取不存在于背景影像中但存在于输入影像中的追加边缘。特定边缘提取部105对从背景影像中提取到的边缘与从输入影像中提取到的边缘进行比较,提取上述3种边缘(残留边缘、消失边缘、追加边缘)作为光部分区域的判定所需的特定边缘。
[0154] 检测对象区域判定部107根据由特定边缘提取部105提取到的上述3种边缘从由候选区域提取部106提取到的候选区域中判定光部分区域。
[0155] 接着,对第5实施方式的动作进行说明。
[0156] 图17为表示第5实施方式中的由影像处理装置102执行的光部分区域检测处理的流程图。再者,步骤S501~S505的处理与图13的步骤S401~S405的处理相同,因此省略其说明。
[0157] 当提取到输入影像的边缘时,特定边缘提取部105对背景边缘存储部104中存储的背景影像的边缘与该输入影像的边缘进行比较,由此提取残留边缘、消失边缘、追加边缘作为光部分区域的判定所需的特定边缘(步骤S506)。
[0158] 残留边缘是同时存在于背景影像和输入影像中的边缘(参考图15的(a)、图16的e11、e12)。消失边缘是背景影像中存在但被输入影像的前景覆盖而消失的边缘(参考图15的(b)、图16的e13)。追加边缘是背景影像中不存在但输入影像中出现的边缘(参考图15的(c)、图16的e14、e15、e16)。
[0159] 另一方面,候选区域提取部106例如使用背景差分法等公知的方法从输入影像中提取光部分区域的候选(光部分候选区域)(步骤S507)。检测对象区域判定部107根据由特定边缘提取部105提取到的上述3种边缘,在由候选区域提取部106提取到的光部分候选区域中判定光部分区域(步骤S508)。在该情况下,判定方法根据边缘的种类而不同。
[0160] 即,如图18所示,对于残留边缘而言,是将光部分候选区域的内部充分含有残留边缘的区域判定为光部分区域。对于消失边缘而言,是将光部分候选区域的内部未充分含有消失边缘的区域判定为光部分区域。对于追加边缘而言,是将光部分候选区域的内部未充分含有追加边缘的区域判定为光部分区域。反过来,判定光部分候选区域的内部未充分含有残留边缘的区域、充分含有消失边缘的区域、充分含有追加边缘的区域为前景而非光部分区域。
[0161] 边缘的足够与否的判定与上述第2实施方式相同,例如使用针对各种边缘中的每一种预先设定的阈值TH1、TH2、TH3。再者,也可在将检测对象设为影子的情况下和设为光的情况下改变上述阈值TH1、TH2、TH3。
[0162] 此处,根据拍摄环境等的不同,上述3种边缘未必全部都会被提取到,因此,使用上述3种边缘中的至少1种来判定光部分区域即可。在该情况下,可仅使用1种/2种明显多于或少于其他边缘的边缘。
[0163] 再者,在图18的组合中,将“残留边缘较多、消失边缘较少”判定为光部分,将“残留边缘较少、消失边缘较多”判定为前景(不是光部分)。在这之外的情况下,也就是说,例如在“残留边缘较多、消失边缘较多”或者“残留边缘较少、消失边缘较少”的情况下,可判定为光部分,也可判定为前景。但是,考虑到将“前景(人)”误判定为光部分而例如将门关闭这一情况,优选判定为“前景”。
[0164] 此处,追加边缘在前景的轮廓、光部分的轮廓中都存在。因此,追加边缘当中处于候选区域的轮廓近旁的追加边缘不用于是否为光部分的判定,将候选区域的内部有足够多的追加边缘的区域判定为不是光部分(前景)。
[0165] (变形例)
[0166] 图19为用以说明第5实施方式的变形例的背景影像和输入影像的概念图,设想了2个光重叠的环境。现在,设定背景影像601中例如因房间内设置的照明设备等而预先存在光a的部分。从该背景影像601中提取到的边缘602包含对应于光a的边缘。
[0167] 此处,在输入影像611中,例如当因外部的照明设备、车辆的前灯等而使得新的光b重叠至光a时,获得将光a和光b作为1个光部分的边缘612。在该情况下,背景的光a与输入的光b因出现于相同地板区域,因此亮度值大致相同,其交界不会产生边缘(亮度差)。光a与光b的交界部分的边缘消失,获得图示那样的残留边缘613。此外,在从输入影像611获得的光部分候选区域614内,在光a与光b的交界部分包含消失边缘。
[0168] 在图18的判定条件下,消失边缘较多的区域会被判定为前景(不是光部分)。因此,在像图19的例子那样输入影像611的光b的轮廓出现消失边缘的情况下,误判定为前景的可能性升高。因此,与图8中说明过的影子重叠的情况一样,对于消失边缘而言,通过将光部分候选区域的“不包括轮廓的内部”作为对象,能够防止将光b误判定为前景(不是光部分)这一情况。
[0169] 如此,根据第5实施方式,通过在考虑残留边缘之外还考虑消失边缘、追加边缘,即便在例如背景的边缘在光下消失、仅靠残留边缘无法进行判定这样的情况下,也能使用消失边缘或追加边缘来判定光部分区域。
[0170] 再者,在第5实施方式中,也可以采用与上述第2实施方式组合来检测影子和光两方的构成。
[0171] (第6实施方式)
[0172] 接着,对第6实施方式进行说明。
[0173] 在第6实施方式中,在光部分候选区域中分割亮度分布类似的接近区域,将它们提取为光部分候选区域。
[0174] 再者,装置构成与上述第3实施方式中的图10的构成基本相同,因此省略图示。但在图10的构成中,检测对象区域不是影子区域而是光部分区域。候选区域提取部106提取该光部分区域的候选。此外,均匀区域分割部108在由候选区域提取部106提取到的光部分候选区域中分割亮度分布类似的接近区域。
[0175] 检测对象区域判定部107根据由特定边缘提取部105提取到的残留边缘在由均匀区域分割部108分割出的各候选区域中判定光部分区域。
[0176] 接着,对第6实施方式的动作进行说明。
[0177] 图20为表示第6实施方式中的由影像处理装置102执行的光部分区域检测处理的流程图。再者,步骤S601~S607的处理与图13的步骤S401~S407的处理相同,因此省略其说明。
[0178] 在第6实施方式中,当通过候选区域提取部106获得光部分候选区域时,通过均匀区域分割部108在光部分候选区域中单独提取亮度分布类似的接近区域作为1个光部分候选区域(步骤S608)。
[0179] 图21表示具体例。
[0180] 现在,设定针对像图21的(a)所示那样人的腿脚与光的射入连在一起的输入影像701而提取到该图(b)所示的那样的光部分候选区域702。在该例中,设想的是人的腿脚(裤子和鞋子)呈明亮颜色(例如白色)、且此处射入有例如外部的照明设备的光的状态。在这种情况下,人的腿脚和光的射入部分被提取为1个光部分候选区域702。
[0181] 此处,若利用亮度分布类似的区域来分割光部分候选区域702,则像该图(c)所示那样获得3个区域703a、703b、703c作为光部分候选区域703。区域703a对应于裤子,区域703b对应于鞋子。区域703c对应于光部分,具有残留边缘。
[0182] 检测对象区域判定部107在由均匀区域分割部108获得的各候选区域中判定光部分区域(步骤S609)。在该情况下,像上述第4实施方式中说明过的那样,区域内部充分含有残留边缘的候选会被判定为光部分区域。
[0183] 在图21的(c)的例子中,区域703a、703b内没有残留边缘,区域703c内部含有残留边缘。因而,如该图(d)所示,区域703c最终被提取为光部分区域704。
[0184] 如此,根据第6实施方式,在拍摄影像中人的区域与光部分的区域连在一起的情况下,不是在这整个区域内判定是否为光部分,而是在分割为亮度分布类似的区域之后各自进行判定,由此,能够仅将光部分的区域准确地检测出来。
[0185] 再者,在上述步骤S609的判定处理中,通过像上述第5实施方式那样不仅使用残留边缘还使用消失边缘和追加边缘,能够更准确地判定光部分区域。
[0186] 此外,在第6实施方式中,也可以采用与上述第3实施方式组合来检测影子和光两方的构成。
[0187] (应用例)
[0188] 接着,对将本发明的影像检测系统运用于电梯的情况进行说明。
[0189] 图22为表示电梯的乘坐检测系统的构成的图。再者,此处以1台轿厢为例进行说明,但多台轿厢也是同样的构成。
[0190] 在轿厢11的出入口上部设置有相当于本系统的摄像装置101的摄像机12。具体而言,以将摄像机12的镜头部分朝向候梯厅15侧的方式设置在覆盖轿厢11的出入口上部的门楣板11a中。
[0191] 摄像机12例如为车载摄像机等小型的监视用摄像机。摄像机12具有广角镜头,能够连续拍摄1秒钟数帧(例如30帧/秒)的影像。在轿厢11到达各楼层而开门时,以包括轿厢11内的
轿厢门13附近的状态在内的方式拍摄候梯厅15的状态。
[0192] 此时的拍摄范围调整为L1+L2(L1>>L2)。L1为候梯厅侧的拍摄范围,从轿厢门13朝向候梯厅15例如为3m。L2为轿厢侧的拍摄范围,从轿厢门13朝向轿厢背面例如为50cm。再者,L1、L2为纵深方向的范围,宽度方向(与纵深方向
正交的方向)的范围至少比轿厢11的横宽大。
[0193] 再者,在各楼层的候梯厅15内,在轿厢11的到达口开闭自如地设置有候梯
厅门14。候梯厅门14在轿厢11到达时卡合至轿厢门13来进行开闭动作。动
力源(门
马达)处于轿厢11侧,候梯厅门14只是跟随轿厢门13进行开闭。在以下的说明中,设定轿厢门13打开时候梯厅门14也打开、轿厢门13关闭时候梯厅门14也关闭。
[0194] 由摄像机12拍摄到的各影像(画面)由相当于本系统的影像处理装置102的影像处理装置20实时地加以解析处理。再者,图22中,为方便起见,是将影像处理装置20从轿厢11中取出来加以展示的,但实际上影像处理装置20与摄像机12一起收纳在门楣板11a中。
[0195] 此处,影像处理装置20中配备有存储部21和使用者检测部22。存储部21具有用以逐次保存由摄像机12拍摄到的影像、而且暂时保持使用者检测部22的处理所需的数据的缓冲区。
[0196] 使用者检测部22着眼于由摄像机12拍摄到的在时间序列上连续的多张影像当中离轿厢门13最近的人、物的运动来检测有无有乘坐意愿的使用者。该使用者检测部22若在功能上加以划分,则由
运动检测部22a、位置推断部22b及乘坐意愿推断部22c构成。
[0197] 运动检测部22a以区
块单位来比较各影像的亮度而检测人、物的运动。此处所说的“人、物的运动”是指候梯厅15的人物、
轮椅等移动体的运动。
[0198] 位置推断部22b从由运动检测部22a针对各影像中的每一影像检测到的有运动的区块中提取离轿厢门13最近的区块,将该区块的距轿厢门13的中心(门横宽的中心)的候梯厅方向的坐标位置(图5所示的Y坐标)推断为使用者的位置(脚部位置)。乘坐意愿推断部22c根据由位置推断部22b推断出的位置的时间序列变化来判定该使用者有无乘坐意愿。
[0199] 再者,这些功能(运动检测部22a、位置推断部22b、乘坐意愿推断部22c)可设置在摄像机12中,也可设置在轿厢控制装置30中。
[0200] 轿厢控制装置30连接于未图示的电梯控制装置,与该电梯控制装置之间收发候梯厅呼梯、轿厢召唤等各种
信号。
[0201] 所谓“候梯厅呼梯”,是指通过各楼层的候梯厅15内设置的未图示的候梯厅呼梯按钮的操作加以登记的
呼叫信号,包含登记楼层和目的地方向的信息。所谓“轿厢召唤”,是指通过轿厢11的厢室内设置的未图示的目的地呼叫按钮的操作加以登记的呼叫信号,包含目的地楼层的信息。
[0202] 此外,轿厢控制装置30具备门开闭控制部31。门开闭控制部31对轿厢11到达候梯厅15时的轿厢门13的门开闭进行控制。详细而言,在轿厢11已到达候梯厅15时,门开闭控制部31打开轿厢门13,并在经过规定时间后关门。但是,在轿厢门13处于打开状态时由影像处理装置20的使用者检测部22检测到有乘坐意愿的人物的情况下,门开闭控制部31会禁止轿厢门13的关门动作而维持打开状态。
[0203] 图23为表示由摄像机12拍摄到的影像的一例的图。图中的E0表示位置推断区域,yn表示检测到使用者的脚部位置的Y坐标。
[0204] 摄像机12设置在轿厢11的出入口上部。因而,在轿厢11于候梯厅15开门时,拍摄候梯厅侧的规定范围(L1)和轿厢内的规定范围(L2)。此处,若利用摄像机12,则检测范围扩大,位于离轿厢11略远的位置的使用者也能检测出来。
[0205] 但另一方面,有可能会误检测只是通过候梯厅15的人物(不乘坐轿厢11的人物)而打开轿厢门13。因此,将由摄像机12拍摄到的影像划分为一定尺寸的区块,检测有人、物的运动的区块并追踪该有运动的区块,由此判定是否为有乘坐意愿的使用者。
[0206] 在这种构成中,若对影像处理装置20设置好本系统的影像处理装置102的各功能并通过上述各实施方式中说明过的方法从摄像机12的拍摄影像中判定影子的区域或者光部分的区域,则能够仅将有乘坐意愿的使用者准确地检测出来而反映到门的开闭控制中。
[0207] 再者,本发明的影像检测系统不限于上述的电梯的门的开闭控制,例如对于大厦的自动门的开闭控制也能以与上述相同的方式地加以运用。此外,不限于门的开闭控制,可以运用于检测影子或光部分来进行某种控制的所有系统。
[0208] 根据以上叙述过的至少1种实施方式,可以提供一种能够准确地检测拍摄影像中映入的影子或光的影像检测系统。
[0209] 再者,虽然对本发明的若干实施方式进行了说明,但这些实施方式是作为例子提出的,并非意欲限定发明的范围。这些新颖的实施方式能以其他各种形态加以实施,可以在不脱离发明的主旨的范围内进行各种省略、替换、变更。这些实施方式及其变形包含在发明的范围和主旨内,而且包含在
权利要求书中记载的发明及其均等的范围内。