一种具有文本日志的双摄像头视频监控方法、系统和监控
装置
技术领域
[0001] 本
发明涉及监控领域，特别是涉及一种具有文本日志的双摄像头视频监控方法及系统。
背景技术
[0002] 传统视频
监控系统利用单摄像头仅记录视频信息，不能立即识别监控画面中出现的物体和物体所在
位置，只能靠人工实时监测或者事后调阅监控录像的手段进行监控现场实时预警或者事后分析，并且传统的视频监控系统每天都会产生大量的视频信息，需要大量的人员坐在视频前认真仔细地盯着视频，需要投入大量人
力；随着监控摄像头数量的急剧增加，这种人工实时监测与事后调阅监控录像方式所需的人工工作同步增加；同时面对成千上万的摄像头所采集的视频，现行的监控技术智能化程度低，缺乏对监控区域内危险信息的智能预警。另外，由于监控录像占用大量的存储空间，为减少录像存储所带来的开销，一般仅保存
指定期限内的监控录像，其余录像将被最新录像所
覆盖，使得曾经记录的大量监控信息丢失。
发明内容
[0003] 本发明的目的是提供一种具有文本日志的双摄像头视频监控方法及系统，能够在监测区域内快速识别物体，并生成有关物体信息存储空间小的文本日志，能够根据输入的关键字调出相应的视频图像，并且有效解决了不能实时报警以及大量数据丢失的问题。
[0004] 为实现上述目的，本发明提供了如下方案：
[0005] 一种具有文本日志的双摄像头视频监控方法，具体包括：
[0007] 利用所述深度学习框架识别第一物体的类别信息；
[0008] 根据所述类别信息在视频监控区内的时间以及第一物体的视点距离形成文本日志；所述第一物体的视点距离表示所述第一物体到左摄像头和右摄像头中心点的距离；
[0010] 可选的，所述构建深度学习框架之前，还包括：
[0011] 获取摄像头采集的视频图像；所述摄像头分为左摄像头和右摄像头，获取其中一个摄像头所采集的视频图像即可；
[0012] 建立动态背景图库；
[0013] 利用所述视频图像与所述动态背景图库做差分处理，得到差分结果；
[0014] 判断所述差分结果是否超过预设
阈值，得到第一判断结果；
[0015] 若所述第一判断结果为所述差分结果超过所述预设阈值，则将超出所述预设阈值的部分作为第一前景图像，其余部分作为第一背景图像更新到所述动态背景图库中。
[0016] 可选的，所述利用所述视频图像与所述动态背景图库做差分处理，得到差分结果之前，还包括：
[0017] 获取左摄像头采集的第一视频图像；
[0018] 获取右摄像头采集的第二视频图像；所述左摄像头和所述右摄像头的光轴平行；
[0019] 将所述第一视频图像分离成第一前景图像和第一背景图像；
[0020] 将所述第二视频图像分离成第二前景图像和第二背景图像；
[0021] 利用所述第一前景图像和所述第二前景图像共同视点之间的
视差建立三维点
云模型；
[0022] 根据所述三维点云模型计算出所述共同视点到所述左摄像头和所述右摄像头中心点之间的第一物体的视点距离；
[0023] 判断所述第一物体的视点距离是否在预设范围内，得到第二判断结果；
[0024] 若所述第二判断结果表示为所述视点距离在预设范围内，则向报警器发送一个报警信息，使得所述报警器报警。
[0025] 可选的，所述根据所述三维点云模型计算出所述共同视点到所述左摄像头和所述右摄像头中心点之间的第一物体的视点距离之后，还包括：
[0026] 获取第二物体的视点距离；
[0027] 根据所述第一物体的视点距离和所述第二物体的视点距离利用三
角测量法计算出所述第一物体和所述第二物体之间的物体距离；
[0028] 判断所述物体距离是否在预设距离内，得到第三判断结果；
[0029] 若所述第三判断结果表示为所述物体距离在所述预设距离内，则向控制器报警。
[0030] 一种具有文本日志的双摄像头视频监控系统，包括：
[0031] 深度学习框架构建模
块，用于构建深度学习框架；
[0032] 识别模块，用于利用所述深度学习框架识别第一物体的类别信息。
[0033] 文本日志生成模块，用于根据所述类别信息在视频监控区内的时间以及第一物体的视点距离形成文本日志；所述第一物体的视点距离表示所述第一物体到左摄像头和右摄像头中心点的距离；
[0034] 文本日志保存模块，用于将所述文本日志保存在所述控制器内。
[0035] 可选的，还包括：所述视频图像获取模块，用于在所述构建深度学习框架之前，获取摄像头采集的视频图像；所述摄像头分为左摄像头和右摄像头，获取其中一个摄像头所采集的视频图像即可；
[0036] 动态背景图库建立模块，用于建立动态背景图库；
[0037] 差分处理模块，用于利用所述视频图像与所述动态背景图库做差分处理，得到差分结果；
[0038] 第一判断模块，用于判断所述差分结果是否超过预设阈值，得到第一判断结果；
[0039] 动态背景图库更新模块，用于若所述第一判断结果为所述差分结果超过所述预设阈值，则将超出所述预设阈值的部分作为第一前景图像，其余部分作为第一背景图像更新到所述动态背景图库中。
[0040] 可选的，还包括：第一视频获取模块，用于利用所述视频图像与所述动态背景图库做差分处理，得到差分结果之前获取左摄像头采集的第一视频图像；
[0041] 第二视频获取模块，用于获取右摄像头采集的第二视频图像；所述左摄像头和所述右摄像头的光轴平行；
[0042] 第一分离模块，用于将所述第一视频图像分离成第一前景图像和第一背景图像；
[0043] 第二分离模块，用于将所述第二视频图像分离成第二前景图像和第二背景图像；
[0044] 三维点云模型建立模块，用于利用所述第一前景图像和所述第二前景图像共同视点之间的视差建立三维点云模型；
[0045] 第一物体的视点距离计算模块，用于根据所述三维点云模型计算出所述共同视点到所述左摄像头和所述右摄像头中心点之间的第一物体的视点距离；
[0046] 第二判断模块，用于判断所述第一物体的视点距离是否在预设范围内，得到第二判断结果；
[0047] 第一报警模块，用于若所述第二判断结果表示为所述视点距离在预设范围内，则向报警器发送一个报警信息，使得所述报警器报警。
[0048] 可选的，还包括：第二物体的视点距离获取模块，用于所述第一物体的视点距离计算模块根据所述三维点云模型计算出所述共同视点到所述左摄像头和所述右摄像头中心点之间的第一物体的视点距离之后，获取第二物体的视点距离；
[0049] 物体距离模块，用于根据所述第一物体的视点距离和所述第二物体的视点距离利用三角测量法计算出所述第一物体和所述第二物体之间的物体距离；
[0050] 第三判断模块，用于判断所述物体距离是否在预设距离内，得到第二判断结果；
[0051] 第三报警模块，用于若所述第二判断结果表示为所述物体距离在所述预设距离内，则向控制器报警。
[0052] 一种具有文本日志的双摄像头视频监控装置，其特征在于，包括：左摄像头、右摄像头、开发板、
单片机、后台
服务器、报警器；
[0053] 所述左摄像头和所述右摄像头的光轴平行于同一
水平面上；
[0054] 所述开发板与所述左摄像头有线连接；
[0055] 所述开发板与所述右摄像头有线连接；所述开发板用于对所述左摄像头和所述右摄像头采集的图像进行预处理；
[0056] 所述开发板与所述单片机有线连接；
[0057] 所述开发板与所述后台服务器通过无线网络连接；
[0058] 所述单片机与所述报警器电连接。
[0059] 根据本发明提供的具体
实施例，本发明公开了以下技术效果：能够根据生成的文本日志进行视频图像的跳转与监控，不需要大量人员坐在视频前分析视频，也能够对监控区域进行实时监测，大大减少了人力资源的浪费，同时提高了检索效率。
附图说明
[0060] 为了更清楚地说明本发明实施例或
现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图计算出其他的附图。
[0061] 图1为本发明实施例具有文本日志的双摄像头视频监控方法
流程图；
[0062] 图2为本发明实施例具有文本日志的双摄像头视频监控方法装置的结构图。
具体实施方式
[0063] 下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所计算出的所有其他实施例，都属于本发明保护的范围。
[0064] 本发明的目的是提供一种具有文本日志的双摄像头视频监控方法及系统，无需大量人员在屏幕前进行监测就能够实时报警，并生成日志文本，占用空间小，不会出现存储视频占存储空间过大，导致覆盖原来视频的问题，方便实时调用查看。
[0065] 为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。
[0066] 图1为本发明实施例具有文本日志的双摄像头视频监控方法流程图，如图 1所示，一种具有文本日志的双摄像头视频监控方法，包括：
[0067] 步骤101：构建深度学习框架；
[0068] 步骤102：利用所述深度学习框架识别第一物体的类别信息；
[0069] 步骤103：根据所述类别信息在视频监控区内的时间以及第一物体的视点距离形成文本日志；所述第一物体的视点距离表示所述第一物体到左摄像头和右摄像头中心点的距离；其中，所生成的文本日志包含有摄像头编号、精确到秒的录像时间、物体名称、与摄像头的距离等文本日志信息，作为监控录像的标注信息；
[0070] 步骤104：将所述文本日志保存在所述控制器内。
[0071] 本发明利用文本格式的日志，在对监控录像进行检索时跳过无关部分，重点查看相关部分，提高检索效率，能够辅助实现特定物体
跟踪；例如：输入小
汽车，经过对文本日志的搜索即可在短时间内
定位到出现有小汽车的相关视频图像。并且利用文本格式日志占用存储空间少的特点，通过对文本格式日志的长期保存，实现对监控区域所发生事件的回朔。
[0072] 在实际应用中，所述将所述第一视频图像分离成第一前景图像和第一背景图像，具体包括：
[0073] 建立动态背景图库；
[0074] 利用所述第一视频图像与所述动态背景图库做差分处理，得到差分结果；
[0075] 判断所述差分结果是否超过所述预设阈值，若是，则将超出所述预设阈值的部分作为第一前景图像，其余部分作为第一背景图像更新到所述动态背景图库中。
[0076] 本发明利用左右摄像头中任意一个所采集视频的
帧间图像差异，分离出图像中前景与背景，提高画面中物体的识别率。
[0077] 在实际应用中，所述利用所述视频图像与所述动态背景图库做差分处理，得到差分结果之前，还包括：
[0078] 获取左摄像头采集的第一视频图像；
[0079] 获取右摄像头采集的第二视频图像；所述左摄像头和所述右摄像头的光轴平行；
[0080] 将所述第一视频图像分离成第一前景图像和第一背景图像；
[0081] 将所述第二视频图像分离成第二前景图像和第二背景图像；
[0082] 利用所述第一前景图像和所述第二前景图像共同视点之间的视差建立三维点云模型；
[0083] 根据所述三维点云模型计算出所述共同视点到所述左摄像头和所述右摄像头中心点之间的第一物体的视点距离；
[0084] 判断所述第一物体的视点距离是否在预设范围内，得到第二判断结果；
[0085] 若所述第二判断结果表示为所述视点距离在预设范围内，则向报警器发送一个报警信息，使得所述报警器报警。
[0086] 采用本发明的具有文本日志的双摄像头视频监控方法能够对监控区域进行实时监控，从而节省了大量的人力资源。
[0087] 在实际应用中，所述根据所述三维点云模型计算出所述共同视点到所述左摄像头和所述右摄像头中心点之间的第一物体的视点距离之后，还包括：
[0088] 获取第二物体的视点距离；
[0089] 根据所述第一物体的视点距离和所述第二物体的视点距离利用三角测量法计算出所述第一物体和所述第二物体之间的物体距离；
[0090] 判断所述物体距离是否在预设距离内，若是，则向控制器报警。
[0091] 当监控画面中的物体(例如：车与车、车与人等)之间发生碰撞时，进行实时报警。
[0092] 本发明将视觉测距、目标跟踪、深度学习、
物体识别、文本日志标注和快速检索等技术在视频监控领域综合应用，通过目标动态跟踪，确定目标所在图像的
像素坐标，结合视觉测距生成的三维点云，
锁定目标物体，并确定其三维坐标，并和深度学习相结合识别出画面中的物体类型和特征，并生成文本日志。当目标物体进入警戒区域，超出预先设定的阈值时，系统便可发出警报，达到实时预警的目的；捕捉到的目标物体的位置信息为后台工作人员的实际操控提供依据；同时监控系统会自动地根据视频中出现的物体进行识别，并将识别后的信息记录到文本日志中，为以后的
信息检索提供便利，并能根据物体间的距离识别出画面中物体间的碰撞等情况。
[0093] 图2为本发明实施例具有文本日志的双摄像头视频监控方法装置的结构图，如图2所示，一种具有文本日志的双摄像头视频监控方法装置，包括：左摄像头201、右摄像头202、开发板203、单片机204、后台服务器205、报警器206；所述左摄像头201和所述右摄像头202的光轴平行于同一水平面上；所述开发板203与所述左摄像头201有线连接；所述开发板203与所述右摄像头202有线连接；所述开发板203用于对所述左摄像头201和所述右摄像头 202采集的图像进行预处理；所述开发板203与所述单片机204有线连接；所述开发板203与所述后台服务器205通过无线网络连接；所述单片机204与所述报警器206电连接。本发明通过数据线
接口的左右摄像头采集双目视频信息，经视频处理开发板203对视频图像进行处理，计算目标物体位置和几何大小信息，并将初次处理后的图片信息传输给后台服务器
205，后台服务器205 根据接收到的图片信息进行再次分析，提取图片中的信息，进行目标物体识别，并将识别后的物体信息保存为文本日志文件。本系统能为自动预警以及后台工作人员采取相应措施提供依据。
[0094] 通过左右摄像头采集双目图像信息，动态设置相似度阈值以便准确提取目标物体，获取目标物体像素坐标，结合已生成的三维点云，计算出目标物体位置和几何大小信息，为
人机交互和智能预警提供依据；并且能快捷智能的识别视频中的物体，生成视频文本日志文件。具体包括如下几个过程：
[0095] 目标物体提取。动态建立背景图库并实时更新，对不同的动态背景赋予不同的阈值，建立背景模型；将当前图像和背景图库中图像作差分，当差分结果超过设定的阈值时，即可确定当前图像和背景图像的差分结果超过阈值部分为前景，其余部分则为背景。图像的背景部分需要更新到背景图库中。
[0096] 双目测距。双目测距主要包含：消除图像畸变与摄像头矫正、图像匹配、重投影等三个步骤。其中，消除图像畸变与摄像头矫正就是获取并校准摄像头的内参数，为重投影做好准备；图像匹配就是寻找左右摄像头在同一时刻不同视场所获取的图像的相同特征；重投影就是将左右图像差分结果通过三角测量法转
化成距离，输出视角图像的三维点云。
[0097] 物体识别。构建深度学习框架，利用ImageNet开源图像库，训练物体识别模型。利用训练好的模型识别前景图像中的物体，给出图像中物体的类别信息。所述类别信息表示人、小轿车、公交车、摩托车、
自行车、狗、花、树等 1000种生活中常见的物体。
[0098] 生成文本日志文件。根据物体识别出的物体类别，物体出现在视频监控区内的时间，摄像头的编号，根据步骤2双目测距得到的距离信息，形成文本日志，并保存在文件中。
[0099] 检索文本日志文件、回看监控录像。根据生成的文本日志文件，可检索指定的场景，回看对应的监控录像信息。
[0100] 将上述内容通过具体的应用场景进一步说明本发明的效果：
[0101] 场景1：视频监控安防领域实时预警。传统的监控方式需要工作人员长时间查看监控视频以达到实时监控的目的，需要大量的人力资源，智能化水平较低。本发明动态建立背景模型并实时更新，通过图像差分运算提取前景图像，利用双目测距与物体识别技术，动态跟踪并定位目标物体，实现实时预警。本发明将传统视频监控中的大量人力资源从实际工作中解脱出来，提高监控系统的智能化水平。
[0102] 场景2：视觉测距。常见的测距方法有激光测距、红外测距、
超声波测距、雷达测距等，本发明所采用的视觉测距与这几种测距方法相比，测量时不需向被测物体发出任何
信号，原理简单、成本低，可在复杂环境下测得目标物体位置。同时，若通过
鼠标选定空间中的特征点，利用勾股定理、正余弦定理等便可计算出特征点间距离及相对位置关系，进一步计算出目标物体的几何大小信息。
[0103] 场景3：物体
边缘检测。常见的图像边缘检测
算法，往往通过分析图像灰度变化的一阶或二阶导数获取物体的轮廓信息，该类型边缘检测算法，不能对复杂场景中目标物体轮廓信息进行有效提取。本发明依据视觉测量生成三维点云的深度信息，通过绘图函数，可绘出不同深度物体的轮廓，实现在多个前景物体中准确提取指定目标物体轮廓。该方法可用于
机器人的自主智能操作及视觉导航等领域。
[0104] 场景4：物体识别。传统的视频监控系统只是简单地采集视频信息，并未对视频信息的内容进行分析。为了能更好的分析视频中的信息，本发明采用了深度学习的方法，将采集到的视频按照每秒1-5帧的
频率提取视频中的帧，然后将采集到的图片输入深度学习模型进行识别，得出画面中物体类别，提高监控系统智能性。
[0105] 场景5：行为与状态识别。在场景4的
基础上，能够实现物体在该场景的行为与状态检测，例如，物体与物体间发生碰撞、短时间内大量的物体聚集等行为与状态。
[0106] 场景6：生成文本日志文件。目前大多数视频监控系统只是起到对监控场景的视频采集与记录作用。如果需要查找视频中的某些线索，不得不对大量的视频录像进行人工识别，费时费力。另外，由于监控录像占用大量的存储空间，为减少录像存储所带来的开销，一般仅保存指定期限内的监控录像，其余录像被最新录像所覆盖，使得曾经所记录的大量监控信息丢失，而文本日志文件占用存储空间少，可长期保存。本发明所提出的给视频录像生成文本日志的方法既有助于根据需求进行查找、搜索和定位，又能通过文本日志文件对监控区域曾经发生的事件进行长期保存。
[0107] 综上，本发明模拟人眼处理景物的方式，部分代替人脑对自然界的事物进行理解和认识，基于双目测距原理生成视角区域的三维点云；基于动态更新的背景图库模型，通过图像差分运算，获取目标物体图像像素坐标；结合视角区域的三维点云信息和目标物体图像像素坐标，实现目标物体的定位；通过深度学习识别视频图像中的物体等其他信息，并将识别后的物体和其他信息以文本日志方式进行记录，方便快速检索视频内容，提升监控系统的智能化。
[0108] 本发明提供一种具有文本日志的双摄像头视频监控方法及系统，还公开了一种具有文本日志的双摄像头视频监控方法装置，能够弥补传统视频监控不能自动识别画面中物体、不能提供目标物体精确位置、不能对出现在视频中的危险情况进行自动判断和报警、不能快速查询与定位特定场景、不能长期保存监控信息等
缺陷，改善其依赖大量人力资源的现状，提高视频监控系统的智能化水平，因此，本发明与现有的视频监控相比，具有以下优点：(1)通过建立的动态背景库模型，经
图像处理，可动态锁定进入监控区域的目标物体，为安防领域的实时预警提供支持。(2)采用双目测距原理，结合目标物体的前景提取，可准确获取目标物体的位置信息，弥补传统视频监控不能提供目标物体精确位置的不足，提高视频监控的智能性。(3)利用深度学习进行物体识别，以文本日志方式自动记录视频中出现的物体信息，并能够识别画面中发生的情况，例如物体间发生碰撞等。(4)以日志文件的形式提供简单高效的存储方式，既加快视频识别和检索的速度，又能通过日志文件的长期保存保留监控场景曾经发生过的事件线索，提高系统的自动化和智能化水平。
[0109] 本
说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的系统而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
[0110] 本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的限制。
