技术领域
[0001] 本
发明涉及智能锁远程视频交互方式,涉及一种基于智能锁的访客和授权人、
人工智能神经网络的机器进行音视频交互,远程控锁,以及利用人工智能
大数据分析处理访客信息获取访客特征并提供决策或者辅助决策信息的方法、系统
背景技术
[0002] 在本发明之前,智能锁的远程视频交互需要智能
门铃,智能锁两个设备,如
申请号201711390970 .7中所述。或者智能锁本身集成视频采集处理系统,如申请号CN201721800421所述。鉴于智能门铃及智能锁等设备的运算能
力、音视频信息处理能力及网络传输能力有限,实时视频交互效果比较差,而且在智能锁或者智能门铃的耗电,安全性等方面都存在问题。本发明的特征在于访客使用手机,PAD(Portable Android Device,
平板电脑)等运算、多媒体处理能力以及网络传输能力强大的移动设备来代替智能门铃或者有摄像头的智能锁进行实时音视频交互,并控制智能锁的方法。其过程在于通过移动设备扫描锁端的二维码,发出远程开锁
请求,服务端收到请求进行鉴权识别,判断是合法设备后,将此请求推送至和此台设备绑定主人帐号的手机,PAD,电脑等终端,进行实时音视频交互,服务端分析处理访客的信息和检索历史数据,判断此访客是否来过,如果来过,提供最近一次来的时间及身份标签(如钟点工,快递员,送餐员,或者其他人)等信息,
服务器将这些辅助信息传递给主人,以帮助主人决策是否开门,以免主人由于时间久远不记得上次的人的面貌或者认不出当前访客而错误开门带来的安全问题,或者应该开门而错误判断不开门而带来的不便。
[0003] 本发明还可以在没有人工干预的情况下,使用人工智能神经网络和访客进行视频交互并决策开锁;还具有活性检测功能,能有效防止使用照片,视频录像,脸模开锁。与现有的
人脸识别的门锁不同在于,现有人脸识别锁是在锁端本地实现人脸识别的
算法,如申请号201811606052.8。但本地的运算能力有限,也没有存储大数据的能力,在不同的外部环境下,算法时好时坏,容易误判,用户体验较差。本发明的特征还在于可以使用服务器端的人工智能算法,服务器端有更强的运算能力,可以执行更复杂的算法;更大的存储空间,可以容纳更多的实验数据来喂养算法,使算法得到持续不断地优化,能够更准确地识别访客。
[0004] 在本发明的
实施例中,锁端无需采集、处理、传输多媒体数据,只需要接收服务器端的执行开锁或者鉴权指令,上报一些锁相关消息,如低电、开门记录等少量数据。使得智能锁端实现简单,处理器使用嵌入式MCU(Microcontroller Unit,微处理单元),网络也可窄带的NBIoT(Narrow Band Internet of Things,窄带
物联网),ZigBee(一种短距离无线通信技术),BLE(Bluetooth Low Energy,低功耗蓝牙),Lora(一种低功耗局域网无线标准)等方式,进而降低锁端成本,增加智能锁的
电池寿命;而且用户也不用额外购买智能门铃设备,提升了用户满意度
发明内容
[0005] 本发明的目的在于使用访客自己的移动设备,与授权人进行远程视频对话。充分利用现代移动通信设备如4G(4th Generation,第四代)、未来的5G(5th Generation,第五代)手机的强大运算能力和多媒体处理能力,以及更快速的网络通信能力,将现场的音视频数据更清晰更快速地传到
云端,再利用越来越成熟的云端人工智能算法,来实时决策或者辅助决策远程开锁。
[0006] 为达到上述的目的,本发明实施例包括智能锁、访客终端、授权终端,本发明服务器。智能锁设有MCU控
制模块,通讯模块,锁控模块;访客终端及授权终端均安装有用户交互模块、移动通讯模块、音视频采集处理模块;本发明服务器包括存储模块,音视频信息分析处理模块,辅助决策模块。
[0007] 优选地,还包括第三方的社交媒体服务器。
[0008] 优选地,还包括第三方的人工智能服务器。
[0009] 还包括以下过程:智能锁绑定第三方社交媒体帐号过程;
若配置为辅助决策模式,则包括辅助决策的远程视频开锁过程;
若配置为智能决策模式,则包括由智能决策的远程视频开锁过程;
若配置为人工决策模式,远程视频开锁过程和现有产品的流程大体一致,不再赘述;
智能锁开锁流程。
[0010] 智能锁绑定第三方社交媒体帐号过程包含以下步骤(上述的本发明服务器简称服务器,以下同):扫描锁上的二维码进入第三方社交媒体授权页面;
服务器获得第三方社交媒体帐号;
服务器获得二维码中的设备ID(Identifier,识别号);
服务器发起授权人的鉴权;
授权人输入管理员密码;
智能锁核对密码正确后,通知服务器鉴权成功;
服务器将授权人的第三方社交媒体帐号和设备ID号绑定,存储在
数据库中;
服务器通知授权终端显示绑定成功。
[0011] 辅助决策模式下的远程视频开锁过程包括以下步骤:访客扫描锁端的二维码发起远程开锁请求;
服务器解析二维码信息提取出设备ID;
服务器核对数据库,检测该设备ID合法性;
服务器在数据库检索和该设备绑定的授权人第三方社交媒体帐号信息;
服务器向授权人的第三方社交媒体帐号提出远程开锁请求;
第三方社交媒体服务器将此请求推送至授权终端;
授权人响应该请求,启动视频通话流程;
服务器及访客终端响应视频通话请求,并建立信令及
媒体流链路,进行视频通话;
服务器解析访客的音视频数据,得到包含访客
生物特征的关键
帧数据,面部特征图;
服务器比对检索数据库,检查该用户是否来过;
服务器将数据库中的该访客最近一次
访问时间,最近一次到访的授权情况,访客标签等信息,生成辅助决策数据;
优选地,服务器通过解析访客的音视频数据,通过分析场地背景图形,得出访客是否在现场;
服务器将包含访客是否在现场的辅助决策数据传递给授权终端;
授权人通过音视频交互以及服务器的辅助决策数据决策是否开锁,并确定或者更新该访客标签;
授权终端将包含访客标签的决策结果传给服务器;
若决策开锁,服务器通知授权人发起鉴权流程;
智能锁检测授权人输入的锁管理员密码是否正确;
鉴权成功后,启动智能锁开锁流程;
服务器生成并保存本次到访记录,包括到访时间,访客标签,是否在现场,授权情况,以及通话的音视频内容等信息;
服务器通知访客终端开锁成功。
[0012] 智能决策模式下的远程视频开锁过程包括以下步骤:访客扫描锁端的二维码发起远程开锁请求;
服务器解析二维码信息提取出设备ID;
服务器核对数据库,检测该设备ID合法性;
服务器向第三方人工智能服务器、访客终端发起启动视频通话请求;
访客终端、第三方人工智能服务器响应视频通话请求,并建立信令及媒体流链路,进行视频通话;
第三方人工智能服务器通过神经元网络算法解析访客音视频数据,进行
活体检测,获取访客身份信息,确定访客标签并传递给服务器;
服务器解析访客的音视频数据,得到包含访客生物特征的关键帧数据,面部特征图;
服务器比对检索数据库,检查该用户是否来过;
服务器将数据库中的该访客最近一次访问时间,最近一次到访的授权情况,访客标签等信息,生成辅助决策数据;
优选地,服务器通过解析访客的音视频数据,通过分析场地背景图形,得出访客是否在现场;
服务器通过第三方人工智能服务器传递过来的访客信息、是否在数据库中存在该访客的历史访问记录、访客标签、是否在现场等信息,根据设定的决策策略决策是否开锁;
若决策开锁,启动智能锁开锁流程;
服务器生成并保存本次到访记录,包括到访时间,访客标签,是否在现场,授权情况,以及通话的音视频内容等信息;
服务器通知访客终端开锁成功。
[0013] 优选地,智能锁开锁流程包含以下步骤:服务器下发一次性的、限时有效的密码;
访客输入该密码;
智能锁验证密码,若正确,执行开锁动作;
智能锁通知服务器开锁成功。
[0014] 在特定的场合下,智能锁开锁流程也可以由服务器直接控制智能锁的控锁模块开锁,无需访客动作
附图说明
[0015] 为了更清楚地说明本发明具体实施方式或
现有技术中的技术方案,下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施方式,对于本领域普通技术人员来讲,在不付出创造性劳动的前
提下,还可以根据这些附图获得其他的附图:
图1为本发明实施例提供的一种智能锁远程视频交互方法的系统示意图;
图2为本发明实施例提供的辅助决策模式下的远程视频开锁流程示意图;
图3为本发明实施例提供的智能决策模式下的远程视频开锁流程示意图;
图4为本发明实施例提供的智能锁绑定第三方社交媒体帐号流程示意图;
图5为本发明实施例提供的智能锁开锁流程示意图。
[0016] 其中系统由下面组件组成:10-云;11-授权终端;12-访客终端;13-智能锁;14-第三方人工智能服务器;15-本发明服务器;16-第三方社交媒体服务器;其中15-本发明服务器又包括:150-存储系统;151-音视频信息分析处理模块;152-人工智能辅助决策系统
具体实施方式
[0017] 下面结合附图并通过具体实施方式来进一步说明本发明的技术方案。
[0018] 以上结合具体实施例描述了本发明的技术原理。这些描述只是为了解释本发明的原理,而不能以任何方式解释为对本发明保护范围的限制。基于此处的解释,本领域的技术人员不需要付出创造性的劳动即可联想到本发明的其它具体实施方式,这些方式都将落入
本发明的保护范围之内。
[0019] 本发明的实施例的系统示意图如图1所示,包括:云10,授权终端11,访客终端12,智能锁13,第三方人工智能服务器14,本发明服务器15,第三方社交媒体服务器16组成。
[0020] 本发明服务器15(下面简称服务器15),主要包括:存储系统150,音视频信息分析处理模块151,人工智能决策系统152。
[0021] 所述的智能锁13绑定第三方社交媒体服务器16帐号过程,如图4所示:扫描智能锁13上的二维码进入第三方社交媒体服务器16的授权页面;
服务器15获得第三方社交媒体服务器16帐号;
服务器15获得二维码中的设备ID;
服务器15发起授权终端11的鉴权;
授权终端11输入智能锁13的管理员密码;
智能锁13核对密码正确后,通知服务器15鉴权成功;
服务器15将授权人的第三方社交媒体服务器16帐号和设备ID号绑定,存储在存储系统
150中;
服务器15通知授权终端11显示绑定成功。
[0022] 所述的辅助决策模式下的远程视频开锁过程如图2所示:访客终端12扫描智能锁13的二维码发起远程开锁请求;
服务器15解析二维码信息提取出智能锁13设备ID;
服务器15核对存储系统150,检测该设备ID合法性;
服务器15在存储系统150中检索和该智能锁13设备绑定的授权人第三方社交媒体服务器16帐号信息;
服务器15向授权终端11的第三方社交媒体服务器16帐号提出远程开锁请求;
第三方社交媒体服务器16将此请求推送至授权终端11;
授权终端11响应该请求,启动视频通话流程;
服务器15及访客终端12响应视频通话请求,并建立信令及媒体流链路,进行视频通话;
音视频信息分析处理模块151解析访客的音视频数据,得到包含访客生物特征的关键帧数据,面部特征图;
人工智能决策系统152比对检索存储系统150,检查该访客是否来过;
人工智能决策系统152将存储系统150中的该访客最近一次访问时间,最近一次到访的授权情况,访客标签等信息,生成辅助决策数据;
优选地,音视频信息分析处理模块151通过解析访客的音视频数据,通过分析场地背景图形,得出访客是否在现场;
人工智能决策系统152将包含访客是否在现场的辅助决策数据传递给授权终端11;
授权终端11通过音视频交互以及人工智能决策系统152的辅助决策数据决策是否开锁,并确定或者更新该访客标签;
授权终端11将包含访客标签的决策结果传给服务器15;
若决策开锁,人工智能决策系统152通知授权终端11发起鉴权流程;
智能锁13检测授权人输入的锁管理员密码是否正确;
鉴权成功后,启动智能锁13开锁流程,如图5所示;
人工智能决策系统152生成并保存本次到访记录,包括到访时间,访客标签,是否在现场,授权情况,以及通话的音视频内容等信息;
服务器15通知访客终端12开锁成功。
[0023] 所述的智能决策模式下的远程视频开锁过程如图3所示:访客终端12扫描智能锁13端的二维码发起远程开锁请求;
服务器15解析二维码信息提取出智能锁13设备ID;
服务器15核对存储系统150,检测该设备ID合法性;
服务器15向第三方人工智能服务器14、访客终端12发起启动视频通话请求;
访客终端12、第三方人工智能服务器14响应视频通话请求,并建立信令及媒体流链路,进行视频通话;
第三方人工智能服务器14通过神经元网络算法解析访客音视频数据,进行活体检测,和访客对话,获取访客身份信息,确定访客标签并传递给人工智能辅助决策系统152;
第三方人工智能服务器14解析访客的音视频数据,得到包含访客生物特征的关键帧数据,面部特征图;
人工智能辅助决策系统152比对根据第三方人工智能服务器14传回的面部特征图,检索存储系统150,检查该用户是否来过;
人工智能辅助决策系统152将数据库中的该访客最近一次访问时间,最近一次到访的授权情况,访客标签等信息,生成辅助决策数据;
优选地,音视频信息分析处理模块151通过解析访客的音视频数据,通过分析场地背景图形,得出访客是否在现场;
人工智能辅助决策系统152通过第三方人工智能服务器14传递过来的访客信息、是否在存储系统150中存在该访客的历史访问记录、访客标签、是否在现场等信息,根据设定的决策策略决策是否开锁;
若决策开锁,启动智能锁13开锁流程;
人工智能辅助决策系统152生成并保存本次到访记录,包括到访时间,访客标签,是否在现场,授权情况,以及通话的音视频内容等信息;
服务器15通知访客终端12开锁成功。
[0024] 所述的人工决策模式下的远程视频开锁过程和现有产品的流程大体一致,不再赘述。
[0025] 优选地,所述的智能锁13开锁流程如图5所示,包含以下步骤:人工智能辅助决策系统152下发一次性的、限时有效的密码;
访客输入该密码;
智能锁13验证密码,若正确,执行开锁动作;
智能锁13通知人工智能辅助决策系统152开锁成功。
[0026] 在特定的场合下,智能锁13开锁也可以由服务器15直接控制智能锁13的控锁模块开锁,无需访客动作。
[0027] 以上结合具体实施例描述了本发明的技术原理。这些描述只是为了解释本发明的原理,而不能以任何方式解释为对本发明保护范围的限制。基于此处的解释,本领域的技术人员不需要付出创造性的劳动即可联想到本发明的其它具体实施方式,这些方式都将落入
本发明的保护范围之内。