技术领域
[0001] 本
发明通常涉及计算机图像
信号处理领域，更具体而言，涉及一种基于视频流的对象识别装置。
背景技术
[0002]
人脸识别是
计算机视觉信息处理的重要分支，是指基于人的脸部特征信息进行身份识别的一种
生物识别技术。用摄像机或摄像头采集含有人脸的图像或视频流，并自动在图像中检测和
跟踪人脸，进而对检测到的人脸进行脸部的一系列相关技术。人脸识别技术在国家安全、军事安全和公共安全等领域都有着广泛的应用，例如海关出入境管理，持卡人身份验证，
机器人研究，真实感虚拟游戏等场景中。另外，随着信息技术的快速发展，对图像数据的传输和及时回放有了更高要求，在此
基础上，流媒体技术应用而生。流媒体技术是一种新型的网络多媒体技术，它把多媒体
数据压缩技术，数据流调度策略以及网络数据传输控制技术有机地结合起来，使用户可以在下载数据的同时就可以进行观看，大大地缩短了用户的等待延迟，而且节约了网络资源。流媒体图像业务是指终端一边下载一边播放图像数据。其特点是用户无需等待图像内容全部下载完就可以观看，只需要待下载的数据缓存到一定量后就可以播放，然后在播放过程中，新的数据依次缓存到终端，以保持播放的连续性。
[0003] 由于应用领域的需求，将上述技术进行结合继而能够解决对象识别领域中的诸多问题。诸如，身份识别需要快速、准确、灵活。而
现有技术中，由于数据获取、处理和传输的原因，在数据的获取、处理、结果确定中都存在相当多的不足。往往待处理的源数据的获取速度不尽如人意，而且由于图像数据在转换、传输过程中的各种原因，会导致数据不够干净，导致后续识别过程耗时、准确度降低，并且由于更多的计算而导致更多的功率消耗。另外，现有技术中的图像捕获设备，往往固定在
墙壁或者
天花板上，捕获镜头与固定设备之间往往采用固定连接，导致由于固定的单一拍摄
角度，如果对象移动出固定拍摄角度
覆盖的区域，则无法继续跟踪，如果想继续跟踪，必须增加图像捕获设备的数量，并且此时需要进行图像的分割、拼接和衔接，这既带来设备增加和相应的功耗增加，也导致成本的增加。即使图像捕获设备可以相对于固定设备移动，但最多也是其旋
转轴在一个平面的旋转，无法保证进行三维空间的全覆盖式捕获。此外，由于图像捕获设备位于人流量大的场所或者内外环境随时间变化的场所，随着时间的推移，图像捕获
质量会受到影响，而且内外环境对图像捕获设备的寿命也有减少的影响。现有技术中缺乏这方面的成果。
发明内容
[0004] 本发明的目的之一是提供一种基于视频流的对象识别装置。通过该装置，可以在不增加设备的前提下，保证了功耗和成本不增加，保证进行三维空间的全覆盖式捕获，增强了数据的多样性和灵活性，保证了传输质量，可以保持数据获取的连续性，并且节约了时间，为后续人脸识别的效率提高做出了贡献，可以提供识别速度快、准确率高的结果，并且由于较少的计算而导致降低的功率消耗，有效地保护图像捕获设备，放置内部和外部环境随时间的改变而影响其图像捕获质量，从而有效延长了图像捕获设备以及调节设备等部件的寿命。
[0005] 本发明为解决上述技术问题而采取的技术方案为：一种基于视频流的对象识别装置，其特征在于：所述基于视频流的对象识别装置包括前端系统1、后端系统2、
数据库3；其中前端系统1与后端系统2之间，以及后端系统2与数据库3之间通过链路连接；前端系统1包括调节设备B、图像捕获设备C、第一处理设备D和第一收发设备E，其中调节设备B与图像捕获设备C以及第一处理设备D分别耦合，并且第一处理设备D和第一收发设备E耦合；其中后端系统2包括第二收发设备F，识别设备G，存储设备H，第三收发设备I；其中前端系统1中的第一收发设备E通过链路与后端系统2中的第二收发设备F进行信息的收发，而后端系统2中的第三收发设备I通过链路与数据库3进行信息收发。
[0006] 根据本发明的另一个方面，所述链路可以是有线链路或者无线链路中的任一个或两者，无线链路包括Wi-Fi、蓝牙(BT)、
近场通信(NFC)、全球
定位系统(GPS)以及包括LTE、LTE-A、CDMA、WCDMA、UMTS、WiBro、GSM的蜂窝通信中的至少一个形成的链路；有线链路包括通用
串行总线(USB)、高清晰度多媒体
接口(HDMI)、RS-232和POTS中的至少一个形成的链路。
[0007] 根据本发明的另一个方面，前端系统1进一步包括固定设备A，其中固定设备A与调节设备B耦合；以及调节设备B包括顺序连接的连接构件和可旋转电动构件，其中连接构件和可旋转电动构件的数量为M和M-1，其中M是不小于4的正整数；以及可旋转电动构件各自包括N个可以相互运动的机械式连接的子构件，其中N是不小于2的正整数。
[0008] 根据本发明的另一个方面，调节设备B包括顺序连接的连接构件B0，可旋转电动构件B1，连接构件B2，可旋转电动构件B3，连接构件B4，可旋转电动构件B5，连接构件B6；其中连接构件起连接
支撑作用，可旋转电动构件起根据
电信号而旋转的作用；并且当可旋转电动构件均通过有线链路接收电信号时，连接构件为中空结构，其内部设置有电气配线，而当可旋转电动构件均通过无线链路接收电信号时，连接构件可以为中空结构或者实心结构，此时可旋转电动构件内部设置有近距离通信模
块和
信号处理模块，其与同样设置有近距离通信模块的第一处理设备通信；其中连接构件B0的连接设置为：如果前端系统1不包括固定设备A时，连接构件B0直接或间
接地连接到第一处理设备；如果前端系统1包括固定设备A时，连接构件B0可以直接或间接地连接到固定设备A和第一处理设备中的任一个或两者；调节设备B中的连接构件B0，可旋转电动构件B1，连接构件B2，可旋转电动构件B3，连接构件B4，可旋转电动构件B5，连接构件B6具体设置为：三个可旋转电动构件为棱柱或者圆柱结构或球形结构或
哑铃型结构，其各自包括两个可以相互运动的子构件BB1和BB2，BB2可以相对于BB1旋转运动；其中可旋转电动构件B1、B3、B5的柱状底面的
中轴线之间相互呈90°，即，这些中轴线中的每一个被彼此垂直地放置，使得三个可旋转电动构件的
旋转轴覆盖所有的三维方向，即X、Y和Z方向，继而使得调节设备可以在空间中以任何角度旋转，进而使得B6连接的图像捕获设备C能够不留死角地捕获整个空间中的图像数据，从而提高捕获数据的多样性、灵活性，提高后续人脸识别的针对性，并且能够减少图像捕获设备的使用数量，降低总功耗和成本。具体地；连接构件可以采用L、S、U、V、乁、螺旋形中的至少一个。
[0009] 根据本发明的另一个方面，前端系统将角度设置信息和在预设时间段内捕获的信息进行处理，并将处理的信息发送给后端系统；后端系统根据接收的处理的信息，确定是否需要再次调整角度，如果确定图像捕获设备C的捕获角度设置得适当，则在后续过程中直接进行图像的捕获；如果确定图像捕获设备C的捕获角度设置得不适当，即需要再次调整捕获角度，则返回调整信息，并在后续过程中调整后进行图像的捕获；前端系统中的第一处理设备接收图像捕获设备以某一速度捕获的图像信息，并将该数据进行编码压缩；数据的编码压缩包括：先将图像数据分割成
片段，之后再分割为子片段，继而对子片段进行预测，其采用以下方式：由邻近的已完成编码的重新建立的
帧为参考帧，执行移动补偿，在完成后用其数值减目前子片段的实际数值，生成差分数据，经过变换后进行数值化，经由
熵编码，将熵编码的数据与预测的方向和移动向量合并成压缩的数据流；前端系统中的第一处理设备将该数据流进行后续打包处理，并将打包处理的数据输入到
缓冲器中；第一收发设备根据传输速度，将缓冲器中的数据通过有线或无线链路传输。
[0010] 根据本发明的另一个方面，后端系统中的第二收发设备接收由第一收发设备发送的图像，并且将其输入到识别设备中；识别设备根据预设的协议，将输入的数据进行解码，获得
图像序列；识别设备对图像序列进行预处理，包括灰度处理、补光、去噪、锐化等处理以降低
干扰信号；识别设备还提取图像序列中的帧的尺寸，建灰度图，色彩空间变换，创建存储分区并初始化操作，对灰度图的条形图进行处理和绘制呈现；对图像中的变化进行判断，当确定前景区域超过第一临界值，则确定有变化，进而进入后续过程，而当确定前景区域未超过第一临界值，则确定无变化，终止该段序列的操作，转而进行下一序列的操作；根据人脸部位的形状描述以及它们之间的距离特性来获得有助于人脸分类的特征分量，包括特征点间的欧氏距离、
曲率和角度；提取面部数据的特征值形成面部特征矩阵，使用神经网络分类方法进行人脸矩形的确定，确定人脸矩形中的眼、眉、鼻、嘴角、下巴，对矩形的灰度图进行旋转和缩放，并提取上述部位的特征。
[0011] 根据本发明的另一个方面，后端系统中的识别设备对图像中的变化进行判断包括：获取邻近的三组图像，对前两个和后两个分别进行差值运算，进而对结果中的序列值取绝对值，判断其数值是否小于第三临界值，如果小于则其值为零，否则为一；执行去噪操作，确定前景的棱角点的坐标，并计算其围成的图形的面积，并用该面积除以获取的图像的整个面积，得到前景区域的比率，当确定前景区域比率未超过第一临界值，则确定无变化，终止该段序列的操作，转而进行下一序列的操作。
[0012] 根据本发明的另一个方面，后端系统将识别出的人脸与数据库中的对象进行比较，并确定结果进一步包括：通过后端系统的第三收发设备I，经由链路向数据库3发送
请求，并将人脸数据与已存储的人脸数据进行比较，并得到数值，如果该数值超过第二临界值，则确定识别对象的身份信息，否则返回感喟结果通知前端。
[0013] 根据本发明的另一个方面，后端系统根据接收的图像数据，确定是否需要又一次调整角度，以便跟踪识别的人脸对应的对象，经确定需要调整后，后端系统通过第二收发模块，向前端系统发送又一次调整角度的反馈信息，前端系统基于此重复开始执行。
附图说明
[0014] 在附图中通过实例的方式而不是通过限制的方式来示出本发明的
实施例，其中相同的附图标记表示相同的元件，其中：
[0015] 根据本发明的示范性实施例，图1图示基于视频流的对象识别装置的示意性
框图。
[0016] 根据本发明的示范性实施例，图2图示基于视频流的对象识别装置执行的
流程图。
[0017] 根据本发明的示范性实施例，图3A和3B图示调节设备的结构功能图。
具体实施方式
[0018] 在下面的描述中，参考附图并以图示的方式示出几个具体的实施例。将理解的是：可设想并且可做出其他实施例而不脱离本公开的范围或精神。因此，以下详细描述不应被认为具有限制意义。
[0019] 根据本发明的示范性实施例，图1图示基于视频流的对象识别装置的示意性框图。其中包括前端系统1、后端系统2、数据库3；前端系统1与后端系统2之间，以及后端系统2与数据库3之间通过链路连接；前端系统1包括调节设备B、图像捕获设备C、第一处理设备D和第一收发设备E，其中调节设备B与图像捕获设备C以及第一处理设备D分别耦合，并且第一处理设备D和第一收发设备耦合；其中后端系统2包括第二收发设备F，识别设备G，存储设备H，第三收发设备I。其中前端系统1中的第一收发设备E通过链路与后端系统2中的第二收发设备F进行信息的收发，而后端系统2中的第三收发设备I通过链路与数据库3进行信息收发。
[0020] 优选地，所述链路可以是有线链路或者无线链路中的任一个或两者，无线链路例如包括Wi-Fi、蓝牙(BT)、近场通信(NFC)、全球定位系统(GPS)和蜂窝通信(例如LTE、LTE-A、CDMA、WCDMA、UMTS、WiBro、GSM等)中的至少一个形成的链路。有线链路例如包括
通用串行总线(USB)、
高清晰度多媒体接口(HDMI)、RS-232和POTS中的至少一个形成的链路。
[0021] 优选地，前端系统1进一步包括固定设备A，其中固定设备A与调节设备B耦合。
[0022] 根据本发明的示范性实施例，图2图示基于视频流的对象识别装置执行的流程图。
[0023] 在步骤S1中，调整图像捕获设备的角度，并将角度调整和设置信息发送给前端系统；
[0024] 在步骤S2中，前端系统将该信息处理后发送给后端系统；
[0025] 在步骤S3中，后端系统确定是否需要再次调整角度；
[0026] 在步骤S4中，经确定是否需要调整后，由图像捕获设备捕获图像数据；
[0027] 在步骤S5中，前端系统将图像数据进行流媒体处理，并且发送给后端系统；
[0028] 在步骤S6中，后端系统接收图像数据并处理，识别其中的人脸；
[0029] 在步骤S7中，后端系统将识别出的人脸与数据库中的对象进行比较，并确定结果。
[0030] 具体地，调节设备B的功能结构图如图3A中所示，其中调节设备B包括顺序连接的连接构件B0，可旋转电动构件B1，连接构件B2，可旋转电动构件B3，连接构件B4，可旋转电动构件B5，连接构件B6。优选地，为了增强灵活性，可以使用更多的连接构件和可旋转电动构件。其中连接构件起连接支撑作用，可旋转电动构件起根据电信号而旋转的作用；并且当可旋转电动构件均通过有线链路接收电信号时，连接构件为中空结构，其内部设置有电气配线，而当可旋转电动构件均通过无线链路接收电信号时，连接构件可以为中空结构或者实心结构，此时可旋转电动构件内部设置有近距离通信模块和信号处理模块，其与同样设置有近距离通信模块的第一处理设备通信。其中连接构件B0的连接设置为：如果前端系统1不包括固定设备A时，连接构件B0直接或间接地连接到第一处理设备；如果前端系统1包括固定设备A时，连接构件B0可以直接或间接地连接到固定设备A和第一处理设备中的任一个或两者。调节设备B中的连接构件B0，可旋转电动构件B1，连接构件B2，可旋转电动构件B3，连接构件B4，可旋转电动构件B5，连接构件B6具体设置为：三个可旋转电动构件为棱柱或者圆柱结构或球形结构或哑铃型结构，如图3B中所示，其各自包括多个可以相互运动的子构件BB1、BB2……，为了简单起见，图3B仅仅示出两个子构件，并且BB1固定不动而BB2相对于其旋转运动，然而本领域普通技术人员可以理解：可以使用更多个子构件，并且多个子构件都可以部分或全部地相对于其他设备运动。其中可旋转电动构件B1、B3、B5的柱状底面的中轴线之间相互呈90度，即，这些中轴线中的每一个被彼此垂直地放置，使得三个可旋转电动构件的旋转轴覆盖所有的三维方向，即X、Y和Z方向，继而使得调节设备可以在空间中以任何角度旋转，进而使得B6连接的图像捕获设备C能够不留死角地捕获整个空间中的图像数据，从而提高捕获数据的多样性、灵活性，提高后续人脸识别的针对性，并且能够减少图像捕获设备的使用数量，降低总功耗和成本。具体地，结构可整体上是直的，或者其在整个某些部分中可以是弯曲的或成角度的，这取决于设备的应用区域的要求；进一步地，连接构件可以采用任何形状，诸如而不限于U、V、L、S、乁、螺旋形等中的至少一个。优选地，为了保护调节设备B免受破坏，延长使用寿命，该调节设备B外侧安装有柔性
橡胶软管或者柔性橡胶壳或金属壳。
[0031] 进一步地，前述图像捕获设备包括捕获壳体、透镜和内部模块，捕获壳体与透镜内部模块物理连接，捕获壳体为金属或者
聚合物或者
树脂等材料制成，其外侧靠近透镜部分附连有防尘构件、防
水构件，该构件上分别提供有防尘膜和防水膜，内部模块的
板面上提供有
散热孔洞，板面上提供有
风扇，其扇出气流方向朝向在捕获壳体远离透镜部分的结构中设置的散热孔，该散热孔为锥形结构，平台截面小的一端位于壳体外侧，平台截面大的一端位于壳体内侧，这样既能够方便热气流排出，也能够减少外部尘粒或水汽的进入。通过以上设置可以有效地保护图像捕获设备，放置内部和外部环境随时间的改变而影响其图像捕获质量，从而有效延长了图像捕获设备的寿命。
[0032] 通过以上流媒体的操作，在不增加设备的前提下，保证了功耗和成本不增加，保证进行三维空间的全覆盖式捕获，增强了数据的多样性和灵活性。
[0033] 进一步地，前端系统将角度设置信息和在预设时间段内捕获的信息进行处理，并将处理的信息发送给后端系统。
[0034] 进一步地，后端系统根据接收的处理的信息，确定是否需要再次调整角度，如果确定图像捕获设备C的捕获角度设置得适当，则在后续过程中直接进行图像的捕获；如果确定图像捕获设备C的捕获角度设置得不适当，即需要再次调整捕获角度，则返回调整信息，并在后续过程中调整后进行图像的捕获。
[0035] 进一步地，前端系统中的第一处理设备接收图像捕获设备以某一速度捕获的图像信息，并将该数据进行编码压缩；数据的编码压缩包括：先将图像数据分割成片段，之后再分割为子片段，继而对子片段进行预测，其采用以下方式：由邻近的已完成编码的重新建立的帧为参考帧，执行移动补偿，在完成后用其数值减目前子片段的实际数值，生成差分数据，经过变换后进行数值化，经由熵编码，将熵编码的数据与预测的方向和移动向量合并成压缩的数据流；前端系统中的第一处理设备将该数据流进行后续打包处理，并将打包处理的数据输入到缓冲器中；第一收发设备根据传输速度，将缓冲器中的数据通过有线或无线链路传输。
[0036] 优选地，第一收发设备根据传输速度，将缓冲器中的数据通过有线或无线链路传输，其中无线通信例如包括Wi-Fi、蓝牙(BT)、近场通信(NFC)、全球定位系统(GPS)和蜂窝通信(例如LTE、LTE-A、CDMA、WCDMA、UMTS、WiBro、GSM等)中的至少一个。有线通信例如包括通用串行总线(USB)、高清晰度多媒体接口(HDMI)、RS-232和POTS中的至少一个。
[0037] 进一步地，前端系统在压缩编码之后且在打包处理之前执行以下操作：检测和配置未使用的
存储器空间，获取压缩编码的数据流，更新时间和序列信息，并将获得的时间标记和序列数据、数据流一起执行打包处理操作，并将结果传入先前配置的存储器中的缓冲器中。该操作可以有效地减少处理等待时间，减少延迟，为图像数据的快速处理、传输和识别提供保障。
[0038] 通过以上流媒体的操作，保证了传输质量，可以保持数据获取的连续性，并且节约了时间，为后续人脸识别的效率提高做出了贡献。
[0039] 进一步地，后端系统中的第二收发设备接收由第一收发设备发送的图像，并且将其输入到识别设备中；识别设备根据预设的协议，将输入的数据进行解码，获得图像序列；识别设备对图像序列进行预处理，包括灰度处理、补光、去噪、锐化等处理以降低干扰信号；
识别设备还提取图像序列中的帧的尺寸，建灰度图，色彩空间变换，创建存储分区并初始化操作，对灰度图的条形图进行处理和绘制呈现；对图像中的变化进行判断，当确定前景区域超过第一临界值，则确定有变化，进而进入后续过程，而当确定前景区域未超过第一临界值，则确定无变化，终止该段序列的操作，转而进行下一序列的操作；根据人脸部位的形状描述以及它们之间的距离特性来获得有助于人脸分类的特征分量，包括特征点间的欧氏距离、曲率和角度；使用PCA
算法提取面部数据的特征值形成面部特征矩阵，使用神经网络分类方法进行人脸矩形的确定，确定人脸矩形中的左右眼、左右眉、鼻尖、左右嘴角、下巴，对矩形的灰度图进行旋转和缩放，并提取上述部位的特征。优选地，人脸矩形的操作包括：确定人脸并标记，设定人脸的L*L
像素，其中L是大于等于32的正整数；突出图像中的人脸并设置矩形，确定矩形大小并显示；确定人脸信息，并将人脸的图像矩阵和信息储存到存储设备H内。
[0040] 进一步地，对图像中的变化进行判断进一步包括：获取邻近的三组图像，对前两个和后两个分别进行差值运算，进而对结果中的序列值取绝对值，判断其数值是否小于第三临界值，如果小于则其值为零，否则为一；执行去噪操作，确定前景的棱角点的坐标，并计算其围成的图形的面积，并用该面积除以获取的图像的整个面积，得到前景区域的比率，当确定前景区域比率未超过第一临界值，则确定无变化，终止该段序列的操作，转而进行下一序列的操作。
[0041] 在步骤S7中，后端系统将识别出的人脸与数据库中的对象进行比较，并确定结果进一步包括：通过后端系统的第三收发设备I，经由链路向数据库3发送请求，并将人脸数据与已存储的人脸数据进行比较，并得到数值，如果该数值超过第二临界值，则确定识别对象的身份信息，否则返回反馈结果通知前端。
[0042] 通过以上操作，可以提供识别速度快、准确率高的结果，并且由于较少的计算而导致降低的功率消耗。
[0043] 此外，进一步地，后端系统根据接收的图像数据，确定是否需要又一次调整角度，以便跟踪识别的人脸对应的对象，经确定需要调整后，后端系统通过第二收发模块，向前端系统发送又一次调整角度的反馈信息，前端系统基于此重复开始执行。
[0044] 综上，在本发明的技术方案中，通过采用了一种基于视频流的对象识别装置。通过该装置，可以在不增加设备的前提下，保证了功耗和成本不增加，保证进行三维空间的全覆盖式捕获，增强了数据的多样性和灵活性，保证了传输质量，可以保持数据获取的连续性，并且节约了时间，为后续人脸识别的效率提高做出了贡献，可以提供识别速度快、准确率高的结果，并且由于较少的计算而导致降低的功率消耗，有效地保护图像捕获设备，放置内部和外部环境随时间的改变而影响其图像捕获质量，从而有效延长了图像捕获设备的寿命。
[0045] 将理解的是：可以
硬件、
软件或硬件和软件的组合的形式实现本发明的示例和实施例。如上所述，可存储任何执行这种操作的主体，以挥发性或非挥发性存储的形式，例如存储设备，像ROM，无论可抹除或可重写与否，或者以存储器的形式，诸如例如RAM、存储器芯片、设备或集成
电路或在光或磁可读的介质上，诸如例如CD、DVD、磁盘或磁带。将理解的是：存储设备和存储介质是适合于存储一个或多个程序的机器可读存储的示例，当被执行时，所述一个或多个程序实现本发明的示例。经由任何介质，诸如通过有线或无线耦合载有的通信信号，可以
电子地传递本发明的示例，并且示例适当地包含相同内容。
[0046] 应当注意的是：因为本发明解决了三维空间的全覆盖式捕获，提供识别速度快、准确率高的识别结果并节约了时间，降低功率消耗的技术问题，采用了计算机技术领域中技术人员在阅读本
说明书之后根据其教导所能理解的技术手段，并获得了可以在不增加设备的前提下，保证了功耗和成本不增加，保证进行三维空间的全覆盖式捕获，增强了数据的多样性和灵活性，保证了传输质量，可以保持数据获取的连续性，并且节约了时间，为后续人脸识别的效率提高做出了贡献，可以提供识别速度快、准确率高的结果，并且由于较少的计算而导致降低的功率消耗，有效地保护图像捕获设备，放置内部和外部环境随时间的改变而影响其图像捕获质量，从而有效延长了图像捕获设备的寿命的有益技术效果，所以在所附
权利要求中要求保护的方案属于
专利法意义上的技术方案。另外，因为所附权利要求要求保护的技术方案可以在工业中制造或使用，因此该方案具备实用性。
[0047] 以上所述，仅为本发明的较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉
本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应包涵在本发明的保护范围之内。除非以其他方式明确陈述，否则公开的每个特征仅是一般系列的等效或类似特征的一个示例。因此，本发明的保护范围应该以权利要求书的保护范围为准。
