一种人像缩略图像的确定方法及显示设备
阅读：392发布：2020-05-08
专利汇可以提供一种人像缩略图像的确定方法及显示设备专利检索，专利查询，专利分析的服务。并且本 实施例 提供一种人像 缩略图 像的确定方法及显示设备，涉及 图像处理 技术领域。该方法和显示设备包括：确定待识别图像中的人脸区域和人脸的 姿态 角 ；根据预设的扩充规则，对所述人脸区域进行扩充，获得扩充区域；根据所述姿态角和预设的修正规则对所述扩充区域进行修正，获得修正区域；根据所述修正区域，从所述待识别图像中截取人像缩略图。本实施例提供的人像缩略图像的确定方法及显示设备，不仅能够将待识别图像中人物图像的整个头部囊括在缩略图内，而且能够使缩略图内的人脸图像更为协调。，下面是一种人像缩略图像的确定方法及显示设备专利的具体信息内容。
1.一种显示设备，其特征在于，包括：
显示器，被配置为显示用户界面，所述用户界面包括人像缩略图；
控制器，与所述显示器通信，被配置为：
确定待识别图像中的人脸区域和人脸的姿态角；
根据预设的扩充规则，对所述人脸区域进行扩充，获得扩充区域；
根据所述姿态角和预设的修正规则对所述扩充区域进行修正，获得修正区域；
根据所述修正区域，从所述待识别图像中截取人像缩略图。
2.根据权利要求1所述的显示设备，其特征在于，所述姿态角包括俯仰角α、水平转角β和旋转角γ；其中，α为仰头或者低头的角度，β为头部向左或向右水平转动的角度，γ为头部向左或向右斜歪的角度。
3.根据权利要求1所述的显示设备，其特征在于，所述扩充规则包括：
h′＝2＊h；
w′＝h′＊r；
y′＝y-(h＊3/4)；
x′＝x-(w′-w)/2；
其中，所述人脸区域为矩形，x、y分别为所述人脸区域左上顶点的横坐标和纵坐标，h、w分别为所述人脸区域的高度和宽度；x′、y′分别为所述扩充区域左上顶点的横坐标和纵坐标，h′和w′分别为所述扩充区域的高度和宽度；r为所述人像缩略图的宽高比。
4.根据权利要求1或3所述的显示设备，其特征在于，所述扩充规则还包括：
判断所述扩充区域是否存在异常扩充边界，所述异常扩充边界超出所述待识别图像的固定边界；
如果存在，则将所述异常扩充边界的位置修正为与所述固定边界平齐。
5.根据权利要1所述的显示设备，其特征在于，所述修正规则包括：
如果α＞0，则将所述扩充区域的上边界下移；如果α＜0，则将所述扩充区域的上边界上移；以及，
如果β＞0，则将所述扩充区域的右边界右移；如果β＜0，则将所述扩充区域的左边界左移；以及，
如果γ＞0，将所述扩充区域的左边界左移，将所述扩充区域的上边界上移；如果γ＜
0，将所述扩充区域的右边界右移，将所述扩充区域的上边界上移。
6.根据权利要3所述的显示设备，其特征在于，所述修正规则包括：
如果α＞0，则将所述扩充区域的上边界下移 如果α＜0，则将所述扩充区域的上边界上移 以及，
如果β＞0，则将所述扩充区域的右边界右移 如果β＜0，则将所述扩充区域的左边界左移 以及，
如果γ＞0，则将所述扩充区域的左边界左移 将所述扩充区域的上边界上移如果γ＜0，将所述扩充区域的右边界右移 将所述扩充区域的上边
界上移
其中，仰头时α＞0，低头时α＜0；向左水平转动时β＞0，向右水平转动时β＜0；向左斜歪时γ大于零，向左斜歪时γ小于零。
7.根据权利要求5或6所述的显示设备，其特征在于，所述修正规则还包括：
判断所述修正区域是否存在异常修正边界，所述异常修正边界超出所述待识别图像的固定边界；
如果存在，则将所述异常修正边界的位置修正为与所述固定边界平齐。
8.根据权利要求1所述的显示设备，其特征在于，所述人脸区域为包括眉毛、下巴、面颊的最小矩形区域。
9.根据权利要求1所述的显示设备，其特征在于，确定待识别图像中的人脸区域和人脸的姿态角，包括：
将所述待识别图像转换为位图文件；
将所述位图文件转化为RGBA格式的图像数据，并存储到缓冲区；
对从所述缓冲区提取所述图像数据进行识别，确定所述待识别图像中的人脸区域和人脸的姿态角。
10.一种人像缩略图的确定方法，其特征在于，包括：
确定待识别图像中的人脸区域和人脸的姿态角；
根据预设的扩充规则，对所述人脸区域进行扩充，获得扩充区域；
根据所述姿态角和预设的修正规则对所述扩充区域进行修正，获得修正区域；
根据所述修正区域，从所述待识别图像中截取人像缩略图。
一种人像缩略图像的确定方法及显示设备
技术领域
背景技术
[0002] 为了便于用户查找同一人物的图像，显示设备(例如智能电视)能够聚类显示人物图像的缩略图，即将同一人物的图片的缩略图聚集在一起显示，其中，缩略图指人物图像的头部图像。
[0003] 目前，显示设备能够通过人像识别技术，确定出人物图像的人脸区域(例如图1a-图1e中框线所示区域)，并将人脸区域所框选的图像作为聚类显示人像时的缩略图(例如图2所示)。然而，该人脸区域只包括了从眉毛到下巴，以及双颊区域，并不能够包含整个头部，不能充分展现人像头部特征，缩略图效果不佳。因此，亟待提供一种新的人像缩略图像的确定方法。
发明内容
发明内容
[0004] 本申请提供了一种人像缩略图像的确定方法及显示设备，以解决现有人像缩略图效果不能完全展示人像头部特征的问题。
[0005] 第一方面，本实施例提供一种显示设备，包括：
[0007] 控制器，与所述显示器通信，被配置为：
[0009] 根据预设的扩充规则，对所述人脸区域进行扩充，获得扩充区域；
[0010] 根据所述姿态角和预设的修正规则对扩充区域进行修正，获得修正区域；
[0011] 根据所述修正区域，从所述待识别图像中截取人像缩略图。
[0013] 在第一方面的第二种实现方式中，所述扩充规则包括：h′＝2＊h；w′＝h′＊r；y′＝y-(h＊3/4)；x′＝x-(w′-w)/2；其中，所述人脸区域为矩形，x、y分别为所述人脸区域左上顶点的横坐标和纵坐标，h、w分别为所述人脸区域的高度和宽度；x′、y′分别为所述扩充区域左上顶点的横坐标和纵坐标，h′和w′分别为所述扩充区域的高度和宽度；r为所述人像缩略图的宽高比。
[0014] 在第一方面的第三种实现方式中所述扩充规则还包括：
[0015] 判断所述扩充区域是否存在异常扩充边界，所述异常扩充边界超出所述待识别图像的固定边界；
[0016] 如果存在，则将所述异常扩充边界的位置修正为与所述固定边界平齐。
[0017] 在第一方面的第四种实现方式中所述修正规则包括：
[0018] 如果α＞0，则将所述扩充区域的上边界下移；如果α＜0，则将所述扩充区域的上边界上移；以及，
[0019] 如果β＞0，则将所述扩充区域的右边界右移；如果β＜0，则将所述扩充区域的左边界左移；以及，
[0020] 如果γ＞0，将所述扩充区域的左边界左移，将所述扩充区域的上边界上移；如果γ＜0，将所述扩充区域的右边界右移，将所述扩充区域的上边界上移。
[0021] 在第一方面的第五种实现方式中，所述修正规则包括：
[0022] 如果α＞0，则将所述扩充区域的上边界下移 如果α＜0，则将所述扩充区域的上边界上移 以及，
[0023] 如果β＞0，则将所述扩充区域的右边界右移 如果β＜0，则将所述扩充区域的左边界左移 以及，
[0024] 如果γ＞0，则将所述扩充区域的左边界左移 将所述扩充区域的上边界上移 如果γ＜0，将所述扩充区域的右边界右移 将所述扩充区域的
上边界上移
上边界上移
[0025] 其中，仰头时α＞0，低头时α＜0；向左水平转动时β＞0，向右水平转动时β＜0；向左斜歪时γ大于零，向左斜歪时γ小于零。
[0026] 在第一方面的第六种实现方式中，所述修正规则还包括：
[0027] 判断所述修正区域是否存在异常修正边界，所述异常修正边界超出所述待识别图像的固定边界；
[0028] 如果存在，则将所述异常修正边界的位置修正为与所述固定边界平齐。
[0029] 在第一方面的第七种实现方式中，所述人脸区域为包括眉毛、下巴、面颊的最小矩形区域。
[0030] 在第一方面的第八种实现方式中，确定待识别图像中的人脸区域和人脸的姿态角，包括：
[0031] 将所述待识别图像转换为位图文件；
[0032] 将所述位图文件转化为RGBA格式的图像数据，并存储到缓冲区；
[0033] 对从所述缓冲区提取所述图像数据进行识别，确定所述待识别图像中的人脸区域和人脸的姿态角。
[0034] 第二方面，本实施例提供一种人像缩略图的确定方法，包括：
[0035] 确定待识别图像中的人脸区域和人脸的姿态角；
[0036] 根据预设的扩充规则，对所述人脸区域进行扩充，获得扩充区域；
[0037] 根据所述姿态角和预设的修正规则对扩充区域进行修正，获得修正区域；
[0038] 根据所述修正区域，从所述待识别图像中截取人像缩略图。
[0039] 本申请提供的技术方案包括以下有益技术效果：
[0040] 本实施例提供的人像缩略图像的确定方法及显示设备能够在确定人脸区域之后，采用扩充规则对人脸区域进行扩充，将人物图像的整个头部囊括在扩充区域内，并根据人脸的姿态角对扩充区域的边界进行优化调整，使不仅能够人物图像的整个头部囊括在缩略图内，而且能够使缩略图内的人脸图像更为协调。附图说明
[0041] 为了更清楚地说明本申请的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
[0042] 图1a为人物图像人脸区域的识别结果示意图一；
[0043] 图1b为人物图像人脸区域的识别结果示意图二；
[0044] 图1c为人物图像人脸区域的识别结果示意图三；
[0045] 图1d为人物图像人脸区域的识别结果示意图四；
[0046] 图1e为人物图像人脸区域的识别结果示意图五；
[0047] 图2为聚类显示的现有的人物图像的缩略图。
[0048] 图3中示例性示出了根据实施例中显示设备与控制装置之间操作场景的示意图；
[0050] 图5中示例性示出了根据实施例中控制设备100的硬件配置框图；
[0051] 图6中示例性示出了根据实施例中人像缩略图的确定方法的流程图；
[0052] 图7中示例性示出了根据实施例中姿态角的示意图；
[0053] 图8中示例性示出了根据实施例中扩充区域的示意图；
[0054] 图9中示例性示出了根据实施例中显示设备200的功能配置示意图；
[0056] 图10b中示例性示出了根据实施例中显示设备200中应用程序的配置示意图。
具体实施方式
[0057] 下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整的描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0058] 为使本申请示例性实施例的目的、技术方案和优点更加清楚，下面将结合本申请示例性实施例中的附图，对本申请示例性实施例中的技术方案进行清楚、完整地描述，显然，所描述的示例性实施例仅是本申请一部分实施例，而不是全部的实施例。
[0059] 基于本申请中示出的示例性实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。此外，虽然本申请中公开内容按照示范性一个或几个实例来介绍，但应理解，可以就这些公开内容的各个方面也可以单独构成一个完整技术方案。
[0060] 应当理解，本申请中说明书和权利要求书及上述附图中的术语″第一″、″第二″、″第三″等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，例如能够根据本申请实施例图示或描述中给出那些以外的顺序实施。
[0061] 此外，术语″包括″和″具有″以及他们的任何变形，意图在于覆盖但不排他的包含，例如，包含了一系列组件的产品或设备不必限于清楚地列出的那些组件，而是可包括没有清楚地列出的或对于这些产品或设备固有的其它组件。
[0063] 本申请中使用的术语″遥控器″，是指电子设备(如本申请中公开的显示设备)的一个组件，通常可在较短的距离范围内无线控制电子设备。一般使用红外线和/或射频(RF)信号和/或蓝牙与电子设备连接，也可以包括WiFi、无线USB、蓝牙、动作传感器等功能模块。例如：手持式触摸遥控器，是以触摸屏中用户界面取代一般遥控装置中的大部分物理内置硬键。
[0064] 本申请中使用的术语″手势″，是指用户通过一种手型的变化或手部运动等动作，用于表达预期想法、动作、目的/或结果的用户行为。
[0065] 图3中示例性示出了根据实施例中显示设备与控制装置之间操作场景的示意图。如图3所示，用户可通过控制装置100来操作显示设备200。
[0066] 其中，控制装置100可以是遥控器100A，包括红外协议通信或蓝牙协议通信，及其他短距离通信方式等，通过无线或其他有线方式来控制显示设备200。用户可以通过遥控器上按键、语音输入、控制面板输入等输入用户指令，来控制显示设备200。如：用户可以通过遥控器上音量加减键、频道控制键、上/下/左/右的移动按键、语音输入按键、菜单键、开关机按键等输入相应控制指令，来实现控制显示设备200的功能。
[0067] 控制装置100也可以是智能设备，如移动终端100B、平板电脑、计算机、笔记本电脑等。例如，使用在智能设备上运行的应用程序控制显示设备200。该应用程序可以在与智能设备关联的屏幕上通过直观的用户界面(UI)为用户提供各种控制。
[0068] 示例的，移动终端100B可与显示设备200安装软件应用，通过网络通信协议实现连接通信，实现一对一控制操作的和数据通信的目的。如：可以使移动终端100B与显示设备200建立控制指令协议，将遥控控制键盘同步到移动终端100B上，通过控制移动终端100B上用户界面，实现控制显示设备200的功能。也可以将移动终端100B上显示的音视频内容传输到显示设备200上，实现同步显示功能。
[0069] 如图3所示，显示设备200还与服务器300通过多种通信方式进行数据通信。可允许显示设备200通过局域网(LAN)、无线局域网(WLAN)和其他网络进行通信连接。服务器300可以向显示设备200提供各种内容和互动。示例的，显示设备200通过发送和接收信息，以及电子节目指南(EPG)互动，接收软件程序更新，或访问远程储存的数字媒体库。服务器300可以是一组，也可以是多组，可以是一类或多类服务器。通过服务器300提供视频点播和广告服务等其他网络服务内容。
[0070] 显示设备200，可以是液晶显示器、OLED显示器、投影显示设备。具体显示设备类型，尺寸大小和分辨率等不作限定，本领技术人员可以理解的是，显示设备200可以根据需要做性能和配置上的一些改变。
[0071] 显示设备200除了提供广播接收电视功能之外，还可以附加提供计算机支持功能的智能网络电视功能。示例的包括，网络电视、智能电视、互联网协议电视(IPTV)等。
[0072] 图4中示例性示出了根据示例性实施例中显示设备200的硬件配置框图。如图4所示，显示设备200中可以包括调谐解调器220、通信器230、检测器240、外部装置接口250、控制器210、存储器290、用户输入接口、视频处理器260-1、音频处理器260-2、显示器280、音频输入接口272、供电电源。
[0073] 调谐解调器220，通过有线或无线方式接收广播电视信号，可以进行放大、混频和谐振等调制解调处理，用于从多个无线或有线广播电视信号中解调出用户所选择电视频道的频率中所携带的音视频信号，以及附加信息(例如EPG数据信号)。
[0074] 调谐解调器220，可根据用户选择，以及由控制器210控制，响应用户选择的电视频道频率以及该频率所携带的电视信号。
[0075] 调谐解调器220，根据电视信号广播制式不同，可以接收信号的途径有很多种，诸如：地面广播、有线广播、卫星广播或互联网广播等；以及根据调制类型不同，可以数字调制方式，也可以模拟调制方式；以及根据接收电视信号种类不同，可以解调模拟信号和数字信号。
[0076] 在其他一些示例性实施例中，调谐解调器220也可在外置设备中，如外置机顶盒等。这样，机顶盒通过调制解调后输出电视音视频信号，经过输入/输出接口250输入至显示设备200中。
[0077] 通信器230是用于根据各种通信协议类型与外部设备或外部服务器进行通信的组件。例如：通信器230可以包括WIFI模块231，蓝牙通信协议模块232，有线以太网通信协议模块233等其他网络通信协议模块或近场通信协议模块。
[0078] 显示设备200可以通过通信器230与外部控制设备或内容提供设备之间建立控制信号和数据信号的连接。例如，通信器可根据控制器的控制接收遥控器100的控制信号。
[0079] 检测器240，是显示设备200用于采集外部环境或与外部交互的信号的组件。检测器240可以包括光接收器242，用于采集环境光线强度的传感器，可以通过采集环境光来自适应显示参数变化等；还可以包括图像采集器241，如相机、摄像头等，可以用于采集外部环境场景，以及用于采集用户的属性或与用户交互手势，可以自适应变化显示参数，也可以识别用户手势，以实现与用户之间互动的功能。
[0080] 在其他一些示例性实施例中，检测器240，还可包括温度传感器，如通过感测环境温度，显示设备200可自适应调整图像的显示色温。示例性的，当温度偏高的环境时，可调整显示设备200显示图像色温偏冷色调；当温度偏低的环境时，可以调整显示设备200显示图像色温偏暖色调。
[0081] 在其他一些示例性实施例中，检测器240还可包括声音采集器，如麦克风，可以用于接收用户的声音，包括用户控制显示设备200的控制指令的语音信号，或采集环境声音，用于识别环境场景类型，显示设备200可以自适应环境噪声。
[0082] 外部装置接口250，提供控制器210控制显示设备200与外部其他设备间数据传输的组件。外部装置接口可按照有线/无线方式与诸如机顶盒、游戏装置、笔记本电脑等的外部设备连接，可接收外部设备的诸如视频信号(例如运动图像)、音频信号(例如音乐)、附加信息(例如EPG)等数据。
[0083] 其中，外部装置接口250可以包括：高清多媒体接口(HDMI)端子251、复合视频消隐同步(CVBS)端子252、模拟或数字分量端子253、通用串行总线(USB)端子254、红绿蓝(RGB)端子(图中未示出)等任一个或多个。
[0085] 如图4所示，控制器210包括随机存取存储器RAM213、只读存储器ROM214、图形处理器216、CPU处理器212、通信接口218、以及通信总线。其中，RAM213和ROM214以及图形处理器216、CPU处理器212、通信接口218通过总线相连接。
[0086] ROM213，用于存储各种系统启动的指令。如在收到开机信号时，显示设备200电源开始启动，CPU处理器212运行ROM中系统启动指令，将存储在存储器290的操作系统拷贝至RAM214中，以开始运行启动操作系统。当操作系统启动完成后，CPU处理器212再将存储器290中各种应用程序拷贝至RAM214中，然后，开始运行启动各种应用程序。
[0087] 图形处理器216，用于产生各种图形对象，如：图标、操作菜单、以及用户输入指令显示图形等。包括运算器，通过接收用户输入各种交互指令进行运算，根据显示属性显示各种对象。以及包括渲染器，产生基于运算器得到的各种对象，进行渲染的结果显示在显示器280上。
[0088] CPU处理器212用于执行存储在存储器290中操作系统和应用程序指令。以及根据接收外部输入的各种交互指令，来执行各种应用程序、数据和内容，以便最终显示和播放各种音视频内容。
[0089] 在一些示例性实施例中，CPU处理器212，可以包括多个处理器。多个处理器可包括一个主处理器以及多个或一个子处理器。主处理器，用于在预加电模式中执行显示设备200一些操作，和/或在正常模式下显示画面的操作。多个或一个子处理器，用于执行在待机模式等状态下的一种操作。
[0090] 通信接口，可包括第一接口218-1到第n接口218-n。这些接口可以是经由网络被连接到外部设备的网络接口。
[0091] 控制器210可以控制显示设备200的整体操作。例如：响应于接收到用于选择在显示器280上显示UI对象的用户命令，控制器210便可以执行与由用户命令选择的对象有关的操作。
[0092] 其中，所述对象可以是可选对象中的任何一个，例如超链接或图标。与所选择的对象有关操作，例如：显示连接到超链接页面、文档、图像等操作，或者执行与图标相对应程序的操作。用于选择UI对象用户命令，可以是通过连接到显示设备200的各种输入装置(例如，鼠标、键盘、触摸板等)输入命令或者与由用户说出语音相对应的语音命令。
[0094] 其中，基础模块是用于显示设备200中各个硬件之间信号通信、并向上层模块发送处理和控制信号的底层软件模块。检测模块是用于从各种传感器或用户输入接口中收集各种信息，并进行数模转换以及分析管理的管理模块。
[0095] 例如：语音识别模块中包括语音解析模块和语音指令数据库模块。显示控制模块是用于控制显示器280进行显示图像内容的模块，可以用于播放多媒体图像内容和UI界面等信息。通信模块，是用于与外部设备之间进行控制和数据通信的模块。浏览器模块，是用于执行浏览服务器之间数据通信的模块。服务模块，是用于提供各种服务以及各类应用程序在内的模块。
[0096] 同时，存储器290还用于存储接收外部数据和用户数据、各种用户界面中各个项目的图像以及焦点对象的视觉效果图等。
[0097] 用户输入接口，用于将用户的输入信号发送给控制器210，或者，将从控制器输出的信号传送给用户。示例性的，控制装置(例如移动终端或遥控器)可将用户输入的诸如电源开关信号、频道选择信号、音量调节信号等输入信号发送至用户输入接口，再由用户输入接口转送至控制器；或者，控制装置可接收经控制器处理从用户输入接口输出的音频、视频或数据等输出信号，并且显示接收的输出信号或将接收的输出信号输出为音频或振动形式。
[0098] 在一些实施例中，用户可在显示器280上显示的图形用户界面(GUI)输入用户命令，则用户输入接口通过图形用户界面(GUI)接收用户输入命令。或者，用户可通过输入特定的声音或手势进行输入用户命令，则用户输入接口通过传感器识别出声音或手势，来接收用户输入命令。
[0099] 视频处理器260-1，用于接收视频信号，根据输入信号的标准编解码协议，进行解压缩、解码、缩放、降噪、帧率转换、分辨率转换、图像合成等视频数据处理，可得到直接在显示器280上显示或播放的视频信号。
[0100] 示例的，视频处理器260-1，包括解复用模块、视频解码模块、图像合成模块、帧率转换模块、显示格式化模块等。
[0101] 其中，解复用模块，用于对输入音视频数据流进行解复用处理，如输入MPEG-2，则解复用模块进行解复用成视频信号和音频信号等。
[0102] 视频解码模块，用于对解复用后的视频信号进行处理，包括解码和缩放处理等。
[0103] 图像合成模块，如图像合成器，其用于将图形生成器根据用户输入或自身生成的GUI信号，与缩放处理后视频图像进行叠加混合处理，以生成可供显示的图像信号。
[0104] 帧率转换模块，用于对输入视频的帧率进行转换，如将输入的24Hz、25Hz、30Hz、60Hz视频的帧率转换为60Hz、120Hz或240Hz的帧率，其中，输入帧率可以与源视频流有关，输出帧率可以与显示屏的更新率有关。输入有通常的格式采用如插帧方式实现。
[0105] 显示格式化模块，用于将帧率转换模块输出的信号，改变为符合诸如显示器显示格式的信号，如将帧率转换模块输出的信号进行格式转换以输出RGB数据信号。
[0106] 显示器280，用于接收源自视频处理器260-1输入的图像信号，进行显示视频内容和图像以及菜单操控界面。显示器280包括用于呈现画面的显示屏组件以及驱动图像显示的驱动组件。显示视频内容，可以来自调谐解调器220接收的广播信号中的视频，也可以来自通信器或外部设备接口输入的视频内容。显示器220，同时显示显示设备200中产生且用于控制显示设备200的用户操控界面UI。
[0107] 以及，根据显示器280类型不同，还包括用于驱动显示的驱动组件。或者，倘若显示器280为一种投影显示器，还可以包括一种投影装置和投影屏幕。
[0108] 在一个具体的示例中，显示器280被配置为显示用户界面，该用户界面包括人物图像和人像缩略图。
[0109] 音频处理器260-2，用于接收音频信号，根据输入信号的标准编解码协议，进行解压缩和解码，以及降噪、数模转换、和放大处理等音频数据处理，得到可以在扬声器272中播放的音频信号。
[0110] 音频输出接口270，用于在控制器210的控制下接收音频处理器260-2输出的音频信号，音频输出接口可包括扬声器272，或输出至外接设备的发生装置的外接音响输出端子274，如：外接音响端子或耳机输出端子等。
[0111] 在其他一些示例性实施例中，视频处理器260-1可以包括一个或多个芯片组成。音频处理器260-2，也可以包括一个或多个芯片组成。
[0112] 以及在其他一些示例性实施例中，视频处理器260-1和音频处理器260-2，可以为单独的芯片，也可以与控制器210一起集成在一个或多个芯片中。
[0113] 供电电源，用于在控制器210控制下，将外部电源输入的电力为显示设备200提供电源供电支持。供电电源可以包括安装显示设备200内部的内置电源电路，也可以是安装在显示设备200外部的电源，如在显示设备200中提供外接电源的电源接口。
[0114] 图5中示例性示出了根据示例性实施例中控制装置100的配置框图。如图5所示，控制装置100包括控制器110、通信器130、用户输入/输出接口140、存储器190、供电电源180。
[0115] 控制装置100被配置为控制显示设备200，以及可接收用户的输入操作指令，且将操作指令转换为显示设备200可识别和响应的指令，起着用户与显示设备200之间交互中介作用。如：用户通过操作控制装置100上频道加减键，显示设备200响应频道加减的操作。
[0116] 在一些实施例中，控制装置100可是一种智能设备。如：控制装置100可根据用户需求安装控制显示设备200的各种应用。
[0117] 在一些实施例中，如图3所示，移动终端100B或其他智能电子设备，可在安装操控显示设备200的应用之后，可以起到控制装置100类似功能。如：用户可以通过安装应用，在移动终端100B或其他智能电子设备上可提供的图形用户界面的各种功能键或虚拟按钮，以实现控制装置100实体按键的功能。
[0118] 控制器110包括处理器112、RAM113和ROM114、通信接口以及通信总线。控制器110用于控制控制装置100的运行和操作，以及内部各部件之间通信协作以及外部和内部的数据处理功能。
[0119] 通信器130在控制器110的控制下，实现与显示设备200之间控制信号和数据信号的通信。如：将接收到的用户输入信号发送至显示设备200上。通信器130可包括WIFI模块131、蓝牙模块132、NFC模块133等通信模块中至少一种。
[0120] 用户输入/输出接口140，其中，输入接口包括麦克风141、触摸板142、传感器143、按键144等输入接口中至少一者。如：用户可以通过语音、触摸、手势、按压等动作实现用户指令输入功能，输入接口通过将接收的模拟信号转换为数字信号，以及数字信号转换为相应指令信号，发送至显示设备200。
[0121] 输出接口包括将接收的用户指令发送至显示设备200的接口。在一些实施例中，可以是红外接口，也可以是射频接口。如：红外信号接口时，需要将用户输入指令按照红外控制协议转化为红外控制信号，经红外发送模块进行发送至显示设备200。再如：射频信号接口时，需将用户输入指令转化为数字信号，然后按照射频控制信号调制协议进行调制后，由射频发送端子发送至显示设备200。
[0122] 在一些实施例中，控制装置100包括通信器130和输出接口中至少一者。控制装置100中配置通信器130，如：WIFI、蓝牙、NFC等模块，可将用户输入指令通过WIFI协议、或蓝牙协议、或NFC协议编码，发送至显示设备200.
[0123] 存储器190，用于在控制器110的控制下存储驱动和控制控制装置100的各种运行程序、数据和应用。存储器190，可以存储用户输入的各类控制信号指令。
[0124] 供电电源180，用于在控制器110的控制下为控制装置100各元件提供运行电力支持。可以电池及相关控制电路。
[0125] 为了解决现有技术中人像缩略图显示不能完全展示人像头部特征的问题，本实施中的控制器，还被配置为执行一种人像缩略图确定方法。请参阅图6，该方法包括如下步骤S601-S604。
[0126] 步骤S601，确定待识别图像中的人脸区域和人脸的姿态角。
[0127] 如图1所示，本实施例中的人脸区域为包括眉毛、下巴、面颊的最小矩形区域。如图7所示，本实施例中人脸的姿态角包括俯仰角α、水平转角β和旋转角γ。其中，α为仰头或者低头的角度，即人体头部绕图7所示的x轴转动的角度，并且本实施例定义仰头时α＞0，低头时α＜0。β为头部向左或向右水平转动的角度，即人体头部绕图7所示的y轴转动的角度，并且本实施例定义向左水平转动时β＞0，向右水平转动时β＜0。γ为头部向左或向右斜歪的角度，即人体头部绕图7所示的z轴转动的角度，并且本实施例定义向左斜歪时γ大于零，向左斜歪时γ小于零。
[0128] 控制器在确定人脸区域和人脸的姿态角的过程中，首先需要根据待识别图像的地址信息获取待识别图像。其次，将待识别图像解码成位图文件(即bitmap)。随后，将位图文件转化为RGBA(Red Green Blue Alpha)格式的图像数据，并将其存储到一个缓冲区。最后，从缓冲区提取该RGBA格式的图像数据进行识别，从而确定待识别图像中的人脸区域和人脸的姿态角。需要说明的是，人脸区域和人脸的姿态角根据现有的人像识别技术确定，本实施例在此不进行赘述。
[0129] 通过人像识别技术，控制器可以确定不同姿态人体的人脸区域，例如图1a所示人体正面的人脸区域、图1b所示的人体侧面的人脸区域、图1c所示的人体低头时的人脸区域、图1d所示的人体仰头时的人脸区域、以及图1e所示的人体头部斜歪时的人脸区域。
[0130] 步骤S602，根据预设的扩充规则，对人脸区域进行扩充，获得扩充区域。
[0131] 由于步骤S601中确定的人脸区域范围较小，只包括从眉毛到下巴，以及面颊区域，不能充分展示人体头部的整体特征。因此，控制器在确定待识别图像中的人脸区域之后，需要进一步对该区域进行扩充，将人脸区域放大，获得扩充区域，将人体的整个头部囊括于扩充区域中。
[0132] 具体地，由于人脸区域相对整个头部偏下，为了囊括整个头部，在对人脸区域进行扩充时，向上扩充的距离应大于向下扩充的距离。并且，由于人脸左右基本对称，在对人脸区域进行扩充时，左右扩充的距离可以相同。
[0133] 在一个示例中，对于识别出的人脸区域，可以以高度为基准，扩充1倍，并且向上扩充3/4倍(即将人脸区域的上边界上移人脸区域高度的3/4倍)，向下扩充1/4倍(即将人脸区域的上边界下移人脸区域高度的1/4倍)。此外，人脸区域左右两侧扩充大小可以根据所需缩略图宽高比以及截取的人脸区域宽度计算得出。
[0134] 具体地，上述示例性的扩充规则可以采用如下公式表示：
[0135] h′＝2＊h
[0136] w′＝h′＊r
[0137] y′＝y-(h＊3/4)
[0138] x′＝x-(w′-w)/2
[0139] 其中，x、y分别为人脸区域左上顶点在待识别图像中的横坐标和纵坐标，h、w分别为人脸区域的高度和宽度。x′、y′分别为扩充区域左上顶点的横坐标和纵坐标，h′、w′分别为扩充区域的高度和宽度；r为人像缩略图的宽高比。r根据预先的配置确定，本实施例对此不进行限制。
[0140] 以如图8中虚线框所示的人脸区域(x，y，h、w)为例，控制器110根据该扩充规则对人脸区域(x，y，h、w)进行扩充之后，可以获得如图8中实线所示的扩充区域(x′，y′，h′，w′)。
[0141] 此外，在待识别图像中，可能会存在一些位置靠近待识别图像固定边界的人物图像，此时，该人物图像对应的扩充区域可能会超出待识别图像的固定边界，导致最终获得的人像缩略图异常。
[0142] 因此，在一种可能的实现方式中，控制器在根据人脸区域确定出扩充区域之后，需要进一步判断该扩充区域中是否存在异常扩充边界。其中，异常扩充边界是指，扩充区域中超出待识别图像固定边界的边界。如果存在异常扩充边界，则将异常扩充边界的位置修正为与其超出的固定边界平齐。
[0143] 例如，如果扩充区域的右边界超出了待识别图像的右固定边界，则将扩充区域的右边界修正为与该右固定边界平齐。或者，如果扩充区域的下边界超出了待识别图像的下固定边界，则将扩充区域的下边界修正为与该下固定边界平齐。
[0144] 步骤S603，根据姿态角和预设的修正规则对扩充区域进行修正，获得修正区域。
[0145] 由于待识别图像中的人物图像头部的姿态各有不同，人脸区域在头部区域的占比及位置各部相同，如果简单地按照上述扩充规则扩充人脸区域，可能无法完整截取人像头部的缩略图，或者，导致截取的缩略图中人像头部的各部分占比不均衡。
[0146] 在一个示例中，对于低头的人物图像，其眉毛以上的头部区域在整个头部的占比较大，简单地按照上述扩充规则扩充人脸区域，可能出现无法将头顶区域的图像全部囊括在缩略图中情况。
[0147] 因此，控制器110在确定扩充区域之后，需要进一步根据姿态角对扩充区域进行修正，根据人脸的姿态角，确定扩充区域的待修正边界，并根据预设的边界移动规则，移动待修正边界，获得修正区域，具体如下所示。
[0148] (1)根据俯仰角α修正扩充区域的边界
[0149] 头部的俯仰动作会产生俯仰角α，并且改变头顶部位在整个头部的占比。因此，控制器110需要根据俯仰角α对扩充区域的上边界进行修正。
[0150] 如果俯仰角α＝0，则说明待识别图像中人物图像的头部不存在仰头或者低头的动作，此时，不根据俯仰角计算边界偏移量。
[0151] 如果俯仰角α＞0，则说明待识别图像中人物图像仰头，此时相对于α＝0时，头顶部位在整个头部的占比变小，为了保证扩充区域内头部比例的协调，将扩充区域的上边界下移。
[0152] 如果俯仰角α＜0，则说明待识别图像中人物图像低头，此时相对于α＝0时，头顶部位在整个头部的占比变大，为了保证扩充区域内头部比例的协调，将扩充区域的上边界上移。
[0153] 在一个具体的示例中，基于步骤S602中，将人脸区域的上边界上移 当α＞0时，将扩充的 更改为 控制上边界下移 即 当α＜0时，将扩充的 更改为 控制上边界上移 即
[0154] (2)根据水平转角β修正扩充区域的边界
[0155] 头部的水平转动会产生水平转角β，并且改变左面颊及其以左，或者右面颊及其以右的头部区域在整个头部中的占比。因此，控制器110需要根据水平转角β对扩充区域的左边界或者右边界进行修正。
[0156] 如果β＝0，则说明待识别图像中人物图像的头部不存在水平转动，此时，不根据水平转角β修正扩充区域的左边界或右边界。
[0157] 如果β＞0，则说明待识别图像中人物图像的头部向左水平转动，此时，相对于β＝0，右面颊及其以右的头部区域在整个头部的占比变大，为了保证扩充区域内头部比例的协调，将扩充区域的右边界右移。
[0158] 如果β＜0，则说明待识别图像中人物图像的头部向右水平转动，此时，相对于β＝0，左面颊及其以左的头部区域在整个头部的占比变大，为了保证扩充区域内头部比例的协调，将扩充区域的左边界左移。
[0159] 在一个具体的示例中，基于步骤S602中，将人脸区域的宽度(也就是左边界和右边界之间的距离)扩充至w′，当β＞0时，将w′修正为 也就是将右边界向右移动即 当β＜0时将w′修正为 也就是将左边界向左移动
即
即
[0160] (3)根据旋转角γ修正扩充区域的边界
[0161] 头部斜歪会产生旋转角γ，并改变头顶部位在扩充区域左右两部分画面中的占比。因此，控制器110需要根据旋转角γ对扩充区域的左边界或者右边界进行修正。
[0162] 如果γ＝0，则说明待识别图像中人物图像的头部不存在斜歪，因此，不根据旋转角γ修正扩充区域的左边界或者右边界。
[0163] 如果γ＞0，则说明待识别图像中人物图像的头部向左斜歪，此时，相对于γ＝0，头顶部位在扩充区域左边画面的占比变大。因此，为了保证扩充区域内头部比例的协调，将扩充区域的左边界左移，上边界上移。
[0164] 如果γ＜0，则说明待识别图像中人物图像的头部向右斜歪，此时，相对于γ＝0时，头顶部位在扩充区域右边画面的占比变大。因此，为了保证扩充区域内头部比例的协调，将扩充区域的右边界右移，上边界上移。
[0165] 在一个具体的示例中，基于步骤S602中，将人脸区域的上边界上移 当γ＞0时，则将扩充区域的左边界左移 将扩充区域的上边界上移 如果γ＜0，将所述扩充区域的右边界右移 将所述扩充区域的上边界上移
[0166] 最后，值得说明的是，人物图像的头部姿态通常比较复杂，因此，控制器110需要将根据俯仰角α、水平转角β和旋转角γ分别计算得到的各个对应边界的偏移量进行叠加，获得各个边界最终的偏移量。
[0167] 在一个具体的示例中，当α＝10°、β＝-20°、γ＝-30°时，扩充区域的上边界下移左边界向左移动 右边界右移
[0168] 此外，如果扩充区域的位置靠近待识别图像的边界，则修正后的修正区域的边界可能存在超出待识别图像的固定边界的情况，导致最终根据该修正区域获得的人像缩略图异常
[0169] 因此，在一种可能的实现方式中，控制器在根据扩充区域确定修正区域之后，需要进一步判断修正区域中是否存在异常修正边界。其中，异常修正边界是指，修正区域中超出待识别图像固定边界的边界。如果存在异常修正边界，则将异常修正边界的位置修正为与其超出的固定边界平齐。
[0170] 例如，如果修正区域的右边界超出了待识别图像的右固定边界，则将修正区域的右边界进一步修正为与该右固定边界平齐。或者，如果扩充区域的上边界超出了待识别图像的上固定边界，则将扩充区域的上边界进一步修正为与该上固定边界平齐。
[0171] 步骤S604，根据修正区域，从待识别图像中截取人像缩略图。
[0172] 综上所述，本实施例提供的显示设备200能够在确定人脸区域之后，采用扩充规则对人脸区域进行扩充，将人物图像的整个头部囊括在扩充区域内，并根据人脸的姿态角对扩充区域的边界进行优化调整，使人像缩略图内的人脸图像更为协调。
[0173] 图9中示例性示出了根据示例性实施例中显示设备200功能配置示意图。如图9所示，存储器290用于存储操作系统、应用程序、内容和用户数据等，在控制器210控制下执行驱动显示设备200的系统运行以及响应用户的各种操作。存储器290可以包括易失性和/或非易失性存储器。
[0174] 存储器290，具体用于存储驱动显示设备200中控制器210的运行程序，以及存储显示设备200内置各种应用程序，以及用户从外部设备下载的各种应用程序、以及与应用程序相关的各种图形用户界面，以及与图形用户界面相关的各种对象，用户数据信息，以及各种支持应用程序的内部数据。存储器290用于存储操作系统(OS)内核、中间件和应用等系统软件，以及存储输入的视频数据和音频数据、及其他用户数据。
[0175] 存储器290，具体用于存储视频处理器260-1和音频处理器260-2、显示器280、通信接口230、调谐解调器220、检测器240、输入/输出接口等驱动程序和相关数据。
[0176] 在一些实施例中，存储器290可以存储软件和/或程序，用于表示操作系统(OS)的软件程序包括，例如：内核、中间件、应用编程接口(API)和/或应用程序。示例性的，内核可控制或管理系统资源，或其它程序所实施的功能(如所述中间件、API或应用程序)，以及内核可以提供接口，以允许中间件和API，或应用访问控制器，以实现控制或管理系统资源。
[0177] 示例的，存储器290，包括广播接收模块2901、频道控制模块2902、音量控制模块2903、图像控制模块2904、显示控制模块2905、音频控制模块2906、外部指令识别模块2907、通信控制模块2908、光接收模块2909、电力控制模块2910、操作系统2911、以及其他应用程序2912、浏览器模块等等。控制器210通过运行存储器290中各种软件程序，来执行诸如：广播电视信号接收解调功能、电视频道选择控制功能、音量选择控制功能、图像控制功能、显示控制功能、音频控制功能、外部指令识别功能、通信控制功能、光信号接收功能、电力控制功能、支持各种功能的软件操控平台、以及浏览器功能等其他应用。
[0178] 图10a中示例性示出了根据示例性实施例中显示设备200中软件系统的配置框图。
[0179] 如图10a中所示，操作系统2911，包括用于处理各种基础系统服务和用于实施硬件相关任务的执行操作软件，充当应用程序和硬件组件之间完成数据处理的媒介。
[0180] 一些实施例中，部分操作系统内核可以包含一系列软件，用以管理显示设备硬件资源，并为其他程序或软件代码提供服务。
[0181] 其他一些实施例中，部分操作系统内核可包含一个或多个设备驱动器，设备驱动器可以是操作系统中的一组软件代码，帮助操作或控制显示设备关联的设备或硬件。驱动器可以包含操作视频、音频和/或其他多媒体组件的代码。示例的，包括显示屏、摄像头、Flash、WiFi和音频驱动器。
[0183] 通信模块2911-2，用于经由相关通信接口和通信网络与其他外设的连接。
[0184] 用户界面模块2911-3，用于提供显示用户界面的对象，以供各应用程序访问，可实现用户可操作性。
[0186] 事件传输系统2914，可在操作系统2911内或应用程序2912中实现。一些实施例中，一方面在在操作系统2911内实现，同时在应用程序2912中实现，用于监听各种用户输入事件，将根据各种事件指代响应各类事件或子事件的识别结果，而实施一组或多组预定义的操作的处理程序。
[0187] 其中，事件监听模块2914-1，用于监听用户输入接口输入事件或子事件。
[0188] 事件识别模块2914-1，用于对各种用户输入接口输入各类事件的定义，识别出各种事件或子事件，且将其传输给处理用以执行其相应一组或多组的处理程序。
[0189] 其中，事件或子事件，是指显示设备200中一个或多个传感器检测的输入，以及外界控制设备(如控制装置100等)的输入。如：语音输入各种子事件，手势识别的手势输入子事件，以及控制装置的遥控按键指令输入的子事件等。示例的，遥控器中一个或多个子事件包括多种形式，包括但不限于按键按上/下/左右/、确定键、按键按住等中一个或组合。以及非实体按键的操作，如移动、按住、释放等操作。
[0190] 界面布局管理模块2913，直接或间接接收来自于事件传输系统2914监听到各用户输入事件或子事件，用于更新用户界面的布局，包括但不限于界面中各控件或子控件的位置，以及容器的大小或位置、层级等与界面布局相关各种执行操作。
[0191] 如图10b中所示，应用程序层2912包含可在显示设备200执行的各种应用程序。应用程序可包含但不限于一个或多个应用程序，如：直播电视应用程序、视频点播应用程序、媒体中心应用程序、应用程序中心、游戏应用等。
[0192] 直播电视应用程序，可以通过不同的信号源提供直播电视。例如，直播电视应用程可以使用来自有线电视、无线广播、卫星服务或其他类型的直播电视服务的输入提供电视信号。以及，直播电视应用程序可在显示设备200上显示直播电视信号的视频。
[0193] 视频点播应用程序，可以提供来自不同存储源的视频。不同于直播电视应用程序，视频点播提供来自某些存储源的视频显示。例如，视频点播可以来自云存储的服务器端、来自包含已存视频节目的本地硬盘储存器。
[0194] 媒体中心应用程序，可以提供各种多媒体内容播放的应用程序。例如，媒体中心，可以为不同于直播电视或视频点播，用户可通过媒体中心应用程序访问各种图像或音频所提供服务。
[0195] 应用程序中心，可以提供储存各种应用程序。应用程序可以是一种游戏、应用程序，或某些和计算机系统或其他设备相关但可以在智能电视中运行的其他应用程序。应用程序中心可从不同来源获得这些应用程序，将它们储存在本地储存器中，然后在显示设备200上可运行。
[0196] 需要说明的是，术语″包括″、″包含″或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句″包括一个......″限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
[0197] 以上所述仅是本申请的具体实施方式，使本领域技术人员能够理解或实现本申请。对这些实施例的多种修改对本领域的技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下，在其它实施例中实现。因此，本申请将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。
[0198] 应当理解的是，本申请并不局限于上面已经描述的内容，并且可以在不脱离其范围进行各种修改和改变。本申请的范围仅由所附的权利要求来限制。
| 标题 | 发布/更新时间 | 阅读量 |
|---|---|---|
| 设备上的组合活动历史 | 2020-05-08 | 502 |
| 信息处理方法及信息处理装置 | 2020-05-11 | 244 |
| 界面切换方法及装置 | 2020-05-11 | 555 |
| 一种病理显微图像交互显示方法、介质及设备 | 2020-05-11 | 867 |
| 智能电视及电视画面截图的图形用户界面的显示方法 | 2020-05-11 | 632 |
| 一种视频画质增强方法及其相关设备 | 2020-05-11 | 921 |
| X射线摄像装置 | 2020-05-11 | 698 |
| 数据传输方法、装置、电子设备及存储介质 | 2020-05-11 | 401 |
| 一种图片传输方法及设备 | 2020-05-08 | 511 |
| 一种视频控制方法及电子设备 | 2020-05-08 | 193 |
高效检索全球专利专利汇是专利免费检索,专利查询,专利分析-国家发明专利查询检索分析平台，是提供专利分析，专利查询，专利检索等数据服务功能的知识产权数据服务商。
我们的产品包含105个国家的1.26亿组数据，免费查、免费专利分析。
分析报告
专利汇分析报告产品可以对行业情报数据进行梳理分析，涉及维度包括行业专利基本状况分析、地域分析、技术分析、发明人分析、申请人分析、专利权人分析、失效分析、核心专利分析、法律分析、研发重点分析、企业专利处境分析、技术处境分析、专利寿命分析、企业定位分析、引证分析等超过60个分析角度，系统通过AI智能系统对图表进行解读，只需1分钟，一键生成行业专利分析报告。
QQ群二维码
意见反馈
意见反馈