用于显示内容的方法及其电子设备专利检索-自组织映射人工神经网络机器学习人工智能人工智能专利检索查询-专利查询网

用于显示内容的方法及其 电子设备

阅读：958发布：2020-05-08

专利汇可以提供用于显示内容的方法及其电子设备专利检索，专利查询，专利分析的服务。并且提供了一种用于在电子设备上显示内容的方法和系统。该方法包括接收要在低功率显示器(LPD)上显示的内容。此外，该方法包括识别要在电子设备的低功率显示器(LPD)上显示的内容的至少一个特性。基于内容的至少一个特性，该方法包括确定内容的至少一部分与LPD的兼容性。此外，基于兼容性检查的结果，该方法包括基于内容的至少一部分是否与LPD兼容，将内容的至少一部分转换和显示在LPD上。此外，该方法包括在具有启用了的低功率触摸(LPT)的LPD上显示内容的至少一部分。，下面是用于显示内容的方法及其电子设备专利的具体信息内容。

权利要求

1.一种用于在支持至少一种低功率显示模式的电子设备上显示内容的方法，所述方法包括：
识别要在电子设备的低功率显示器(LPD)上显示的内容的至少一个特性；
基于内容的至少一个特性来确定内容的至少一部分与LPD的兼容性；和
基于内容的所述至少一部分是否与LPD兼容，将内容的所述至少一部分转换并且显示在LPD上。
2.根据权利要求1所述的方法，其中，确定内容的至少一部分的兼容性包括：
获得LPD的至少一个约束；
确定内容的至少一个特性相对于LPD的至少一个约束的相关性；和
基于所述相关性确定内容的所述至少一部分与LPD的兼容性。
3.根据权利要求1所述的方法，其中，将内容的所述至少一部分转换并且显示在LPD上包括：
当内容的所述至少一部分与LPD兼容时，将内容的所述至少一部分布置在LPD上而不转换内容的所述至少一部分；和
当所述至少一部分与LPD不兼容时，通过在阈值内对内容的所述至少一部分应用转换规则、并且推荐内容的所述至少一部分的修改版本，来将内容的所述至少一部分布置在LPD上。
4.根据权利要求1所述的方法，还包括：
确定在LPD上用于显示内容的所述至少一部分的合适位置，其中，使用电子设备的情境信息来确定所述合适位置；和
配置LPD的至少一个设置，以用于在LPD上显示内容的所述至少一部分，
其中，所述至少一个设置是基于所述内容的至少一个操作要求来配置的。
5.根据权利要求1所述的方法，还包括：
识别要在LPD上显示的内容；
检查内容的至少一个预先学习的部分的可用性；和
在显示内容的所述至少一部分之前，基于应用于内容的所述至少一个预先学习的部分的至少一个设置，对内容的所述至少一部分执行至少一个动作。
6.根据权利要求1所述的方法，还包括：
当低功率触摸(LPT)被启用时，识别要在LPD上显示的另一内容；
确定所述另一内容的至少一个特性，其中，所述另一内容的至少一个特性包括至少一个显示特性或至少一个触摸特性中的至少一个；
基于所述另一内容的至少一个特性，确定所述另一内容的至少一部分与LPD和LPT的兼容性；和
对所述另一内容的所述至少一部分执行至少一个动作，并且在LPD上显示所述另一内容的所述至少一部分，其中，基于兼容性检查的结果执行所述至少一个动作。
7.一种支持至少一种低功率模式设置的电子设备，所述电子设备包括：
至少一个处理器，被配置为：
识别要在电子设备的低功率显示器(LPD)上显示的内容的至少一个特性，基于内容的至少一个特性，确定内容的至少一部分与LPD的兼容性，和
基于内容的所述至少一部分是否与LPD兼容，转换和控制LPD以显示内容的所述至少一部分。
8.根据权利要求1所述的方法或根据权利要求7所述的电子设备，其中，所述内容的至少一个特性包括至少一个显示特性。
9.根据权利要求7所述的电子设备，其中，所述至少一个处理器还被配置为：
获得LPD的至少一个约束；
确定内容的至少一个特性相对于LPD的至少一个约束的相关性；和
基于所述相关性确定内容的所述至少一部分与LPD的兼容性。
10.根据权利要求2所述的方法或根据权利要求9所述的电子设备，其中，使用卷积神经网络(CNN)分类器来确定所述兼容性。
11.根据权利要求7所述的电子设备，其中，当所述至少一个处理器基于内容的所述至少一部分是否与LPD兼容来转换和控制LPD以显示内容的所述至少一部分时，所述至少一个处理器还被配置为：
当内容的所述至少一部分与LPD兼容时，将内容的所述至少一部分布置在LPD上，而不转换内容的所述至少一部分；和
当所述至少一部分与LPD不兼容时，通过在阈值内对内容的所述至少一部分应用转换规则、并且推荐内容的所述至少一部分的修改版本，来将内容的所述至少一部分布置在LPD上。
12.根据权利要求5所述的方法或根据权利要求11所述的电子设备，其中，使用自组织特征映射(SOFM)神经网络将转换规则应用于内容的所述至少一部分。
13.根据权利要求5所述的方法或根据权利要求11所述的电子设备，其中，基于包括位置、策略导出的数据分析和使用机器学习模型学习的特征中的至少一个的情境来推荐所述至少一部分的修改版本。
14.根据权利要求7所述的电子设备，其中，所述至少一个处理器还被配置为：
确定LPD上用于显示内容的所述至少一部分的合适位置，其中，使用电子设备的情境信息来确定所述合适位置；和
配置LPD的至少一个设置，以用于在LPD上显示内容的所述至少一部分，
其中，所述至少一个设置是基于内容的至少一个操作要求来配置的。
15.根据权利要求7所述的电子设备，其中，所述至少一个处理器还被配置为：
识别要在LPD上显示的内容；
检查内容的至少一个预先学习部分的可用性；和
在显示内容的所述至少一部分之前，基于应用于内容的所述至少一个预先学习部分的至少一个设置，对内容的所述至少一部分执行至少一个动作。

说明书全文

用于显示内容的方法及其电子设备

技术领域

[0001] 本公开涉及在电子设备中显示内容。更具体地，本公开涉及分类和适配显示在电子设备上的内容。

背景技术

[0002] 目前，电子设备提供称为常开显示器(always on display，AOD)的低功率显示模式。在AOD模式下，可以降低显示器的功耗。然而，在现有场景中，只有预定义的应用或小部件(widget)可以与AOD模式兼容。例如，导航应用、综合常开内容(comprehensive always on content)、常开用户控件(诸如小部件、电视(TV)/物联网(IoT)遥控器等)可能与AOD模式不兼容。此外，当在AOD上显示不兼容的内容时，可能降低显示速率(即，每秒帧数(frames per second，FPS))、颜色深度和亮度。

[0003] 以上信息仅作为背景信息呈现，以帮助理解本公开。对于以上任何信息是否可以应用为关于本公开的现有技术，没有做出决定，也没有做出断言。发明内容

[0004] 问题的解决方案

[0005] 本公开的各方面至少解决上述问题和/或缺点，并且至少提供下面描述的优点。因此，本公开的一方面提供用于在电子设备的低功率显示器上显示内容的方法和系统，其中，电子设备支持至少一种低功率模式设置。

[0006] 本公开的另一方面提供一种用于在支持至少一种低功率显示模式的电子设备上显示内容的方法。该方法包括识别要在电子设备的低功率显示器(low power display，LPD)上显示的内容的至少一个特性，基于内容的至少一个特性来确定内容的至少一部分与LPD的兼容性，以及基于内容的至少一部分是否与LPD兼容，将内容的至少一部分转换并显示在LPD上。

[0007] 附加方面将部分地在随后的描述中阐述，并且部分地，从描述中变得显而易见，或者可以通过对所呈现的实施例的实践来了解。

[0008] 根据本公开的一方面，提供了一种电子设备。该电子设备包括用于在电子设备上显示内容的低功率内容集成(low power content integration，LPCI)引擎，其中，该电子设备支持至少一种低功率模式设置。LPCI引擎包括接收单元，其被配置为接收要在电子设备的低功率显示器(LPD)上显示的内容。此外，LPCI引擎包括特性确定单元，其被配置为确定内容的至少一个特性。此外，LPCI引擎包括兼容性检查单元，其被配置为执行内容的至少一部分与LPD的兼容性。兼容性检查是基于内容的至少一个特性来执行的。此外，LPCI引擎包括适配单元，其被配置为当内容的至少一部分与LPD兼容时，将内容的至少一部分转换并布置在LPD上。

[0009] 通过结合附图公开了本公开的各种实施例的以下详细描述，本公开的其他方面、优点和显著特征对于本领域技术人员将变得显而易见。

附图说明

[0010] 通过结合附图的以下描述，本公开的某些实施例的以上和其他方面、特征和优点将变得更加显而易见，其中：

[0011] 图1A和图1B示出了根据本公开各种实施例的、包括用于在具有启用了的低功率触摸(low power touch，LPT)的低功率显示器(LPD)上显示内容的低功率内容集成(LPCI)引擎的示例电子设备；

[0012] 图2是示出根据本公开实施例的用于在电子设备的LPD上显示内容的LPCI引擎的各种单元的框图；

[0013] 图3A是示出根据本公开实施例的用于在电子设备的LPD上显示内容的方法的流程图；

[0014] 图3B是示出根据本公开实施例的用于在LPD上显示内容的兼容部分的方法的流程图；

[0015] 图4描绘了根据本公开实施例的包括用于在启用了LPT的LPD上显示内容的LPCI引擎的示例电子设备；

[0016] 图5是示出根据本公开实施例的低功率模式下的内容集成的示例流程图；

[0017] 图6A、图6B和图6C是示出根据本公开各种实施例的在电子设备的LPD上显示内容的示例图；

[0018] 图7是示出根据本公开实施例的内容在电子设备的LPD上的基于情境(context)显示的示例图；

[0019] 图8是示出根据本公开实施例的文本在电视(TV)的LPD上的基于情境显示的示例图；

[0020] 图9A和9B是示出根据本公开各种实施例的在LPD上显示私人内容的示例图；

[0021] 图10是示出根据本公开实施例的在LPD上显示个性化内容的示例图；

[0022] 图11是示出根据本公开实施例的基于先前学习在LPD上显示内容的示例图；

[0023] 图12是示出根据本公开实施例的在LPCI引擎和云服务器之间的用于建模数据的通信的示例图；

[0024] 图13是示出根据本公开实施例的在LPD上显示内容时利用低功率内核进行屏幕刷新的示例图；

[0025] 图14A和图14B是示出根据本公开各种实施例的利用低功率内核和应用处理器在LPD上显示内容的示例图；

[0026] 图15A、图15B和图15C是示出根据本公开各种实施例的用于在LPD上显示内容的用户交互的示例图；

[0027] 图16是示出根据本公开实施例的常开显示器(AOD)覆盖用户界面(user interface，UI)的示例图，该AOD覆盖UI被提供用于转换内容的部分以用于LPD；

[0028] 图17A和图17B是示出根据本公开各种实施例的基于触摸手势在LPD上传送内容的示例场景；和

[0029] 图18A、图18B和图18C是示出根据本公开各种实施例的为了在LPD上显示而应用于内容的兼容性检查和转换规则的示例图。

[0030] 在所有附图中，相似的附图标记将被理解为指代相似的部件、组件和结构。

具体实施方式

[0031] 提供以下参考附图的描述是为了帮助全面理解由权利要求及其等同物限定的本公开的各种实施例。它包括有助于理解的各种具体细节，但这些被视为仅仅是示例性的。因此，本领域普通技术人员将认识到，在不脱离本公开的范围和精神的情况下，可以对本文描述的各种实施例进行各种改变和修改。此外，为了清楚和简明，可以省略对众所周知的功能和结构的描述。

[0032] 在以下描述和权利要求中使用的术语和词语不限于文献意义，而是仅由发明人使用以便能够清楚和一致地理解本公开。因此，对于本领域技术人员来说显而易见的是，提供本公开的各种实施例的以下描述仅仅是为了说明的目的，而不是为了限制由所附权利要求及其等同物限定的本公开。

[0033] 应当理解，单数形式“一”和“该”包括复数指代物，除非上下文另有明确规定。因此，例如，对“部件表面”的引用包括对一个或多个这样的表面的引用。

[0034] 本文的实施例公开了用于在电子设备上显示内容的方法和系统。

[0035] 本文公开的方法包括接收要在电子设备的低功率显示器(LPD)上显示的内容。此外，该方法包括确定内容的一个或多个特性。此外，该方法执行兼容性检查以确定内容的至少一部分与LPD的兼容性。兼容性检查可以基于内容的一个或多个特性来执行。取决于兼容性检查的结果，该方法包括对内容的至少一部分执行一个或多个动作，以用于将内容的至少一部分布置在LPD上。在实施例中，该方法包括在启用了低功率触摸(LPT)的LPD上显示所述至少一部分。

[0036] 现在参考附图，并且更具体地参考图1至图18，其中相似的附图标记在所有附图中一致地表示对应的特征，附图示出了示例实施例。

[0037] 图1A和图1B示出了根据本文公开的实施例的示例电子设备，该示例电子设备包括用于在低功率显示器(LPD)上显示内容的低功率内容集成(LPCI)引擎。

[0038] 参考图1A，示例电子设备100可以是但不限于移动电话、智能手机、平板电脑、平板手机、个人数字助理(personal digital assistant，PDA)、膝上型电脑、计算机、可穿戴设备、物联网(Internet of Things，IoT)设备、车辆信息娱乐系统、医疗设备、电视(TV)或支持低功率显示模式设置的任何其他设备。

[0039] 电子设备100包括LPCI引擎102、低功率模块104和数据库106。低功率模块104可以包括低功率显示器108。本文的实施例使用术语LPD、低功率模式屏幕和常开显示器(AOD)来指代电子设备100中的显示器，其中，该显示器可以使用低功率显示模式设置，同时是始终开启的。

[0040] 参考图1B，电子设备100的低功率模块104可以包括低功率显示器108和低功率触摸110。本文的实施例可互换地使用术语LPT和常开触摸(always on touch，AOT)，以使用户能够具有与LPD 108上显示的内容的最小交互。

[0041] 参考图1A，LPCI引擎102可以被配置为在电子设备100的LPD 108上显示内容。在实施例中，LPCI引擎102可以被配置为在启用了LPT的LPD 108上显示内容，如图1B所示。内容可以是，但不限于文本、用户控件/小部件、文档、应用(诸如但不限于导航应用/地图、日历应用、游戏应用、健康和健身应用、天气应用、电视或其他家电的远程应用、相机应用等)、图标、媒体(图像、视频、动画等)、条形码、快速响应(quick response，QR)码等。

[0042] 为了将内容集成到低功率模式操作中，LPCI引擎102接收内容并确定内容的特性。基于内容的特性，LPCI引擎102执行兼容性检查，以对内容的与LPD 108兼容的至少一部分进行分类。此外，LPCI引擎102基于兼容性检查的结果转换内容的所述至少一部分。此外，当内容的至少一部分与LPD 108兼容时，LPCI引擎102将内容的至少一部分布置在LPD 108上。
在实施例中，LPCI引擎102执行兼容性检查，以对内容的可以与LPT兼容的至少一部分进行分类。此外，LPCI引擎102对内容的确定部分执行动作，以在启用了LPT110的LPD 108上显示内容的部分。

[0043] 在实施例中，LPCI引擎102可以从云服务器112接收关于策略或推荐的信息，以用于对内容的确定部分执行动作。此外，LPCI引擎102将兼容性检查的结果和对内容执行的动作存储在数据库106中。

[0044] 在实施例中，LPCI引擎102基于从用户接收的输入将内容从正常模式传送到LPD 108，并且从LPD 108传送到正常模式。从用户接收的输入可以是但不限于语音命令、使用触控笔执行的手势、触摸手势(轻敲、点击、按压、滑动、保持、拖动等)、使用支持边缘显示的边缘显示器启动的输入、使用可弯曲显示器启动的输入、相机和AOT手势、从传感器(接近传感器、霍尔效应传感器等)接收的数据、使用增强现实(augmented reality，AR)/虚拟现实(virtual reality，VR)技术启动的输入等。

[0045] 图2是示出根据本文公开的实施例的用于在电子设备的LPD上显示内容的LPCI引擎的各种单元的框图。

[0046] 参考图2，LPCI引擎102包括接收单元202、特性确定单元204、兼容性检查单元206、适配单元208、情境确定单元210、硬件适配单元212、显示单元214、学习单元216、通信接口单元218和存储器220。

[0047] 接收单元202可以被配置为接收需要在LPD 108上显示的内容。特性确定单元204可以被配置为分析内容以用于确定内容的特性。内容的特性可以包括显示特性和触摸输入特性。显示特性可以是但不限于关于显示的直方图信息、颜色深度、亮度、像素功率等。触摸输入特性可以包括关于触摸的控制元件，诸如但不限于按钮、输入元件等。

[0048] 特性确定单元204还可以被配置为获得与LPD 108和LPT 110相关联的约束。与LPD 108和LPT110相关联的约束可以基于相关技术(例如，有源矩阵有机发光二极管(active-matrix organic light-emitting diode，AMOLED)、液晶显示器(liquid crystal display，LCD)等)获得。与LPD 108和LPT 110相关联的约束可以是实现功率和性能关键性能指标(key performance indicator，KPI)的操作约束。与LPD 108相关联的约束可以是但不限于每秒帧数(FPS)、颜色深度等。与LPT 110相关联的约束可以是但不限于触摸识别的区域、扫描速率的降低等。

[0049] 兼容性检查单元206可以被配置为执行兼容性检查，以用于确定内容中可以与LPD 108和LPT 110中的至少一个相兼容的部分。兼容性检查单元206将内容的显示特性与与LPD
108相关联的约束相关，以确定内容的部分与LPD 108的兼容性。类似地，兼容性检查单元
206将内容的触摸输入特性与与LPT 110相关联的约束相关，以确定内容的部分与LPT 110的兼容性。在实施例中，兼容性检查单元206使用卷积神经网络(convolutional neural network，CNN)分类器来执行兼容性检查。

[0050] 在实施例中，兼容性检查单元206可以考虑诸如但不限于接通(on)像素比和AOD限制(即，AOD可以具有全屏的有限面积)、内容亮度和运动要求、声音和网络(数据、全球定位系统(GPS))要求兼容性、传感器使用和功率兼容性、生物特征(biometric)和虹膜扫描仪兼容性、硬件中断和睡眠唤醒兼容性等的要求，以用于执行兼容性检查，

[0051] 适配单元208可以被配置为当内容的部分可以与LPD 108兼容时，将该内容的部分转换并布置在LPD 108上。为了将该内容的部分布置在LPD 108上，适配单元208基于兼容性检查的结果对该内容的部分执行动作。适配单元208使用自组织特征映射(self-organizing feature map，SOFM)神经网络对内容的部分执行动作。当内容的部分可以被确定为与LPD 108兼容时，适配单元208将该内容的部分提供给显示单元214以用于在LPD 108上显示，而不应用任何转换规则。在实施例中，当内容的部分可以被确定为与LPD和LPT 110兼容时，适配单元208将该内容的部分提供给显示单元214，以用于在启用了LPT的LPD 108上显示，而不应用任何转换规则。

[0052] 适配单元208在预定义阈值内对内容的部分应用转换规则，以布置该内容的部分以用于显示。可以通过确定内容的部分需要转换以便与LPD 108和LPT 110中的至少一个兼容来应用转换规则。例如，当内容的部分包括条形码等时，适配单元208可以调整(裁剪)内容的部分。当显示器(在AOD中)的总的光输出远低于环境光(例如，在阳光下)时，适配单元208可以在内容的部分上应用对比度增强滤波器以增加可读性。当颜色分布被确定为较少并且大多数颜色被确定为白色时，适配单元208可以在内容的部分上应用颜色反转滤波器。
当内容的部分具有较多FPS时，适配单元208限制FPS。适配单元208可以减小颜色比特深度，并应用增强滤波器来将内容的部分朝向AOD色域移动。当感兴趣区域被确定为交互式控件时，适配单元208可以仅对感兴趣区域启用触摸。当AOD具有较少亮度时，适配单元208可以增强内容/文本大小以获得更好的可读性。适配单元208可以基于认证(例如，生物特征输入、硬件按钮等)来隐藏或查看内容的部分。适配单元208可以基于用户的情境或位置来决定内容目标。适配单元208可以基于地理AOD策略来应用AOD偏好。适配单元208可以基于AOD约束和抓握传感器来平移内容的部分的位置以及转换内容的部分的大小。

[0053] 转换规则根据内容的特性和与LPD 108和LPT 110相关联的约束而变化。例如，为了使导航应用(地图)和游戏应用与LPD 108和LPT 110相适配，适配单元208可以应用颜色量化、基于环境照明执行对比度增强、限制FPS、调整应用布局的大小，并且仅在单独的输入控件上启用触摸。在示例中，为了使音乐小部件与LPD 108和LPT 110相适配，适配单元208可以应用颜色量化、基于环境照明执行对比度增强、限制FPS，并且仅在单独的输入控件上启用触摸。在示例中，为了使健康和健身应用以及旅行应用与LPD 108和LPT 110兼容，适配单元208可以应用颜色量化，基于环境照明执行对比度增强，并限制FPS。

[0054] 在实施例中，适配单元208可以基于先前的学习对内容的部分应用转换规则。

[0055] 当内容的部分/内容可以被确定为与LPD 108和LPT 110中的至少一个不兼容时，适配单元208推荐内容的部分的修改版本以用于在LPD 108上显示。内容的部分的修改版本可以包括内容的替换部分和替换内容中的至少一个。适配单元208基于诸如但不限于位置、策略导出的数据分析、使用机器学习模型学习的特征等因素来推荐内容的部分的修改版本。例如，当由于高FPS、高交互、剧烈的颜色变化、不同种类的内容等而将重型图形游戏、视频播放器、社交应用确定为与AOD或AOT不兼容时，适配单元208可以推荐替换内容。

[0056] 情境确定单元210可以被配置为确定LPD 108上的用于布置内容的部分的合适位置/地点。情境确定单元210使用电子设备100的情境信息来确定用于布置内容的部分的合适位置。情境确定单元210从诸如但不限于抓握传感器、光传感器等传感器获得情境信息。情境信息可以是但不限于抓握状态(例如，来自抓握传感器的信息)、左手或右手操作、电子设备的定向状态(例如，竖向、横向等)、电子设备100的环境照明条件(例如，从光传感器获得的信息)等。

[0057] 硬件适配单元212可以被配置为基于内容的操作要求来配置LPD 108和LPT 110的设置。例如，当发现内容的部分的操作要求少于与LPD 108和LPT110相关联的约束时，硬件适配单元212配置LPD 108和LPT 110的设置。

[0058] 显示单元214可以被配置为在从适配单元208接收到内容的部分时在LPD 108上显示该内容的部分。在实施例中，显示单元214可以被配置为在启用了LPT的LPD 108上显示内容的部分。该内容的部分可以是未经转换的内容的部分、经转换的内容的部分以及内容的替换部分和替换内容中的至少一个。在实施例中，显示单元214基于诸如但不限于电子设备的情境信息、用于LPD 108和LPT 110中的至少一个的配置的设置等因素来显示内容的部分。

[0059] 学习单元216可以被配置为学习关于兼容性检查的结果和转换规则的信息。因此，在接收到新内容时，可以基于所学习的信息来确定兼容性检查的要求和关于转换规则的信息，这进一步减少了计算时间。

[0060] 通信接口单元218可以被配置为与云服务器112通信。

[0061] 存储器220可以被配置为存储内容、兼容性检查的结果、转换规则、所配置的显示/触摸设置等。存储器220可以包括一个或多个计算机可读存储介质。存储器220可以包括非易失性存储元件。这种非易失性存储元件的示例可以包括磁性硬盘、光盘、软盘、闪存或电可编程存储器(electrically programmable memory，EPROM)或电可擦除可编程存储器(electrically erasable and programmable memory，EEPROM)的形式。此外，在一些示例中，存储器220可以被认为是非暂时性存储介质。术语“非暂时性”可以指示存储介质不是体现在载波或传播信号中。然而，术语“非暂时性”不应被解释为意味着存储器220是不可移动的。在一些示例中，存储器220可以被配置为存储比存储器更大量的信息。在某些示例中，非暂时性存储介质可以存储可以随时间变化的数据(例如，在随机存取存储器(RAM)或高速缓存中)。

[0062] 图2示出了LPCI引擎102的单元，但是应当理解，其他实施例不限于此。在其他实施例中，LPCI引擎102可以包括更少或更多数量的单元。此外，单元的标签或名称仅用于说明目的，并不限制本文实施例的范围。一个或多个单元可以组合在一起，以在LPCI引擎102中执行相同或实质相似的功能。

[0063] 图3A是示出根据本公开实施例的用于在电子设备的LPD上显示内容的方法的流程图。

[0064] 参考图3A，用于显示内容的方法300a包括在操作302处识别要在LPD108上显示的内容。方法300a允许接收单元202接收要在LPD 108上显示的内容。

[0065] 在操作304处，该方法包括确定内容的特性。该方法允许特性确定单元204确定内容的特性。

[0066] 在操作306处，该方法包括确定内容的至少一部分与LPD 108的兼容性。该方法允许兼容性检查单元206执行兼容性检查，以用于确定内容的至少一部分与LPD 108的兼容性。兼容性检查单元206使用CNN分类器执行兼容性检查。兼容性检查单元206将内容的特性与与LPD 108相关联的约束进行相关，以检查该内容的部分与LPD 108的兼容性。因此，可以使用CNN分类器对可以与LPD 108兼容的内容的部分进行分类。

[0067] 在操作308处，该方法包括当内容的部分可以与LPD 108兼容时，将内容的部分转换并布置在LPD 108上。当内容的部分可以与LPD 108兼容时，该方法允许适配单元208将内容的部分转换并布置在LPD上。基于兼容性检查的结果，适配单元208执行动作以将内容的部分布置在LPD 108上。所述动作可以是推荐内容的部分而不应用转换规则、通过应用转换规则推荐内容的部分、以及推荐内容的替换部分/替换内容中的至少一个以用于在LPD 108上显示。适配单元208可以响应于确定内容的部分与LPD 108相适配而不需要任何改变，来推荐该内容的部分而不应用转换规则。当内容的部分需要转换时，适配单元208将转换规则应用于该内容的部分。当内容的部分可以被确定为与LPD 108不兼容时，适配单元208推荐内容的替换部分。因此，内容可以集成到用于具有改进的功率分布(power profile)的显示和触摸环境的操作的低功率模式中。

[0068] 方法和流程图300a中的各种动作、行为、块等可以以呈现的顺序、不同的顺序或同时执行。此外，在一些实施例中，在不脱离本公开的范围的情况下，可以省略、添加、修改、跳过等一些动作、行为、块等。

[0069] 图3B是示出根据本公开实施例的用于在LPD上显示内容的兼容部分的方法的流程图。

[0070] 参考图3B，方法300b包括确定LPD 108上的用于显示内容的部分的合适位置。方法300b允许情境确定单元210确定LPD 108上的合适位置以用于在LPD 108上显示该内容的部分。内容的部分可以是内容的原始部分(未经转换)、内容的转换部分、内容的替换部分和替换内容中的至少一个。可以使用电子设备100的情境信息来确定合适的位置。情境信息可以从诸如抓握传感器、光传感器等的传感器获得。

[0071] 在操作312处，该方法包括配置LPD 108的设置，以用于在LPD 108上显示内容的部分。该方法允许硬件适配单元212来配置LPD 108的设置以用于在LPD 108上显示内容的部分。该内容的部分可以是内容的原始部分(没有转换)、内容的转换部分、内容的替换部分和替换内容。可以基于内容的操作要求来配置设置。因此，LPD配置可以被优化以用于在LPD 108上显示内容。

[0072] 方法和流程图300b中的各种动作、行为、块、操作等可以以呈现的顺序、不同的顺序或同时执行。此外，在一些实施例中，在不脱离本公开的范围的情况下，可以省略、添加、修改、跳过等一些动作、行为、块、操作等。

[0073] 图4描绘了根据本公开实施例的示例电子设备，其包括用于在启用了LPT的LPD 108上显示内容的LPCI引擎。

[0074] 参考图4，电子设备包括显示硬件/面板、操作系统、窗口系统(包括显示管理器和输入管理器)、LPCI引擎102、包括各种偏好的数据库(prefs)、知识库(KBs)、低功率显示模块(包括LPD和LPT)、安装的小部件/控件等。电子设备可以连接到云服务器。LPCI引擎102基于内容的特性针对LPD和触摸能力执行内容的评估和转换。此外，LPCI引擎102针对内容的操作要求执行低功率硬件(即，LPD和LPT)的优化。

[0075] 图5是示出根据本公开实施例的低功率模式下的内容集成的示例流程图。

[0076] 参考图5，LPCI引擎102可以接收关于需要显示的内容以及与LPD 108和LPT 110相关联的约束的信息。LPCI引擎102进一步分析内容，并确定与内容相关的显示特性和触摸输入特性。

[0077] 基于所识别的特性，LPCI引擎102检查显示特性是否可以与LPD 108兼容。LPCI引擎102通过确定内容不能与LPD 108兼容来推荐替换内容。如果内容可以与LPD 108兼容，则LPCI引擎102检查LPD配置的优化。如果配置可以被优化，LPCI引擎102基于内容的操作要求来识别优化的配置设置。此外，LPCI引擎102配置LPD 108的设置。另外，LPCI引擎102通过应用一组规则来转换内容。例如，LPCI引擎102通过归一化亮度、降低颜色熵等来转换内容。

[0078] 类似地，LPCI引擎102检查触摸输入特性是否可以与LPT 110兼容。LPCI引擎102通过确定内容不能与LPT 110兼容来推荐替换内容。如果内容可以与LPT兼容，LPCI引擎102检查LPT配置的优化。如果配置可以被优化，LPCI引擎102基于内容的操作要求来识别LPT 110的优化配置设置。此外，LPCI引擎102配置LPT 110的设置。另外，LPCI引擎102通过应用一组规则来转换内容。例如，LPCI引擎102通过归一化亮度、降低颜色熵等来转换内容。

[0079] 在转换内容并优化LPD和LPT配置之后，LPCI引擎102获得电子设备的情境信息。基于情境信息，LPCI引擎102识别内容在LPD 108上的布置。LPCI引擎102根据所识别的在启用了LPT的LPD 108上的布置显示内容。

[0080] 图6A、图6B和图6C是示出根据本公开实施例的在电子设备的LPD上显示内容的示例图。

[0081] 参考图6A，示例图示出了导航应用在启用了LPT的LPD 108上的显示。参考图6A，在接收到导航应用时，LPCI引擎102确定与导航应用的部分相关的特性和对应值。这些特性可以是但不限于FPS、亮度变化、颜色变化等。LPCI引擎102使用导航应用的特性来执行兼容性检查。在确定导航应用的部分可以与AOD和AOT兼容之后，LPCI引擎102执行将导航应用的部分转换为与AOD和AOT兼容。例如，LPCI引擎102可以使用局部特征和SOFM神经网络来改变FPS和颜色变化。此外，LPCI引擎102可以使用颜色量化技术。另外，LPCI引擎102可以限制FPS并将导航应用的部分转换为与AOD兼容。

[0082] 一旦该导航应用的部分被转换，LPCI引擎102识别AOD上合适的位置以用于该导航应用的部分的布置。该合适的位置可以基于诸如但不限于导航应用的大小、抓握、左手或右手操作、位置、重要性等因素来识别。

[0083] 参考图6A，LPCI引擎102配置AOD和AOT的设置。基于所识别的位置和所配置的设置，LPCI引擎102在对感兴趣的区域(即，如图6A所示的标记区域)启用了AOT的AOD上显示导航应用的转换的部分。

[0084] 参考图6B，示例图示出了远程控制和播放音乐小部件在LPD 108上的显示。LPCI引擎102可以执行兼容性检查，以确定远程控制小部件和播放音乐小部件是否与AOD或AOT兼容。远程控制小部件可以要求最小的改变以与AOD和AOT兼容。播放音乐小部件可以要求中等的改变以与AOD和AOT兼容。

[0085] 在确定远程控制小部件和播放音乐小部件可以与AOD和AOT兼容之后，LPCI引擎102执行小部件的转换。例如，LPCI引擎102对远程控制小部件应用黑白(black-white，BW)滤波器，并将远程控制小部件转换成与AOD兼容。类似地，LPCI引擎102对播放音乐小部件应用BW滤波器和FPS限制，并将播放音乐小部件与AOD和AOT相适配。LPCI引擎102基于使用、抓握等来识别AOD上用于远程控制小部件和播放音乐小部件的布置的合适位置。此外，LPCI引擎102配置AOD和AOT的设置。基于所配置的设置，LPCI引擎102在对如图6B所示的标记区域(感兴趣的区域)启用了AOT的AOD上显示远程控制小部件和播放音乐小部件。

[0086] 参考图6C，示例图示出了天气小部件在对感兴趣区域中的至少一个区域启用了LPT的LPD 108上的显示。本文实施例使得LPCI引擎102能够执行兼容性检查，以用于确定第一天气小部件和第二天气小部件是否可以与AOD或AOT兼容。

[0087] 在确定第二小部件不能与AOD和AOT兼容之后，LPCI引擎102推荐替换内容。例如，在确定第一天气小部件可以与AOD和AOT兼容之后，LPCI引擎102执行第一天气小部件的转换。例如，LPCI引擎102对第一天气小部件应用最小滤色器和FPS限制。LPCI引擎102基于用户的抓握来识别AOD上用于布置天气小部件的合适位置。此外，LPCI引擎102配置AOD和AOT的设置。基于所配置的设置和所识别的位置，如图6C所示LPCI引擎102在对控制表面(标记区域)启用了AOT的AOD上显示天气小部件。

[0088] 图7是示出根据本公开实施例的内容在电子设备的LPD上基于情境显示的示例图。

[0089] 参考图7，LPCI引擎102可以在特定工作日在AOD上显示相关图片。此外，当有人呼叫用户时，LPCI引擎102在LPD 108上显示特定类型的动画。类似地，响应于确定用户正在笑，LPCI引擎102在AOD上显示特定类型的表情符号。

[0090] 图8是示出根据本公开实施例的文本在电视(TV)上基于情境显示的示例图。

[0091] 参考图8，LPCI引擎102可以在支持AOD的TV上显示有用的信息。该有用的信息可以通过与用户的移动设备通信来显示。LPCI引擎102显示关于特定事件(诸如但不限于，当进入家时，当离开家时等)的有用信息。例如，当用户进入家时，LPCI引擎102显示如“欢迎回家”的文本，而当用户离开家时，显示“祝你有美好的一天”。此外，LPCI引擎102在TV的AOD上显示每日更新。所述更新可以与用户接收到的邮件、认证失败等有关。此外，LPCI引擎102在用户离开家时，通过在TV的AOD上显示推荐文本来推荐用户关闭风扇并且带上车钥匙。

[0092] 图9A和9B是示出根据本公开各种实施例的在LPD上显示私人内容的示例图。

[0093] 参考图9A，LPCI引擎102基于内容隐私在AOD上显示锁定的内容。可以通过执行生物特征(面部、虹膜等)认证来解锁内容。例如，一旦虹膜认证成功，LPCI引擎102解锁并在AOD上显示内容。

[0094] 参考图9B，示例图示出了使用AOD按钮以用于在AOD上显示私人内容。参考图9B，可以提供AOD按钮，并且可以允许用户按下该AOD按钮以接收内容。AOD按钮基于用户偏好触发认证过程，诸如虹膜扫描、面部识别扫描等。在成功认证之后，LPCI引擎102在AOD上显示私人内容。

[0095] 图10是示出根据本公开实施例的在LPD上显示个性化内容的示例图。

[0096] 参考图10，LPCI引擎102可以基于用户的位置在AOD上显示内容。如果用户在办公室，LPCI引擎102在AOD上显示的基本信息，诸如时钟、日历等。如果用户在家，LPCI引擎102在AOD上显示与家中存在的IoT设备相关的信息。因此，IoT设备(诸如但不限于空调、灯泡、风扇等)的状态可以基于用户的位置而在LPD上显示。

[0097] 图11是示出根据本公开实施例的基于先前学习而在LPD上显示内容的示例图。

[0098] 参考图11，LPCI引擎102可以学习用于内容转换的规则，以在AOD上显示内容。在接收到与先前显示的内容类似的新内容时，LPCI引擎102根据先前学习来应用规则和设置，以在AOD上显示新内容。

[0099] 图12是示出根据本公开实施例的LPCI引擎和云服务器之间的用于建模数据的通信的示例图。

[0100] 参考图12，LPCI引擎102可以向云服务器112发送AOD建模数据(即，用于转换的规则)。在接收到AOD建模数据时，云服务器112基于地理区域、人员类别等向电子设备100的LPCI引擎102提供策略或推荐，作为建模数据的附加输入。例如，LPCI引擎102可以向服务器发送用于转换导航应用的规则。在接收和分析所述规则时，云服务器112可以基于用户位置的天气条件理解AOD偏好，并且可以推荐LPCI引擎102增强导航应用的亮度以获得更好的可视性。

[0101] 图13是示出根据本公开实施例的在LPD上显示内容时利用低功率内核以用于屏幕刷新的示例图。

[0102] 参考图13，LPCI引擎102可以在AOD上显示内容时，在AOD模式下启用低功率内核以用于刷新AOD屏幕。这样可以降低功耗。低功率内核执行更新功能，诸如但不限于收集传感器数据、处理触控笔绘图、推断情境、进行增量用户界面(UI)更新(例如，导航指针移动)等。

[0103] 此外，在AOD上显示内容时，低功率内核决定是否需要完全唤醒模式或协作模式来执行屏幕刷新。在完全唤醒模式下，低功率内核与应用处理器(application processor，AP)一起操作。低功率内核使用从AP接收的反馈来执行更新操作，诸如但不限于执行面部识别和指纹扫描、支持游戏应用等。

[0104] 图14A和图14B是示出根据本公开各种实施例的利用低功率内核和应用处理器以用于在LPD上显示内容的示例图。

[0105] 参考图14A，示例图示出了在AOD模式下低功率内核支持的内容。在AOD模式下，LPCI引擎102启用低功率内核以执行功能，诸如但不限于执行时钟更新、执行备忘录更新和日历日程、显示与票(例如，电影票、飞机票等)相关的条形码等。此外，通过启用低功率内核，可以运行简单的游戏。

[0106] 参考图14B，示例图示出了协作模式下的低功率内核和AP支持内容。在协作模式下，LPCI引擎102启用AP以向低功率内核提供反馈，以用于执行操作，诸如但不限于执行天气/导航更新、支持图像捕捉/自拍模式、支持音频音乐播放、支持遥控器等。

[0107] 图15A、图15B和图15C是示出根据本公开各种实施例的用于在LPD上显示内容的用户交互的示例图。

[0108] 参考图15A，示例图示出了与电子设备100的硬件按钮的AOD用户交互。本文的实施例允许用户与电子设备100的AOD硬件按钮进行交互。当用户按下AOD按钮时，LPCI引擎102可以突出显示所有可能的小部件，以供用户选择和调整大小。在选择小部件之后，LPCI引擎102使用CNN分类器来检查所选择的小部件与AOD和AOT的兼容性。如果所选择的小部件可以被确定为与AOD和AOT不兼容，则LPCI引擎102向用户显示不兼容导致错误的消息。否则，LPCI引擎102使用SOFM神经网络来转换所选择的小部件，并且在AOD上显示转换后的小部件。

[0109] 参考图15B，示例图示出了使用启动器(launcher)执行的用户控制兼容性检查。本文的实施例允许用户点击并保持期望传送到AOD的小部件。此外，可以拖动期望的小部件跨过启动器屏幕到达AOD传送图标。此后，LPCI引擎102可以使用CNN分类器对期望的小部件执行兼容性检查。如果期望的小部件可以被确定为与AOD和AOT不兼容，则LPCI引擎102向用户显示由于不兼容导致错误的消息。否则，LPCI引擎102使用SOFM神经网络来转换期望的小部件，并在AOD上显示转换后的小部件。

[0110] 参考图15C，示例图示出了基于触摸手势从AOD模式到正常模式的转变。本文的实施例允许用户在AOD屏幕上滑动以进入如图15C所示的正常锁定屏幕模式。基于滑动手势，LPCI引擎102执行AOD到正常锁定屏幕模式的转变。

[0111] 图16是示出根据本公开实施例的AOD覆盖UI的示例图，该AOD覆盖UI被提供用于转换内容的部分以用于LDP。

[0112] 参考图16，LPCI引擎102可以在内容上显示AOD覆盖UI按钮。例如，AOD覆盖UI按钮可以显示在导航应用上，如图16所示。当用户点击AOD覆盖UI按钮时，LPCI引擎102可以执行兼容性检查并转换该导航应用的部分。此外，LPCI引擎102在AOD屏幕上显示该导航应用的转换后的部分。

[0113] 图17A和图17B是示出根据本公开各种实施例的基于触摸手势在LPD上传送内容的示例场景。

[0114] 参考图17A，示例图示出了基于轻敲手势将小部件传送到LPD屏幕。本文的实施例使得任何第三方小部件或控件或内容能够经由UI序列或手势被传送到AOD。本文的实施例使得能够对内容应用UI转换，以使内容与LPD108兼容。用户可以执行预定的手势(例如，轻敲手势)来启动小部件向AOD传送。小部件按照AOD约束进行转换，并保持显示。

[0115] 参考图17B，示例图示出了基于滑动手势将内容传送到LPD屏幕。例如，用户想要显示带有快速响应(QR)代码和机票确认消息的登机牌。用户可以在设备上选择内容。基于用户执行的滑动手势，可以在AOD上显示具有适配内容的完整登机牌。

[0116] 图18A、图18B和图18C是示出根据本文公开的实施例的为了在LPD上显示而应用于内容的兼容性检查和转换规则的示例图。

[0117] 参考图18A、图18B和图18C，当接收到需要在启用了LPT的AOD上显示的内容时，LPCI引擎102检查类似的内容是否之前被共享给AOD。例如，内容可以是地图(如图18A所示)、分数和评论板(如图18B所示)和游戏应用(如图18C所示)。响应于确定内容已经被共享给AOD，LPCI引擎102根据先前学习对内容应用转换规则，并在AOD上显示内容。否则，LPCI引擎102执行兼容性检查并记录具有内容类型的数据。

[0118] 为了执行兼容性检查，LPCI引擎102分析AOD和AOT约束。例如，在显示地图的情况下(如图18A所示)，所考虑的AOD约束可以包括由于较小接通像素比和低功率降压升压器而闪烁和变绿的显示器。此外，由于AOD亮度限制和较低的AOD色深，图像在明亮的阳光下可能不可见。AOT约束可以包括由于AOT中触摸刷新率的限制而导致的缓慢触摸响应，以及由于AOT中触摸面积有限而导致的地图缩放选项的缺乏。

[0119] 类似地，在显示分数和评论板以及游戏应用的情况下(如图18B和图18C所示)，所考虑的AOD约束可以包括由于较小接通像素比和低功率降压升压器而闪烁和变绿的显示器。此外，由于AOD亮度限制和较低的AOD色深，图像在明亮的阳光下可能不可见。另外，由于AOD的FPS限制，可能无法即时更新分数。AOT约束可以包括由于AOT中触摸刷新率的限制而导致的缓慢触摸响应。

[0120] 在识别内容的特性以及AOD和AOT约束之后，LPCI引擎102将内容的显示特性，诸如白色像素密度、颜色变化、SOFM等，与预定义阈值(与AOD约束相关)进行比较。为了检查内容与AOT的兼容性，LPCI引擎102用AOT寄存器中定义的阈值检查内容的触摸输入特性。

[0121] 在确定内容可以与AOT和AOD兼容之后，LPCI引擎102基于AOD和AOT约束对内容应用转换规则。例如，在显示地图和游戏应用的情况下，LPCI引擎102可以执行动作，诸如但不限于，使用局部特征和SOFM神经网络来降低地图和游戏应用的颜色，应用颜色量化，取决于环境照明来执行颜色增强，限制FPS，启用对地图和游戏应用上的单独的输入控件等的触摸等。类似地，在显示分数和评论板的情况下，LPCI引擎102可以执行动作，诸如但不限于，使用局部特征和SOFM神经网络来降低地图应用的颜色、应用颜色量化、取决于环境照明来执行颜色增强、限制分数和评论板上的FPS等。

[0122] 在对内容应用转换规则之后，LPCI引擎102分析用于在AOD上显示和更新内容的低功率内核的性能和功耗。LPCI引擎102确定诸如但不限于图像哈希SOFM估计和兼容性检查所花费的时间、需要执行的更新以及功耗等因素。例如，在显示地图的情况下，LPCI引擎102确定图像哈希SOFM估计所花费的时间可以小于2.3ms，并且兼容性检查所花费的时间可以小于10ms。LPCI引擎102确定导航指针更新需要每秒执行。此外，LPCI引擎102计算在AOD中消耗的功率可以小于1.68mA。此外，基于所确定的因素，AOD功耗的平均增长可以被确定为每性能(per performance)为2～3mA。因此，基于所确定的性能和功耗，LPCI引擎102在对感兴趣的区域(如图18A所示的标记区域)启用了AOT的AOD上显示转换后的地图应用。

[0123] 类似地，在显示分数和评论板的情况下，LPCI引擎102确定图像哈希SOFM估计所花费的时间可以小于2.67ms，并且兼容性检查所花费的时间可以小于15ms。LPCI引擎102确定评论部分需要每秒更新。此外，LPCI引擎102计算在AOD中消耗的功率可以小于2.08mA。此外，基于所确定的因素，AOD功耗的平均增长可以被确定为每性能2～3mA。因此，基于所确定的性能和功耗，LPCI引擎102在对感兴趣的区域(如图18B所示的标记区域)启用AOT的AOD上显示分数和评论板。

[0124] 此外，在显示游戏应用的情况下，LPCI引擎102确定图像哈希SOFM估计所花费的时间可以小于1.43ms，并且兼容性检查所花费的时间可以小于5ms。此外，LPCI引擎102计算在AOD中消耗的功率可以小于1.03mA。此外，基于确定的因素，AOD功耗的平均增长可以被确定为每性能1～2mA。因此，基于所确定的性能和功耗，LPCI引擎102在对感兴趣的区域(如图18C所示的标记区域)启用了AOT的AOD上显示游戏应用。

[0125] 本文公开的实施例可以通过在至少一个硬件设备运行的并且执行网络管理功能以控制元件的至少一个软件程序来实施。图1和图2中所示的元件可以是硬件设备或硬件设备和软件模块的组合中的至少一个。

[0126] 虽然已经结合本公开的各种实施例示出和描述了本公开，但是本领域技术人员将理解，在不脱离由所附权利要求及其等同物限定的本公开的精神和范围的情况下，可以在形式和细节上对其做出各种改变。

标题	发布/更新时间	阅读量
一种基于区块链的数据分块确认方法、装置、设备和介质	2020-05-11	920
一种基于内存计算的线损分析方法	2020-05-08	314
卫星外场试验中与试验基地遥测数据交互方法及系统	2020-05-12	839
一种基于影响力自适应聚合的边缘计算可信协同服务方法	2020-05-13	972
一种基于数字化超短波模拟训练系统	2020-05-08	205
手术装置及其使用方法	2020-05-11	838
电子名片的管理方法及装置	2020-05-11	301
一种基于EPAs的责任型领导岗位胜任能力测评方法	2020-05-08	511
针对道路图像的灭点自动标定方法	2020-05-08	989
一种旅游大数据商业平台系统	2020-05-12	272

用于显示内容的方法及其电子设备

用于显示内容的方法及其电子设备

技术领域

背景技术

附图说明

具体实施方式

该功能需要专业版企业版VIP权限，您可以：