提供用户交互的用户终端设备及其方法专利检索-电子化学元素和化合物专利检索查询-专利查询网

提供用户交互的用户终端设备及其方法

阅读：445发布：2024-02-16

专利汇可以提供提供用户交互的用户终端设备及其方法专利检索，专利查询，专利分析的服务。并且公开了一种包含弯曲触摸屏的用户终端设备的用户交互方法。本发明包括步骤：如果位于用户终端设备外部的外部设备和用户终端设备连接，从而能够互相通信，则使与外部设备关联的UI元件显示于子区上；以及响应用于选择所述UI元件的用户姿势，执行与UI元件关联的功能。因此，能够以各种方式进行交互。，下面是提供用户交互的用户终端设备及其方法专利的具体信息内容。

权利要求

1.一种包含弯曲触摸屏的用户终端设备的用户交互方法，所述弯曲触摸屏包含分别对应于所述用户终端设备的前面和侧面的主区和子区，所述用户交互方法包括：
基于位于所述用户终端设备外部的外部设备的连接，使指示外部设备的UI元件显示于所述子区上；
基于接收用于选择被提供到所述子区的指示所述外部设备的所述UI元件的触摸输入，在所述子区上显示指示用于控制所述外部设备的应用的用户界面，
基于接收用于选择被显示在所述子区的用户界面元件的触摸输入，将所述应用的执行屏幕显示到所述主区，以及
基于通过所述应用的执行屏幕而输入用户命令，将与所述用户命令相对应的信息发送到所述外部设备。
2.根据权利要求1所述的用户交互方法，其中，所述用户命令包含控制所述外部设备的功能。
3.一种包含弯曲触摸屏的用户终端设备的用户交互方法，所述弯曲触摸屏包含分别对应于所述用户终端设备的前面和侧面的主区和子区，所述用户交互方法包括：
基于与所述用户终端设备关联的附件设备与所述用户终端设备分离，使指示附件设备的UI元件显示于所述子区上；
基于接收用于选择被提供到所述子区的指示所述附件设备的所述UI元件的触摸输入，在所述子区上显示指示用于控制所述附件设备的应用的用户界面，
基于接收用于选择被显示在所述子区的用户界面元件的触摸输入，将所述应用的执行屏幕显示到所述主区，以及
基于通过所述应用的执行屏幕而输入用户命令，将与所述用户命令相对应的信息发送到所述附件设备。
4.一种包含弯曲触摸屏的用户终端设备的用户交互方法，所述弯曲触摸屏包含分别对应于所述用户终端设备的前面和侧面的主区和子区，所述用户交互方法包括：
接收用于选择包含于在所述子区上显示的菜单中的第一对象的手指姿势；
接收在所述主区上移动的笔姿势；以及
通过对接收的所述笔姿势应用对应于所述手指姿势选择的所述第一对象的功能，可视转换并且显示对应于所述笔姿势移动的轨迹的区。
5.根据权利要求4所述的用户交互方法，其中所述接收所述手指姿势包含通过安装于所述弯曲触摸屏的所述子区下面的触摸板接收所述手指姿势，并且所述接收所述笔姿势包含通过安装于所述弯曲触摸屏的所述主区下面的笔识别板接收所述笔姿势。
6.根据权利要求4所述的用户交互方法，其中所述可视转换并且显示对应于所述移动的轨迹的所述区包含当手指触摸在所述第一对象上作为所述手指姿势保持时，可视转换并且显示对应于所述移动的轨迹的所述区。
7.一种包含弯曲触摸屏的用户终端设备，所述弯曲触摸屏包含分别对应于所述用户终端设备的前面和侧面的主区和子区，所述用户终端设备包括：
弯曲触摸屏，所述弯曲触摸屏接收用户姿势；以及
控制器，所述控制器基于位于所述用户终端设备外部的外部设备的连接，使指示外部设备的UI元件显示于所述子区上；基于接收用于选择被提供到所述子区的指示所述外部设备的所述UI元件的触摸输入，在所述子区上显示指示用于控制所述外部设备的应用的用户界面，基于接收用于选择被显示在所述子区的用户界面元件的触摸输入，将所述应用的执行屏幕显示到所述主区，以及基于通过所述应用的执行屏幕而输入用户命令，将与所述用户命令相对应的信息发送到所述外部设备。
8.根据权利要求7所述的用户终端设备，其中当执行所述用户命令时，所述控制器控制所述外部设备的功能。
9.一种包含弯曲触摸屏的用户终端设备，所述弯曲触摸屏包含分别对应于所述用户终端设备的前面和侧面的主区和子区，所述用户终端设备包括：
弯曲触摸屏，所述弯曲触摸屏接收用户姿势；以及
控制器，所述控制器基于与所述用户终端设备关联的附件设备与所述用户终端设备分离，使指示所述附件设备的UI元件显示于所述子区上，并且基于接收用于选择被提供到所述子区的指示所述附件设备的所述UI元件的触摸输入，在所述子区上显示指示用于控制所述附件设备的应用的用户界面，基于接收用于选择被显示在所述子区的用户界面元件的触摸输入，将所述应用的执行屏幕显示到所述主区，以及基于通过所述应用的执行屏幕而输入用户命令，将与所述用户命令相对应的信息发送到所述附件设备。

说明书全文

提供用户交互的用户终端设备及其方法

技术领域

[0001] 根据本公开的装置和方法涉及提供用户交互的用户终端设备及其方法，并且更特别地涉及利用划分为主区和至少一个子区的弯曲触摸屏来提供用户交互的用户终端设备及其方法。

背景技术

[0002] 随着电子技术的发展，已经开发并且发布了各种类型的用户终端设备。最近，随着用户终端设备的尺寸最小化，用户终端设备具有更加多元化的功能，并且因此，对用户终端设备的需要越来越普遍。

[0003] 用户终端设备可以响应用户的请求提供各种内容，诸如多媒体内容和应用屏幕。用户可以使用安装于用户终端设备中的按钮、触摸屏等来选择他/她想使用的功能。用户终端设备可以根据用户交互而可选地执行程序并且显示执行结果。

[0004] 同时，随着用户终端设备可以提供的功能逐步不同，产生了对显示内容的方法或者用户交互方法的各种需要。即，随着内容的类型和功能的显著增加，简单选择按钮或者触摸触摸屏的现有交互方法不能跟上增加的内容类型和功能的脚步。

[0005] 因此，出现了对使用户更方便地使用用户终端设备的用户交互技术的需要。发明内容

[0006] 技术问题

[0007] 本公开提供了一种能够利用划分为主区和至少一个子区的弯曲触摸屏来支持各种用户交互的用户终端设备及其方法。

[0008] 技术方案

[0009] 根据本公开的一个方案，提供一种包括弯曲触摸屏的用户终端设备的用户交互方法，该弯曲触摸屏划分为主区和面积比主区小的子区，并且固定该弯曲触摸屏，以以钝角形成包含主区的面和包含子区的面，该用户交互方法包含：接收用于选择包含于显示在子区上的菜单中的第一对象的手指姿势；接收在主区上移动的笔姿势；以及通过对该区应用对应于手指姿势选择的第一对象的功能，可视转换并且显示对应于笔姿势的移动轨迹的区。

[0010] 接收手指姿势可以包含通过安装于弯曲触摸屏的子区下面的触摸板接收手指姿势，并且接收笔姿势可以包含通过安装于弯曲触摸屏的主区下面的笔识别板接收笔姿势。

[0011] 可视转换(visually transforming)并且显示对应于移动轨迹的区可以包含当手指触摸在第一对象上作为手指姿势保持时，可视转换并且显示对应于移动轨迹的区。

[0012] 可视转换并且显示对应于移动轨迹的区可以包含当在第一对象上释放手指触摸时，通过应用对应于与包含在菜单中的第一对象不同的第二对象的功能，可视转换并且显示对应于移动轨迹的区。

[0013] 可视转换并且显示对应于移动轨迹的区可以包含使对应于可视转换并且显示的移动轨迹的区返回在第一对象上释放手指触摸时进行转换之前的形式。

[0014] 接收用于选择第一对象的手指姿势还可以包含在用户终端设备的背面感测执行手指姿势的用户手掌。

[0015] 对应于移动轨迹的区可以是：在其中移动轨迹位于主区上的区、根据移动轨迹产生封闭曲线而处于封闭曲线内的区、或者围绕移动轨迹的区。

[0016] 菜单可以包含在主区上编辑或者绘制图像的菜单，并且菜单可以包含如下中的至少一个：铅笔(pencil)对象、笔粗细对象、刷对象、擦除对象、直线对象和曲线对象。

[0017] 菜单可以是用于管理显示于主区上的电子书页面的菜单，并且菜单可以包含如下中的至少一个：黑体字对象、斜体字对象、下划线对象、删除线对象、字号改变对象、高亮对象、搜索对象、和放大镜对象。

[0018] 接收用于选择包含于显示在子区上的菜单中的第一对象的手指姿势可以包含：接收用于选择包含于显示在子区上的菜单中的第一对象和第二对象的多手指姿势，并且可视转换并且显示对应于移动轨迹的区可以包含：作为响应多手指姿势对对应于笔姿势的移动轨迹的区应用对应于第一对象和第二对象的功能的结果，来可视转换并且显示对应于移动轨迹的区。

[0019] 可视转换并且显示对应于移动轨迹的区还可以包含作为应用对应于第一对象的功能的结果，来执行用于处理要显示在主区上的显示图像的应用。

[0020] 根据本公开的另一个方案，提供一种包括弯曲触摸屏的用户终端设备，该弯曲触摸屏划分为主区和面积比主区小的子区，并且固定该弯曲触摸屏，以以钝角形成包含主区的面和包含子区的面，该用户终端设备包含：弯曲触摸屏，该弯曲触摸屏接收用于选择包含于显示在子区上的菜单中的第一对象的手指姿势并且接收在主区上移动的笔姿势；以及控制器，通过对该区应用对应于手指姿势选择的第一对象的功能，该控制器可视转换并且显示对应于笔姿势移动的轨迹的区。

[0021] 弯曲触摸屏可以通过安装于弯曲触摸屏的子区下面的触摸板接收手指姿势，并且通过安装于弯曲触摸屏的主区下面的笔识别板接收笔姿势。

[0022] 当手指触摸姿势在第一对象上作为用户手指姿势保持时，控制器可以可视转换并且显示对应于移动轨迹的区。

[0023] 当在第一区上释放手指触摸时，通过向对应于移动轨迹的区应用对应于与包含于菜单中的第一对象不同的第二对象的功能，控制器可视转换并且显示对应于移动轨迹的区。

[0024] 控制器可以使对应于可视转换并且显示的移动轨迹的区返回在第一对象上释放手指触摸时进行转换之前的形式。

[0025] 对应于移动轨迹的区可以是移动轨迹位于主区上的区、根据移动轨迹产生封闭曲线而处于封闭曲线内的区、或者围绕移动轨迹的区。

[0026] 弯曲触摸屏可以接收用于选择包含于显示在子区上的菜单中的第一对象和第二对象的多手指姿势，并且作为对对应于笔姿势的移动轨迹的区应用对应于第一对象和第二对象的功能的结果，控制器可以响应多手指姿势可视转换并且显示对应于移动轨迹的区。

[0027] 作为应用对应于第一对象的功能的结果，控制器可以执行用于处理要显示在主区上的显示图像的应用。

[0028] 根据本公开的另一个方案，提供一种记录有用于执行包含弯曲触摸屏的用户终端设备的用户交互的程序的记录介质，该弯曲触摸屏划分为主区和面积比主区小的子区，并且固定该弯曲触摸屏，以以钝角形成包含主区的面和包含子区的面，该程序包含：接收用于选择包含于显示在弯曲触摸屏的子区上菜单中的第一对象的手指姿势，固定该弯曲触摸屏，从而以钝角形成包含主区的面和包含子区的面；接收在主区上移动的笔姿势；以及作为对对应于笔姿势的移动轨迹的区应用对应于第一对象的功能的结果，响应手指姿势和笔姿势，可视转换并且显示对应于移动轨迹的区。

[0029] 根据本公开的另一个方案，提供包含弯曲触摸屏的用户终端设备的用户交互方法，该弯曲触摸屏包含分别对应于用户终端设备的前面(fron surface)和侧面(side surface)的主区和子区，该用户交互方法包含：如果位于用户终端设备外部的外部设备和用户终端设备连接，从而能够互相通信，则使与外部设备关联的UI元件显示于子区上；接收用于选择UI元件的用户姿势；以及响应收到的用户姿势，执行与UI元件关联的功能。

[0030] 执行与UI元件关联的功能可以包含使对应于UI元件的应用的执行屏幕显示于主区或者子区上。

[0031] 执行与UI元件关联的功能可以包含使用于控外部设备的至少一个UI元件显示于子区上。

[0032] 执行与UI元件关联的功能包含控制外部设备的功能。

[0033] 根据本公开的另一个方案，提供一种包含弯曲触摸屏的用户终端设备的用户交互方法，该弯曲触摸屏包含分别对应于用户终端设备的前面和侧面的主区和子区，该用户交互方法包含：如果与用户终端设备关联的附件设备与用户终端设备分离，则使与附件设备关联的UI元件显示于子区上；接收用于选择UI元件的用户姿势；以及响应收到的用户姿势，执行与UI元件关联的功能。

[0034] 执行与UI元件关联的功能可以包含使对应于UI元件的应用的执行屏幕显示于主区或者子区上。

[0035] 根据本公开的另一个方案，提供一种包含弯曲触摸屏的用户终端设备的用户交互方法，该弯曲触摸屏包含分别对应于用户终端设备的前面和侧面的主区和子区，该用户交互方法包含：使表示与用户终端设备通信的外部设备的UI元件显示于子区上；接收用于选择显示于子区中的UI元件的用户姿势；以及响应收到的用户姿势，执行用户终端设备与外部设备之间的通信连接。

[0036] 根据本公开的另一个方案，一种包含弯曲触摸屏的用户终端设备，该弯曲触摸屏包含分别对应于用户终端设备的前面和侧面的主区和子区，该用户终端设备包含：弯曲触摸屏，该弯曲触摸屏接收用户姿势；以及控制器，如果位于用户终端设备外的外部设备和用户终端设备连接，从而能够互相通信，则控制器使与外部设备关联的UI元件显示于子区上，并且控制器可以响应通过弯曲触摸屏收到的用于选择UI元件的用户姿势来执行与UI元件关联的功能。

[0037] 当执行与UI元件关联的功能时，控制器可以使对应于UI元件的应用的执行屏幕显示于主区或者子区上。

[0038] 当执行与UI元件关联的功能时，控制器可以使用于控制外部设备的至少一个UI元件显示于子区上。

[0039] 当执行与UI元件关联的功能时，控制器可以控制外部设备的功能。

[0040] 根据本公开的另一个方案，提供一种包含弯曲触摸屏的用户终端设备，该弯曲触摸屏包含分别对应于用户终端设备的前面和侧面的主区和子区，该用户终端设备包含：弯曲触摸屏，该弯曲触摸屏接收用户姿势；以及控制器，如果与用户终端设备关联的附件设备与用户终端设备分离，则控制器使与附件设备关联的UI元件显示于子区上，并且控制器响应通过弯曲触摸屏收到的用于选择UI元件的用户姿势来执行与UI元件关联的功能。

[0041] 当执行与UI元件关联的功能时，控制器可以使对应于UI元件的应用的执行屏幕显示于主区或者子区上。

[0042] 根据本公开的另一个方案，提供一种包含弯曲触摸屏的用户终端设备，该弯曲触摸屏包含分别对应于用户终端设备的前面和侧面的主区和子区，该用户终端设备包含：弯曲触摸屏，该弯曲触摸屏接收用户姿势；以及控制器，该控制器使表示与用户终端设备通信的外部设备的UI元件显示于子区上，并且响应通过弯曲触摸屏收到的用于选择UI元件的用户姿势，在用户终端设备与外部设备之间执行通信连接。

[0043] 有益效果

[0044] 如上所述，根据本发明的各种示例性实施例，用户可以使用弯曲触摸屏来控制用户终端设备的功能。因此，可以增强用户的便利性和满意度。附图说明

[0045] 通过参考附图描述本发明的特定示例性实施例，本发明的上述以及/或者其他方案更加显而易见，其中：

[0046] 图1是示出根据本公开的示例性实施例的用户终端设备的配置的方框图；

[0047] 图2至10是示出弯曲触摸屏的各种配置示例的示意图；

[0048] 图11是示出根据本公开的各种示例性实施例的用户终端设备的配置的方框图；

[0049] 图12是示出用户终端设备的软件配置的示例的示意图；

[0050] 图13至23是示出根据本公开的示例性实施例在图像编辑应用中执行用户交互的处理的示意图；

[0051] 图24至26是示出根据本公开的示例性实施例在电子书应用中执行用户交互的处理的示意图；

[0052] 图27和28是示出根据本公开的示例性实施例在网络(web)应用中执行用户交互的处理的示意图；

[0053] 图29和30是示出根据本公开的示例性实施例在备忘录(memo)应用中执行用户交互的处理的示意图；

[0054] 图31和32是示出根据本公开的示例性实施例在备忘录应用中执行用户交互的处理的示意图；

[0055] 图33和34是用于描述根据本公开的各种示例性实施例用于用户终端设备的交互方法的流程图；

[0056] 图35至44是示出根据本公开的示例性实施例的，通过将用户终端设备连接到外部设备的用户交互的执行的示意图；

[0057] 图45和46是示出根据本公开的示例性实施例在子区中显示的面板上的用户交互的执行的示意图。

[0058] 图47和48是示出根据本公开的示例性实施例基于主区与子区之间的边界的用户交互的执行的示意图；

[0059] 图49是示出具有盖板(cover)的弯曲触摸屏的各种配置示例的示意图；以及[0060] 图50至52是用于描述根据本公开的各种示例性实施例的用户终端设备的交互方法的流程图。

具体实施方式

[0061] 下面将参考附图详细描述本公开。

[0062] 图1是示出用于描述本公开的各种示例性实施例的用户终端设备的基本配置的示例的方框图；图1所示的用户终端设备1000可以实现为各种类型的装置，诸如，TV、PC、膝上型PC、蜂窝电话、平板PC、PDA、MP3播放器、电话亭(kiosk)、数码相框和桌面显示装置。当用户终端设备1000被实现为诸如蜂窝电话、平板PC、PDA、MP3播放器和膝上型PC的便携式装置时，还可用于将其称为移动设备，但是在本说明书中常将其称为用户终端设备。

[0063] 参考图1，用户终端设备1000包含弯曲触摸屏100和控制器200。

[0064] 将弯曲触摸屏100划分为主区和至少一个子区。在此，可以将主区和子区定义为各种意义。例如，可以将两个区中具有较大尺寸的区定义为主区，而将两个区中具有较小尺寸的区定义为子区。作为一种选择，可以将与在其上可以布置用于返回主页的主页按钮、前扬声器等等的面位于同一个面上的区定义为主页，而将侧面或者背面定义为子区。作为一种选择，可以将主区定义为能够直接控制该区中的UI元件的区，而还可以将子区定义为能够控制主区中的UI元件的区。

[0065] 子区的面积可以小于主区。此外，至少一个子区可以形成与主区不同的面。例如，如果主区布置于用户终端设备1000的前面上，则至少一个子区可以布置于形成用户终端设备1000的外表的面中的不同面上，如右侧面、左侧面和背面上。可以将包含主区的面和包含至少一个子区的面固定，以形成钝角。根据本公开的示例性实施例，可以以各种方式实现子区的形式、位置和数量。下面将参考附图对此进行更详细描述。

[0066] 控制器200可以分别控制弯曲触摸屏100的主区和至少一个子区。例如，主区和至少一个子区可以显示不同的内容。根据本公开的示例性实施例，可以以各种方式改变显示于主区和至少一个子区上的内容的类型、显示方法、布局等等。下面将对此做更详细描述。

[0067] 图2是示出包含划分为一个子区和主区的弯曲触摸屏的用户终端设备的外表构造的示例的示意图。

[0068] 参考图2，可以将弯曲触摸屏100划分为布置于用户终端设备1000的前面的主区1010和布置于用户终端设备1000的右侧面上的子区1020。在图2中，根据边界区1050划分主区1010和子区1020。考虑到弯曲触摸屏100处于弯曲状态，可以将边界区1050不同地表示为弯曲线。

[0069] 图3是示出图2的用户终端设备的截面构造的示意图。参考图3，弯曲触摸屏100的主区1010和子区1020分别布置于用户终端设备1000的前面和侧面。

[0070] 图4和5是示出包含划分为两个子区和主区的弯曲触摸屏的用户终端设备的外表构造和截面构造的示例的示意图。

[0071] 参考图4，主区1010布置于前面上，并且子区1020和1030分别布置于左侧面和右侧面上。主区1010以及子区1020和1030中的每个由边界区1050－1和1050－2划分。

[0072] 图5示出图4所示用户终端设备1000的截面构造。参考图5，可以布置子区1020和1030中的每个，以与主区1010形成钝角，从而能够从前向观看。

[0073] 图6和7是示出包含划分为两个子区和主区的弯曲触摸屏的用户终端设备的另一个示例的示意图。参考图6，两个子区1020和1030布置于基于主区1010的两侧上，并且可以以从右向和左向可以看到，从前向不可以看到的角度固定两个子区1020和1030。即，参考图7，子区1020和1030中的每个可以以相对于包含主区1010的面而接近90o弯曲。

[0074] 同时，根据本公开的另一个示例性实施例，子区还可以布置于主区1010的对置侧。

[0075] 图8和9是示出包含划分为两个子区和主区的弯曲触摸屏的用户终端设备的另一个示例的示意图。参考图8和9，将弯曲触摸屏100划分为：形成于前面上的主区1010、形成于侧面上的第一子区1020；以及形成于背面上的第二子区1040。在图9中，第二子区1030不覆盖整个背面，而是可以仅形成于背面的一部分上。控制器200可以基于第一边界区1050－1和第三边界区1050－3划分主区1010、第一子区1020和第二子区1040，以对每个区显示不同的内容。

[0076] 同时，图3至9示出的是以圆形的弯曲形形成子区1020和1030，并且因此包含主区1010的面和包含子区1020和1030的曲面互相连接，以形成钝角θ，但是还可以以平面形式形成子区1020、1030和1040。在这种情况下，包含主区1010的平面和包含子区1020、1030和
1040的平面可以沿着边界线互相接触。即，边界区1050－1、1050－2和1050－3也可以是线形的。

[0077] 同时，用户终端设备1000可以具有三角截面。在这种情况下，包含主区1010的面和包含子区1020的面互相连接，以在边界区1050处形成钝角θ。此外，可以以诸如梯形和多边形的各种形状构造截面构造。

[0078] 此外，如上所述，示出了在其中弯曲触摸屏100基于用户终端设备的前面而水平弯曲的状态，但是本公开无需局限于此。即，弯曲触摸屏100可以基于用户终端设备1000的前面而垂直弯曲。

[0079] 图10示出弯曲触摸屏100垂直弯曲的状态。详细地说，可以将弯曲触摸屏100划分为：布置于用户终端设备1000的前面上的主区1010和布置于其下侧面上的子区1020。扬声器390可以布置于主区1010的上侧。

[0080] 同时，图1示出包含弯曲触摸屏100和控制器200的用户终端设备的构造，但是根据本公开的示例性实施例，用户终端设备1000还可以包含各种组件。例如，用户终端设备1000还可以包含存储各种应用的存储器。控制器200根据用户姿势执行存储于存储器中的应用，以在主区和子区中的至少一个中显示应用提供的内容。换句话说，控制器200可以控制弯曲触摸屏100，以将应用提供的内容显示于主区和子区中的至少一个上。

[0081] 内容可以包含用户界面(UI)元件。UI元件指可以与用户交互从而根据用户输入实现视觉的、声觉的、嗅觉的反馈等的元件。可以在图像、文本和运动画面中的至少一个中示出UI元件。作为一种选择，即使不显示上述信息，如果存在可以根据用户而进行反馈的一个区，则仍可以将该区称为UI元件。UI元件可以是例如执行特定功能的对象或者是作为应用识别信息的对应于应用的图标。

[0082] 此外，在本公开中，示于主区上的内容称为主内容，而示于子区上的内容称为子内容。控制器200可以使得以不同布局显示主内容和子内容。如果变更应用，则控制器200可以分别根据主区上和子区上变更的应用来显示主内容和子内容。

[0083] 此外，可以以各种形式配置用户终端设备1000。

[0084] 图11是示出实现为便携式电话的用户终端设备1000的详细配置的示例的方框图。参考图11，用户终端设备1000包含：弯曲触摸屏100、控制器200、储存器310、GPS芯片320、通信器330、视频处理器340、音频处理器350、按钮360、麦克风370、成像器380、扬声器390以及运动传感器400。

[0085] 可以将弯曲触摸屏100划分为主区和至少一个子区，如上所述。弯曲触摸屏100可以实现为各种形式的显示器，诸如液晶显示器(LCD)、有机发光二极管(OLED)显示器、以及等离子体显示面板(PDP)。驱动电路、背光等可以包含于弯曲触摸屏100中，其中，所述驱动电路可以以非晶硅(a-si)TFT、低温多晶硅(LTPS)TFT、有机TFT(OTFT)等等的形式实现。此外，弯曲触摸屏100可以实现为柔性显示器。作为一种选择，弯曲触摸屏100还可以实现为非柔性的一般显示器。当弯曲触摸屏100实现为一般显示器时，通过将多个显示器互相连接，可以配置弯曲触摸屏100。

[0086] 同时，弯曲触摸屏100可以包含触摸板(未示出)和笔识别板(未示出)。

[0087] 触摸板可以感测用户手指的姿势，并且可以输出对应于感测的触摸信号的触摸事件值。触摸板可以安装于弯曲触摸屏100的主区和子区的下面，也可以仅安装于弯曲触摸屏100的子区的下面。作为一种允许触摸板感测用户手指的姿势输入的类型，可以存在电容式和电阻式。电容式感测用户的身体产生的微电，以计算触摸坐标。电阻式包含两个嵌入触摸板中的电极板，并且通过感测因为触摸点的上板与下板之间的接触而产生的电流流动，来计算触摸坐标。

[0088] 笔识别板可以根据用户的触笔(例如，指示笔、数字化仪笔等等)的操作感测用户的笔姿势输入，并且输出笔接近事件值或者笔接触事件值。笔识别板可以安装于弯曲触摸屏100的主区的下面。笔识别板可以实现为例如EMR方案，并且可以根据因为笔的接近或者接触使电场强度发生的变化，来感测触摸或者接近输入。详细地说，可以配置笔识别板，以包含：电磁感应线圈传感器(未示出)，该电磁感应线圈传感器具有网状结构；和电磁信号处理器(未示出)，该电磁信号处理器顺序地将具有预定频率的交流信号提供到电磁感应线圈传感器的每个回路线圈。如果具有嵌入在内的谐振电路的笔出现于笔识别板的回路线圈的周围，则相应回路线圈发射的磁场根据与笔中的谐振电路的相互电磁感应而产生电流。根据电流，由配置笔中的谐振电路的线圈产生感应磁场，并且笔识别板可以从信号接收状态下的回路线圈检测感应磁场，以感测笔的接近位置或者触摸位置。

[0089] 储存器310可以存储用户终端设备1000的操作所需的各种程序和数据。详细地说，用于配置要显示于主区和子区上的各种类型的屏幕的程序、数据等等可以存储于储存器310中。控制器200利用存储于储存器310中的程序和数据，以使内容显示于弯曲触摸屏100的主区和子区上。换句话说，控制器200可以控制弯曲触摸屏100，以显示内容。此外，如果在主区、子区和对应于其间的边界的边界区上执行用户触摸，则控制器200可以执行对应于触摸的控制操作。

[0090] 控制器200包含：RAM 210、ROM 220、CPU 230、图形处理单元(GPU)240、和总线250。RAM 210、ROM 220、CPU 230、GPU 240等等可以通过总线250互相连接。

[0091] CPU 230访问储存器310，以利用存储于储存器310中的O/S执行启动(booting)。此外，CPU 230利用存储于储存器310中的各种程序、内容、数据等等执行各种操作。

[0092] 用于系统启动的命令的集合存储于ROM 220中。当输入接通命令并且因此输入电力时，CPU 230根据存储于ROM 220中的命令，将存储于储存器310中的O/S复制到RAM 210，并且执行O/S，以使系统启动。当完成启动时，CPU 230将存储于储存器310中的各种程序复制到RAM 210，并且执行复制到RAM 210的程序，以执行各种操作。当用户终端设备1000的启动完成时，GPU 240使UI屏幕显示于主区和子区中的激活区上。详细地说，GPU 240可以使用运算器(未示出)和渲染器(renderer)(未示出)产生包含诸如图标、图像和文本的各种对象的屏幕。运算器对属性值进行运算，诸如根据屏幕布局由每个对象显示的坐标值、格式(form)、尺寸和色彩。渲染器根据运算器运算的属性值产生包含对象的各种布局的屏幕。将渲染器产生的屏幕提供到弯曲触摸屏100，以分别显示于主区和子区上。

[0093] GPS芯片320是用于从全球定位系统(GPS)卫星接收GPS信号，从而计算用户终端设备1000的当前位置的组件。当使用导航程序时或者当要求用户的当前位置时，控制器200可以利用GPS芯片320来计算用户位置。

[0094] 配置通信器330，以根据各种类型的通信方案与各种类型的外部设备进行通信。通信器330包含：WiFi芯片331、蓝牙芯片332、无线通信芯片333、近场通信(NFC)芯片334等等。控制器220利用通信器330与各种类型的外部设备进行通信。

[0095] WiFi芯片331和蓝牙芯片332分别通过WiFi方案和蓝牙方案进行通信。WiFi芯片331或者蓝牙芯片332首先发射和接收诸如SSID或者对话密钥的各种连接信息，并且然后，使用各种连接信息执行通信连接，从而发射和接收各种信息。无线通信芯片333指根据诸如IEEE、Zigbee、第三代(3G)、第三代合作伙伴计划(3GPP)和长期演进(LTE)的各种通信标准进行通信的芯片。NFC芯片334指在诸如135kHz、13.56MHz、433MHz、860至960MHz、和2.45GHz的各种RF-ID频带中利用13.56MHz的频带由NFC方案运行的芯片。

[0096] 视频处理器340是用于处理包含于通过通信器330收到的内容中的或者存储于储存器310中的内容中的视频数据的组件。视频处理器340可以对视频数据执行各种图像处理，诸如，解码、缩放、滤澡、帧速率转换和分辨率转换。

[0097] 音频处理器350是用于处理包含于通过通信器330收到的内容中的音频数据或者包含于存储于储存器310中的内容中的音频数据的组件。音频处理器350可以对音频数据执行各种处理，诸如，解码、放大和滤澡。

[0098] 当执行多媒体内容的播放程序时，控制器200可以驱动视频处理器340和音频处理器350，以播放相应内容。

[0099] 弯曲触摸屏100可以使视频处理器340产生的图像帧显示于主区和子区中的至少一个上。

[0100] 此外，扬声器390输出音频处理器350产生的音频数据。

[0101] 按钮360可以是各种类型的按钮，诸如形成于用户终端设备1000的主体外表的诸如前部、侧部、后部等等的任何区中的机械按钮、触控板和拨轮。

[0102] 麦克风370是用于接收用户话音或者其他声音并且将收到的用户话音或者其他声音转换为音频数据的组件。在呼叫处理时，控制器200可以在呼叫处理期间，使用通过麦克风370输入的用户话音，或者将用户语音转换为音频数据，并且将转换的音频数据存储于储存器310中。

[0103] 成像器380是根据用户的控制来成像静止图像或者运动图像的组件。成像器380可以实现为多个，如前摄像头和后摄像头。如上所述，在用于跟踪用户眼睛的示例性实施例中，成像器380可以用作用于获取用户图像的器件。

[0104] 当提供成像器380和麦克风370时，控制器200还可以根据通过麦克风370输入的用户话音或者成像器380识别的用户运动来执行控制操作。即，用户终端设备1000可以在运动控制模式或者话音控制模式下工作。当用户终端设备1000在运动控制模式下工作时，控制器200激活成像器380，以对用户成像并且跟踪用户的运动变化，以执行对应于其的控制操作。当用户终端设备1000在话音控制模式下工作时，控制器200也可以在话音识别模式下工作，其分析通过麦克风370输入的用户话音，并且根据分析的用户话音执行控制操作。

[0105] 在运动控制模式或者话音控制模式支持的用户终端设备1000中，在各种示例性实施例中，可以采用话音识别技术或者运动识别技术，如上所述。例如，如果用户采取如选择显示于主页屏幕上的对象的动作或者发出对应于该对象的话音命令，则确定相应对象要被选择，并且可以执行与该对象匹配的控制操作。

[0106] 运动传感器400是用于感测用户终端设备1000的主体的运动的组件。即，用户终端设备1000可以在各种方向上旋转或者倾斜。运动传感器400可以使用诸如地磁传感器、陀螺仪传感器、加速度传感器的各种传感器中的至少一个来感测运动特性，诸如运动方向以及角度和坡度。

[0107] 此外，尽管图11中未示出，但是根据本公开的示例性实施例，用户终端设备1000还可以包含：USB端口，USB连接器可以连接到该USB端口；各种外部输入端口，该各种外部输入端口连接到诸如头戴耳机、鼠标和LAN的各种外部终端；DMB芯片，该DMB芯片用于接收并且处理数字多媒体广播(DMB)信号；和各种传感器等等。

[0108] 同时，如上所述，储存器310可以存储各种程序。图12是用于描述存储于用户终端设备1000中的软件指令的示意图。如图12所示，储存器310可以存储包含操作系统(OS)1210、内核1220、中间件1230、应用1240等等的软件。

[0109] 操作系统(OS)1210用于控制并且管理软件的一般操作。即，OS 1210是负责硬件管理、存储、安全性等等的基本功能的层次结构。

[0110] 内核1220用作通路，通过该通路，将除了弯曲触摸屏100感测的触摸信号等等之外的各种信号传送到中间件1220。

[0111] 中间件1220包含用于控制用户终端设备1000的操作的各种软件模块。参考图12，中间件1230包含X11模式1230－1、APP管理器1230－2、连接管理器1230－3、安全模块1230－4、系统管理器1230－5、多媒体框架1230－6、UI框架1230－7、窗口管理器1230－8以及手写识别模块1230－9。

[0112] XII模块1230－1是从包含于用户终端设备1000中的各种硬件接收各种事件信号的模块。在此，可以以各种方式设定事件，如感测用户姿势的事件、产生系统报警的事件、以及执行特定程序或者使特定事件结束的事件。

[0113] APP管理器1230－2是用于管理安装于储存器310中的各种应用1240的执行状态的模块。当XII模块1230－1感测到应用执行事件时，APP模块1230－2调用并且执行对应于相应事件的应用。

[0114] 连接管理器1230－3是用于支持有线或者无线网络连接的模块。连接管理器1230－3可以包含各种详细的模块，诸如DNET模块和UPnP模块。

[0115] 安全模块1230－4是支持验证、请求允许、硬件的安全储存等等的模块。

[0116] 系统管理器1230－5监视用户终端设备1000中的每个组件的状态，并且将监视结果送到其他模块。例如，当电池的剩余电量不足、发生错误或者通信连接状态断开等等时，系统管理器1230－5可以将监视结果提供到主UI框架1230－7或者子UI框架1230－9，以输出通知消息或者通知声音。

[0117] 多媒体框架1230－6是用于播放存储于用户终端设备1000中的或者由外部源提供的多媒体内容的模块。多媒体框架1230－6可以包含：播放器模块、摄像机模块、声音处理模块等等。因此，多媒体框架1230－6可以执行播放各种多媒体内容的操作，以产生并且播放屏幕和声音。

[0118] 主UI框架1230－7是用于提供要显示于弯曲触摸屏100的主区上的各种UI的模块，并且子UI框架1230－9是用于提供要显示于子区上的各种UI的模块。主UI框架1230－7和子UI框架1230－9可以包含：图像合成器模块，该图像合成器模块用于配置各种对象；坐标合成器，该坐标合成器计算显示对象的坐标；渲染模块，该渲染模块将配置的对象渲染到计算的坐标；2D/3D UI工具箱，该2D/3D UI工具箱提供用于配置2D或者3D类型的UI的工具；等等。

[0119] 窗口管理器1230－8可以利用用户的身体或者笔或者其他输入事件来感测触摸事件。当感测到事件时，窗口管理器1230－8将事件信号传送到主UI框架1230－7或者子UI框架1230－9，以执行对应于该事件的操作。

[0120] 此外，当用户触摸并且拖动屏幕时，也可以存储各种程序模块，诸如，手写模块，该手写模块根据拖动轨迹绘制线；角度计算模块，该角度计算模块根据运动传感器400感测到的传感器值计算俯仰角、滚动角、偏航角等等。

[0121] 应用模块1240包含支持各种功能的应用1240－1至1240－n。例如，应用模块1240可以包含用于提供各种服务的程序模块，诸如，导航程序模块、游戏模块、电子书模块、日历模块以及报警管理模块。应用可以被默认安装，并且可以由用户在使用中任选地安装和使用。当选择对象时，CPU 230可以执行对应于应用模块1240选择的对象的应用。

[0122] 图12所示的软件结构仅是示例，并且因此，无需局限于此。因此，如果需要，则可以省略、改变或者添加一些软件结构。例如，储存器310可以附加存储各种程序，诸如，用于分析各种传感器感测到的信号的感测模块、信使程序的消息(messaging)模块、短信服务(SMS)及多媒体消息服务(MMS)程序和电子邮件程序等等、呼叫信息聚合程序模块、VoIP模块以及网络浏览器模块。

[0123] 同时，如上所述，用户终端设备1000可以实现为各种类型的设备，诸如，蜂窝电话、平板PC、膝上型PC、PDA、MP3播放器、数码相框、TV、PC和电话亭。因此，根据用户终端设备1000的类型，可以以各种方式改变图11和12所示的配置。

[0124] 如上所述，用户终端设备1000可以实现为各种形式和配置。根据本公开的示例性实施例，用户终端设备1000的控制器200可以支持各种用户交互。

[0125] 下面将详细描述根据本公开的各种示例性实施例的用户交互方法。

[0126] 图13是示出根据本公开的示例性实施例在图像编辑应用中执行用户交互的处理的示意图。

[0127] 参考图13的1310，控制器200可以使要编辑的图像1311或者空屏幕显示于主区1010上，并且可以使用于编辑图像或者用于在空屏幕中绘制图像的菜单1312显示于子区
1020上。菜单1312可以包含如下中的至少一个：铅笔对象1312－1，该铅笔对象1312－1选择铅笔作为笔类型；笔粗细对象1312－2，该笔粗细对象1312－2用于选择笔的粗细；刷对象
1312－3，该刷对象1312－3用于选择刷作为笔类型；以及擦除对象1312－4，该擦除对象
1312－4用于擦除主区1010上的图像。在这种情况下，子区1020上的铅笔对象1312－1可以处于被选择状态。例如，当执行图像编辑应用时，可以选择铅笔对象1312－1作为默认。

[0128] 参考图13的1320，在选择铅笔对象1312－1的状态下，弯曲触摸屏100可以接收在主区1010上移动的笔姿势1322。例如，弯曲触摸屏100接触主区1010上的一个点，并且然后，移动并可以接收在该一点或者另一点释放接触的笔姿势1322。

[0129] 控制器200可以响应收到的笔姿势1322可视转换并且显示对应于移动轨迹的区1321。例如，作为应用对应于铅笔对象1312－1的功能的结果，控制器200可以显示利用铅笔绘制的形状，从而呈现于对应于移动轨迹的区1321中。

[0130] 图14是示出根据本公开的另一个示例性实施例在图像编辑应用中执行用户交互的处理的示意图。

[0131] 参考图14的1410，控制器200可以使要编辑的图像1311显示于主区1010上，并且使用于编辑图像的菜单1312显示于子区1020上。弯曲触摸屏100可以接收选择被包括在菜单1312中的刷对象1312－3的用户的手指姿势1411(例如，手指触摸姿势)。在这种情况下，用户的手掌可以接触用户终端设备1000的背面，并且用户终端设备1000可以感测到在用户终端设备1000的背面上执行手指姿势的用户的手掌。

[0132] 参考图14的1420，在选择刷对象1312－3的状态下，弯曲触摸屏100可以接收在主区1010上移动的笔姿势1422。控制器200可以响应收到的笔姿势1422，可视转换并且显示对应于移动轨迹的区1421。例如，作为应用对应于刷对象1312－3的功能的结果，控制器200可以显示利用刷绘制的形状，从而呈现于对应于移动轨迹的区1421中。

[0133] 图15A和15B是示出根据本公开的另一个示例性实施例在图像编辑应用中执行用户交互的处理的示意图。

[0134] 参考图15A的1510，控制器200可以使要编辑的图像1311显示于主区1010上，并且使用于编辑图像的菜单1312显示于子区1020上。弯曲触摸屏100可以接收选择被包括在菜单1312中的刷对象1312－3的用户的手指姿势1511(例如，手指触摸姿势)。

[0135] 参考图15的1520，在选择刷对象1312－3的状态下，弯曲触摸屏100可以接收在主区1010上移动的笔姿势1522。在这种情况下，用户可以在包含于子区1020中的刷对象1312－3上持续保持手指姿势1511(例如，手指触摸姿势)。在保持手指触摸姿势的状态下，控制器200可以响应收到的笔姿势1522可视转换并且显示对应于移动轨迹的区1521。例如，作为应用对应于刷对象1312－3的功能的结果，控制器200可以显示利用刷绘制的形状，从而呈现于对应于移动轨迹的区1521中。

[0136] 参考图15B的1530，弯曲触摸屏100可以接收在包含于子区1020中的刷对象1312－3上释放笔姿势1511(例如，手指触摸姿势)的手指姿势1531(例如，触摸释放姿势)。

[0137] 参考图15B的1540，当释放手指触摸姿势时，控制器200可以自动选择包含于菜单1312中的铅笔对象1312－1。在释放手指触摸姿势的状态下，弯曲触摸屏100可以连续接收在主区1010上移动的笔姿势1542。作为应用对应于铅笔对象1312－1的功能的结果，控制器
200可以响应收到的笔姿势1542显示利用铅笔绘制的形状，从而呈现于对应于移动轨迹的区1541中。

[0138] 图16是示出根据本公开的另一个示例性实施例在图像编辑应用中执行用户交互的处理的示意图。

[0139] 参考图16的1610，控制器200可以使要编辑的图像1311显示于主区1010上，并且使用于编辑图像的菜单1312显示于子区1020上。弯曲触摸屏100可以接收在菜单1312中选择擦除对象1312－4的用户的手指姿势1511(例如，手指触摸姿势)。

[0140] 参考图16的1620，在选择擦除对象1312－4的状态下，弯曲触摸屏100可以接收在主区1010上移动的笔姿势1622。控制器200可以响应收到的笔姿势1322可视转换并且显示对应于移动轨迹的区1621。例如，作为应用对应于擦除对象1312－4的功能的结果，控制器200可以擦除显示于对应于移动轨迹的区1621上的图像，或者转换并且显示与壁纸的色彩相同的图像。

[0141] 图17是示出根据本公开的另一个示例性实施例在图像编辑应用中执行用户交互的处理的示意图。

[0142] 参考图17的1710，控制器200可以使没有图像的空屏幕1711显示于主区100上，并且使用于绘制图像的菜单1712显示于子区1020上。菜单1712可以包含如下中的至少一个：用于绘制可视图像的练习(practice)对象1712－1、用于绘制直线的直线对象1712－2、用于绘制四边形的四边形对象1712－3、用于绘制曲线的曲线对象1713－4、以及用于绘制圆形的圆形对象1713－5。用户终端设备1000可以接收用于选择包含于菜单1712中的练习对象1712－1用户手指姿势1713(例如，手指触摸姿势)。

[0143] 参考图17的1720，在选择练习对象1712－1的状态下，弯曲触摸屏100可以接收在主区1010上移动的笔姿势1722。在这种情况下，用户可以在包含于子区1020中的练习对象1712－1上连续保持手指姿势1713(例如，手指触摸姿势)。在保持用户手指触摸姿势1713的状态下，弯曲触摸屏100可以接收在主区1010上移动的姿势1722。控制器200可以响应收到的笔姿势1722可视转换并且显示对应于移动轨迹的区1721。例如，作为应用对应于练习对象1712－1的功能的结果，控制器200可以在对应于移动轨迹的区1721中显示虚线或者具有低对比度的线。

[0144] 当输入释放练习对象1712－1的用户手指姿势(例如，触摸释放姿势)时，控制器200可以使对应于可视转换的并且显示的移动轨迹的区1721返回转换之前的形式。例如，在主区1010上可以检测由向对应于移动轨迹的区1721应用的虚线或者对比度低的色彩所表示的线1721。

[0145] 图18是示出根据本公开的另一个示例性实施例在图像编辑应用中执行用户交互的处理的示意图。

[0146] 参考图18的1810，控制器200可以使没有图像的空屏幕1711显示于主区1010上，并且使用于编辑图像的菜单1712显示于子区1020上。弯曲触摸屏100可以接收用于选择包含于菜单1712中的直线对象1712－2的用户手指姿势1811(例如，手指触摸姿势)。

[0147] 参考图18的1820，在选择直线对象1712－2的状态下，弯曲触摸屏100可以接收在主区1010上移动的笔姿势1822。控制器200可以响应收到的笔姿势1822可视转换并且显示对应于移动轨迹的区1821。例如，作为应用对应于直线对象1712－2的功能的结果，控制器200可以显示对应于移动轨迹的区1821，从而呈现为直线。换句话说，当以对应于笔姿势
1822的移动轨迹的类似方式，利用手指姿势选择子区1020上的四边形对象1712－3或者圆形对象1712－5时，控制器200可以利用笔姿势(未示出)将对应于移动轨迹的区可视转换并且显示于主区1010上。例如，当选择四边形对象1712－3时，控制器200可以识别对应于移动轨迹的区(未示出)的开始点和结束点，并且显示其开始点和结束点中的每个变成顶点的四边形。此外，当选择圆形对象1712－5时，控制器200可以识别对应于移动轨迹的区(未示出)的开始点和结束点，并且显示开始点作为圆点并且开始点与结束点之间的距离作为半径的圆形，从而呈现于主区1010上。

[0148] 图19是示出根据本公开的另一个示例性实施例在图像编辑应用中执行用户交互的处理的示意图。

[0149] 参考图19的1910，控制器200可以使没有图像的空屏幕1711显示于主区1010上，并且使用于编辑图像的菜单1712显示于子区1020上。弯曲触摸屏100可以接收用于选择包含于菜单1712中的曲线对象1712－4的用户手指姿势1911(例如，手指触摸姿势)。

[0150] 参考图19的1920，在选择曲线对象1712－4的状态下，弯曲触摸屏100可以接收在主区1010上移动的笔姿势1922。此外，弯曲触摸屏100可以接收触摸子区1020上的两个点1923－1和1923－2的多手指姿势1923。控制器200可以响应笔姿势1922和多手指姿势1923对对应于与两个位置1923－1和1923－2的位置关联的移动轨迹的区1921应用对应于曲线对象1712－4的功能。例如，作为应用对应于曲线对象1712－4的功能的结果，控制器200根据对应于多点的主区1010中的水平线，可以不使曲线显示于对应于包含在区1711－1和
1711－3中的移动轨迹的区1921－1和1921－3中，其中，该区1711－1和1711－3对应于水平线的外侧，而显示所述曲线，从而呈现于包含在对应于水平线的内侧的区1711－2中的移动轨迹的区1921－2和1921－4中。参考图19的1920，表示正在执行对应于曲线对象1712－4的功能的图标1924可以显示于子区1020上。

[0151] 图20是示出根据本公开的另一个示例性实施例在图像编辑应用中执行用户交互的处理的示意图。

[0152] 参考图20的2010，控制器200可以使利用照相机应用拍摄的图像2011显示于主区1010上，而将用于编辑图像2011的菜单2012显示于子区1020上。菜单2012可以包含如下中的至少一个：用于插入发言气球的发言气球对象2012－1、对选择区应用特效的特效对象
2012－2、或者用于剪切选择区并且将剪切区存储为照片的剪切对象2012－3。弯曲触摸屏
100可以接收用于选择发言气球对象2012－1的用户手指姿势2013(例如，手指触摸姿势)。

[0153] 参考图20的2020，在选择发言气球对象2012－1的情况下，弯曲触摸屏100可以接收用于在主区1010上选择一个点的笔姿势2022。控制器200可以响应收到的笔姿势2022可视转换并且显示对应于一点的区2021。例如，作为应用对应于发言气球对象2021的功能的结果，控制器200可以显示发言气球，从而呈现于对应于一点的区2021中。

[0154] 图21是示出根据本公开的另一个示例性实施例在图像编辑应用中执行用户交互的处理的示意图。

[0155] 参考图21的2110，控制器200可以使利用照相机应用拍摄的图像2011显示于主区1010上，并且将用于编辑图像2011的菜单2012显示于子区1020上。弯曲触摸屏100可以接收用于选择包含于菜单2012中的特效(effect)对象2012－2的用户手指姿势2111(例如，手指触摸姿势)。

[0156] 参考图21的2120，在选择特效对象2012－2的状态下，弯曲触摸屏100可以接收在主区1010上移动的笔姿势2122。控制器200可以响应收到的笔姿势2122可视转换并且显示对应于移动轨迹的区2121。例如，作为应用对应于特效对象2012－2的功能的结果，控制器200可以对对应于移动轨迹的区2121应用预定特效。例如，控制器200可以对对应于移动轨迹的区2121应用如下中的一个：发白特效(whitish effect)、棕褐色特效、黑白特效以及卡通特效。

[0157] 图22是示出根据本公开的另一个示例性实施例在图像编辑应用中执行用户交互的处理的示意图。

[0158] 参考图22的2210，控制器200可以使利用照相机应用拍摄的图像2011显示于主区1010上，并且将用于编辑图像2011的菜单2012显示于子区1020上。弯曲触摸屏100可以接收用于选择包含于菜单2012中的剪切对象2012－3的用户手指姿势2211(例如，手指触摸姿势)。

[0159] 参考图22的2220，在选择剪切对象2012－3的状态下，弯曲触摸屏100可以接收在主区1010上移动的笔姿势2222。控制器200可以响应收到的笔姿势2222可视转换并且显示对应于移动轨迹的区2221。例如，作为应用对应于剪切对象2012－3的功能的结果，控制器200可以显示虚线或者高亮线，从而呈现于对应于移动轨迹的区2221中。此外，控制器200可以剪切显示的线的内部区。可以将控制器200剪切的区存储于剪贴板中，也可以存储于储存器310中，作为单独文件。

[0160] 图23是示出根据本公开的另一个示例性实施例在图像编辑应用中执行用户交互的处理的示意图。

[0161] 参考图23的2310，控制器200可以使要编辑的图像2311显示于主区1010上，并且使用于编辑图像的菜单2312显示于子区1020上。菜单2312是用于对图像2311应用滤波特效的对象，并且可以包含如下中的至少一个：应用发白滤波器的发白对象2312－1、应用棕褐色滤波器的棕褐色对象2312－2、应用黑白滤波器的黑白对象2312－3、以及应用卡通滤波器的卡通对象2312－4。弯曲触摸屏100可以接收用于选择包含于菜单2312中的发白对象2312－1的用户手指姿势2313(例如，手指触摸姿势)。

[0162] 参考图23的2320，在选择发白对象2312－1的状态下，弯曲触摸屏100可以接收在主区1010上移动的笔姿势2322。控制器200可以响应收到的笔姿势2322可视转换并且显示对应于移动轨迹的区2321。例如，作为应用对应于发白对象2312－1的功能的结果，控制器200可以显示对应于移动轨迹的区2321，从而对区2321应用发白特效，从而与其他区相比，进一步提高对比度并且进一步提高亮度，并且平滑显示图像。

[0163] 以类似的方式，当利用手指姿势选择子区1020上的棕褐色对象2312－2、黑白对象2312－3或者卡通对象2312－4时，控制器200可以利用主区1010上的笔姿势(未示出)可视转换并且显示对应于移动轨迹的区(未示出)。例如，当选择棕褐色对象2312－2时，控制器
200可以显示对应于移动轨迹的区(未示出)，以对该区应用棕褐色特效。此外，当选择黑白对象2312－3时，控制器200可以以黑白色显示对应于移动轨迹的区(未示出)，以对该区应用利用黑白对比显示的黑白特效。此外，当选择卡通对象2312－4时，控制器200可以显示对应于移动轨迹的区(未示出)，以对该区应用如卡通图像的卡通特效。

[0164] 图24是示出根据本公开的示例性实施例在电子书应用中执行用户交互的处理的示意图。

[0165] 参考图24的2410，控制器200可以使包含文本的页面2411显示于主区1010上，并且使用于管理页面2411的菜单2412显示于子区1020上。菜单1312可以包含如下中的至少一个：用于使页面2411中的特定文本高亮的高亮对象2412－1、用于搜索并且显示页面2411中的单词的意义的搜索对象2412－2、以及用于放大页面2411中的特定区的放大镜对象2412－3。弯曲触摸屏100可以接收用于选择包含于菜单2412中的高亮对象2412－1的用户手指姿势2413(例如，手指触摸姿势)。

[0166] 参考图24的2420，在选择高亮对象2412－1的状态下，弯曲触摸屏100可以接收在主区1010上移动的笔姿势2422。控制器200可以响应接收的笔姿势2422来可视转换并且显示对应于移动轨迹的区2421。在这种情况下，对应于移动轨迹的区2421可以是刚好位于移动轨迹上的文本的区，也可以围绕文本的区。作为应用对应于高亮对象2412－1的功能的结果，控制器200可以使对应于移动轨迹的区2421高亮并且显示，从而使其在视觉上与其他区不同。例如，通过应用使该文本或者围绕该文本的色彩与其他文本或者围绕其他文本的色彩不同的动画特效、动态地开启/关闭文本或者围绕该文本的色彩等等，控制器200可以显示文本或者围绕该文本的色彩。

[0167] 图25是示出根据本公开的另一个示例性实施例在电子书应用中执行用户交互的处理的示意图。

[0168] 参考图25的2510，控制器200可以使包含文本的页面2411显示于主区1010上，并且使用于管理页面2411的菜单2412显示于子区1020上。弯曲触摸屏100可以接收用于选择包含于菜单2412中的搜索对象2412－2的用户手指姿势2511(例如，手指触摸姿势)。

[0169] 参考图25的2520，在选择搜索对象2412－1的状态下，弯曲触摸屏100可以接收在主区1010上移动的笔姿势2522。控制器200可以响应接收的笔姿势2522可视转换并且显示对应于移动轨迹的区2521。此外，可以搜索构成包含于对应于移动轨迹的区2521中的文本的单词的意义，并且将其显示于屏幕上。例如，作为应用对应于搜索对象2412－1的功能的结果，控制器200可以使对应于移动轨迹的区2521高亮并且对其进行显示，从而使其在视觉上与其他区不同。此外，控制器200可以显示要包含于围绕对应于移动轨迹的区2521的记事本2523中的搜索单词的意义。

[0170] 以类似的方式，当利用手指姿势选择子区1020上的放大镜对象2412－3时，控制器200利用主区1010上的笔姿势(未示出)将移动轨迹的内部区可视转换并且显示为对应于移动轨迹的区(未示出)。例如，控制器200可以放大并且显示对应于移动轨迹的区(未示出)。

[0171] 图26是示出根据本公开的另一个示例性实施例在电子书应用中执行用户交互的处理的示意图；

[0172] 参考图26的2610，控制器200可以使包含文本的页面2611显示于主区1010上，并且使用于管理页面2611的菜单2612显示于子区1020上。菜单2612可以包含如下中的至少一个：用于以粗体显示页面2611中的字体的黑体字对象2612－1、用于以倾斜方式显示文本的字体的斜体字对象2612－2、用于对文本的字体下划线的下划线对象2612－3、用于在文本的字体上绘制删除线的删除线对象2612－4、以及用于改变文本的字体字号的字号改变对象2624－5。弯曲触摸屏100可以接收用于选择包含于菜单2612中的黑体字对象2612－1和斜体字对象2612－2的用户手指姿势2613。在这种情况下，用户手指姿势2613还可以是用于接近同时地选择黑体字对象2612－1和斜体字对象2612－2的多手指姿势。多手指姿势的用户手指姿势2613可以首先选择黑体字对象2612－1和斜体字对象2612－2中的一个，并且然后，也可以是用于选择黑体字对象2612－1和斜体字对象2612－2中的另一个的序列手指触摸姿势的组合。

[0173] 参考图26的2620，在选择黑体字对象2612－1和斜体字对象2612－2的状态下，弯曲触摸屏100可以接收在主区1010上移动的笔姿势2622。控制器200可以响应收到的笔姿势2422可视转换并且显示对应于移动轨迹的区2621。例如，作为应用对应于黑体字对象
2612－1和斜体字对象2612－2的功能的结果，控制器200可以以倾斜方式以粗体显示包含于对应于移动轨迹的区2621中的文本中的字体。

[0174] 以类似方式，当利用手指姿势选择子区1020上的下划线对象2612－3、删除线对象2612－4、或者字号改变对象2624－5时，控制器200可以利用主区1010上的笔姿势(未示出)可视转换并且显示对应于移动轨迹的区。例如，当选择下划线对象2612－3时，控制器200可以使包含于对应于移动轨迹的区(未示出)中的文本的字体显示为被下划线。此外，当选择删除线对象2612－4时，控制器200可以显示包含于对应于移动轨迹的区(未示出)中的文本的字体，使得在文本的字体上绘制删除线。此外，当选择字号改变对象2624－5时，通过减小文本的尺寸，控制器200可以显示包含于对应于移动轨迹的区(未示出)中的文本。

[0175] 图27是示出根据本公开的另一个示例性实施例在网络应用中执行用户交互的处理的示意图。

[0176] 参考图27的2710，控制器200可以使包含内容的网页2711显示于主区1010上，并且使用于在网页2711上执行网页管理功能的菜单2712显示于子区1020上。菜单2712可以显示如下中的至少一个：用于移动到其他网页或者主网页的因特网对象2712－1、用于显示注册为书签的网页清单的书签对象2712－2、用于在网页2711上绘制线或者图的绘制对象2712－3、用于剪切网页的一部分的剪切对象2712－4、以及用于返回编辑前的屏幕的取消对象2712－5。弯曲触摸屏100可以接收用于选择包含于菜单2712中的剪切对象2712－4的用户手指姿势2713(例如，手指触摸姿势)。

[0177] 参考图27的2720，在选择剪切对象2712时，弯曲触摸屏100可以接收在主区1010上移动的笔姿势2722。控制器200可以响应收到的笔姿势2722可视转换并且显示对应于移动轨迹的区2721。例如，控制器200可以显示虚线或者高亮线，从而呈现于对应于移动轨迹的区2721中。此外，可以一起显示表示正在移动笔姿势2722所在的位置或者围绕该点的位置选择剪切对象2712－4的图标(例如，剪刀图标)2723。控制器200可以剪切显示的线的内部区。控制器200剪切的剪切区可以从原始位置转换并且移动，也可以通过倾斜某个角度显示于屏幕上。可以将剪切区存储于剪贴板中，也可以将其存储于储存器310中，作为单独文件。

[0178] 图28是示出根据本公开的另一个示例性实施例在网络应用中执行用户交互的处理的示意图。

[0179] 参考图28的2810，控制器200可以使包含内容的网页2711显示于主区1010上，并且使用于在网页2711上执行网页管理功能的菜单2712显示于子区1020上。弯曲触摸屏100可以接收用于选择包含于菜单2712中的绘制对象2712－3的用户手指姿势2811(例如，手指触摸姿势)。

[0180] 参考图28的2820，在选择绘制对象2712－3的状态下，弯曲触摸屏100可以接收在主区1010上移动的笔姿势2822。控制器200可以响应收到的笔姿势2822可视转换并且显示对应于移动轨迹的区2821。例如，控制器200可以显示对应于移动轨迹的区2721中的特定色彩。可以事先将特定色彩确定为默认，也可以由用户从多个色彩中选择特定色彩。

[0181] 图29A和29B是示出根据本公开的示例性实施例在备忘录应用中执行用户交互的处理的示意图。

[0182] 参考图29A的2910，控制器200可以使空屏幕2911显示于主区1010上，并且使用于处理要显示于空屏幕上的图像的菜单2912显示于子区1020上。菜单2912可以显示：用于将显示图像转换为用于发出呼叫的图片的电话对象2912－1、用于将显示图像转换为图片并且对其进行计算的计算器对象2912－2、以及用于存储显示的图像的备忘录对象2912－3。弯曲触摸屏100可以接收用于选择包含于菜单2912中的计算器对象2912－2的用户手指姿势2913(例如，手指触摸姿势)。

[0183] 参考图29A的2920，在选择计算器对象2912－2的状态下，弯曲触摸屏100可以接收在主区1010上移动的笔姿势2922。控制器200可以响应收到的笔姿势2922可视转换并且显示对应于移动轨迹的区2921。此外，作为应用对应于计算器对象2712－2的功能的结果，控制器200可以将显示图像识别为图片和运算符，并且执行计算。

[0184] 参考图29B的2930，作为应用对应于计算器对象2712－2的功能的结果，控制器200可以执行用于处理显示的图像的应用2931，并且将应用2931显示于主区1010上。例如，控制器200可以执行用于执行对应于计算器对象2912－2的功能的计算器应用2931，并且使应用显示于主区1010上。基于执行计算器应用2931的计算结果2932可以被显示于主区1010上。

[0185] 图30A和30B是示出根据本公开的另一个示例性实施例在备忘录应用中执行用户交互的处理的示意图。

[0186] 参考图30A的3010，控制器200可以使空屏幕2911显示于主区1010上，并且使用于处理显示于空屏幕上的图像的菜单2912显示于子区1020上。弯曲触摸屏100可以接收用于选择包含于菜单2912中的电话对象2912－1的用户手指姿势3011(例如，手指触摸姿势)。

[0187] 参考图30A的3020，在选择电话对象2912－1的状态下，弯曲触摸屏100可以接收在主区1010上移动的笔姿势3022。控制器200可以响应收到的笔姿势3022可视转换并且显示对应于移动轨迹的区3021。此外，作为应用对应于电话对象2912－1的功能的结果，控制器200可以将显示的图像识别为电话号码，并且执行电话呼叫。

[0188] 参考图30B的3030，控制器200可以执行用于执行对应于要显示于主区1010上的电话对象2912－1的功能的电话应用3031。控制器200可以显示以电话应用3031识别的电话号码进行电话呼叫的屏幕。

[0189] 图31A和31B是示出根据本公开的示例性实施例在主页应用中执行用户交互的处理的示意图。

[0190] 参考图31A的3110，控制器200可以使主页屏幕3111显示于主区1010上，并且可以使用于快速处理显示于主页屏幕上的图像的快速对象3112显示于子区1020上。弯曲触摸屏100可以接收用于选择快速对象3112的用户手指姿势3113(例如，手指触摸姿势)。

[0191] 参考图31A的3120，在选择快速对象3112的状态下，弯曲触摸屏100可以接收在主区1010上移动的笔姿势3122。控制器200可以响应收到的笔姿势3122可视转换并且显示对应于移动轨迹的区3121。此外，作为应用对应于快速对象3112的功能的结果，控制器200可以确定显示图像的格式。作为确定结果，当显示图像具有电话号码格式时，控制器200可以将显示图像识别为电话号码并且执行电话呼叫。

[0192] 参考图31B的3030，控制器200可以执行用于执行对应于快速对象3112的功能的电话应用3131，从而显示于主区1010上。控制器200可以显示以电话应用3131识别的电话号码执行电话呼叫的屏幕。

[0193] 图32A和32B是示出根据本公开的示例性实施例在主页应用中执行用户交互的处理的示意图。

[0194] 参考图32A的3210，控制器200可以使主页屏幕3111显示于主区1010上，并且使用于快速处理显示于主页屏幕上的图像的快速对象3112显示于子区1020上。弯曲触摸屏100可用于接收用于选择快速对象3112的用户手指姿势3213(例如，手指触摸姿势)。

[0195] 参考图32A的3220，在选择快速对象3112的状态下，弯曲触摸屏100可以接收在主区1010上移动的笔姿势4222。控制器200可以响应收到的笔姿势3222可视转换并且显示对应于移动轨迹的区3221。此外，作为应用对应于快速对象3112的功能的结果，控制器200可以确定显示图像的格式。作为确定结果，当显示图像具有电子邮件格式时，控制器200可以将显示图像识别为电子邮件，并且可以执行电子邮件发送。

[0196] 参考图32B的3230，可以执行应用执行对应于快速对象3112的功能的电子邮件应用3231，从而显示于屏幕上。控制器200可以显示电子邮件准备屏幕，用于将邮件发送到电子邮件应用3231识别的电子邮件。

[0197] 图33是用于描述根据本公开的示例性实施例的交互方法的流程图。

[0198] 参考图33，用户终端设备1000可以接收子区1010上的手指姿势(S3301)。此外，用户终端设备1000可以接收在主区上移动的笔姿势(S3303)。

[0199] 用户终端设备1000可以确定收到的手指姿势是否选择包含于显示在子区1010上的菜单中的第一对象(S3305)。当未选择第一对象时，作为对对应于笔姿势的移动轨迹的区应用默认功能的结果，用户终端设备1000可以可视转换并且显示对应于移动轨迹的区(S3307)。

[0200] 用户终端设备1000可以确定收到的手指姿势是否选择了第一对象和第二对象(S3309)。例如，用户终端设备1000可以确定手指姿势是否是用于既选择第一对象又选择第二对象的多手指姿势。当手指姿势仅选择第一对象而未选择第二对象时，作为对对应于笔姿势的移动轨迹的区应用对应于第一对象的功能的结果，用户终端设备1000可以可视转换并且显示对应于移动轨迹的区(S3311)。另一方面，当手指姿势是既选择第一对象又选择第二对象的多手指姿势时，作为对对应于笔姿势的移动轨迹的区应用与第一对象不同的第二对象的结果，用户终端设备1000可以可视转换并且显示对应于移动轨迹的区(S3313)。

[0201] 图34是用于描述根据本公开的另一个示例性实施例的交互方法的流程图。

[0202] 参考图34，用户终端设备1000可以接收用于选择包含于显示在子区1010上的菜单中的第一对象的手指姿势(S3401)。此外，用户终端设备1000可以接收在主区上移动的笔姿势(S3403)。

[0203] 作为对对应于笔姿势的移动轨迹的区应用对应于第一对象的功能的结果，用户终端设备1000可以响应手指姿势和笔姿势来可视变形和显示对应于移动轨迹的区(S3405)。

[0204] 用户终端设备1000可以确定输入的手指姿势是否保持于子区上(S3407)。当保持输入的手指姿势时，作为对对应于笔姿势的移动轨迹的区应用对应于第一对象的功能的结果，用户终端设备1000可以连续可视转换并且显示对应于移动轨迹的区(S3409)。另一方面，当不再输入手指姿势时，用户终端设备1000可以使对应于可视转换并且显示的移动轨迹的区返回转换之前的形式。

[0205] 此外，可以执行如上所述的各种示例性实施例中描述的交互，但是省略了对每个示例性实施例的详细流程图的说明和描述。

[0206] 图35至44是示出根据本公开的示例性实施例通过连接到外部设备的用户交互的执行的示意图。

[0207] 根据示例性实施例，可以连接位于用户终端设备1000外的外部设备和用户终端设备1000，从而能够互相通信。

[0208] 在此，既可以以有线方式又可以以无线方式进行位于用户终端设备1000外的外部设备和用户终端设备1000的连接，从而能够互相通信。例如，当用户终端设备1000和外部设备位于预定距离内或者互相接触时，用户终端设备1000和外部设备可以连接，从而能够互相通信。例如，当用户终端设备1000与外部设备之间的通信方案采用蓝牙方案时，如果开通用户终端设备1000的蓝牙功能，则通信器330可以将功率信标信号发射到外部设备。作为对功率信标信号的响应，外部设备可以发射用于通知可以连接外部设备的广告信号。作为对广告信号的响应，用户终端设备1000将连接请求信号发射到外部设备，使得可以在用户终端设备1000与外部设备3511之间进行通信对话。在这种情况下，能够进行互相通信的用户终端设备1000与外部设备之间的连接可以指在用户终端设备1000与外部设备3511之间形成通信对话(session)的状态。

[0209] 如果外部设备和用户终端设备1000连接，从而能够互相通信，则弯曲触摸屏100可以将与外部设备关联的UI元件显示于子区1020上。与外部设备关联的UI元件可以是例如如下中的一个：用于识别外部设备的对象、用于控制外部设备的对象、以及对应于与外部设备关联的应用的图标。

[0210] 接着，在UI元件被显示于子区1020上的同时，弯曲触摸屏100可以接收用于选择UI元件的用户姿势。用户姿势可以例如是用户手指姿势或者用户的笔姿势。

[0211] 控制器200可以响应用户姿势，使与外部设备关联的至少一个UI元件显示于子区1020上。此外，控制器200可以响应用于选择多个其他UI元件中的一个的用户姿势将对应于一个UI元件的应用的执行屏幕显示于子区1020上或者主区1010上。作为一种选择，控制器
200可以响应用户姿势，使对应于选择的UI元件的应用的执行屏幕显示于子区1020或者主区1010上。

[0212] 根据另一个示例性实施例，如果外部设备和用户终端设备1000连接，从而能够互相通信，则弯曲触摸屏100可以将预设应用的执行屏幕显示于子区1020或者主区1010上。

[0213] 如上所述，与和外部设备关联的UI元件显示于主区1010上的情况相比，与外部设备关联的UI元件显示于子区上的情况可以消耗较少的功率。此外，如图49所示，如果用户终端设备1000具有盖板，则用户可以迅速并且容易地通过子区1020确认UI元件，而无需不方便地打开盖板。

[0214] 参考图35A的3510，用户终端设备1000和位于外部的可穿戴设备(例如，可以戴在腕部的三星智能手表(galaxy gear))3511可以连接，从而能够互相通信。如果用户终端设备1000和可穿戴设备3511连接，从而能够互相通信，则控制器200可以将与可穿戴设备3511关联的UI元件3512显示于子区1020上。UI元件3512可以是例如用于识别可穿戴设备3511的对象或者对应于与可穿戴设备3511关联的应用的图标。在UI元件3521显示于子区1020上的同时，弯曲触摸屏100可以接收用于选择UI元件3512的用户姿势。

[0215] 如图35A的3520所示，控制器200可以响应用户姿势输入使与可穿戴设备3511关联的多个UI元件显示于子区1020上。此外，如图35B的3530所示，控制器200可以响应选择多个其他UI元件中的一个UI元件3521的用户姿势，使对应于一个UI元件3521的应用的执行屏幕3531显示于主区1010上。作为另一个示例，如图35B的3540所示，控制器200可以使对应于一个UI元件3521的应用的执行屏幕3541显示于子区1020上。

[0216] 接着，控制器200可以通过应用的执行屏幕3531和3541，响应用户输入控制可穿戴设备3511。例如，响应用户输入，控制器200可以确定可穿戴设备3511的主页屏幕的类型、确定要显示于可穿戴设备3511上的通知应用的类型、确定由可穿戴设备3511要再现的视频或者音频内容、确定可穿戴设备3511要感测的用户生物信息、或者要显示于可穿戴设备3511上的时间信息，但是并不局限于此。

[0217] 参考图36A的3610，用户终端设备1000和位于外部的可穿戴设备3611可以连接，从而能够互相通信。如果用户终端设备1000和可穿戴设备3611连接，从而能够互相通信，则控制器200可以将与可穿戴设备3611关联的UI元件3612显示于子区1020上。UI元件3612可以是例如用于识别可穿戴设备的对象，也可以是对应于与可穿戴设备3611关联的应用的图标。在UI元件3612显示于子区1020上的同时，弯曲触摸屏100可以接收用于选择UI元件3612的用户姿势。

[0218] 如图36A的3620所示，控制器200可以响应用户姿势输入，使对应于UI元件3612的应用的执行屏幕3621显示于主区1010上。作为另一个示例，如图36B的3630所示，控制器200可以使对应于UI元件3612的应用的执行屏幕3631显示于子区1020上。接着，控制器200可以响应用户输入通过应用的执行屏幕3621和3631来控制可穿戴设备3611。

[0219] 参考图37A的3710，用户终端设备1000和位于外部的可穿戴设备3711可以连接，从而能够互相通信。如果用户终端设备1000和可穿戴设备3711连接，从而能够互相通信，则控制器200可以使与可穿戴设备3711关联的预设应用的执行屏幕3712显示于子区1020上。作为另一个示例，如图37B的3720所示，控制器200可以使与可穿戴设备3711关联的预设应用的执行屏幕3721显示于主区1010上。接着，控制器200可以响应用户输入，通过应用的执行屏幕3712和3721来控制可穿戴设备3711。

[0220] 参考图38的3810，用户终端设备1000和位于外部的音频设备(例如，扬声器、耳机、头戴耳机、麦克风、家庭影院等等)3811可以连接，从而能够互相通信。例如，当用户终端设备1000和音频设备3811位于预定距离内或者互相接触时，用户终端设备1000和音频设备3811可以连接，从而能够互相通信。如果用户终端设备1000和音频设备3811连接，从而能够互相通信，则控制器200可以使与音频设备3811关联的UI元件3812显示于子区1020上。UI元件3812可以是例如用于识别音频设备3811的对象，也可以是对应于与音频设备3811关联的应用的图标。在UI元件3812显示于子区1020上的同时，弯曲触摸屏100可以接收用于选择UI元件3812的用户姿势。用户姿势可以是例如轻击UI元件3812的用户手指姿势或者用户的笔姿势。

[0221] 如图38的3820所示，控制器200可以响应用户姿势输入使对应于UI元件3812的应用的执行屏幕3821显示于子区1020上。应用执行屏幕3821可以包含例如如下中的一个：表示应用执行屏幕3821正连接到用户终端设备1000的音频设备3811的识别信息3821－1、音频设备的状态信息3821－2和3821－3(例如，均衡信息、播放音量信息等等)、以及可以控制音频设备3811的UI元件3821－4。可以控制音频设备3811的UI元件3821－4可以包含例如如下中的至少一个：可以控制音频设备3811的音量的UI元件和可以选择音频设备3811的声音效果(例如，街舞、爵士乐、古典音乐等等)的UI元件。此外，控制器200可以响应用户输入通过应用的执行屏幕3821控制音频设备3811的功能。例如，控制器200可以控制音频设备3811的音量。

[0222] 参考图39，用户终端设备1000和位于外部的显示设备(例如，监视器、数字TV、平板PC等等)3911可以连接，从而能够互相通信。如果用户终端设备1000和显示设备3911连接，从而能够互相通信，则控制器200可以使与位于外部的显示设备3911关联的预设应用的执行屏幕3912显示于主区1010上。应用执行屏幕3921可以包含例如如下中的至少一个：表示应用执行屏幕3921正连接到用户终端设备1000的显示装置3911的识别信息3912－1，和可以控制显示设备3911的UI元件3912－2或者显示设备3911的状态信息。

[0223] 可以控制显示设备3911的UI元件3912－2例如可以包含如下中的至少一个：用于搜索要由显示设备3911播放的内容的UI元件、开始利用显示设备3911播放内容的UI元件、以及结束利用显示设备3911播放内容的UI元件。显示设备3911的状态信息可以包含例如如下中的至少一个：显示设备3911正播放的视频内容的标题、视频内容的播放时间、视频内容的来源、以及视频内容的剩余播放时间。

[0224] 参考图40，用户终端设备1000和位于外部的储存设备(例如，计算机、服务器等等)4011可以连接，从而能够互相通信。如果用户终端设备1000和储存设备4011连接，从而能够互相通信，则控制器200可以使与储存设备4011关联的预设应用的执行屏幕4012显示于子区1020上。应用执行屏幕4012可以包含例如如下中的至少一个：表示应用执行屏幕4012正连接到用户终端设备1000的储存设备4011的识别信息4012－1、用于搜索要由用户终端设备1000播放的内容的UI元件4012－2、与要由用户终端设备1000播放的内容关联的状态信息、开始利用用户终端设备1000播放内容的UI元件、以及停止利用用户终端设备1000播放内容的UI元件。此外，与用户终端设备1000要播放的内容关联的信息可以包含例如如下中的至少一个：播放内容的标题、内容的播放时间、内容的来源、以及内容的剩余播放时间。

[0225] 参考图41，用户终端设备1000和位于外部的输入设备(例如，游戏控制器)4111可以连接，从而能够被输入。如果用户终端设备1000和游戏控制器4111连接，从而能够互相通信，则控制器200可以使与游戏控制器4111关联的预设应用的执行屏幕4112显示于子区1020上。应用执行屏幕4112可以包含例如如下中的至少一个：表示应用执行屏幕4112正连接到用户终端设备1000的游戏控制器4111的识别信息4112－1和可以控制游戏控制器4111的UI元件4112－3或者游戏控制器4111的状态信息4112－2。可以控制游戏控制器4111的UI元件4112－3可以包含例如如下中的至少一个：用于搜索要由游戏控制器4111控制的视频内容的UI元件、开始播放游戏控制器4111控制的视频内容的UI元件、以及停止播放游戏控制器4111正播放的视频内容的的UI元件。此外，游戏控制器4111的状态信息4112－2可以是例如游戏控制器4111的电池剩余电量、与游戏控制器4111的网络连接状态等等。

[0226] 参考图42，用户终端设备1000和位于外部的输入设备(例如，键盘、鼠标)4211可以连接，从而能够互相通信。例如，如果用户终端设备1000和键盘4211连接，从而能够互相通信，则控制器200可以使与位于外部的输入设备4211关联的预设应用的执行屏幕显示于子区1020上。应用执行屏幕4212可以包含例如如下中的至少一个：代表应用执行屏幕4212正连接到用户终端设备1000的键盘4211的识别信息4212－1和可以控制键盘4211的UI元件4212－3或者键盘4211的状态信息4212－2。可以控制键盘4211的UI元件4212－3可以是例如可以改变键盘4211的类型的UI元件。此外，键盘4211的状态信息可以是例如键盘4211的电池剩余电量。

[0227] 作为另一个示例性实施例，当外部设备出现于用户设备1000周围时，控制器200可以使代表与用户终端设备1000通信的外部设备的UI元件显示于子区1020上。在UI元件显示于子区1020上的同时，弯曲触摸屏100可以接收用于选择UI元件的用户姿势。此外，控制器200可以响应收到的用户姿势，在用户终端设备1000与外部设备之间进行通信连接。

[0228] 例如，参考图43的4310，当多个外部设备4311至4314出现于用户终端设备1000周围时，控制器200可以使代表与用户终端设备1000通信的外部设备的多个UI元件4315至4318显示于子区上。多个UI元件分别可以是例如识别外部设备4311至4314的对象，或者对应于表示外部设备4311至4314中的每个的应用的图标。在显示多个UI元件4315至4318的状态下，弯曲触摸屏100可以接收用于选择用于通信连接的一个UI元件4317的用户姿势。

[0229] 响应该用户姿势，控制器200可以与对应于一个UI元件4317的外部设备4313进行通信连接，并且如4320所示，控制器200可以使对应于一个UI元件4317的应用的执行屏幕4321显示于子区1020上。应用的执行屏幕4321可以包含可以控制对应于一个UI元件4317的外部设备4313的至少一个UI元件。接着，控制器200可以响应用户输入通过应用的执行屏幕
4321来控制外部设备4313。

[0230] 图45和46是示出根据本公开的示例性实施例在子区中显示的面板上的用户交互的执行的示意图。

[0231] 根据一个示例性实施例，当可以与用户终端设备1000通信或者可以对用户输入设备1000输入的外部设备是多个时，弯曲触摸屏100可以使与多个外部设备中的一个关联的面板显示于子区1020上。在这种情况下，面板可以包含与一个外部设备关联的至少一个UI元件。在此，如果一个面板对应于一个外部设备，则也可以通过一个应用提供一个面板，并且也可以通过一个应用提供多个面板。同时，外部设备对用户终端设备1000的输入可以包含在其中外部设备和用户终端设备1000连接，从而能够互相通信，或者外部设备通过用户终端设备1000的附件形式的设备而与用户终端设备1000耦合并且然后与用户终端设备1000分离的状态。例如，以附件形式存在的外部设备可以是笔。

[0232] 在显示面板的同时，弯曲触摸屏100可以接收在子区1020上以一个方向拖动的用户姿势。控制器200可以响应用户姿势来改变或者删除包含于面板中的UI元件或者将新UI元件显示于面板上。

[0233] 例如，参考图44的4410，当可以与用户终端设备1000通信的或者可以输入到用户终端设备1000的外部设备(例如，音频设备、可穿戴设备、笔等等)4411、4412和4413是多个时，弯曲触摸屏100可以使包含与多个外部设备中的一个(例如，可穿戴设备)关联的UI元件4414－1至4414－4中的至少一个的面板4414显示于子区1020上。在这种情况下，UI元件可以是对应于与一个外部设备(例如，可穿戴设备)关联的应用的UI元件(例如，图标)或者是可以控制一个外部设备的UI元件。与外部设备关联的应用可以是例如：与用户终端设备
1000推荐的外部设备关联的预设应用、在使用外部设备时用户超过预定频率频繁使用的应用、或者第三方推荐的与外部设备关联的应用、等等。

[0234] 在显示面板4414的同时，弯曲触摸屏100可以接收沿着子区1020的长边拖动的用户姿势。如图44的4420所示，控制器200可以响应该用户姿势使还包含与一个外部设备(例如，可穿戴设备)关联的其他UI元件4414－5和4414－6的面板4414显示于子区1020上。

[0235] 作为一种选择，在显示面板4414的同时，弯曲触摸屏100可以接收沿着子区1020的短边拖动的用户姿势。如图44的4430所示，控制器200可以响应该用户姿势，使包含与多个外部设备中的另一个外部设备(例如，笔)关联的UI元件4415－1、4415－2和4415－3的面板4415显示于子区1020上。

[0236] 图45示出根据本公开的示例性实施例在弯曲触摸屏100的子区120上可以显示的面板的示例，但是面板的类型并不局限于此。图45的参考编号4510表示当可以与用户终端设备1000通信的外部设备是音频设备时，包含与音频设备关联的UI元件的面板。此外，图45的参考编号4520表示当可以与用户终端设备1000通信的外部设备是输入设备时，包含与输入设备关联的UI元件的面板。此外，图45的参考编号4530表示当可以与用户终端设备1000通信的外部设备是可穿戴设备时，包含与可穿戴设备关联的UI元件的面板。此外，当用户终端设备1000正在执行的应用是音乐应用时，图45的参考编号4540代表包含与音乐应用关联的UI元件的面板。与音乐应用关联的UI元件可以包含例如如下中的至少一个：音乐搜索UI元件、音乐开始UI元件、音乐结束UI元件、音量控制UI元件、以及对应于与音乐应用关联的其他应用的UI元件。当用户终端设备1000正在执行的应用是画廊应用时，图45的参考编号4550表示包含与画廊应用关联的UI元件的面板。与画廊应用关联的UI元件可以包含例如如下中的至少一个：图像搜索UI元件、图像编辑UI元件、图像删除UI元件、图像共享UI元件、以及对应于与图像应用关联的其他应用的UI元件。

[0237] 当多个面板存储于储存器310中，并且多个面板中的一个面板显示于弯曲触摸屏100的子区1020上时，根据用户姿势，可以将正显示于子区1020上的一个面板切换到多个面板中的另一个。此外，当用户姿势连续时，控制器200可以在多个面板的切换结束时再次显示最初显示的一个面板。即，控制器200可以响应用户姿势，以循环或者轮转方式显示多个面板。

[0238] 根据另一个示例性实施例，当多个面板存储于储存器310中时，用户可以改变多个面板循环的顺序。作为一种选择，可以删除多个面板中的至少一个。作为一种选择，用户还可以在对应于一个外部设备的面板中注册特定应用或者功能。

[0239] 参考图46A的4610，控制器200可以使面板管理应用4601显示于主区或者子区上。面板管理应用4601可以包含与一个面板关联的对象4611至4615。在这种状态下，弯曲触摸屏100可以选择多个对象中的一个，并且接收沿着子区1020的长边拖动的用户姿势。如图
46A的4620所示，控制器200可以响应用户姿势，显示包含位置被改变的对象4611、4612、
4613、4616和4617的面板管理应用4601。此外，参考图46B的参考编号4630，在显示包含表示多个面板中的每个的对象4611至4615的面板管理应用4601的同时，弯曲触摸屏100可以选择一个对象，并且接收向子区1020外拖动的用户姿势。如图46B的参考编号4640所示，控制器200可以响应该用户姿势，删除对象4611至4615中的一个对象4614，并且显示从其移除了一个对象4614的面板管理应用4601。

[0240] 图47和48是示出根据本公开的示例性实施例基于主区与子区之间的边界的用户交互的执行的示意图。

[0241] 根据示例性实施例，控制器200可以使内容和控制内容的UI元件显示于主区1010上。在这种状态下，弯曲触摸屏100可以接收基于主区1010与子区1020之间的边界区的用户姿势。例如，弯曲触摸屏100可以在主区1010上延伸到用户终端设备1000的至少一个侧面(例如，左侧、右侧、上侧和下侧中的至少一个)，以使弯曲触摸屏100折叠到小于可操作曲率半径(例如，5cm、1cm、7.5mm、5mm、4mm等等的曲率半径)，使得可以利用用户终端设备1000的侧面系紧弯曲触摸屏100。在这种情况下，弯曲触摸屏100可以接收基于折叠区的用户姿势。详细地说，弯曲触摸屏100可以接收沿着边界区垂直地拖动的用户姿势。作为一种选择，弯曲触摸屏100可以接收基于边界区从主区1010拖动到子区1020的用户姿势。控制器200可以响应用户姿势使用于控制内容的UI元件显示于子区1020上。此外，控制器200可以使内容延伸并且使延伸的内容显示于主区1010上。在这种情况下，可以延伸内容，以包含显示UI元件的区的至少一部分，并且可以显示延伸的部分。

[0242] 参考图47的参考编号4710，控制器200可以使网页4711和用于控制网页的UI元件4712显示于主区1010上。在这种状态下，弯曲触摸屏100可以接收沿着主区1010与子区1020之间的边界向下拖动的用户姿势。如图47的参考编号4720所示，控制器200可以响应用户姿势使UI元件4712显示于子区1020上。此外，控制器200可以使网页4711显示于主区1010上。
在此，如图47的参考编号4710所示，可以延伸网页4711，以包含显示UI元件4712的区的至少一部分，并且可以显示网页4711。接着，控制器200可以响应用于选择UI元件4712的用户姿势来控制网页4711。例如，控制器200可以显示网页的拷贝、网页的注册、以及该网页之前或者之后的网页。

[0243] 根据另一个示例性实施例，控制器200可以使UI元件显示于子区1020上。在这种状态下，弯曲触摸屏100可以接收基于主区1010与子区1020之间的边界区的用户姿势。例如，弯曲触摸屏100可以接收沿着边界区垂直拖动的用户姿势。作为一种选择，弯曲触摸屏100可以接收基于边界区从子区1020拖动到主区1010的用户姿势。控制器200可以响应用户姿势，使对应于UI元件的内容或者应用的执行屏幕显示于主区1010上。此外，控制器200可以使用于控制显示于主区1010上的内容或者应用的执行屏幕的另一个UI元件显示于子区1020上。

[0244] 例如，参考图48的参考编号4810，控制器200可以使天气对象4811显示于子区1020上。在这种状态下，弯曲触摸屏100可以接收沿着主区1010和子区1020之间的边界向上拖动的用户姿势。如图48的参考编号4820所示，控制器200可以响应用户姿势，使对应于天气对象4811的天气应用的执行屏幕4812显示于主区1010上。此外，控制器200可以使用于控制天气应用的执行屏幕4812的UI元件4813显示于子区1020上。

[0245] 图50是用于描述根据本公开的另一个示例性实施例的交互方法的流程图。

[0246] 参考图50，用户终端设备1000可以确定外部设备和用户终端设备1000是否连接，从而能够互相通信(S5001)。

[0247] 作为确定结果，如果外部设备和用户终端设备1000连接，从而能够互相通信(S5001－“是”)，则用户终端设备1000可以使与外部设备关联的UI元件显示于子区1020上(S5003)。

[0248] 接着，用户终端设备1000可以确定是否对子区1020输入了用于选择UI元件的用户姿势(S5005)。

[0249] 作为确定结果，如果输入了用户姿势(S5005－“是”)，则用户终端设备1000可以执行与UI元件关联的功能(S5007)。例如，用户终端设备1000可以使对应于UI元件的应用的执行屏幕显示于主区1010上或者子区1020上。作为一种选择，用户终端设备1000可以使用于控制外部设备的至少一个UI元件显示于子区1020上。作为一种选择，用户终端设备1000可以控制外部设备的功能。

[0250] 图51是用于描述根据本公开的另一个示例性实施例的交互方法的流程图。

[0251] 参考图51，用户终端设备1000可以确定与用户终端设备1000关联的附件设备是否与用户终端设备1000分离(S5101)。附件设备可以是例如笔。

[0252] 作为确定结果，如果附件设备与用户终端设备分离(S5101－“是”)，则用户终端设备1000可以使与外部设备关联的UI元件显示于子区1020上(S5103)。

[0253] 接着，用户终端设备1000可以确定是否对子区1020输入了用于选择UI元件的用户姿势(S5105)。

[0254] 作为确定结果，如果输入了用户姿势(S5105－“是”)，则用户终端设备1000可以执行与UI元件关联的功能(S5107)。例如，用户终端设备1000可以使对应于UI元件的应用的执行屏幕显示于主区1010或者子区1020上。作为一种选择，用户终端设备1000可以使用于控制外部设备的至少一个UI元件显示于子区1020上。作为一种选择，用户终端设备1000可以控制外部设备的功能。

[0255] 图52是用于描述根据本公开的另一个示例性实施例的交互方法的流程图。

[0256] 参考图52，用户终端设备1000可以确定是否存在与用户终端设备1000通信的外部设备(S5201)。

[0257] 作为确定结果，如果存在与用户终端设备1000通信的外部设备(S5201－“是”)，则用户终端设备1000可以使表示外部设备的UI元件显示于子区1020上(S5203)。

[0258] 接着，用户终端设备1000可以确定是否对子区1020输入了用于选择UI元件的用户姿势(S5205)。

[0259] 作为确定结果，如果输入了该用户姿势(S5205－“是”)，则用户终端设备1000可以在用户终端设备1000与外部设备之间执行通信连接(S5207)。

[0260] 此外，可以执行在如上所述的各种示例性实施例中描述的交互，但是省略对每个示例性实施例的详细流程图的说明和描述。

[0261] 如上所述，用户终端设备可以支持各种交互。可以单独地实施如上所述的每个示例性实施例，但是如果需要，可以互相组合地来实施。

[0262] 同时，可以将如上所述的根据本公开的各种示例性实施例的用户终端设备的交互方法和屏幕显示方法存储于非临时可读介质中。在装载到各种装置中时，可以使用非临时可读介质。

[0263] 非临时可读介质不是诸如寄存器、高速缓存和存储器的在其中短期存储数据的介质，而是指在其中半永久地存储数据并且设备可读的介质。详细地说，非临时可读介质可以是CD、DVD、硬盘、蓝光光盘、USB、存储卡、ROM、等等。

[0264] 例如，用于执行如下内容的程序代码可以存储于非临时可读介质中并且可以提供该程序代码：接收用于选择包含于显示在弯曲触摸屏的子区上菜单中的第一对象的手指姿势，该弯曲触摸屏被划分为主区和面积比主区小的子区，并且固定弯曲触摸屏，从而以钝角形成包含主区的面和包含子区的面；接收在主区上移动的笔姿势；以及作为对对应于笔姿势的移动轨迹的区应用对应于第一对象的功能的结果，响应手指姿势和笔姿势，可视转换并且显示对应于移动轨迹的区。

[0265] 此外，尽管出于说明的目的公开了本公开的优选实施例，但是本技术领域内的技术人员明白，可以进行各种修改、附加和替换，而不脱离所附权利要求披露的本公开的范围和精神。因此，还应当明白，这些修改、附加和替换均落入本公开的范围内。

标题	发布/更新时间	阅读量
用于无线通信的电子设备和方法以及计算机可读存储介质	2020-05-08	1021
基于滑动输入来确定输入字符的系统和方法	2020-05-11	26
处理样本实体的测定系统和方法	2020-05-11	257
指纹检测装置和电子设备	2020-05-08	50
旋转分配泵阵列以实现通过多个分配泵在多个电子基板上同时分配	2020-05-08	913
介质分离式压力变送器	2020-05-11	838
无线通信系统中进行波束成形的设备和方法	2020-05-08	668
信息处理设备和方法	2020-05-08	411
电子照相用感光体、该电子照相用感光体的制造方法及电子照相装置	2020-05-11	884
固态摄像元件、制造方法和电子设备	2020-05-08	332

提供用户交互的用户终端设备及其方法

提供用户交互的用户终端设备及其方法

技术领域

背景技术

具体实施方式

该功能需要专业版企业版VIP权限，您可以：