一种输入法及其系统专利检索-对话分析人工智能专利检索查询-专利查询网

一种输入法及其系统

阅读：891发布：2020-05-13

专利汇可以提供一种输入法及其系统专利检索，专利查询，专利分析的服务。并且本发明涉及一种输入法及其系统，所述系统包括：场景识别模块，其经配置以识别当前场景是否为聊天场景；图库模块，其经配置以响应于使用场景为聊天场景，根据用户输入提供一个或多个候选图片/视频；图文合成模块，其经配置以基于用户输入的上屏文字和所述候选图片/视频，生成一个或多个包含上屏文字的候选图文合成图片/视频；以及界面模块，其经配置以响应于当前场景为聊天场景，在输入界面增加用于显示一个或多个候选图文合成图片/视频的区域。本发明提供的输入法的表达更加丰富，娱乐性也更强。，下面是一种输入法及其系统专利的具体信息内容。

权利要求

1.一种输入法系统，其中，包括：
场景识别模块，其经配置以识别当前场景是否为聊天场景；
图库模块，其经配置以响应于使用场景为聊天场景，根据用户输入提供一个或多个候选图片/视频；
图文合成模块，其经配置以基于用户输入的上屏文字和所述候选图片/视频，生成一个或多个包含上屏文字的候选图文合成图片/视频；以及
界面模块，其经配置以响应于当前场景为聊天场景，在输入界面增加用于显示一个或多个候选图文合成图片/视频的区域。
2.根据权利要求1所述的输入法系统，其中，所述场景识别模块包括：应用识别单元，其经配置以识别当前应用是否为聊天应用。
3.根据权利要求1所述的输入法系统，其中，所述场景识别模块包括：内容识别单元，其经配置以识别当前应用的屏幕内容。
4.根据权利要求3所述的输入法系统，其中，所述场景识别模块包括：场景单元，其经配置以根据当前应用的屏幕内容识别是否为聊天内容。
5.根据权利要求2所述的输入法系统，其中，所述内容识别单元根据一个或多个屏幕截屏中以下一者或多者识别聊天内容：信息布置、参与人数、输入内容和更新方式。
6.根据权利要求2或3所述的输入法系统，其中，当前应用为处于屏幕最前端的被激活的应用。
7.根据权利要求1所述的输入法系统，其中，所述图库模块从客户端本地和/或服务器端获取一个或多个候选图片/视频。
8.根据权利要求1所述的输入法系统，其中，所述图库模块提供候选图片/视频的缩略图。
9.根据权利要求8所述的输入法系统，其中，输入界面显示候选图文合成图片/视频的缩略图。
10.根据权利要求1所述的输入法系统，其中，进一步包括输出模块，其经配置以响应于用户操作，输出用户选择的图文合成图片或视频。
11.一种输入法，其中，包括：
识别当前使用场景；
响应于使用场景为聊天场景，根据用户输入的上屏文字提供一个或多个候选图片/视频；以及
基于一个或多个候选图片/视频及上屏文字生成一个或多个包含上屏文字的图文合成图片/视频。
12.根据权利要求11所述的输入法，其中，识别当前使用场景包括：识别当前应用是否为聊天应用。
13.根据权利要求11所述的输入法，其中，识别当前使用场景包括：
识别当前应用的屏幕内容；以及
确定当前应用的屏幕内容是否为聊天内容。
14.根据权利要求12所述的输入法，其中，进一步包括：
获取当前运行的应用列表；
读取应用列表中的各个应用的应用信息；以及
响应于一个应用的应用信息和预置聊天应用的应用信息一致，确定当前运行的应用中包括聊天应用。
15.根据权利要求12所述的输入法，其中，进一步包括：
获取接收上屏文字的当前应用的应用信息；以及
对比当前应用的应用信息和预置聊天应用的应用信息；响应于当前应用信息和预置聊天应用的应用信息一致，确定所述当前应用为聊天应用。
16.根据权利要求13所述的输入法，其中，进一步包括：
获取屏幕上当前应用的用户输入内容；
根据当前应用的用户输入内容，映射到对应的内存；
读取内存中的用户输入内容；以及
分析所述用户输入内容，确定当前屏幕内容是否为聊天内容。
17.根据权利要求13所述的输入法，其中，进一步包括：
获取屏幕上当前应用的用户界面内容；
根据当前应用的用户界面内容，映射到对应的内存；
从所述内存中读取当前用户界面上的按钮以及按钮上的文字；以及
分析所述按钮以及按钮上的文字，确定当前屏幕内容是否为聊天内容。
18.根据权利要求13所述的输入法，其中，进一步包括：
获取当前屏幕的一个或多个屏幕截屏；
根据一个或多个屏幕截屏中以下一者或多者识别聊天内容：信息布置、参与人数、输入内容和更新方式。
19.根据权利要求18所述的输入法，其中，所述信息布置为信息窗中的信息按左右方向、分层堆叠的方式排列。
20.根据权利要求18所述的输入法，其中，所述参与人数为2人以上。
21.根据权利要求18所述的输入法，其中，所述输入内容为对话逻辑。
22.根据权利要求18所述的输入法，其中，所述更新方式为信息逐条更新。

说明书全文

一种输入法及其系统

技术领域

[0001] 本发明涉及应用技术领域，特别地涉及一种输入法及其系统。

背景技术

[0002] 无论是在PC端还是在移动端，输入法都是人们日常生活中高频使用的应用程序。现有输入法的发展具有两个明显的趋势。一个趋势是易用性方向的发展，输入更方便，更准确，更高效。无论是人工智能在输入法匹配中的应用，还是基于语音识别的输入法都是这一方向的代表。另一个趋势是娱乐性方向的发展，输入内容更丰富、更多样、更直观。颜文字、表情、表情包等输入功能的不断加入反映出输入法在这一方向上的发展。然而，随着人们在表达上要求的不断提高，现有的输入功能仍无法满足需求。

发明内容

[0003] 针对现有技术中存在的技术问题，本申请提出了一种输入法及其系统，用于在用户聊天时输出更有趣、表达更丰富的图文合成图片/视频。

[0004] 根据本发明的一个方面，本发明提供了一种输入法系统，包括：场景识别模块，其经配置以识别当前场景是否为聊天场景；图库模块，其经配置以响应于使用场景为聊天场景，根据用户输入提供一个或多个候选图片/视频；图文合成模块，其经配置以基于用户输入的上屏文字和所述候选图片/视频，生成一个或多个包含上屏文字的候选图文合成图片/视频；以及界面模块，其经配置以响应于当前场景为聊天场景，在输入界面增加用于显示一个或多个候选图文合成图片/视频的区域。

[0005] 优选地，所述场景识别模块包括应用识别单元，其经配置以识别当前应用是否为聊天应用。

[0006] 优选地，所述场景识别模块包括内容识别单元，其经配置以识别当前应用的屏幕内容。

[0007] 优选地，所述场景识别模块包括场景单元，其经配置以根据当前应用的屏幕内容识别是否为聊天内容。

[0008] 优选地，所述内容识别单元根据一个或多个屏幕截屏中以下一者或多者识别聊天内容：信息布置、参与人数、输入内容和更新方式。

[0009] 优选地，当前应用为处于屏幕最前端的被激活的应用。

[0010] 优选地，所述图库模块从客户端本地和/或服务器端获取一个或多个候选图片/视频。

[0011] 优选地，所述图库模块提供候选图片/视频的缩略图。

[0012] 优选地，输入界面显示候选图文合成图片/视频的缩略图。

[0013] 优选地，所述的输入法系统进一步包括输出模块，其经配置以响应于用户操作，输出用户选择的图文合成图片或视频。

[0014] 根据本发明的另一个方面，本发明提供一种输入法，其中包括：识别当前使用场景；响应于使用场景为聊天场景，根据用户输入生成上屏文字；根据上屏文字提供一个或多个候选图片/视频；以及基于一个或多个候选图片/视频及上屏文字生成一个或多个包含上屏文字的图文合成图片/视频。

[0015] 优选地，识别当前使用场景包括：识别当前应用是否为聊天应用。

[0016] 优选地，识别当前使用场景包括：识别当前应用的屏幕内容；以及确定当前应用的屏幕内容是否为聊天内容。

[0017] 优选地，所述输入法进一步包括：获取当前运行的应用列表；读取应用列表中的各个应用的应用信息；以及响应于一个应用的应用信息和预置聊天应用的应用信息一致，确定当前运行的应用中包括聊天应用。

[0018] 优选地，所述的输入法进一步包括：获取接收上屏文字的当前应用的应用信息；以及对比当前应用的应用信息和预置聊天应用的应用信息；响应于当前应用信息和预置聊天应用的应用信息一致，确定所述当前应用为聊天应用。

[0019] 优选地，所述的输入法进一步包括：获取屏幕上当前应用的用户输入内容；根据当前应用的用户输入内容，映射到对应的内存；读取内存中的用户输入内容；以及分析所述用户输入内容，确定当前屏幕内容是否为聊天内容。

[0020] 优选地，所述的输入法进一步包括：获取屏幕上当前应用的用户界面内容；根据当前应用的用户界面内容，映射到对应的内存；从所述内存中读取当前用户界面上的按钮以及按钮上的文字；以及分析所述按钮以及按钮上的文字，确定当前屏幕内容是否为聊天内容。

[0021] 优选地，所述的输入法进一步包括：获取当前屏幕的一个或多个屏幕截屏；根据一个或多个屏幕截屏中以下一者或多者识别聊天内容：信息布置、参与人数、输入内容和更新方式。

[0022] 优选地，所述信息布置为信息窗内的信息按左右方向分层堆叠的方式排列。

[0023] 优选地，所述参与人数为2人以上。

[0024] 优选地，所述输入内容为对话逻辑。

[0025] 优选地，所述更新方式为信息逐条更新。

[0026] 在本发明的一些实施例中，本发明可自动识别出聊天场景，为聊天场景输出丰富的、趣味性强的图文合成图片/视频，因而本发明提供的输入法输出的内容表达更加丰富，娱乐性也更强，增加了聊天过程的趣味性。附图说明

[0027] 下面，将结合附图对本发明的优选实施方式进行进一步详细的说明，其中：

[0028] 图1是根据本发明一个实施例的输入法系统的示意图；

[0029] 图2是根据本发明一个实施例的输入界面的示意图；

[0030] 图3是根据本发明另一个实施例的输入界面的示意图；

[0031] 图4是根据本发明另一个实施例的场景识别模块的原理框图；

[0032] 图5是根据本发明另一个实施例的输入法系统的示意图；

[0033] 图6是根据本发明一个实施例的输入法流程图；

[0034] 图7是根据本发明一个实施例的识别当前输入法的使用场景的流程图；

[0035] 图8是根据本发明一个实施例的识别当前运行的应用是否有聊天应用的方法流程图；以及

[0036] 图9是根据本发明一个实施例的识别目标应用的屏幕内容是否为聊天内容的流程图。

[0037]

具体实施方式

[0038] 为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

[0039] 在以下的详细描述中，可以参看作为本申请一部分用来说明本申请的特定实施例的各个说明书附图。在附图中，相似的附图标记在不同图式中描述大体上类似的组件。本申请的各个特定实施例在以下进行了足够详细的描述，使得具备本领域相关知识和技术的普通技术人员能够实施本申请的技术方案。应当理解，还可以利用其它实施例或者对本申请的实施例进行结构、逻辑或者电性的改变。

[0040] 现有技术中输入法的一些功能，例如表情包功能，使得输入法能够输入图片。然而，在使用表情包时，用户需要预先下载表情包。输入法中能够输入的图片也仅限于表情包中提供的图片。特别是，表情包图片中的文字是无法修改的。这使得用户的使用受到了很大的限制。

[0041] 本发明的一些实施例中提出了一种更具娱乐性的输入法：基于用户输入的内容与图片或视频结合形成包含用户输入内容的图片或视频。以下通过图片的实施例来详细说明本发明的技术方案。本领域技术人员应当理解，本发明的方案也能够以类似的方式应用于视频，例如时间小于5秒、10秒或15秒的小视频。

[0042] 图1是根据本发明一个实施例的输入法系统的示意图。图2是根据本发明一个实施例的输入界面的示意图。如图1所示，本发明的输入法系统100包括界面模块102、图库模块104、图文合成模块106以及场景识别模块108。

[0043] 界面模块102提供用户输入界面。在用户输入界面上，用户可以输入一个字符或者由多个字符组成的字符串。参考图2，用户输入界面包括：用户输入界面包括字符显示区202、候选图片区204和输入区206。其中，字符显示区 202用于显示用户输入的字符或字符串，用户输入的方式可以为文字输入、语音输入等。在一个实施例中，字符显示区202中显示的字符或字符串为用户需要输出到当前应用屏幕上的上屏文字。当用户按下确定键后，字符显示区202 中显示的字符或字符串则输出到当前应用的屏幕上。候选图片区204展示的是包含了上屏文字的候选图文合成图片，此后简称候选合成图，或者展示候选合成图的缩略图。在另一个实施例中，候选图片区204展示的是图库模块104提供的候选图片/视频，即没有合成上屏文字的图片/视频。在一些实施例中，候选图片区204展示的是候选图片或候选合成图的缩略图。此外，候选图片区204 还具有显示服务器或本地提供的候选图片的操作区，即显示服务器端图库或本地图库的图片，用以提供由用户选择候选图片的机会。举例而言，在候选图片区204中设置云标记按钮(图中未示出)，用户可以点击云标记按钮，则可以在候选图片区204显示服务器端200发送的图库索引及图片缩略图，通过点击缩略图，可以查询完整的原图。在候选图片区204中设置“我的”按钮(未示出)，用户可以点击“我的”按钮，显示本地用户存储的图片。在候选图片区 204，用户可以选择候选合成图。
例如，用户可以直接点击候选图片区204中一个候选合成图；或者，用户可以点击空格，而选择候选合成图中的第一个候选合成图。在一些实施例中，候选图片区204能够扩展以显示更多的候选合成图。例如，候选图片区204的候选合成图能够左右滑动，以呈现其他候选合成图。或者，候选图片区204能够扩大到输入区206，以呈现其他更多的候选合成图。输入区206可以提供用户使用的键盘或语音输入界面。所述键盘包括但不限于：拼音9键、拼音26键、手写键盘、中文笔画键盘、中文五笔等一种或多种。

[0044] 用户通过界面模块102的输入区206输入字符，输入的字符显示在字符显示区202。当系统内配置有词库模块时，词库模块能够根据用户输入的字符提供一个或多个候选词。如本领域技术人员所理解的，现有技术中用于提供候选词的实施方式都可以应用于此以提供与用户输入的字符或字符串最为匹配的候选词。在一些实施例中，词库模块能够将用户输入的字符发送到服务器，并从服务器返回一个或多个匹配的候选词。为了显示多个候选词，在输入界面中还包括候选词区，如图3所示，其为另一个实施例的输入界面示意图，其中包括候选词区208，可以显示多个候选词，用户可以选择上屏的候选词。例如，用户可以直接点击候选词区208中一个候选词，从而将该候选词上屏。或者，用户可以点击空格，而将候选词中的第一个候选词上屏。在一些实施例中，候选词区208能够扩展以显示更多的候选词。例如，候选词区208的候选词能够左右滑动，以呈现其他候选词。或者，候选词区208能够扩大到输入区206，以呈现其他候选词。在一些实施例中，候选词区208包括用来显示来自云端服务器的候选词的单独区域。如本领域技术人员所理解的，现有技术中用于呈现候选词并选择候选词上屏的实施方式都可以应用于此以将选定的候选词上屏。

[0045] 在用户输入字符或字符串时，场景识别模块108启动识别功能，以识别当前输入法的使用场景是否为聊天场景。如果当前输入法的使用场景为聊天场景，在一个实施例中，将用户输入的字符或字符串分别发送到图库模块104和图文合成模块106，或者向界面模块102发送指令，由界面模块102将用户上屏文字分别发送给图库模块104和图文合成模块106。

[0046] 如图4所示，为场景识别模块108的原理框图。在本发明中，当用户启动输入法，通过输入界面输入字符或字符串时，场景识别模块108识别当前使用场景是否为聊天场景，在聊天场景中，本发明为用户提供图文字合成图以增加聊天的乐趣。其中，所述场景识别模块108包括应用识别单元1102、内容识别单元1104和场景单元1106。其中，应用识别单元1102用以识别当前应用，所述当前应用是指当前使用输入法的应用，即处于屏幕最前端的被激活的应用。在一些实施例中，应用识别单元1102可以获取到用户终端当前正在运行的应用列表，从所述应用列表中读取到各个应用的应用信息，如应用名称、应用版本号等。
应用识别单元1102中存储有预置的聊天应用信息，例如聊天应用名称，如“微信”、“WeChat”、“Telegram”、“FaceBook”、“SnapChat”、“QQ”等等。应用识别单元1102浏览应用列表中的各个应用的名称，对比各个应用名称与预置的聊天应用名称。当应用列表中出现预置的聊天应用名称时，确定当前正在运行的应用中有聊天应用。在另一些实施例中，应用识别单元1102可以直接读取运行输入法的当前应用的应用名称，通过对比当前应用的应用名称和预置聊天应用的应用名称，可以确定目标应用是否为聊天应用。

[0047] 内容识别单元1104用以识别当前显示当前应用的屏幕内容。在一些实施例中，所述内容识别单元1104读取当前屏幕上的用户输入内容，并根据该内容映射到终端内存，从中读取到用户输入的更多内容，通过分析用户输入的内容来确定当前内容是否为聊天内容。例如，当前内容为两人或多人对话时，可以确定当前屏幕内容为聊天内容。在另一些实施例中，所述内容识别单元1104 获取当前屏幕上目标应用的用户界面内容，例如，一个应用会根据其提供的功能不同而在屏幕上显示不同的界面，例微信提供的朋友圈界面、聊天界面、阅读界面等。不同的用户界面，在其对应的内存中保存有对应的按钮及其上的文字内容。因而，在本实施例中，所述内容识别单元1104根据当前屏幕上目标应用的用户界面，在与其对应的内存中可以读取到当前用户界面上的按钮以及按钮上的文字，根据所述按钮及其文字确定当前用户界面提供的是聊天界面还是其他功能的用户界面，从而确定当前屏幕内容是否为聊天内容。在另一些实施例中，所述内容识别单元1104获取当前屏幕的一个或多个屏幕截屏图片，通过图像分析，根据信息布置、参与人数、输入内容和更新方式中的一者或多者确定当前屏幕内容是否为聊天内容。例如，信息窗中的信息按左右方向、分层堆叠的方式排列时、当前内容显示参与人数为2人以上时、所述输入内容为对话逻辑时、内容的更新方式为逐条更新时都可以确定当前的屏幕内容为聊天内容。所述内容识别单元1104将识别结果发送给场景单元1106。场景单元1106 分别与应用识别单元1102和内容识别单元1104相连接，在接收到应用识别单元1102发送的当前应用中没有聊天应用的识别结果时，确定当前使用场景为非聊天场景。如果接收到应用识别单元1102发送的当前运用应用中有聊天应用，并且接收到内容识别单元1104发送来当前运行输入法的应用的屏幕内容为聊天内容时，确定当前使用场景为聊天场景。此时，如图1所示，向图库模块104发送操作指令，并将用户输入的上屏文字分别发送给图库模块104和图文合成模块
106。

[0048] 参考图1，图库模块104接收到的来自于场景识别模块108转发的用户输入的上屏文字及操作指令，根据用户输入的上屏文字提供候选图片/视频。或者，图库模块104接收到的来自于场景识别模块108的操作指令及来自界面模块102的上屏文字，根据上屏文字提供候选图片/视频。

[0049] 图库模块104提供的候选图片/视频来自于输入客户端所在终端的本地，也可以来自于服务器端。在一种实施方式下，图库模块104设置在云端，不包括本地存储的图片。所有的候选图片都来自云端服务器。例如，用户点击输入界面上的云标记按钮，由在候选图片区206显示一个或多个来自于云端服务器的候选图片。在另一种实施方式下，图库模块104位于终端本地，提供的候选图片来自本地存储的图片。或者，图库模块104同时提供本地存储和来自云端服务器的候选图片。响应于用户操作，从本地和云端服务器分别获取候选图片，并显示在候选图片区206。

[0050] 在本发明中，所述的候选图片包括文字区域。候选图片的文字区域经定义而能够容纳一个或多个文字，用于在进行图文字合成时添加上屏文字。在一些实施例中，候选图片经过调整而留出文字区域的位置，从而使得添加文字后的图片更美观。更进一步地，为了保证美观度，文字区域中容纳的文字大小、字体、排版、颜色中的一者或多者是经过预先定义的。同样地，一般而言文字区域能够容纳的文字数量有限制。如果添加的文字数量超过文字区域所能容纳的文字数量，则文字区域可以仅显示所能容纳的最多数量的文字，其余文字以例如省略号等符号代替。在一些实施例中，以上所提及的文字包括汉字、外文字、数字、标点符号等中的一者或多者。在一些实施例中，候选图片可以是线条图、灰度图、彩色图、照片等中的一者或多者。候选图片的背景可以为白色、灰色、浅蓝色、绿色、蓝色、黑色等颜色。在一些实施例中，文字区域中的文字可以是动态的。例如，文字可以变大或变小、旋转、变色、边缘闪光等。

[0051] 在一些实施例中，候选图片可以是动图。举例而言，候选图片包括由多个子图片组成的动图。每个子图片包括文各自的文字区域。各个子图片的文字区域可以相同或不相同。在一些实施例中，每个子图片的文字区域中添加的文字是一致的。由此，虽然子图片变换而形成动图，但是整个动图向用户呈现的文字是一致的。在其他一些实施例中，每个子图片的文字区域中添加的文字是不一致的。各个子图片的文字区域组合起来是添加的文字。例如，动图包括3个子图片，需要添加的文字是“我爱你”；那么3个子图片的文字区域分别添加 “我”、“爱”和“你”。由此，候选图片向用户动态呈现添加的文字“我爱你”。在一些实施例中，候选图片的各个子图片中添加文字的切换可以具有特效。这些特效包括但不限于：淡入淡出、从小到大或从大到小然后消失、从左到右或从右到左然后消失、从上到下或从下到上然后消失等。本领域技术人员应当理解，对于候选视频也可以采用类似方式处理。在一些例子中，候选视频能够播放上屏文字。

[0052] 在一些实施例中，图库模块104在本地或服务器中的图库中根据用户输入查询与之匹配的图片。其中，用户可以查看并选择存储的图片。举例而言，用户可以点击输入界面上候选图片区204中“我的”按钮(未示出)，从而在候选图片区204呈现存储的一个或多个候选图片。用户可以从呈现的一个或多个候选图片中进行选择。在一些实施例中，用户能够查看的本地图片是经用户操作而存储到本地的。在一些实施例中，存储的候选图片被分成多个组，例如： “最爱”、“最常用”、“爆笑”、“动物”等。由此，可以更加方便地使得用户找到自己希望的图片。

[0053] 图库中的候选图片包括图片描述。图片描述可以是一个或多个词语(例如关键字)、一段文字、或者一个或多个词语或文字与语气的组合。在一些实施例中，图片描述说明了与候选图片匹配的台词或潜台词，例如“你真是太美了”、 “我不扶墙就服你”等。在一些实施例中，图片描述说明了候选图片适合描述的场景，例如“忙”、“倒”、“晕”等。在一些实施例中，图片描述说明了候选图片的内容、气氛、声音、气味、味道等，例如，“黄河”、“真香”、“太甜了” 等。在一些实施例中，候选图片的图片描述是以上类型的图片描述中一者或多者。以上仅仅是示例性地说明候选图片的图片描述。候选图片的还可以包括其他类型的图片描述以与用户的需求匹配。

[0054] 在一些实施例中，候选图片包括文字。候选图片包括的文字可以认为是候选图片的一部分，是不能更改的。包括文字的候选图片可以包含文字区域。或者，包括文字的候选图片可以不包含文字区域。当候选图片不包括文字区域时，如果用户选择了此种类型的候选图片，那么一种情况是上屏文字与候选图片中包括的文字相同，那么无需图文合成即已经得到了用户期望的包含图文的图片，图文合成的步骤可以省去了。另一种情况是上屏文字与候选图片中包括的文字不相同，那么用户选择与上屏文字不相同的候选图片说明用户希望更改上屏内容而获得期望的包含图文的图片，可以认为更改上屏内容和图文合成的步骤都省去了。因此，即使不包含文字区域的图片同样可以成为本发明的候选图片而存储在图库中。

[0055] 在一些实施例中，候选图片具有图片分类，即按类存储。候选图片的图片分类描述图片所归属的类别。图片分类有助于根据用户偏好提供候选图片，以更好地满足用户的需求。举例而言，用户的偏好为可爱的小动物。在提供候选图片时，同时满足动物和萌的候选图片在排序时权重就会提高。由此，在提供候选图片时能够更加让用户满意。同样地，在一些实施例中，图片分类也有利于获取用户偏好，单独或结合其他用户信息为用户精准画像。

[0056] 以下表1是一个图库中候选图片的示例：

[0057] 表1：图库表

[0058] 图片名称图片中的文字图片分类图片描述1 皮卡丘0028 无通用、儿童谁？…
2 大章鱼0012 无搞笑、动物我是谁？…
3 小红帽0010 别问我是谁？萌、儿童勇敢
4 … … … …

[0059] 在一些实施例中，根据图片描述、图片中的文字以及图片分类中的一者或多者图库建立索引，方便图库模块104查询匹配。本领域技术人员应当理解，现有技术中已有的建立索引的方法都可以应用与此。

[0060] 在一些实施例中，图库模块104对于查询到的图片进行排序并将排名靠前的一个或多个结果作为候选图片提供给用户。在一些实施例中，图库模块104 能够获取输入界面中向用户展示的候选图片的个数，例如5个。图库模块104 将排名靠前的候选图片或其缩略图发送到界面模块102。在一些实施例中，图库模块104提供的候选图片的数量多于输入界面能够向用户展示的候选图片的数量，以方便用户希望展示更多候选图片时，能够快速展示更多的候选图片。

[0061] 图库模块104基于以下因素中的一者或多者对获得的多个图片进行排名： (1)上屏文字或其关键字与候选图片的图片描述和/或图片中的文字的匹配度；(2)上屏文字或其关键字与候选图片类别的匹配度；(3)用户选择候选图片的历史记录；(4)用户偏好与候选图片类别的匹配度；(5)用户属性与候选图片类别的匹配度(6)候选图片在其图片分类中的流行程度；(7)候选图片的通用程度；(8)候选图片类别在检索结果中的比例；等等。如本领域技术人员所理解的，以上仅仅是示例性的说明可能应用于候选图片排序的一些因素，并非涵盖可能的所有因素。其他有利于提供用户希望的或者更佳图文效果的因素也可以成为候选图片排序参考的指标。

[0062] 在一些实施例中，以上图片的排序因素通过候选图片的排序体现出来。举例而言，匹配度越高，权重也越高。在一些实施例中，上屏文字或其关键字与图片中文字完全一致的权重高于上屏文字或其关键字被包含在图片中文字中的权重。但是，不同的因素具有不同的最高权重。例如，上屏文字或其关键字与候选图片中文字匹配度的最高权重大于上屏文字或其关键字与候选图片中图片描述匹配度的最高权重。换言之，如果上屏文字与第一候选图片中的文字完全一致；同样地，也与第二候选图片的图片描述完全一致，那么第一候选图片比第二候选图片排序更靠前。如本领域技术人员所理解的，其他排序因素也能够通过权重的调整而在排序中体现。在一些实施例中，图库模块104通过动态地调整候选图片的权重而形成个性化的结果，从而更好地匹配用户的需求。现有技术中其他关于权重调整的方式也可以应用于此，从而更好地提高本发明的技术效果。

[0063] 根据本发明的一些实施例，由于候选图片的数量有限，图库模块104在图库中检索匹配的过程可能会出现“不中”的情况，即没有匹配的图片出现。因此，在没有或者匹配的候选图片数量不足时，图库模块104需要提供额外的候选图片。举例而言，图库模块104可以从图库中随机获取补充候选图片。由于图片搭配更为灵活，即使随机提供候选图片，用户从随机获取的候选图片中能够选择到合适候选图片的可能性也非常高。当然，根据用户历史和偏好提供补充候选图片的效果可能更好。因此，在一些实施例中，根据用户选择候选图片的历史提供补充的候选图片。在一些实施例中，根据用户的偏好提供补充的候选图片。如果能够获得用户属性信息，也可以根据用户属性提供补充的候选图片。在一些实施例中，当前流行的主题也可能是好的选择。例如，当前某一部电影正在热映，那么提供该电影主题的候选图片也可能符合用户的期望。

[0064] 在一些实施例中，提供补充的候选图片时，图片分类也非常有用。举例而言，如果从各个图片分类中随机提供候选图片，那么呈现给用户的将是风格更为多样的候选图片。用户发现满意的候选图片的可能性也更高。

[0065] 如前所述，基于上屏文字或其关键字提供候选图片，并且提供补充候选图片进行辅助，本发明所提供的候选图片能够更好地与上屏文字或其关键字匹配，从而更加符合用户的需求，达到更好表达效果。

[0066] 图文合成模块106在接收到上屏文字及候选图片后，将上屏文字添加到候选图片中。具体而言，将上屏文字添加到候选图片的文字区域中。在一些实施例中，图文合成模块106获取上屏文字后，将上屏文字添加到来自图库模块104 的提供的多个候选图片的缩略图中，从而形成多个包括上屏文字的候选图片的缩略图。缩略图尺寸较小，更加适于在输入界面进行展示。如果用户选择了某个包括上屏文字的候选图片的缩略图，再输出原始尺寸大小的该包括上屏文字的候选图片。图文合成模块106制作原始尺寸大小的候选合成图时，既可以在制作缩略图的同时进行，也可以在此之前或之后进行。

[0067] 图5是根据本发明另一个实施例的输入法系统原理框图。在与图1相比，本实施例提供的输入法系统200还包括输出模块107，输出模块107与界面模块102相连接，响应于用户操作，输出用户选择的图文合成图片或视频。

[0068] 图6是根据本发明一个实施例的输入法流程图。在本实施例中，所述输入法包括：

[0069] 步骤S1，识别当前输入法的使用场景。当检测到用户通过图2或图3所示的输入界面输出字符时，启动使用场景识别功能。具体而言，如图7所示：

[0070] 步骤S10，识别当前运行的应用，其中的一个实施例如图8所示。

[0071] 步骤S11，判断当前运行的应用是否有聊天应用。如果有，则执行步骤S12，如果没有，则在在步骤S15确定当前使用场景为非聊天场景。

[0072] 步骤S12，识别目标应用的屏幕内容，其中的一个实施例如图9所示。

[0073] 步骤S13，判断目标应用的屏幕内容是否为聊天内容，如果是，则在步骤 S14确定当前输入法使用场景为聊天场景，如果不是，则在步骤S15确定当前使用场景为非聊天场景。

[0074] 图8是根据本发明一个实施例的识别当前运行的应用是否为聊天应用的方法流程图。

[0075] 步骤S100，获取输入法所在终端当前运行的应用列表。

[0076] 步骤S101，读取应用列表中的每一个应用的应用信息。

[0077] 步骤S102，对比每一应用的应用信息和预置聊天应用的应用信息。例如，在本输入法的系统中预置有各种聊天应用的应用信息，如“微信”、“WeChat”、 “Telegram”、“FaceBook”、“SnapChat”、“QQ”等等。经过查询、比对每一应用的应用信息和预置聊天应用的应用信息，可以定当前运行的应用中是否有聊天应用。

[0078] 步骤S103，判断当前运行的应用中是否有预置的聊天应用，如果没有预置的聊天应用，则在步骤104确定当前运行的应用没有聊天应用，结束识别流程，如果有聊天应用，则在步骤105确定当前运行的应用有聊天应用，结束识别流程。

[0079] 也可以直接获取接收用户输入的目标应用的应用信息，通过对比目标应用的应用信息和预置聊天应用的应用信息来确定所述目标应用是否为聊天应用。

[0080] 图9是根据本发明一个实施例的识别目标应用的屏幕内容的方法流程图，具体如下：

[0081] 步骤S120，获取当前屏幕上当前应用的用户输入内容。所述的用户输入内容包括本终端用户输入的内容，也包括接收到的其他终端用户发送给本终端用户的内容。

[0082] 步骤S121，根据当前应用的用户输入内容，映射到对应的内存。例如，通过当前用户输入内容，可以查询到该应用存储所述内容的地址，根据所述地址可以得到对应的内存。例如在“微信”中，根据用户的聊天内容的不同，如文字、语音、图片或视频，这些内容分别存储在不同的文件夹中。例如，聊天时所有的微信语音聊天记录、收发的图片和小视频分别保存在 “tencent\MicroMsg”中对应的“image2”、“voice2”和“video2”的文件夹中。而文字聊天记录都保存在“data\data\com.tencent.mm”中的“MicroMsg”文件夹中。其他应用也与此类似，对应不同的用户输入内容，可以得到对应的存储地址。

[0083] 步骤S122，读取内存中的用户输入内容。如前述的“微信”，在得到当前输入内容(如用户输入的语音)的存储内存后，如读取对应内存的内容，如当天的全部语音内容，包括语音发送者和接收者。

[0084] 步骤S123，分析所述用户输入内容，确定当前屏幕内容是否为聊天内容。例如，当为语音聊天信息时，内存中会存储语音的发送者ID。当内存中，在一个信息片断中，存储了除本终端外的一个或多个发送者ID时，可以确定此为聊天内容。否则不是聊天内容。如果用户输入为文字内容，识别过程类似，根据一个信息片断中有两个或两个以上的信息发送者ID，可以确定为该信息片断对应的是聊天内容。

[0085] 在另一个实施例中，通过识别目标应用的用户界面内容来识别目标应用的屏幕内容是否为聊天内容。与前述的用户输入内容类似，在一个应用中，在内存中存储有对应不同的用户界面的界面信息，如某个界面上包括的按钮及其上的文字。在该实施例中，当获得了用户界面内容后，映射到对应的内存；从所述内存中的读取当前用户界面上的按钮以及按钮上的文字；分析所述按钮以及按钮上的文字，确定当前屏幕内容是否为聊天内容。例如，在“微信”中，聊天界面的内容与其他功能如朋友圈、阅读留言区的界面不同，根据界面上的按钮以及按钮上的文字可以确定当前屏幕上展示的用户界面是否为聊天界面，从而可以确定当前屏幕内容是否为聊天内容。

[0086] 在另一些实施例中，还可以通过对当前屏幕的截屏图像进行分析而确定当前的界面是否为聊天界面，并且还可以得到当前用户的输入内容。因而，在本实施例中，对当前屏幕截屏，获得一个或多个截屏图片，通过图像分析，根据信息布置、参与人数、输入内容和更新方式中的一者或多者可以识别出当前的用户界面是否为聊天界面。例如，当信息窗中的信息按照按左右方向、分层堆叠的方式排列时、当前信息窗内的内容的参与人数为两人以上时、输入内容为对话逻辑时或信息逐条更新时，都可以确定当前用户界面为聊天界面，屏幕内容为聊天内容。

[0087] 步骤S2，响应于使用场景为聊天场景，根据用户输入的字符或字符串生成向聊天应用输出的上屏文字。例如，将用户输入的字符组合在一起作为上屏文字。或者，在系统中包括词库模块时，根据用户输入的字符由词库模块提供候选词，由用户选择候选词。将用户选择的候选词组合在一起形成上屏文字。

[0088] 步骤S3，根据用户输入的字符串或上屏文字提供一个或多个候选图片/视频。通过用户输入的字符串或上屏文字在图库中进行搜索，按照一定的规则进行匹配以得到一个或多个候选图片/视频。其中，为了可以显示更多的图片，或加快客户端本地与服务器端的传输速度，由服务器端提供候选图片/视频的缩略图。在用户选择了某个缩略图后，服务器可只向客户端提供该缩略图的原图。或者，同时提供候选图片/视频的原图或缩略图。具体参见前述对输入法系统的说明，在此不再赘述。

[0089] 步骤S4，基于一个或多个候选图片/视频及上屏文字生成包含上屏文字的图文合成图片/视频。在该步骤中，可以在生成图文合成图片/视频之后，生成图文合成图片/视频的缩略图，或者直接利用候选图片/视频的缩略图生成图文合成图片/视频的缩略图。

[0090] 步骤S5，在输入界面显示一个或多个图文合成图片/视频。如果在步骤S4 中生成了缩略图，则在输入界面显示多个缩略图。

[0091] 步骤S6，响应于用户的选择，输出对应的图文合成图片/视频。当用户选择了某个缩略图后，如果已生成了其原图，则将对应的原图输出到当前的聊天窗口中。如果没有原图，则选生成对应的原图，再将原图输出到当前的聊天窗口中。

[0092] 用户在运行本发明提供的输入法时，可自动识别出聊天场景，并为聊天场景输出丰富的、趣味性强的图文合成图片/视频，增加了聊天过程的娱乐性。

[0093] 上述实施例仅供说明本发明之用，而并非是对本发明的限制，有关技术领域的普通技术人员，在不脱离本发明范围的情况下，还可以做出各种变化和变型，因此，所有等同的技术方案也应属于本发明公开的范畴。

标题	发布/更新时间	阅读量
基于标识虚线物理坐标的交通监控模型标定方法及系统	2020-05-14	578
分析受试者的方法和系统	2020-05-11	71
一种能联动智能灭火的AI智能火眼系统	2020-05-12	893
一种基于大数据的压延机压延质量预警系统	2020-05-08	378
用于对话语义分析的知识图谱	2020-05-12	990
一种新商业广告服务机器人	2020-05-12	383
为聊天机器人对话流能力生成决策树的方法、系统和程序	2020-05-08	533
一种智能互动方法、装置、计算机设备和存储介质	2020-05-12	503
文本修正方法、设备及介质	2020-05-12	343
基于音频分析与深度学习的争吵识别方法	2020-05-13	656

一种输入法及其系统

一种输入法及其系统

技术领域

背景技术

发明内容

具体实施方式

该功能需要专业版企业版VIP权限，您可以：