基于体感交互的数据处理方法以及装置、系统专利检索-数据处理软件专利检索查询-专利查询网

基于体感交互的 数据处理方法以及装置、系统

阅读：2发布：2020-05-12

专利汇可以提供基于体感交互的数据处理方法以及装置、系统专利检索，专利查询，专利分析的服务。并且本申请公开了一种基于体感交互的数据处理方法以及装置、系统。该方法包括接收环境中语音输入，识别用户所选择执行的交互功能，其中所述交互功能通过语音识别确定；接收视频中手势输入，并基于所述交互功能确定动作意图，其中所述动作意图通过多模态动作识别确定；继续接收视频输入，并基于所述动作意图提取动作区域中的有效信息，其中所述有效信息是指通过图像检索和语言文字识别获得的用户意图；向用户反馈根据所述有效信息匹配的交互结果。本申请解决了桌面系统的交互效果不佳的技术问题。通过本申请可以让使用者在真实世界进行触碰式体感交互，且交互方式更加高效且自然。，下面是基于体感交互的数据处理方法以及装置、系统专利的具体信息内容。

权利要求

1.一种基于体感交互的数据处理方法，其特征在于，包括：
接收环境中语音输入，识别用户所选择执行的交互功能，其中所述交互功能通过语音识别确定；
接收视频中手势输入，并基于所述交互功能确定动作意图，其中所述动作意图通过多模态动作识别确定；
继续接收视频输入，并基于所述动作意图提取动作区域中的有效信息，其中所述有效信息是指通过图像检索和语言文字识别获得的用户意图；
向用户反馈根据所述有效信息匹配的交互结果。
2.根据权利要求1所述的基于体感交互的数据处理方法，其特征在于，接收环境中语音输入，识别用户所选择执行的交互功能包括：
通过环境中语音输入获得语音指令；
根据所述语音指令识别用户所选择执行的学习、阅读或者游戏的交互功能。
3.根据权利要求1所述的基于体感交互的数据处理方法，其特征在于，接收视频中手势输入，并基于所述交互功能确定动作意图包括：
接收视频中手势输入获得用户意图，基于学习交互功能下确定识别单词、识别句子或者解答习题；
和/或，接收视频中手势输入获得用户意图，基于阅读交互功能下确定绘本区域点读或教材伴读；
和/或，接收视频中手势输入获得用户意图，基于游戏交互功能下确定卡片识别、线条识别或模块识别。
4.根据权利要求1所述的基于体感交互的数据处理方法，其特征在于，继续接收视频输入，并基于所述动作意图提取动作区域中的有效信息包括：
继续接收视频输入，并基于所述动作意图提取动作区域中手势运动轨迹和手势位置，其中所述手势运动轨迹包括：至少一个单击手势轨迹、划过手势轨迹或者划过绕圈轨迹。
5.根据权利要求1所述的基于体感交互的数据处理方法，其特征在于，向用户反馈根据所述有效信息匹配的交互结果包括：
向用户显示根据所述有效信息匹配的学习、阅读或者游戏的交互结果。
6.一种基于体感交互的数据处理装置，其特征在于，包括：
第一交互模块，用于接收环境中语音输入，识别用户所选择执行的交互功能，其中所述交互功能通过语音识别确定；
第二交互模块，用于接收视频中手势输入，并基于所述交互功能确定动作意图，其中所述动作意图通过多模态动作识别确定；
第三交互模块，用于继续接收视频输入，并基于所述动作意图提取动作区域中的有效信息，其中所述有效信息是指通过图像检索和语言文字识别获得的用户意图；
反馈模块，用于向用户反馈根据所述有效信息匹配的交互结果。
7.根据权利要求6所述的基于体感交互的数据处理装置，其特征在于，所述第一交互模块，用于
通过环境中语音输入获得语音指令；
根据所述语音指令识别用户所选择执行的学习、阅读或者游戏的交互功能。
8.根据权利要求6所述的基于体感交互的数据处理装置，其特征在于，所述第二交互模块，用于
接收视频中手势输入获得用户意图，基于学习交互功能下确定识别单词、识别句子或者解答习题；
和/或，接收视频中手势输入获得用户意图，基于阅读交互功能下确定绘本区域点读或教材伴读；
和/或，接收视频中手势输入获得用户意图，基于游戏交互功能下确定卡片识别、线条识别或模块识别。
9.根据权利要求6所述的基于体感交互的数据处理装置，其特征在于，所述第三交互模块，用于
继续接收视频输入，并基于所述动作意图提取动作区域中手势运动轨迹和手势位置，其中所述手势运动轨迹包括：至少单击手势轨迹、划过手势轨迹或者划过绕圈轨迹。
10.一种基于体感交互的桌面系统，其特征在于，包括：智能终端和体感交互设备，以使用户在真实场景中，通过所述体感交互设备与所述智能终端进行体感交互，所述体感交互设备，用于提供可进行体感交互的一个或多个互动道具，所述智能终端设备，包括：图像采集装置、语音采集装置、显示装置以及语音播报装置，
所述图像采集装置，用于监控桌面范围内的图像信息；
所述语音采集装置，用于监听桌面场景中触发的语音信息；
所述显示装置，用于将视觉信息进行显示并输出视频信息；
所述语音播报装置，用于输出音频信息。

说明书全文

基于体感交互的 数据处理方法以及装置、系统

技术领域

[0001] 本申请涉及智能硬件领域，具体而言，涉及一种基于体感交互的数据处理方法以及装置、系统。

背景技术

[0002] 随着智能手机和平板电脑的普及，只动动手指头越来越满足不了用户的其他感官的需求，甚至弱化了其他的感官的功能，进而造成感知及动手能力越来越差。

[0003] 发明人发现，现有桌面系统的无法在保证用户与现实世界产生交互的同时，又能对交互体验进行即时反馈。

[0004] 针对相关技术中桌面系统的交互效果不佳的问题，目前尚未提出有效的解决方案。

发明内容

[0005] 本申请的主要目的在于提供一种基于体感交互的数据处理方法以及装置、系统，以解决桌面系统的交互效果不佳的问题。

[0006] 为了实现上述目的，根据本申请的一个方面，提供了一种基于体感交互的数据处理方法。

[0007] 根据本申请的基于体感交互的数据处理方法包括：接收环境中语音输入，识别用户所选择执行的交互功能，其中所述交互功能通过语音识别确定；接收视频中手势输入，并
基于所述交互功能确定动作意图，其中所述动作意图通过多模态动作识别确定；继续接收
视频输入，并基于所述动作意图提取动作区域中的有效信息，其中所述有效信息是指通过
图像检索和语言文字识别获得的用户意图；向用户反馈根据所述有效信息匹配的交互结
果。

[0008] 进一步地，接收环境中语音输入，识别用户所选择执行的交互功能包括：

[0009] 通过环境中语音输入获得语音指令；

[0010] 根据所述语音指令识别用户所选择执行的学习、阅读或者游戏的交互功能。

[0011] 进一步地，接收视频中手势输入，并基于所述交互功能确定动作意图包括：

[0012] 接收视频中手势输入获得用户意图，基于学习交互功能下确定识别单词、识别句子或者解答习题；

[0013] 和/或，接收视频中手势输入获得用户意图，基于阅读交互功能下确定绘本区域点读或教材伴读；

[0014] 和/或，接收视频中手势输入获得用户意图，基于游戏交互功能下确定卡片识别、线条识别或模块识别。

[0015] 进一步地，继续接收视频输入，并基于所述动作意图提取动作区域中的有效信息包括：继续接收视频输入，并基于所述动作意图提取动作区域中手势运动轨迹和手势位置，
其中所述手势运动轨迹包括：至少单击手势轨迹、划过手势轨迹或者划过绕圈轨迹。

[0016] 进一步地，向用户反馈根据所述有效信息匹配的交互结果包括：向用户显示根据所述有效信息匹配的学习、阅读或者游戏的交互结果。

[0017] 为了实现上述目的，根据本申请的另一方面，提供了一种基于体感交互的数据处理装置。

[0018] 根据本申请的基于体感交互的数据处理装置包括：第一交互模块，用于接收环境中语音输入，识别用户所选择执行的交互功能，其中所述交互功能通过语音识别确定；第二
交互模块，用于接收视频中手势输入，并基于所述交互功能确定动作意图，其中所述动作意
图通过多模态动作识别确定；第三交互模块，用于继续接收视频输入，并基于所述动作意图
提取动作区域中的有效信息，其中所述有效信息是指通过图像检索和语言文字识别获得的
用户意图；反馈模块，用于向用户反馈根据所述有效信息匹配的交互结果。

[0019] 进一步地，所述第一交互模块，用于

[0020] 通过环境中语音输入获得语音指令；

[0021] 根据所述语音指令识别用户所选择执行的学习、阅读或者游戏的交互功能。

[0022] 进一步地，所述第二交互模块，用于

[0023] 接收视频中手势输入获得用户意图，基于学习交互功能下确定识别单词、识别句子或者解答习题；

[0024] 和/或，接收视频中手势输入获得用户意图，基于阅读交互功能下确定绘本区域点读或教材伴读；

[0025] 和/或，接收视频中手势输入获得用户意图，基于游戏交互功能下确定卡片识别、线条识别或模块识别。

[0026] 进一步地，所述第三交互模块，用于

[0027] 继续接收视频输入，并基于所述动作意图提取动作区域中手势运动轨迹和手势位置，其中所述手势运动轨迹包括：至少单击手势轨迹、划过手势轨迹或者划过绕圈轨迹。

[0028] 为了实现上述目的，根据本申请的又一方面，提供了一种基于体感交互的桌面系统，包括：智能终端和体感交互设备，以使用户在真实场景中，通过所述体感交互设备与所
述智能终端进行体感交互，所述体感交互设备，用于提供可进行体感交互的一个或多个互
动道具，所述智能终端设备，包括：图像采集装置、语音采集装置、显示装置以及语音播报装置，所述图像采集装置，用于监控桌面范围内的图像信息；所述语音采集装置，用于监听桌
面场景中触发的语音信息；所述显示装置，用于将视觉信息进行显示并输出视频信息；所述
语音播报装置，用于输出音频信息。

[0029] 在本申请实施例中基于体感交互的数据处理方法以及装置、系统，采用接收环境中语音输入，识别用户所选择执行的交互功能的方式，通过接收视频中手势输入，并基于所
述交互功能确定动作意图，继续接收视频输入，并基于所述动作意图提取动作区域中的有
效信息，达到了向用户反馈根据所述有效信息匹配的交互结果的目的，从而实现了使用户
在真实场景中进行体感交互的技术效果，进而解决了桌面系统的交互效果不佳的技术问
题。
附图说明

[0030] 构成本申请的一部分的附图用来提供对本申请的进一步理解，使得本申请的其它特征、目的和优点变得更明显。本申请的示意性实施例附图及其说明用于解释本申请，并不
构成对本申请的不当限定。在附图中：

[0031] 图1是根据本申请实施例的基于体感交互的数据处理方法；

[0032] 图2是根据本申请实施例的基于体感交互的数据处理装置；

[0033] 图3是根据本申请实施例的基于体感交互的桌面系统；

[0034] 图4是根据本申请一个实施例的基于体感交互的桌面系统实体示意图；

[0035] 图5是根据本申请另一个实施例的基于体感交互的桌面系统实体示意图；

[0036] 图6是根据本申请再一个实施例的基于体感交互的桌面系统实体示意图。

具体实施方式

[0037] 为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是
本申请一部分的实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人
员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范
围。

[0038] 需要说明的是，本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用
的数据在适当情况下可以互换，以便这里描述的本申请的实施例。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的
过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清
楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

[0039] 在本申请中，术语“上”、“下”、“左”、“右”、“前”、“后”、“顶”、“底”、“内”、“外”、“中”、“竖直”、“水平”、“横向”、“纵向”等指示的方位或位置关系为基于附图所示的方位或位置关系。这些术语主要是为了更好地描述本申请及其实施例，并非用于限定所指示的装置、元件或组成部分必须具有特定方位，或以特定方位进行构造和操作。

[0040] 并且，上述部分术语除了可以用于表示方位或位置关系以外，还可能用于表示其他含义，例如术语“上”在某些情况下也可能用于表示某种依附关系或连接关系。对于本领
域普通技术人员而言，可以根据具体情况理解这些术语在本申请中的具体含义。

[0041] 此外，术语“安装”、“设置”、“设有”、“连接”、“相连”、“套接”应做广义理解。例如，可以是固定连接，可拆卸连接，或整体式构造；可以是机械连接，或电连接；可以是直接相连，或者是通过中间媒介间接相连，又或者是两个装置、元件或组成部分之间内部的连通。
对于本领域普通技术人员而言，可以根据具体情况理解上述术语在本申请中的具体含义。

[0042] 需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。

[0043] 如图1所示，该方法包括如下的步骤S101至步骤S104：

[0044] 步骤S101，接收环境中语音输入，识别用户所选择执行的交互功能，

[0045] 其中所述交互功能通过语音识别确定。

[0046] 当开启体感交互功能时作为第一层级的交互。在此层级的交互中，接收语音数据输入，并采用语音识别技术识别用户所选择执行的相应的交互功能。

[0047] 比如，当使用者发出我要学习或者进入学习模式等语音指令后，进入到学习功能模块中。

[0048] 又比如，使用者也可以使用其他预先定义的语音指令进入阅读模块或者游戏模块等。

[0049] 需要注意的是，在本申请的实施例中并不对具体的识别用户所选择执行的相应的交互功能的方式进行具体限定，只要能够满足第一层级的交互要求即可。

[0050] 步骤S102，接收视频中手势输入，并基于所述交互功能确定动作意图，其中所述动作意图通过多模态动作识别确定；

[0051] 当使用者选定某一个预设功能模块后，作为进入第二层级交互。接收视频中手势数据输入信息，并可以基于学习、阅读或游戏等交互功能确定的下一步具体的动作意图。

[0052] 具体地，使用者便可以使用手势交互，利用多模态动作识别技术分析出采集的手势视频数据来确定用户具体意图。

[0053] 比如，如图4所示，当进入到学习模块后，当使用者在摄像头下方放置了一本书，如果使用者手指单击书本某个词语下方。即用户意图为希望查询该词语的意思，通过采集的
手指单击书本的视频数据分析从而获取该意图。

[0054] 又比如，如图5所示，当使用者在书本某句文字下方划过一条线，即用户意图为希望解释该句子的意思。

[0055] 再比如，如图6所示，当使用者在书本某道作业题划过一个圈，即用户意图为解答该题目。

[0056] 需要注意的是，当系统进入不同的功能模块时，手势可以代表不同的意图，在本申请的实施例中并不进行具体限定。比如，学习功能模块下，划线代表翻译句子的意图；但是
在阅读模块下，划线可以代表朗读句子的意图；在游戏模式下，划线可以代表识别卡片的意
图。

[0057] 步骤S103，继续接收视频输入，并基于所述动作意图提取动作区域中的有效信息，

[0058] 其中所述有效信息是指通过图像检索和语言文字识别获得的用户意图。

[0059] 当通过分析手势图像数据而获取了用户意图之后，继续进行图像视频数据输入时，作为进入第三层交互。基于所述动作意图提取动作区域中的有效信息，再结合大规模图
像检索技术和混合多语言文字识别技术完成信息检索和反馈。

[0060] 比如，使用者通过手指双击某本图书的某个图标，系统通过多模态动作识别技术理解用户意图是想要播放该图标对应的音频，接着分析手指位置，进而提取该图标的图像
数据，利用大规模图像检索技术与图像库中所有图片数据进行匹配。

[0061] 步骤S104，向用户反馈根据所述有效信息匹配的交互结果。

[0062] 当通过匹配成功时，向用户反馈根据所述有效信息匹配的交互结果即播放该图标对应的音频数据。

[0063] 上述的方法中可以包括三个层级。在第一层级，通过语音识别技术进行功能选择；第二层级，通过多模态动作识别完成意图分析；第三层级，通过大规模图像检索技术和混合
多语言文字识别技术完成信息检索及反馈。

[0064] 从以上的描述中，可以看出，本申请实现了如下技术效果：

[0065] 在本申请实施例中，采用接收环境中语音输入，识别用户所选择执行的交互功能的方式，通过接收视频中手势输入，并基于所述交互功能确定动作意图，继续接收视频输
入，并基于所述动作意图提取动作区域中的有效信息，达到了向用户反馈根据所述有效信
息匹配的交互结果的目的，从而实现了使用户在真实场景中进行体感交互的技术效果，进
而解决了桌面系统的交互效果不佳的技术问题。

[0066] 根据本申请实施例，作为本实施例中的优选，接收环境中语音输入，识别用户所选择执行的交互功能包括：通过环境中语音输入获得语音指令；根据所述语音指令识别用户
所选择执行的学习、阅读或者游戏的交互功能。

[0067] 通过采集环境中的语音输入获得语音指令，通过所述语音指令可以识别出用户所选择执行的学习、阅读或者游戏的交互功能。

[0068] 根据本申请实施例，作为本实施例中的优选，接收视频中手势输入，并基于所述交互功能确定动作意图包括：接收视频中手势输入获得用户意图，基于学习交互功能下确定
识别单词、识别句子或者解答习题；和/或，接收视频中手势输入获得用户意图，基于阅读交互功能下确定绘本区域点读或教材伴读；和/或，接收视频中手势输入获得用户意图，基于
游戏交互功能下确定卡片识别、线条识别或模块识别。

[0069] 通过手势视频数据的输入，当接收视频中手势输入可以获得用户意图，基于学习交互功能下确定识别单词、识别句子或者解答习题；

[0070] 通过手势视频数据的输入，接收视频中手势输入获得用户意图，基于阅读交互功能下确定绘本区域点读或教材伴读；

[0071] 通过手势视频数据的输入，接收视频中手势输入获得用户意图，基于游戏交互功能下确定卡片识别、线条识别或模块识别。

[0072] 根据本申请实施例，作为本实施例中的优选，继续接收视频输入，并基于所述动作意图提取动作区域中的有效信息包括：继续接收视频输入，并基于所述动作意图提取动作
区域中手势运动轨迹和手势位置，

[0073] 其中所述手势运动轨迹包括：至少一个单击手势轨迹、划过手势轨迹或者划过绕圈轨迹。

[0074] 通过继续接收视频输入，并基于所述动作意图提取动作区域中的单击手势轨迹、划过手势轨迹或者划过绕圈轨迹手势运动轨迹和手势位置。

[0075] 根据本申请实施例，作为本实施例中的优选，向用户反馈根据所述有效信息匹配的交互结果包括：向用户显示根据所述有效信息匹配的学习、阅读或者游戏的交互结果。

[0076] 提供了通过肢体动作来达到与机器进行交互，让机器理解使用者的行为和意图，从而达到帮助使用者获取所需信息的目的。向用户显示根据所述有效信息匹配的学习、阅
读或者游戏的交互结果。

[0077] 需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不
同于此处的顺序执行所示出或描述的步骤。

[0078] 根据本申请实施例，还提供了一种用于实施上述方法的基于体感交互的数据处理装置，如图2所示，该装置包括：第一交互模块10，用于接收环境中语音输入，识别用户所选择执行的交互功能，其中所述交互功能通过语音识别确定；第二交互模块11，用于接收视频
中手势输入，并基于所述交互功能确定动作意图，其中所述动作意图通过多模态动作识别
确定；第三交互模块12，用于继续接收视频输入，并基于所述动作意图提取动作区域中的有
效信息，其中所述有效信息是指通过图像检索和语言文字识别获得的用户意图；反馈模块
13，用于向用户反馈根据所述有效信息匹配的交互结果。

[0079] 本申请实施例的第一交互模块10中当开启体感交互功能时作为第一层级的交互。在此层级的交互中，接收语音数据输入，并采用语音识别技术识别用户所选择执行的相应
的交互功能。

[0080] 比如，当使用者发出我要学习或者进入学习模式等语音指令后，进入到学习功能模块中。

[0081] 又比如，使用者也可以使用其他预先定义的语音指令进入阅读模块或者游戏模块等。

[0082] 需要注意的是，在本申请的实施例中并不对具体的识别用户所选择执行的相应的交互功能的方式进行具体限定，只要能够满足第一层级的交互要求即可。

[0083] 本申请实施例的第二交互模块11中当使用者选定某一个预设功能模块后，作为进入第二层级交互。接收视频中手势数据输入信息，并可以基于学习、阅读或游戏等交互功能
确定的下一步具体的动作意图。

[0084] 具体地，使用者便可以使用手势交互，利用多模态动作识别技术分析出采集的手势视频数据来确定用户具体意图。

[0085] 比如，当进入到学习模块后，当使用者在摄像头下方放置了一本书，如果使用者手指单击书本某个词语下方即如图4所示，即用户意图为希望查询该词语的意思，通过采集的
手指单击书本的视频数据分析从而获取该意图。

[0086] 又比如，如图5所示，当使用者在书本某句文字下方划过一条线，即用户意图为希望解释该句子的意思。

[0087] 再比如，如图6所示，当使用者在书本某道作业题划过一个圈，即用户意图为解答该题目。

[0088] 需要注意的是，当系统进入不同的功能模块时，手势可以代表不同的意图，在本申请的实施例中并不进行具体限定。比如，学习功能模块下，划线代表翻译句子的意图；但是
在阅读模块下，划线可以代表朗读句子的意图；在游戏模式下，划线可以代表识别卡片的意
图。

[0089] 本申请实施例的第三交互模块12中当通过分析手势图像数据而获取了用户意图之后，继续进行图像视频数据输入时，作为进入第三层交互。基于所述动作意图提取动作区
域中的有效信息，再结合大规模图像检索技术和混合多语言文字识别技术完成信息检索和
反馈。

[0090] 比如，使用者通过手指双击某本图书的某个图标，系统通过多模态动作识别技术理解用户意图是想要播放该图标对应的音频，接着分析手指位置，进而提取该图标的图像
数据，利用大规模图像检索技术与图像库中所有图片数据进行匹配。

[0091] 本申请实施例的反馈模块13中当通过匹配成功时，向用户反馈根据所述有效信息匹配的交互结果即播放该图标对应的音频数据。

[0092] 上述的模块中可以包括三个层级。在第一层级，通过语音识别技术进行功能选择；第二层级，通过多模态动作识别完成意图分析；第三层级，通过大规模图像检索技术和混合
多语言文字识别技术完成信息检索及反馈。

[0093] 根据本申请实施例，作为本实施例中的优选，所述第一交互模块10，用于通过环境中语音输入获得语音指令；根据所述语音指令识别用户所选择执行的学习、阅读或者游戏
的交互功能。

[0094] 根据本申请实施例，作为本实施例中的优选，所述第二交互模块11，用于接收视频中手势输入获得用户意图，基于学习交互功能下确定识别单词、识别句子或者解答习题；
和/或，接收视频中手势输入获得用户意图，基于阅读交互功能下确定绘本区域点读或教材
伴读；和/或，接收视频中手势输入获得用户意图，基于游戏交互功能下确定卡片识别、线条识别或模块识别。

[0095] 根据本申请实施例，作为本实施例中的优选，所述第三交互模块12，用于继续接收视频输入，并基于所述动作意图提取动作区域中手势运动轨迹和手势位置，其中所述手势
运动轨迹包括：至少单击手势轨迹、划过手势轨迹或者划过绕圈轨迹。

[0096] 在本申请的另一实施例中，如图3所示，还提供了基于体感交互的桌面系统，包括：智能终端10和体感交互设备20，以使用户在真实场景中，通过所述体感交互设备与所述智
能终端10进行体感交互，所述体感交互设备20，用于提供可进行体感交互的一个或多个互
动道具，所述智能终端设备10，包括：图像采集装置102、语音采集装置103、显示装置104以及语音播报装置105，所述图像采集装置102，用于监控桌面范围内的图像信息；所述语音采
集装置103，用于监听桌面场景中触发的语音信息；所述显示装置104，用于将视觉信息进行
显示并输出视频信息；所述语音播报装置105，用于输出音频信息。

[0097] 具体地，所述图像采集装置102设置于所述智能终端10中，用于监控桌面范围内的图像信息。桌面范围是指用于实施体感交互的载体，在本申请的实施例中并不进行具体限
定。所述语音采集装置103设置于所述智能终端10中，用于监听桌面场景中触发的语音信
息。而所触发的语音信息主要是指在环境中的人的声音，去除相应的噪声干扰。所述显示装
置104用于将视觉信息进行显示并输出视频信息，并且可以通过显示屏或者投影的方式进
行呈现。所述语音播报装置105，用于输出音频信息，从而与用户进行交互或者应答。

[0098] 显然，本领域的技术人员应该明白，上述的本申请的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成
的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储
在存储装置中由计算装置来执行，或者将它们分别制作成各个集成电路模块，或者将它们
中的多个模块或步骤制作成单个集成电路模块来实现。这样，本申请不限制于任何特定的
硬件和软件结合。

[0099] 以上所述仅为本申请的优选实施例而已，并不用于限制本申请，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修
改、等同替换、改进等，均应包含在本申请的保护范围之内。

标题	发布/更新时间	阅读量
数据处理方法及相关设备	2020-05-08	438
数据处理方法及相关产品	2020-05-08	596
用于立体车库的车辆数据处理方法、系统和存储介质	2020-05-08	981
基于物联网的室内定位数据处理方法、装置及系统	2020-05-08	480
产品数据处理方法及装置	2020-05-11	806
一种具有更新功能的电镀产品的入库方法	2020-05-11	519
基于统计特征视角合成质量预测方法、信息数据处理终端	2020-05-08	876
数据处理方法、装置、服务器及存储介质	2020-05-08	613
长期护理保险的数据处理方法、装置、介质与电子设备	2020-05-08	763
一种大数据交换平台网络架构	2020-05-08	15

基于体感交互的数据处理方法以及装置、系统

基于体感交互的数据处理方法以及装置、系统

技术领域

背景技术

发明内容

具体实施方式

该功能需要专业版企业版VIP权限，您可以：