技术领域
[0001] 本
发明涉及移动互联网多媒体技术领域，特别涉及基于激励机制的智能手持终端点对点视频和游戏的融合方法、装置及系统。
背景技术
[0002] 随着智能手持终端(如智能手机、
平板电脑等)的普及和WiFi，3G，4G等无线接入带宽的提高，基于智能手持终端的点对点视频应用将会呈现爆炸性增长。另一方面，基于智能手持终端的互动游戏也将成为一大热点，能够打发用户的碎片时间。在游戏的过程中添加视频功能能极大地增强游戏的
互动性，提高游戏对用户的吸引
力；反之，在视频通话的过程中添加游戏功能则能增加用户视频通话过程中的趣味性，增进用户之间的情感。而如果能让点对点视频和游戏有机地融合在一起，则能将用户对视频
聊天和游戏的需求融合在一起，提高用户对游戏的
粘度。
[0003] 因此，针对现有的视频会话和游戏相互独立和彼此隔离的处理方案，有必要提出一种新的视频会话和游戏能有机融合的方法，提高用户游戏时的互动性和趣味性。
发明内容
[0004] 本发明的目的旨在提供基于激励机制的智能手持终端点对点视频和游戏的融合方法、装置及系统，提高用户游戏时的互动性和趣味性。
[0005] 第一方面，本发明提供一种智能
手持设备点对点视频和游戏的有机融合方法，包括：设置视频窗口基于用户在游戏中的游戏量化表现值的呈现策略；在游戏过程中实时计算接收端的游戏量化表现值，并据此由接收端依据自身的游戏表现控制发送端视频窗口的呈现方式，或者，发送端依据接收端的游戏量化表现值实时调整编码策略，进而通过发送端
视频编码控制发送端视频窗口在接收端的呈现方式。
[0006] 进一步地，当由接收端依据自身的游戏表现控制发送端视频窗口的呈现方式时， 包括：接收端通过网络传输
接口与发送端进行数据交互传输，并从网络传输接口接收视频数据，并将其存放到为发送端开辟的远端视频缓冲区；接收端从网络传输接口发送/接收游戏数据，并将接收到的游戏数据存放到本地游戏数据缓冲区；依据接收端用户在游戏中的表现对接收端用户的游戏表现进行量化评价，得到实时的游戏量化表现值，并依据视频窗口呈现策略和接收端用户当前的游戏量化表现值确定发送端视频窗口的呈现方式；在接收端屏幕上呈现视频和游戏融合后的界面。
[0007] 进一步地，所述呈现方式包括如下之一：控制所呈现视频的区域、控制所呈现视频的
分辨率/清晰度或控制所呈现视频的明暗度。
[0008] 进一步地，所述依据接收端用户在游戏中的表现对接收端用户的游戏表现进行量化评价包括：对于简单的游戏，发送端可以依据接收端实时发送过来的游戏数据及发送端自身的游戏数据确定接收端的游戏量化表现值；或对于需要
服务器同步的游戏，可以由服务器将接收端的游戏量化表现值发送给发送端。
[0009] 进一步地，当由发送端依据接收端的游戏表现控制发送端视频在接收端的呈现方式时，包括：发送端通过网络接口发送/接收实时游戏数据，并获取接收端发送的实时游戏量化表现值；发送端将依据接收端的游戏量化表现值和视频呈现策略实时确定编码策略，当编码策略发生变化时，通知发送端的视频
编码器调整发送端的编码策略；发送端通过视频编码器依据编码策略对视频捕获设备捕获的原始视频数据进行编码；发送端将编码后的视频数据存放在视频缓冲区，并通过网络接口将视频数据传输给接收端，使得接收端呈现视频和游戏融合过的界面，并且接收端所呈现的视频窗口依据发送端发送过来的原始数据进行解码呈现。
[0010] 进一步地，所述发送端获取接收端的实时游戏量化表现值包括：对于简单的游戏，发送端可以依据接收端实时发送过来的游戏数据及发送端自身的游戏数据确定接收端的游戏量化表现值；或对于需要服务器同步的游戏，由服务器将接收端的游戏量化表现值发送给发送端。
[0011] 进一步地，所述编码策略包括如下之一：编码视频区域、编码的分辨率、编码的
帧速、分层编码的层数或视频的图像的透明度。
[0012] 第二方面，一种基于激励机制的智能手持终端点对点视频和游戏的融合装置，由接收端依据自身的游戏表现控制发送端视频窗口的呈现方式，包括：本地视频
数据采集模
块，用于采集本地视频数据并将其存放到本地视频缓冲区；视频数据传输模块， 用于接收对端设备通过网络传输过来的视频数据，并将其暂存到远端视频缓冲区，并且将本地视频数据采集模块采集的视频数据通过网络传输到对端设备；游戏数据传输模块，用于将本地产生的实时游戏数据通过网络传输到对端设备，并且从网络接收对端设备通过网络传输过来的实时游戏数据，并将其缓存在远端游戏数据缓冲区；游戏综合表现评价模块，用于对双方用户在游戏中的表现进行综合评价，该评价值可以基于实时生成/获得的游戏数据生成，或由服务器计算生成并发送过来；视频窗口呈现策略模块，用于描述用户的游戏量化表现值和视频呈现规则的关联策略；视频与游戏融合模块，用于依据视频窗口呈现策略对远端视频进行必要处理，而本地视频则不做处理，并确定视频窗口的呈现
位置和大小；界面呈现模块，用于将融合后的数据显示在界面上；游戏数据生成模块，用于依据当前游戏界面、游戏逻辑和用户输入，生成本地实时游戏数据，并置于本地游戏数据缓冲区。
[0013] 第三方面，一种基于激励机制的智能手持终端点对点视频和游戏的融合装置，由发送端依据接收端的游戏表现控制发送端视频在接收端的呈现方式，包括：游戏数据传输模块，用于将本地产生的实时游戏数据通过网络传输到对端设备，并且从网络接收对端设备通过网络传输过来的实时游戏数据，并将其缓存在远端游戏数据缓冲区；游戏综合表现评价模块，用于对双方用户在游戏中的表现进行综合评价，该评价值可以基于实时生成/获得的游戏数据生成，也可以由服务器计算生成并发送过来；视频窗口呈现策略，用于描述用户的游戏量化表现值和视频呈现规则的关联策略；编码策略生成模块，用于基于视频窗口呈现策略和接收端用户的游戏综合表现量化值，生成视频编码策略；本地视频捕获模块，用于捕获原始的本地视频数据；视频编码器，用于根据视频编码策略和本地视频捕获的原始数据对视频进行编码，将编码后的视频数据存放到本地视频数据缓冲区；视频数据传输模块，用于接收对端设备通过网络传输过来的视频数据，并将其暂存到远端视频缓冲区，并且将本地视频数据采集模块采集的视频数据通过网络传输到对端设备；界面呈现模块，用于将用户的游戏数据、双方的视频数据经过融合后呈现在用户的显示界面上；游戏数据生成模块，用于依据当前游戏界面、游戏逻辑和用户输入，生成本地实时游戏数据，并置于本地游戏数据缓冲区。
[0014] 第四方面，一种基于激励机制的智能手持终端点对点视频和游戏的融合系统，由接收端依据自身的游戏表现控制发送端视频窗口的呈现方式，包括：接收端：接收端 从网络传输接口接收视频数据，并将其存放到为发送端开辟的远端视频缓冲区，从本地视频捕获设备采集本地视频数据，将其存放到本地视频缓冲区，通过网络传输接口将本地视频缓冲区中的视频数据传输给发送端；接收端从网络传输接口接收游戏数据，并将接收到的游戏数据存放到为发送端开辟的远端游戏数据缓冲区，依据接收端的用户输入、当前游戏界面和游戏逻辑实时生成本地游戏数据，置于本地游戏数据缓冲区，并通过网络传输接口将其传输给发送端；获取接收端用户的游戏量化表现值，可以由接收端基于接收端用户在游戏中的表现直接对其进行量化评价，得到实时的游戏量化表现值，也可以由游戏服务器计算出接收端的量化游戏表现值，并发送给接收端；接收端依据视频窗口呈现策略和接收端用户当前的游戏量化表现值确定对端(即发送端)视频窗口的呈现方式，在接收端屏幕上呈现视频和游戏融合后的界面；发送端：发送端从网络传输接口接收视频数据，并将其存放到为接收端开辟的远端视频缓冲区，从本地视频捕获设备采集本地视频数据，将其存放到本地视频缓冲区，通过网络传输接口将本地视频缓冲区中的视频数据传输给接收端；发送端从网络传输接口接收游戏数据，并将接收到的游戏数据存放到为接收端开辟的远端游戏数据缓冲区，依据发收端的用户输入、当前游戏界面和游戏逻辑实时生成本地游戏数据，置于本地游戏数据缓冲区，并通过网络传输接口将其传输给接收端。
[0015] 第五方面，一种基于激励机制的智能手持终端点对点视频和游戏的融合系统，由发送端依据接收端的游戏表现控制发送端视频在接收端的呈现方式，包括：发送端从网络传输接口接收游戏数据，并将接收到的游戏数据存放到为接收端开辟的远端游戏数据缓冲区，依据发送端的用户输入、当前游戏界面和游戏逻辑实时生成本地游戏数据，置于本地游戏数据缓冲区，并通过网络传输接口将其传输给接收端；发送端获取接收端发送的实时游戏量化表现值，发送端可以依据接收端实时发送过来的游戏数据及发送端自身的游戏数据确定接收端的游戏量化表现值，或由服务器计算接收端的游戏量化表现值，并发送给发送端；发送端依据接收端的游戏量化表现值和视频呈现策略实时确定编码策略，当编码策略发生变化时，通知发送端的视频编码器调整发送端的编码策略；发送端从网络传输接口接收视频数据，并将其存放到为接收端开辟的远端视频缓冲区，从本地视频捕获设备采集原始的本地视频数据，视频编码器依据编码策略对原始视频数据进行编码后存放到本地视频缓冲区，通过网络传输接口将本地视频缓冲区中的视频数据传输给接收端；接收端从网络传输接口接收视频数据，并将其 存放到为发送端开辟的远端视频缓冲区，从本地视频捕获设备采集本地视频数据，将其存放到本地视频缓冲区，通过网络传输接口将本地视频缓冲区中的视频数据传输给发送端；接收端从网络传输接口接收游戏数据，并将接收到的游戏数据存放到为发送端开辟的远端游戏数据缓冲区，依据接收端的用户输入、当前游戏界面和游戏逻辑实时生成本地游戏数据，置于本地游戏数据缓冲区，并通过网络传输接口将其传输给发送端；接收端在屏幕上呈现视频和游戏融合后的界面。
[0016] 本发明提供的使视频会话和游戏能有机融合的方法、装置及系统，能够有效提高用户游戏时的互动性和趣味性，还能降低视频数据的传输量。
[0017] 本发明附加的方面和优点将在下面的描述中部分给出，这些将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
[0018] 图1示出了根据本发明的基于激励机制控制视频呈现方式的游戏与视频融合方法的流程示意图。
[0019] 图2示出了根据本发明一实施方式的基于激励机制控制视频呈现方式的游戏与视频融合方法的流程示意图；
[0020] 图3示出了根据本发明另一实施方式的基于激励机制控制视频呈现方式的游戏与视频融合方法的流程示意图；
[0021] 图4示出了根据本发明一实施方式的基于激励机制控制视频呈现方式的游戏与视频融合装置的结构示意图；
[0022] 图5示出了根据本发明另一实施方式的基于激励机制控制视频呈现方式的游戏与视频融合装置的结构示意图；
[0023] 图6(a)-(c)示出了根据本发明任一实施方式的基于游戏激励机制的受控视频呈现方式示意图；
[0024] 图7示出了根据本发明任一实施方式的网络部署示意图；
具体实施方式
[0025] 下面详细描述本发明的实施方式，所述实施方式的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通 过参考附图描述的实施方式是示例性的，仅用于解释本发明，而不能解释为对本发明的限制。
[0026] 本技术领域技术人员可以理解，除非特意
声明，这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是，本发明的
说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。应该理解，当我们称元件被“连接”或“耦接”到另一元件时，它可以直接连接或耦接到其他元件，或者也可以存在中间元件。此外，这里使用的“连接”或“耦接”可以包括无线连接或耦接。这里使用的措辞“和/或”包括一个或更多个相关联的列出项的任一单元和全部组合。
[0027] 本技术领域技术人员可以理解，除非另外定义，这里使用的所有术语(包括技术术语和科学术语)具有与本发明所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是，诸如通用字典中定义的那些术语应该被理解为具有与
现有技术的上下文中的意义一致的意义，并且除非像这里一样定义，不会用理想化或过于正式的含义来解释。
[0028] 图1示出了根据本发明的基于激励机制控制视频呈现方式的游戏与视频融合方法的流程示意图。本发明提供一种智能手持设备点对点视频和游戏的有机融合方法，包括：设置视频窗口基于用户在游戏中的游戏量化表现值的呈现策略；在游戏过程中实时计算接收端的游戏量化表现值，并据此由接收端依据自身的游戏表现控制发送端视频窗口的呈现方式，或者，发送端依据接收端的游戏量化表现值实时调整编码策略，进而通过发送端视频编码控制发送端视频窗口在接收端的呈现方式。本发明提供的智能手持设备点对点视频和游戏的互动融合方法及装置，能使视频会话和游戏实现有机融合，提高用户游戏时的互动性和趣味性，还能有效降低视频数据传输量。
[0029] 图2示出了根据本发明一实施方式的基于激励机制控制视频呈现方式的游戏与视频融合方法的流程示意图。如图2所示，作为一种实施方式，本发明提供一种智能手持终端基于激励机制控制视频呈现方式的点对点视频和游戏的融合方法，由接收端依据自身的游戏表现控制发送端视频窗口的呈现方式,该方法包括如下步骤：S11、发送端通过视频捕捉设备捕捉本地的视频并暂存到本地视频缓冲区；S12、发送端将本地视频通过网络传输接口传输到接收端；S13、接收端通过网络传输接口接收视频数 据，并将其存放到对端视频缓冲区；S14、接收端从网络传输接口发送/接收游戏数据；S15、接收端将接收到的游戏数据存放到游戏数据缓冲区；S16、接收端依据用户在游戏中的表现，对用户的游戏表现进行量化评价；S17、接收端依据视频窗口呈现策略和当前用户的量化表现值确定对端视频窗口的呈现方式；S18、最后在屏幕上呈现视频和游戏融合后的界面。
[0030] 由此可见，本发明提供一种基于激励机制的智能手持终端点对点视频和游戏的融合方法，由接收端依据自身的游戏表现控制发送端视频窗口的呈现方式，包括：接收端通过网络传输接口与发送端进行数据交互传输，并从网络传输接口接收视频数据，并将其存放到对端视频缓冲区；接收端从网络传输接口发送/接收游戏数据，并将接收到的游戏数据存放到本地游戏数据缓冲区；接收端依据用户在游戏中的表现对用户的游戏表现进行量化评价以得到实时游戏量化表现值，并依据视频窗口呈现策略和当前用户的量化表现值确定对端视频窗口的呈现方式；在接收端屏幕上呈现视频和游戏融合后的用户交互界面。因此，本发明提供的接收端依据自身的游戏表现控制发送端视频窗口呈现方式的点对点视频和游戏有机融合的方法，能够实现点对点视频会话和游戏的互动融合，提高用户游戏时的互动性和趣味性。
[0031] 进一步地，所述呈现方式包括如下之一：控制所呈现视频的区域、控制所呈现视频的分辨率/清晰度或控制所呈现视频的明暗度。
[0032] 图3示出了根据本发明一实施方式的基于激励机制控制视频呈现方式的游戏与视频融合方法的流程示意图。如图3所示，作为另一种实施方式，本发明还提供一种智能手持终端基于激励机制控制视频呈现方式的点对点视频和游戏的融合方法，由发送端依据接收端的游戏表现控制发送端视频在接收端的呈现方式,该方法包含如下步骤：S21、发送端通过网络接口发送/接收实时游戏数据；S22、发送端获取接收端的实时游戏量化表现值；S23、发送端将依据接收端的游戏量化表现值和视频呈现策略(例如，双方具有一致的策略)实时确定编码策略(例如，编码视频区域、编码的分辨率、编码的帧速、分层编码的层数、视频的图像的透明度等)；S24、当编码策略发生变化时，通知发送端的视频编码器，调整其编码策略；S25、发送端的视频编码器依据编码策略对视频捕获设备捕获的原始视频数据进行编码；S26、发送端将编码后的视频通过网络接口发送给接收端；S27、接收端从网络接口接收发送端传输过来的视频数据，并将其存放在对端视频缓冲区；S28、最后在界面上呈现视频和游戏融 合过的界面，所呈现的对端视频窗口依据对端发送过来的原始数据进行解码呈现，无需做进一步处理。
[0033] 由此可见，本发明提供一种基于激励机制的智能手持终端点对点视频和游戏的融合方法，由发送端依据接收端的游戏表现控制发送端视频在接收端的呈现方式，包括：发送端通过网络接口发送/接收实时游戏数据，并获取接收端发送的实时游戏量化表现值；发送端将依据接收端的游戏量化表现值和视频呈现策略实时确定编码策略，当编码策略发生变化时，发送端的视频编码器接到信息后调整发送端的编码策略；发送端的视频编码器依据编码策略对视频捕获设备捕获的原始视频数据进行编码，并将编码后的视频通过网络接口发送给接收端；发送端将视频数据存放在视频缓冲区，并通过网络接口将视频数据传输接收端，使得接收端呈现视频和游戏融合过的界面，并且接收端所呈现的视频窗口依据发送端发送过来的原始数据进行解码呈现。因此，本发明提供的发送端依据接收端的游戏表现控制发送端视频在接收端的呈现方式的点对点视频与游戏的融合方法，不仅能实现点对点视频会话和游戏的互动融合，提高用户游戏时的互动性和趣味性，还能有效地降低视频数据的传输量。
[0034] 进一步地，所述发送端获取接收端的实时游戏量化表现值包括：对于简单的游戏，发送端可以依据接收端实时发送过来的游戏数据及发送端自身的游戏数据确定对端的游戏量化表现值；或对于需要服务器同步的游戏，可以由服务器将对端的游戏量化表现值推送给发送端。
[0035] 进一步地，所述编码策略包括如下之一：编码视频区域、编码的分辨率、编码的帧速、分层编码的层数或视频的图像的透明度。
[0036] 图4示出了根据本发明一实施方式的基于激励机制控制视频呈现方式的游戏与视频融合装置的结构示意图。如图4所示，作为一种实施方式，本发明提供一种智能手持终端基于激励机制控制视频呈现方式的点对点视频和游戏融合的装置，该装置包括：本地视频数据采集模块，用于采集本地视频数据并将其存放到本地视频缓冲区；视频数据传输模块，用于接收对端设备通过网络传输过来的视频数据，并将其暂存到远端视频缓冲区，并且将本地视频数据采集模块采集的视频数据通过网络传输到对端设备；游戏数据传输模块，用于将本地产生的实时游戏数据通过网络传输到对端设备，并且从网络接收对端设备通过网络传输过来的实时游戏数据，并将其缓存在远端游戏数据缓冲区；游戏综合表现评价模块，用于对双方用户在游戏中的表现进行综合评价， 该评价值可以基于实时生成/获得的游戏数据生成，或由服务器生成并推送而来；视频窗口呈现策略模块，用于描述用户的游戏量化表现值和视频呈现规则的关联策略；视频与游戏融合模块，用于依据视频窗口呈现策略对远端视频进行必要处理，而本地视频则不做处理，并确定视频窗口的呈现位置和大小；界面呈现模块，用于将融合后的数据显示在界面上；游戏数据生成模块，用于依据当前游戏界面、游戏逻辑和用户输入，生成本地实时游戏数据，并置于本地游戏数据缓冲区。因此，本发明提供的接收端依据自身的游戏表现控制发送端视频窗口呈现方式的点对点视频和游戏有机融合的装置，能够实现点对点视频会话和游戏的互动融合，提高用户游戏时的互动性和趣味性
[0037] 图4是基于激励机制控制视频呈现方式的游戏与视频融合装置图，包括游戏数据传输模块、本地视频数据采集模块、视频数据传输模块、视频与游戏融合模块、视频窗口呈现策略、游戏综合表现评价模块、呈现界面模块、游戏数据生成模块。
[0038] 本地视频数据采集模块通过本地摄像头获取本地的视频，并将其存放到本地视频数据缓冲，本地视频编码可以采用任何适合实时网络传输带宽的编码，如H.264，MPEG-4，或分层编码等。
[0039] 视频数据传输模块将本地视频数据通过网络传输到对端
节点；同时从网络接收对端节点传输过来的视频数据，并暂存在远端视频数据缓冲区。
[0040] 游戏数据传输模块将本地游戏数据通过网络传输到对端节点；同时从网络接收对端节点传输过来的游戏数据，并将其暂存在远端游戏数据缓冲区。
[0041] 游戏综合表现评分模块用于为用户参与本游戏的参与度、游戏时长、游戏表现等进行综合的量化评价，不同的游戏的评价规则可以不一样。对于简单的游戏，综合表现评分只需要在终端完成即可(如俄罗斯方块)，对于复杂的游戏，综合表现评分的生成需要游戏服务器的参与，服务器计算出用户参与本游戏的量化评分后推送给参与终端。
[0042] 视频窗口呈现策略库描述视频窗口依据游戏表现结果的显示规则。通常，对终端A来说，对本地视频窗口的呈现不作限制。而远端视频窗口中的呈现内容则与终端A的游戏参与度、游戏时长、游戏表现等紧密相关。例如，可以将用户的综合评分分为若干个
阀值，每个阀值对应于不同的视频窗口呈现清晰度，这种方式非常适合于视频自身提供分层编码的情形，不同的阀值和呈现清晰度之间的关系由视频窗口呈现策略 库
指定；也可以将每个阀值对应于不同的视频窗口呈现透明度，当低于最低阀值时，整个视频窗口是不透明的，即看不到远端用户，而当超过最高阀值后，整个视频窗口则是完全透明的，即没有任何遮罩，不同的阀值和遮罩度的关系在视频窗口呈现策略库中指定；也可以将每个阀值对应于不同的视频窗口呈现面积，不同的阀值和呈现区域的对应关系在视频窗口呈现策略中指定。
[0043] 视频与游戏融合模块则依据视频窗口的呈现策略、当前用户的综合量化评分和视频数据确定视频窗口的呈现内容，并通过界面呈现模块在界面上予以显示。
[0044] 游戏数据生成模块依据当前游戏的状态和用户的输入，实时生成本地的游戏数据，并存放到缓冲区中。
[0045] 图5示出了根据本发明一实施方式的基于激励机制控制视频呈现方式的游戏与视频融合装置的结构示意图。如图5所示，作为另一种实施方式，本发明还提供一种智能手持终端基于激励机制控制视频呈现方式的点对点视频和游戏融合的装置，该装置包括：游戏数据传输模块，用于将本地产生的实时游戏数据通过网络传输到对端设备，并且从网络接收对端设备通过网络传输过来的实时游戏数据，并将其缓存在远端游戏数据缓冲区；游戏综合表现评价模块，用于对双方用户在游戏中的表现进行综合评价，该评价值可以基于实时生成/获得的游戏数据生成，也可以由服务器生成并推送而来；视频窗口呈现策略，用于描述用户的游戏量化表现值和视频呈现规则的关联策略；编码策略生成模块，用于基于视频窗口呈现策略和接收端用户的游戏综合表现量化值，生成视频编码策略；本地视频捕获模块，用于捕获原始的本地视频数据；视频编码器，用于根据视频编码策略和本地视频捕获的原始数据对视频进行编码，将编码后的视频数据存放到本地视频数据缓冲区；视频数据传输模块，用于接收对端设备通过网络传输过来的视频数据，并将其暂存到远端视频缓冲区，并且将本地视频数据采集模块采集的视频数据通过网络传输到对端设备；界面呈现模块，用于将用户的游戏数据、双方的视频数据经过融合后呈现在用户的显示界面上；游戏数据生成模块，用于依据当前游戏界面、游戏逻辑和用户输入，生成本地实时游戏数据，并置于本地游戏数据缓冲区。因此，本发明提供的发送端依据接收端的游戏表现控制发送端视频在接收端的呈现方式的点对点视频与游戏的融合装置，不仅能实现点对点视频会话和游戏的互动融合，提高用户游戏时的互动性和趣味性，还能有效地降低视频数据的传输量。
[0046] 图5是基于激励机制控制视频呈现方式的游戏与视频融合装置图，包括游戏数据 传输模块、本地视频捕获装置、视频数据传输模块、视频窗口呈现策略、游戏综合表现评价模块、编码策略生成模块、编码策略、视频编码器、呈现界面模块、游戏数据生成模块。
[0047] 本地视频捕获装置通过本地摄像头获取本地的原始视频数据。
[0048] 视频编码器依据当前的编码策略对上述原始视频数据进行编码，将编码后的视频数据存放到本地视频数据缓冲区。
[0049] 视频数据传输模块将本地视频数据通过网络传输到对端节点；同时从网络接收对端节点传输过来的视频数据，并暂存在远端视频数据缓冲区。
[0050] 游戏数据传输模块将本地游戏数据通过网络传输到对端节点；同时从网络接收对端节点传输过来的游戏数据，并将其暂存在远端游戏数据缓冲区。
[0051] 界面呈现模块用于将用户的游戏数据、双方的视频数据经过融合后呈现在用户的显示界面上。
[0052] 游戏综合表现评分模块用于为用户参与本游戏的参与度、游戏时长、游戏表现等进行综合的量化评价，不同的游戏的评价规则可以不一样。对于简单的游戏，综合表现评分只需要在终端完成即可(如俄罗斯方块)，对于复杂的游戏，综合表现评分的生成需要游戏服务器的参与，服务器计算出用户参与本游戏的量化评分后推送给参与终端。
[0053] 视频窗口呈现策略描述视频窗口依据游戏表现结果的显示规则。该规则与对端用户的游戏综合量化评分共同生成本地视频的编码策略。例如，可以将对端用户的综合量化评分分为若干个阀值，每个阀值对应于不同的视频窗口呈现清晰度，这种方式非常适合于采用分层编码的情形，不同的阀值和呈现清晰度之间的关系由视频窗口呈现策略指定；也可以将每个阀值对应于不同的视频窗口呈现透明度，当低于最低阀值时，整个视频窗口是不透明的，即对端用户看不到发送端的视频，而当超过最高阀值后，整个视频窗口对对端用户是完全可见的，即没有任何遮罩，不同的阀值和遮罩度的关系在视频窗口呈现策略库中指定；也可以将每个阀值对应于不同的视频窗口呈现面积，不同的阀值和呈现区域的对应关系在视频窗口呈现策略中指定。
[0054] 编码策略生成模块则依据视频窗口呈现策略和对端用户的游戏综合量化评分生成视频编码策略。视频编码器据此对原始视频数据进行编码。一旦由于对端用户的游戏综合量化评分发生改变而导致视频编码策略发生变化，则视频编码器需及时予以调 整编码策略。
[0055] 游戏数据生成模块依据当前游戏的状态和用户的输入，实时生成本地的游戏数据，并存放到缓冲区中。
[0056] 采用这种方法，当用户对游戏的参与度不高或用户的表现不佳时，游戏的综合量化评分值较低，从而发送端所发送的视频数据量也较少，因此可以降低视频数据的传输量。
[0057] 图6示出了根据本发明一实施方式的基于游戏激励机制的受控视频呈现方式示意图。无论是采用第一种实施方法，或是第二种实施方法，图6给出了三种基于激励机制的远端视频画面效果。图6(a)是基于控制视频呈现明暗度的显示效果，图6(b)是基于控制视频呈现区域的显示效果，图6(c)是基于控制视频呈现清晰度的显示效果。需要说明的是，图6只是一个原理性示意，实际的展示方式可以是多样的。
[0058] 图7示出了根据本发明任一实施方式的网络部署示意图。实际的部署过程中，根据视频数据传输的路径和游戏数据传输的路径，可能存在图7所示的6种部署场景，其中，终端A和终端B均为智能手持终端，如智能手机、平板电脑。在第一种场景中，终端A和终端B的视频数据通过视频转发服务器转发，并且终端A和终端B的实时游戏数据也通过游戏服务器转发(例如需要游戏服务器维护状态的游戏)，双方的实时游戏综合量化评价值也由服务器生成并推送给终端；在第二种场景中，终端A和B的视频数据和游戏数据都无需通过第三方服务器转发，双方的实时游戏综合量化评价值由终端依据自身和对端的游戏数据计算得到；在第三种场景中，终端A和B的视频数据不通过视频转发服务器转发，而游戏数据需要通过游戏服务器转发，双方的实时游戏综合量化评价值也由服务器生成并推送给终端；在第四种场景中，终端A和B之间的视频数据通过视频转发服务器转发，而游戏数据无需通过第三方服务器转发，双方的实时游戏综合量化评价值由终端依据自身和对端的游戏数据计算得到；在第五种场景中，终端A和B之间的视频数据通过视频转发服务器转发，而游戏数据则通过两条通道转发，其中，需要同步的游戏数据，经过游戏服务器转发；而无需同步的游戏数据，则直接在终端A和B之间传输，依据游戏逻辑的不同，双方的实时游戏综合量化评价值可以由服务器生成并推送给终端，或者由终端依据自身和对端的游戏数据计算得到；在第六种场景中,终端A和B之间的视频数据不通过视频转发服务器转发,而游戏数据则通过两条通道转发,其中，需要同步的游戏数据，经过游戏 服务器转发，而无需同步的游戏数据，则直接在终端A和B之间传输，依据游戏逻辑的不同，双方的实时游戏综合量化评价值可以由服务器生成并推送给终端，或者由终端依据自身和对端的游戏数据计算得到。
[0059] 作为一种实施方式，本发明提供一种基于激励机制的智能手持终端点对点视频和游戏的融合系统，包括：
[0060] 接收端：接收端从网络传输接口接收视频数据，并将其存放到为发送端开辟的远端视频缓冲区，从本地视频捕获设备采集本地视频数据，将其存放到本地视频缓冲区，通过网络传输接口将本地视频缓冲区中的视频数据传输给发送端；接收端从网络传输接口接收游戏数据，并将接收到的游戏数据存放到为发送端开辟的远端游戏数据缓冲区，依据接收端的用户输入、当前游戏界面和游戏逻辑实时生成本地游戏数据，置于本地游戏数据缓冲区，并通过网络传输接口将其传输给发送端；获取接收端用户的游戏量化表现值，可以由接收端基于接收端用户在游戏中的表现直接对其进行量化评价，得到实时的游戏量化表现值，也可以由游戏服务器计算出接收端的量化游戏表现值，并发送给接收端；接收端依据视频窗口呈现策略和接收端用户当前的游戏量化表现值确定对端(即发送端)视频窗口的呈现方式，在接收端屏幕上呈现视频和游戏融合后的界面；
[0061] 发送端：发送端从网络传输接口接收视频数据，并将其存放到为接收端开辟的远端视频缓冲区，从本地视频捕获设备采集本地视频数据，将其存放到本地视频缓冲区，通过网络传输接口将本地视频缓冲区中的视频数据传输给接收端；发送端从网络传输接口接收游戏数据，并将接收到的游戏数据存放到为接收端开辟的远端游戏数据缓冲区，依据发送端的用户输入、当前游戏界面和游戏逻辑实时生成本地游戏数据，置于本地游戏数据缓冲区，并通过网络传输接口将其传输给接收端。
[0062] 作为另一种实施方式，本发明提供一种基于激励机制的智能手持终端点对点视频和游戏的融合系统，包括：
[0063] 发送端：发送端从网络传输接口接收游戏数据，并将接收到的游戏数据存放到为接收端开辟的远端游戏数据缓冲区，依据发送端的用户输入、当前游戏界面和游戏逻辑实时生成本地游戏数据，置于本地游戏数据缓冲区，并通过网络传输接口将其传输给接收端；发送端获取接收端发送的实时游戏量化表现值，发送端可以依据接收端实时发送过来的游戏数据及发送端自身的游戏数据确定接收端的游戏量化表现值，或由 服务器计算接收端的游戏量化表现值，并发送给发送端；发送端依据接收端的游戏量化表现值和视频呈现策略实时确定编码策略，当编码策略发生变化时，通知发送端的视频编码器调整发送端的编码策略；发送端从网络传输接口接收视频数据，并将其存放到为接收端开辟的远端视频缓冲区，从本地视频捕获设备采集原始的本地视频数据，视频编码器依据编码策略对原始视频数据进行编码后存放到本地视频缓冲区，通过网络传输接口将本地视频缓冲区中的视频数据传输给接收端；
[0064] 接收端：接收端从网络传输接口接收视频数据，并将其存放到为发送端开辟的远端视频缓冲区，从本地视频捕获设备采集本地视频数据，将其存放到本地视频缓冲区，通过网络传输接口将本地视频缓冲区中的视频数据传输给发送端；接收端从网络传输接口接收游戏数据，并将接收到的游戏数据存放到为发送端开辟的远端游戏数据缓冲区，依据接收端的用户输入、当前游戏界面和游戏逻辑实时生成本地游戏数据，置于本地游戏数据缓冲区，并通过网络传输接口将其传输给发送端；接收端在屏幕上呈现视频和游戏融合后的界面。
[0065] 本技术领域技术人员可以理解，本发明可以涉及用于执行本
申请中所述操作中的一项或多项操作的设备。所述设备可以为所需的目的而专
门设计和制造，或者也可以包括通用计算机中的已知设备，所述通用计算机有存储在其内的程序选择性地激活或重构。这样的
计算机程序可以被存储在设备(例如，计算机)可读介质中或者存储在适于存储
电子指令并分别耦联到总线的任何类型的介质中，所述计算机可读介质包括但不限于任何类型的盘(包括
软盘、
硬盘、光盘、CD-ROM、和磁光盘)、随即
存储器(RAM)、
只读存储器(ROM)、电可编程ROM、电可擦ROM(EPROM)、电可擦除可编程ROM(EEPROM)、闪存、
磁性卡片或光
线卡片。可读介质包括用于以由设备(例如，计算机)可读的形式存储或传输信息的任何机构。例如，可读介质包括随即存储器(RAM)、只读存储器(ROM)、磁盘存储介质、光学存储介质、闪存装置、以电的、光的、声的或其他的形式传播的
信号(例如载波、红外信号、
数字信号)等。
[0066] 本技术领域技术人员可以理解，可以用计算机程序指令来实现这些结构图和/或
框图和/或流图中的每个框以及这些结构图和/或框图和/或流图中的框的组合。可以将这些计算机程序指令提供给通用计算机、专业计算机或其他可编程
数据处理方法的处理器来生成机器，从而通过计算机或其他可编程数据处理方法的处理器来执行的指令 创建了用于实现结构图和/或框图和/或流图的框或多个框中指定的方法。
[0067] 本技术领域技术人员可以理解，本发明中已经讨论过的各种操作、方法、流程中的步骤、措施、方案可以被交替、更改、组合或删除。进一步地，具有本发明中已经讨论过的各种操作、方法、流程中的其他步骤、措施、方案也可以被交替、更改、重排、分解、组合或删除。进一步地，现有技术中的具有与本发明中公开的各种操作、方法、流程中的步骤、措施、方案也可以被交替、更改、重排、分解、组合或删除。
[0068] 以上所述仅是本发明的部分实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。
