技术领域
[0001] 本
发明涉及通信领域，特别涉及移动应用业务领域。
背景技术
[0002] 各种不同功能终端设备的出现，使在某一种特定环境模式下使用多种终端设备成为可能。如用户在户外环境时，可以同时使用随身携带的智能手机、
平板电脑终端设备；用户在办公室环境时，可同时使用PC机、平板电脑、
打印机、传真机等设备；在家居环境下，用户可同时使用台式PC机器、
笔记本电脑、IPTV功能的电视、智能手机、平板电脑等设备。多个丰富功能终端的出现，虽然使用户具备同时使用多种业务的条件，但目前用户均还是孤立地使用这些设备。这些设备未能以一种统一协调的方式，作为一个整体来服务于用户需要的业务，即这些多终端环境的终端资源使用未能获得优化组合。
[0003] 多种终端设备作为一个整体来服务于用户的概念在3GPP IMS IUT描述部分(3GPP TS 23.237)以合作会话(collaboration session)的方式涉及，并定义了相关的主控终端设备(Controller UE)与受控终端设备(Controllee UE)，同时其定义了不同UE间切换
媒体流(media Session)的信令机制。但是，如何以一个整体方式描述用户在特定环境下可用的实时终端及其资源状况？可用的多个终端如何以一种整体协作的方式为用户服务？终端之间如何分配业务媒体流及何时需要在终端间进行业务切换？以及终端间应该基于何种机制进行业务的切换和重新资源分配？这些涉及多终端资源优化组合利用，以及实现以用户为中心的更佳业务体现的关键点并未得到解决。
发明内容
[0004] 本
申请提供了一种基于虚拟终端上下文环境感知的多终端重构系统和方法。将特定环境下用户可用的多终端通过虚拟终端上下文描述整合为一个虚拟终端，主控终端设备可基于实时的虚拟终端上下文环境，以多终端的资源能
力作为一个整体(虚拟终端)进行业务的动态适配处理，完成各种终端对不同业务需求的资源分配，即完成多终端重构。
[0005] 在一个
实施例中，本发明提供了一种基于虚拟终端上下文环境感知的多终端重构方法，包括：
[0006] 在主控终端设备中存储虚拟终端上下文环境，所述虚拟终端上下文环境包括设备上下文、用户上下文、环境上下文和业务上下文；
[0007] 当设备资源与能力发生改变导致该设备上下文变化，或者设备资源使用状态改变导致设备上下文变化、或者业务变更导致业务上下文变化，或者用户偏好改变导致用户上下文变化时，进行适配处理；
[0008] 当环境模式导致该环境上下文变化，原环境模式下的主控终端设备向新环境模式下的主控终端设备转发虚拟终端上下文环境，所述新环境模式下的主控终端设备进行虚拟终端上下文的重构，根据重构后的虚拟终端上下文进行适配处理；
[0009] 基于该适配处理结果，该主控终端设备将业务的不同执行部分向受控终端分配，完成多终端重构。
[0010] 在一个实施例中，本发明提供了一种基于虚拟终端上下文环境感知的多终端重构系统，包括主控终端设备和一个或多个受控终端设备。
[0011] 其中，主控终端设备，包括：
[0012] 虚拟终端环境上下文存储模
块，其中所述虚拟终端上下文环境包括设备上下文、用户上下文、环境上下文和业务上下文；
[0013] 主控协作代理模块；
[0014] 适配处理模块；
[0015] 其中，一个或多个受控终端设备，包括：
[0016] 受控协作代理模块，
[0017] 其中，所述多终端重构系统还包括用户交互代理模块，位于所述主控终端设备或者所述一个或多个受控终端设备中。
[0018] 本发明的有益技术效果在于，通过虚拟终端上下文环境将特定环境下的多终端整合为一个虚拟终端，基于虚拟终端上下文变化的感知，主控终端设备自动触发适配处理功能，实时动态地对多终端的各种资源组合针对业务及其变更进行优化适配。
附图说明
[0019] 图1示出虚拟终端上下文环境；
[0020] 图2示出主控与受控终端功能及消息交互；
[0021] 图3示出基于虚拟终端上下文环境感知的多终端重构流程；
[0022] 图4示出基于虚拟终端上下文环境感知的适配处理触发流程；
[0023] 图5示出实施例家居环境模式终端环境图。
具体实施方式
[0024] 为使本发明的目的、技术方案和优点更加清楚，下面将结合附图及具体实施例对本发明作进一步地详细描述。
[0025] 虚拟终端是指特定环境下以用户为中心的多种终端设备资源可通过主控终端设备统一调度进行资源组合，实时动态地适配各种业务及其变更需求，以透明地向用户体现为一个动态优化的虚拟终端提供的能力，实现面向用户的最佳业务体验。
[0026] 虚拟终端上下文环境是指特定环境下(如办公环境模式、家居环境模式、驾车环境模式等)以用户为中心的所有可用终端设备资源及使用这些资源的业务的实时动态描述。
[0027] 基于虚拟终端上下文环境感知的多终端重构，是指基于实时动态变化的虚拟终端上下文环境，主控终端设备重新优化组合业务执行需要的各种终端资源，实现实时优化的最佳业务体验。即通过对虚拟终端上下文变化的感知，主控终端设备实时动态地对多终端的各种资源组合针对业务及其变更进行优化适配。
[0028] 虚拟终端上下文环境由设备上下文、用户上下文、环境上下文和业务上下文构成。设备上下文描述特定环境下各终端的资源能力及使用状态，分别对应于设备资源与能力、设备资源使用状态。用户上下文描述在各种特定模式下对各种终端资源使用及其组合使用的用户偏好。环境上下文描述用户当前所处的特定环境模式。业务上下文描述各个终端设备当前运行的业务状态及业务的动态变更，分别对应当前业务及业务变更两部分。虚拟终端上下文存储于主控终端设备。
[0029] 图1示出虚拟终端上下文环境描述。
[0030] 设备上下文包括设备资源与能力、设备资源使用状态两部分。设备资源与能力描述终端设备所具有的各种资源及支持能力，如各种网络连接能力、各种支持业务集合、各种
数据处理能力、各种显示呈现能力、存储能力、
定位能力、各种设备代理能力等。其中，设备代理包括主控协作代理、受控协作代理、用户交互代理，虚拟终端环境下主控终端设备与受控终端设备间分别通过其主控协作代理和受控协作代理进行虚拟终端上下文的消息交互，主控终端设备与主控终端设备间通过其主控协作代理进行虚拟终端上下文的转发，主控终端设备与用户的交互通过用户交互代理完成。设备资源使用状态部分描述终端设备资源的当前使用状态，如网络连接状态、数据处理负荷、存储空间使用状态、电量状态等。
[0031] 环境模式上下文描述以用户为中心的各种可能业务使用环境，如办公模式、家居模式、驾车模式、户外模式等，用户可通过支持用户交互代理的终端设备对各种环境模式进行定义和扩充。
[0032] 用户上下文反映用户业务使用偏好，不同环境模式下的各种用户偏好优先级进行描述，如不同环境模式下的网络连接方式优先级、主控协作代理设备优先级、用户交互代理设备优先级、数据处理设备优先级、数据存储设备优先级、显示呈现设备优先级、终端组合模式优先级等，用户可通过支持用户交互代理的终端设备对不同环境模式下的各种偏好进行配置。
[0033] 业务上下文包括设备当前业务及业务变更两部分。设备当前业务反映虚拟终端环境各终端设备承担的业务状况，如业务类型、会话标识、媒体流标识、业务状态、资源要求等；业务变更反映实时的业务变更需求，如变更业务类型、变更业务资源要求等。
[0034] 虚拟终端上下文环境存储于主控终端设备，其生成和动态更新有三个来源：终端上报、用户配置、业务执行过程中的业务变更信息反馈，见图2。终端上报方式中，受控终端设备通过其受控协作代理与主控终端设备的主控协作代理进行注册、注销和动态更新。用户配置方式中，用户可通过终端设备的用户交互代理与主控协作代理交互，对主控终端设备上虚拟终端上下文环境中的环境上下文及用户上下文部分进行配置定义。业务变更方式中，主控协作代理将业务变更信令要求动态反馈同步至虚拟终端上下文环境。虚拟终端上下文可在主控终端设备间转发，即：用户从一个环境模式接入另外一种环境模式时(如户外环境进入家居环境)，虚拟终端上下文环境可由原有环境模式下主控终端设备的主控协作代理向新环境模式下的主控协作代理转发。
[0035] 虚拟终端环境下的终端设备可具备主控协作代理、受控协作代理及用户交互代理功能中的一种或多种，该信息可在虚拟终端上下文环境中的设备资源与能力中的设备代理能力中描述，如图1所示。在某个环境模式下，主控终端必须具备主控协作代理功能，受控终端必须具备受控协作代理功能，用户交互代理功能可位于主控终端设备，也可位于受控终端设备。主控协作代理功能包括：搜索受控终端设备；接收解析3个来源(终端上报、用户配置、业务变更信息反馈)的信息，生成和动态维护虚拟终端上下文环境；接收和转发虚拟终端上下文。受控协作代理功能包括：向主控协作代理注册、注销，并监测受控终端资源能力和资源使用情况以向主控协作代理动态更新。用户交互代理功能包括：接收对虚拟终端上下文环境及适配处理
算法的用户配置，反馈主控设备适配处理后需用户确认的通知并接收用户确认。近距离终端设备搜索，主控协作代理、受控协作代理、用户交互代理间的消息通信，可基于已有的各种近距离通信机制，如蓝牙、紫蜂(ZigBee)等，主控协作代理、受控协作代理、用户交互代理是透明构建在这些近距离通信机制上的逻辑应用。如图2所示，虚拟终端环境中的主控终端包括虚拟终端上下文环境、主控协作代理功能、适配处理功能，受控终端包括受控协作代理功能。用户交互代理功能可位于主控终端，也可位于受控终端，位于主控终端时，如虚线部分所示。
[0036] 终端上报包括终端注册、注销及动态更新。某种环境模式下主控终端设备的主控协作代理功能激活时，其搜索附近的受控终端设备，并激活受控终端设备上的受控协作代理功能。受控协作代理激活后，受控终端向主控终端注册，注册消息内容为虚拟终端上下文环境中设备上下文部分及业务上下文的设备当前业务部分对应于该受控终端的部分，并由主控终端设备写入虚拟终端上下文环境。虚拟终端上下文环境中设备上下文部分及业务上下文的设备当前业务部分对应于主控终端设备的部分，则在主控协作代理功能激活后由主控终端设备自动写入。某种环境模式下某一终端设备确定为主控终端设备时，该设备的主控协作代理激活。某种环境模式下主控终端设备的选择可以预先由用户配置，也可在环境模式切换(即由用户从一种环境模式进入另一种环境模式)时，由前一种环境模式下的主控终端设备确定并移交。受控终端设备向主控设备发出注销消息，则表明该受控终端退出主控终端控制的统一虚拟终端资源调度，主控终端收到注销消息后清空虚拟终端上下文环境中对应于该受控终端的相关内容。当受控终端设备的资源能力或资源使用状态发生明显变化时(变化量可通过自定义的
阀值确定)，则向主控终端发送动态更新消息，消息中包含变化信息，收到消息的主控终端设备则相应地对虚拟终端上下文环境中对应于该受控终端变化的部分进行同步更新。主控终端设备资源能力或资源使用状态发生明显变化时，则自动对虚拟终端上下文环境的对应部分进行更新。
[0037] 通过用户配置方式，用户可对虚拟终端上下文环境中的环境上下文及用户上下文部分进行自定义，以体现用户可能所处的各种环境模式以及用户的各种业务使用偏好。也可通过用户配置方式，实现用户对适配处理功能算法的定义。用户配置通过用户交互代理实现。同时，主控协作代理完成的适配处理结果需要用户确认时，也通过用户交互代理功能实现。如图2虚线部分所示。某种环境模式下用户交互代理终端设备的选择可预先设定，也可由主控终端设备基于虚拟终端上下文环境中的用户偏好及终端资源能力确定。
[0038] 业务执行过程业务变更信息反馈，是指在某种模式的虚拟终端业务执行过程，主控终端设备与网络侧进行业务信令交互中接收到业务变更消息后，对虚拟终端上下文环境中业务上下文的业务变更部分进行同步。业务上下文中的每个业务变更项包括需要变更的业务类型、变更资源要求的描述，直接由业务变更信令消息中给出(如IMSSIP信令中的SDP描述，见3GPP TS 23.218)。虚拟终端上下文环境出现业务变更要求时，触发主控终端设备的适配处理功能，通过基于设备上下文及用户上下文的适配处理计算，主控终端设备确定适于该业务变更的可用终端设备的优先级，并从最高优先级的设备开始依次通过业务信令(如IMS IUT SIP信令，见3GPP TS 23.237)转发业务变更
请求。转发业务变更请求有两种结果。第一种，所有选择的设备拒绝接受业务变更，主控终端向网络以拒绝消息响应，表示不接受变更，同时删除业务上下文中的对应业务变更项；第二种，某个终端设备接受并完成业务变更，主控终端设备以成功变更消息向网络进行响应，同时删除业务上下文中的对应业务变更项。
[0039] 适配处理功能处于主控终端设备。当虚拟终端上下文环境发生变化时，触发适配处理功能。触发适配处理的虚拟终端上下文变化包括这几种情形：1、环境模式切换，即环境模式改变导致环境上下文变化；2、设备资源与能力发生改变导致设备上下文变化；3、设备资源使用状态改变导致设备上下文变化；4、业务上下文出现业务变更；5、用户偏好改变导致用户上下文变化。基于对这些虚拟终端上下文环境变化的感知，主控终端设备触发适配处理功能，基于当前可用的多终端资源，进行适应业务需求及用户偏好的多终端资源组合动态优化计算。适配处理结果可经过用户确认后，基于适配结果，主控终端设备将业务的不同执行部分向受控终端分配，完成多终端重构，并基于这些重构的虚拟终端执行业务。基于虚拟终端上下文环境感知的多终端重构流程参见图3。
[0040] 基于虚拟终端上下文环境感知的适配处理触发流程如图4。环境模式切换时新模式下的主控协作代理设备自动发起虚拟终端上下文环境重建过程，即通过近距离搜索新环境模式下受控终端设备，并通过受控终端设备注册完成新环境模式下的虚拟终端上下文重建。虚拟终端上下文环境中的设备上下文及业务上下文中的设备当前业务内容，通过新环境模式下的注册过程获取；虚拟终端上下文环境中的环境上下文和用户上下文则从先前模式下的虚拟终端环境上下文环境继承。新模式下的主控协作代理设备选择根据原有虚拟终端上下文中配置在新环境模式下的主控协作代理设备用户偏好优先级确定，结果包括主控终端设备不变或改变两种情况。若改变，先前环境模式下的主控终端设备需通过主控协作代理向新主控终端设备的主控协作代理转发原有虚拟终端上下文环境中的用户上下文及环境上下文部分，并删除原有的虚拟终端上下文环境。
[0041] 适配处理可以有多种资源优化组合算法，并可通过用户交互代理进行定义和配置，这些算法的基本原则是：针对实时的业务上下文需求，基于实时的设备上下文数据，以满足用户偏好及均衡终端资源利用为目标，进行虚拟终端资源组合优化。具体实施例1和2中描述了几种适配处理方式。
[0042] 下面结合具体实施例，对本发明的技术方案作进一步详细说明。
[0043] 实施例1：基于环境模式变化感知的多终端重构
[0044] 该实例中，用户原先在户外模式下通过智能手机接受公司视频会议，由于会议紧急，用户到家后需要继续接受该视频会议。由于环境模式发生了变化，用户由户外模式进入家庭模式，虚拟终端上下文中环境模式变化，触发相应的多终端重构过程。家居环境中的各种终端及其与网络接入见图5。其中，家居环境中的终端设备除用户随身携带的智能手机外，还包括iPad平板电脑、台式PC机、笔记本电脑、和具有IPTV功能的大屏幕
液晶电视。这些终端设备可通过不同方式接入网络：本例中IPTV液晶电视、台式PC机、笔记本电脑、均接入有线IP宽带网，iPad平板电脑也通过WiFi方式接入有线宽带网，智能手机仍然采用无线3G网络接入方式。同时，该实例中假设家居环境模式中终端设备均可通过IMS SIP信令(3GPP TS 23.218)与网络侧进行交互。具体步骤如下：
[0045] 步骤1、在户外模式下，即环境模式为户外模式，用户可用终端只有随身携带的智能手机，用户用智能手机接受公司的视频会议。此时的主控终端设备即为智能手机。由于无线宽带
费用昂贵，用户在智能手机上接受的视频模式选择普通清晰度，智能手机上的
视频流数据处理使用的也是对应于普通清晰度视频的编解码方式；
[0046] 步骤2、用户到家里，进入了新的环境模式家居模式。用户智能手机中虚拟终端上下文环境中的环境模式由户外模式变为家居模式，环境上下文的改变可有多种方式。如可由用户通过智能手机上的用户交互代理主动改变配置，或可通过智能手机上的定位功能自动触发改变；
[0047] 步骤3、环境上下文改变，智能手机基于其虚拟终端上下文环境用户上下文中对应家居模式下的主控协作代理设备优先级列表搜索终端设备，根据优先级及搜素结果确定家居模式下的主控终端设备，本例中确定为笔记本电脑；
[0048] 步骤4、智能手机通过其主控协作代理向笔记本电脑的主控协作代理转发原有虚拟终端上下文环境中的用户上下文及环境上下文部分，激活笔记本电脑的主控协作代理，并删除原有的虚拟终端上下文环境。同时智能手机与笔记本电脑间主控设备的移交信息通过IMS IUT过程(见3GPP TS 23.237)告知IMS网络。家居模式下的主控终端设备笔记本电脑自动发起虚拟终端上下文环境重建过程，即通过近距离搜索新环境模式下周边的受控终端设备，并通过受控终端设备注册完成新环境模式下的虚拟终端上下文重建。主控终端设备笔记本电脑搜索到了智能手机、IPTV液晶电视、台式PC机、iPad平板电脑这些受控终端设备，并接收了这些受控终端设备的注册。注册消息中，智能手机作为受控终端，描述了正在进行的视频会议业务，笔记本电脑将该描述写入其虚拟终端上下文环境业务上下文中对应于智能手机设备的设备当前业务部分；
[0049] 步骤5、基于重建的虚拟终端上下文环境，主控设备笔记本电脑进行虚拟终端资源优化组合，即适配处理。从业务上下文，可知当前进行的业务为视频会议业务。基于设备上下文，可知支持视频会议业务的终端设备为IPTV液晶电视、台式PC机、智能手机，以及IPTV液晶电视和台式PC机的数据处理能力较好；基于用户上下文，可知在家居环境模式下执行视频会议业务，用户偏好设备优先级最高的是IPTV液晶电视。因此，主控终端设备笔记本电脑确定家居环境模式下执行视频会议业务的最优设备为IPTV液晶电视。同时，根据用户上下文中家居环境模式下用户交互代理设备优先级的设置，主控设备笔记本电脑确定iPad平板电脑为家居环境模式下的用户交互代理设备；
[0050] 步骤6、主控设备笔记本电脑通过用户交互代理设备iPad平板电脑将适配处理结果告知用户，即将视频会议业务由智能手机转至IPTV液晶电视。该步骤用于用户确认后再基于适配处理结果进行多终端重构。如果要虚拟终端环境自动执行适配处理结果，该步骤可跳过；
[0051] 步骤7、用户确认后，主控设备笔记本电脑根据适配处理结果进行多终端重构。通过IMS IUT机制(3GPP TS 23.237)，笔记本电脑发起将视频业务流由当前的智能手机转移至IPTV液晶电视终端设备的IMS SIP信令过程。IPTV液晶电视终端设备可通过IMS SDP描述指示其可支持的数据处理能力，通过SDP描述，网络侧知道该终端支持更强的视频编解码功能，于是选择向其发送高清晰度视频模式的视频会议媒体流。用户可基于IPTV液晶电视继续接受公司正在进行的视频会议。
[0052] 实施例2：基于业务变更感知的多终端重构
[0053] 该实施例继续基于实施例1进行描述。在家居环境模式下，用户正在通过IPTV液晶电视终端设备接受公司的视频会议。此时，公司网络侧需要将视频会议中讨论的竞标项目及竞争对手的资料发给用户。具体执行步骤如下：
[0054] 步骤1、主控终端设备笔记本电脑接收到网络侧发来的在已有会话(即视频媒体流)上新建一个媒体流的信令请求(具体信令过程及方式可参见3GPP TS 23.237)后，在其虚拟终端上下文环境业务上下文中写入业务变更1，图1中业务变更的类型及资源要求可直接来自信令请求。
[0055] 步骤2、如图1，虚拟终端上下文环境中业务上下文出现业务变更，触发主控设备笔记本电脑的适配处理功能。根据虚拟终端上下文环境中的设备上下文描述，可知台式PC机及笔记本电脑支持数据下载业务；根据用户上下文描述，可知在家居环境模式下用户偏好优先级最高的数据存储设备为台式PC机，其次为笔记本电脑。据此主控设备笔记本电脑的适配处理结果为由台式PC机接收新建的媒体流(即网络侧的数据下载)；
[0056] 步骤3、主控设备笔记本电脑基于适配处理结果进行多终端重构(此前业务也可先通过用户交互代理要求用户确认)。通过IMS IUT信令机制(3GPP TS 23.237)笔记本电脑将建立数据下载的新建媒体流请求转至台式PC机，台式PC机完成下载数据新媒体流的接收；
[0057] 步骤4、台式PC机下载数据过程，其存储空间资源下降，超过设定的阀值。其向主控设备发送动态更新消息，消息中包含存储空间不足的状态指示，收到消息的笔记本电脑对相应设备上下文中台式PC机对应的设备资源使用状态部分进行更新；
[0058] 步骤5、如图1所示，虚拟终端上下文环境中设备上下文变化，触发主控设备的适配处理功能。基于业务上下文，可知台式PC机器正在执行下载业务；基于设备上下文及用户上下文，可确定笔记本电脑为继续接受下载数据流的终端设备。
[0059] 步骤6、基于适配处理结果，主控设备进行多终端重构。笔记本电脑通过IMS IUT信令机制(3GPP TS 23.237)将下载数据媒体流由台式PC机转至自己，继续接受下载数据流。
[0060] 以上所述对本发明的目的、技术方案和有益效果进行了进一步的详细说明，所应理解的是，以上所述并不用以限制本发明，凡在本发明的精神和原则之内，所做的任何
修改、等同替换、改进等，均应包含在本发明的保护范围之内。
