技术领域
[0001] 本
发明涉及一种使用客观方法模拟用户行为发送与接收彩信业务的用户感知体验QoE(Quality of Experience)的测评方法，属于
移动通信网络业务
质量评估的技术领域。。
背景技术
[0002] 随着无线通信领域相关技术的发展，彩信业务的应用越来越广泛，彩信的英文名是MMS(Multimedia Messaging Service)，即多媒体信息服务，其最大特色是支持多媒体功能，能够传递功能全面的内容和信息，这些信息包括文字、图像、声音、数据乃至视频等各种多媒体格式。因此，能否给用户提供令人满意的彩信业务的服务质量，是运营商十分关心的问题。运营商为了能够保证一个其网络运营正常，往往十分留意其设备的网络参数。而事实上，网络参数在反应实际网络情况的时候也具有局限性，不能从用户的
角度对移动通信网进行评估，仅仅从网管系统得到相关的监控指标，并不能确切地体现用户的实际感知。为此对于运营商以及网络提供商来说，需要建立模拟用户感知的客观评价方案，以达到真实的反应其业务质量并对质量进行监控，进而优化网络性能、提高服务质量。
[0003] 目前，广泛应用的彩信质量监控方法是从业务系统角度出发，对系统中各个指标进行监控，以达到对彩信整体质量监控和评估的效果。这种方法能够在一定程度上反应网络的情况，但是运营商无法根据用户的真实体验即时对业务质量进行改进。因此，这种方式有其片面性，不能够使得网络得到最好的优化。
[0004] 下面介绍一些彩信质量评价的
现有技术的状况：
[0005] 有些公司提出了对彩信进行质量评价的技术方案。例如，文献《基于彩信鱼平台实现彩信端到端业务质量监控》(刊于《电信工程技术与标准化》，2009年第8期)介绍了彩信业务的质量监控方法，并公开了从尽可能的所有关联到的网络环节采集彩信业务的各种网络参数，以便实现端到端的业务监控。文献《基于3G移动业务的用户体验映射体系研究》(刊于《移动通信》，2011年第3—4期)提出两种QoE到QoS的映射体系与映射方法。其中之一是基于权重的QoE到QoS的映射方法，非常简单，但其应用环境比较单一，且针对的场景或业务发生变化，得到的结果准确度可能不够理想。另一种是QoE到QoS映射的智能模型，需要以大量实测数据和经验值为
基础，准确度完全依赖于使用的映射方法，有很大的随机性。
[0006] 一些高校和科研机构也对彩信质量评价有所研究。文献《彩信业务运行质量分析系统的设计与实现》(北京邮电大学学位论文，2010年)分析了网管系统，对设备层、网络层和业务层相关流程的关键性能指标KPI(Key Performance Indicator)进行分类并提出了可行的优化策略。文献《多媒体KPI指标及彩信发送平台的开发设计与论证》(山东大学，2009年)提出了KPI指标的采集技术，但是这些KPI指标也是从网络端得到的，与用户感知关联不大。
[0007] 通过以上分析可以看出，目前已有的评测方法大多存在
缺陷：仅考虑QoS参数，或应用范围不广，或评测模型较为简单，因此需要提出一种新的彩信体验质量评测方法。
发明内容
[0008] 有鉴于此，本发明的目的是提供一个模拟用户行为的彩信业务用户感知体验QoE的测评方法，本发明是针对目前的网络QoS参数无法真实反映用户对彩信业务的实际体验的需求而提出的一种模拟用户对彩信质量的客观感知体验的评测方法；从用户端采集彩信用户的体验数据，再从接入性、保持性和完整性三方面分析，得到这三部分相应的关键体验指标KEI测量值，再基于这些指标进行综合分析与计算，得到一个位于0～5之间的QoE值，用于更好地反映用户对彩信的实际体验状况。
[0009] 为了达到上述发明目的，本发明提供了一种模拟用户行为的彩信业务用户感知体验QoE评测方法，其特征在于：先设置一套包括彩信发送和彩信接收两种用户各自的业务接入，业务保持和业务完整三方面用户感知体验参数的彩信业务QoE测评指标体系，然后，利用测试终端模拟用户使用彩信业务的发送和接收过程，分别采集与计算彩信业务两种用户感知体验的关键性能指标KPI(Key Performance Indicator)，进而计算其相应的彩信业务关键质量指标KQI(Key Quality Indicator)，以及利用心理模型对KQI进行综合运算而获得相应的彩信业务的关键体验指标KEI(Key Experience Indicator)，然后对这些KEI指标进行综合分析，获得等效于国际标准平均意见分值MOS(Mean Opinion Score)的5分制彩信业务QoE值。
[0010] 所述彩信业务QoE测评指标体系中，彩信发送的业务接入性能的KQI参数设有三项：取决于接入通用分组无线业务GPRS时长的接入时延、取决于GPRS附着Attach结束状态和分组数据协议PDP激活结束状态的接通状态、以及取决于传输控制协议TCP连接状态和域名解析DNS响应状态的
请求成功状态；其业务保持性能的KQI参数设有四项：取决于承载网络是否在线的在线状态，取决于彩信上传时长的发送时长、彩信传输的平均速率、以及取决于
信号电标准差的信号稳定度；其业务完整性能的KQI参数设有两项；取决于传输成功状态的信息完好性和取决于确认消息状态的流程完整性；彩信接收业务的三方面性能指标参数中，除去其业务保持性能的KQI参数中的接收时长取决于彩信下载时长以外，其他参数都与彩信发送相同。
[0011] 所述方法包括下述步骤：
[0012] (1)测试终端采集和计算一次彩信业务发送和接收两种用户的KPI参数；
[0013] (2)分别根据彩信业务QoE测评指标体系中两种用户各自的KPI参数，逐步计算彩信业务相应的KQI和利用心理模型对KQI进行综合运算，获得相应的KEI，最终获得模拟该次使用彩信业务发送和接收两种用户的QoE值；所述方法包括下述步骤：
[0014] (1)测试终端采集和计算一次彩信业务发送和接收两种用户的KPI参数；
[0015] (2)分别根据彩信业务QoE测评指标体系中两种用户各自的KPI参数，逐步计算彩信业务相应的KQI和利用心理模型对KQI进行综合运算，获得相应的KEI，最终获得模拟该次彩信业务发送和接收两种用户的QoE值；该步骤进一步包括下列操作内容：
[0016] (21)利用彩信业务两种用户各自的KPI分别计算其对应的KQI：
[0017] 接入时延：为接入GPRS的时长；
[0018] 接通状态：在Attach状态与PDP激活状态都成功时，其数值为1，否则为0；
[0019] 请求成功状态：与DNS响应状态的涵义和赋值方式相同；
[0020] 在线状态：与承载网络状态的涵义和赋值方式相同；
[0021] 发送时长：与彩信上传时长的涵义和赋值方式相同；
[0022] 接收时长：与彩信下载时长的涵义和赋值方式相同；
[0023] 平均速率：与其对应的KPI指标的涵义和赋值方式相同；
[0024] 信号稳定度，为信号电平的标准差系数，其计算公式：
[0025] 信息完好性：表明彩信内容传输是否成功,传输成功时，其数值为1，否则为0；
[0026] 流程完整性：在彩信发送业务中，当接收确认、转发成功和彩信已读三个确认消息都接收到时，其数值为1，否则为0；而在彩信接收业务中，当接收到彩信抵达消息时，其数值为1，否则为0；
[0027] (22)先将KQI指标分为两类：实测指标参数值越大、网络传输性能越好的正向指标和实测指标参数值越小、网络传输性能越好的反向指标，其中正向指标包括：接通状态、请求成功状态、在线状态、平均速率、信息完好性和流程完整性，反向指标包括：接入时延、信号稳定度、发送时长和接收时长；
[0028] (23)利用每个KQI的满意度值KQIMOS和层次分析法AHP，按照公式KEIi＝ΣωβKQIMOSi，β计算其KEI；式中，KEIi是由下标i区分的接入性、保持性和完整性的关键体验指标；系数ωβ是由下标β区分的各个KEI中的各个KQIMOS的权重，ωβ是由AHP得到的，且满足Σωβ＝1；KEI的取值区间为[0,5]；
[0029] 所述满意度值KQIMOS是根据人的主观体验模型，即取决于各项KQI实测值与其期望值之比值而确定的下述两种S型分段曲线的满意度映射函数式计算得到的：该期望值是由评估者根据人的主观体验和需求，针对不同类型的应用进行差异化设置的数值：
[0030] 正向指标满意度映射函数式： 或者
[0031] 反向指标满意度映射函数式：
[0032] 式中，系数a取决于初始值，且a＞0；系数b用于决定S型曲线的变化率；变量KQI％为KQI实测值与其期望值之比；其中正向指标满意度映射函数式表示：当KQI值略低于期望值而高于设定数值时，对人的主观体验性能影响小；当KQI值降低到该设定数值后仍继续下降，人的主观体验性能急剧下降；但当KQI值继续降低到另一设定数值后再继续下降，人的主观体验性能则变化平稳；而反向指标满意度映射函数式表示：当KQI值略高于期望值而低于设定数值时，对人的主观体验性能影响小；当KQI值高于该设定数值仍继续增高后，人的主观体验性能急剧下降；但当KQI值继续增高到另一设定数值后再继续增高，人的主观体验性能则变化平稳；
[0033] (24)按照下述公式计算测试终端模拟用户每次彩信业务的QoE值：QoE＝∑ωiKEIi＝ω接入性KEI接入性+ω保持性KEI保持性+ω完整性KEI完整性；该步骤操作内容与步骤(23)相同，也是利用AHP方法先构造KEI关系判断矩阵，再计算该判断矩阵的最大特征值与其对应的
特征向量，并对该特征向量进行归一化处理，归一化处理后的特征向量的每个元素就是各个业务接入、业务保持和业务完整三个KEI对应的权重ωi，最后进行一致性检验；但是，需要说明的是：当该三个KEI中的任意一个数值为0时，则其对应的QoE即为0；
[0034] (3)在不同时间和/或不同地点分别执行步骤(1)和(2)的操作后，对获得的多次彩信业务发送和接收两种用户的不同QoE值进行分析与统计，得到在设定时间和/或设定地区的彩信业务用户感知体验的质量状况。
[0035] 所述步骤(1)中，测试终端每次采集和计算彩信业务发送与接收两种用户的KPI包括下述各个参数：
[0036] 接入通用分组无线业务GPRS(General Packet Radio Service)时长：为接入GPRS结束时刻与开始时刻的时间差，单位为秒(s)；
[0037] GPRS附着(Attach)结束状态；表明测试终端是否连接到GPRS，附着成功，说明该测试终端已经连接到GPRS，其数值为1，否则为0；
[0038] 分组数据协议PDP(Packet Data Protocol)激活结束状态：所述激活是终端在传送彩信前向系统
服务器申请地址资源的过程，激活成功的数值为1，否则为0；
[0039] DNS响应状态：DNS解析和TCP连接同时成功时，其数值为1，否则为0；
[0040] 承载网络状态：所述承载的网络为GPRS或TD-SCDMA，接入网络后能保持连接状态，则其数值为1，否则为0；
[0041] 彩信上传时长：测试终端发送彩信的起始时刻与该彩信到达彩信中心MMSC(Multimedia Messaging Service Center)时刻的时间差，仅在彩信发送中有该指标；
[0042] 彩信下载时长：测试终端接收到彩信通知后，从该通知中提取携带MMS消息存放地址的统一资源
定位符URL(Uniform Resource Locator)的时间起始，直到其通过无线会话协议WSP(Wireless Session Protocol)或超文本传输协议HTTP(HyperText Transfer Protocol)的获取指令从MMSC下载完成该彩信的时间，仅在彩信接收中有该指标；
[0043] 平均传输速率：为测试时间段内彩信传输速率的均值，在彩信发送中，该指标是发送的MMS总字长与彩信上传时长之比；在彩信接收中，该指标是接收到的MMS总字长与彩信下载时长之比，单位均为Kb/秒；
[0044] 信号电平标准差：为测试时间段内信号电平的均方差；单位是分贝毫瓦(dBm)；
[0045] 传输成功状态：对于彩信发送，该指标是测试终端把彩信发送到MMSC时，其数值为1，否则为0，对于彩信接收，该指标是测试终端从彩信中心成功下载彩信时，其数值为1，否则为0；
[0046] 确认消息状态：针对彩信业务流程中的发送、通知、彩信提取及
回执的三个阶段分别设有下述四个交互状态的确认消息：发送阶段是在MMSC接收到彩信后，给发送端的接收确认消息；通知阶段有两条消息：MMSC通过推送PUSH协议给接收端发送的包含该彩信
位置URL的彩信抵达消息，以及MMSC给发送端发送的表明该彩信已经成功转发的确认消息；彩信提取及回执过程是在发送端要求和接收端允许的前提下，当接收端下载彩信后，MMSC给发送端的该彩信己读的确认消息，上述各个通知消息若被接收，其相应数值为1，否则为0。
[0047] 本发明彩信业务用户体验感知QoE的测量和评估方法的优点是：该测评方法选用的参数标准客观、实用，操作步骤简单、容易实现；且该测评方法只需用户使用测试终端和与其配合的彩信中心服务器，就可在任意时间、任意地点采集到所需的各种原始测评数据，亦可在
指定地点和/或指定时间采集相关参数。再将这些测评参数数据通过无线网络上报到
数据库，就能够在界面上查看数据库计算的相对客观、公正的测评结果——最终的QoE值，同时也可以仔细研究其中各个指标的好坏优劣。而且，全部操作过程完全模拟用户的操作行为，测试终端的操作贴近和涵盖手机收发彩信业务的整个使用过程。因此，本发明的测评过程也是模拟用户的收发彩信过程，使得测试结果真实、可靠，也使得整个测试流程符合与贴切用户使用彩信业务的真实感知体验。
[0048] 再者，本发明方法的实时性强，测试终端采集到数据后，可立即上报到数据库，由相应的控制
软件调用数据库中的数据根据本发明已建立好的指标体系进行QoE计算，这样，用户就能够在测试后的很短时间内立即看到测试结果，有利于作出及时、正确的判断，也为网络运营商据此结果对现网立即进行优化和调整提供了方便。总之，本发明方法操作步骤简单、实用、计算复杂度低，易于集成，在彩信服务质量评价的应用中具有较好的推广价值和应用前景。
附图说明
[0049] 图1是本发明模拟用户行为的彩信业务用户感知体验QoE的测评方法操作步骤
流程图。
[0050] 图2是本发明方法中的彩信发送业务评测指标体系架构组成示意图。
[0051] 图3是本发明方法中的彩信接收业务评测指标体系架构组成示意图。
[0052] 图4(A)、(B)分别是本发明方法
实施例中的正向KQI满意度映射函数曲线和反向KQI满意度映射函数曲线在其取值区间的变化趋势示意图。
具体实施方式
[0053] 为使本发明的目的、技术方案和优点更加清楚，下面结合附图和实施例对本发明作进一步的详细描述。
[0054] 本发明模拟用户行为的彩信业务用户感知体验QoE评测方法，是先设置一套包括彩信发送和彩信接收两种用户各自的业务接入，业务保持和业务完整三方面用户感知体验参数的彩信业务QoE测评指标体系，然后，利用测试终端模拟用户使用彩信业务的发送和接收过程，分别采集与计算彩信业务两种用户感知体验的关键性能指标KPI，进而计算其相应的彩信业务关键质量指标KQI，以及利用心理模型对KQI进行综合运算而获得相应的彩信业务的关键体验指标KEI，然后对这些KEI指标进行综合分析，获得等效于国际标准平均意见分值MOS的5分制彩信业务QoE值。
[0055] 下面参见图1～图3，并以彩信发送为例(彩信接收操作与彩信发送相类似)，说明本发明评测方法的三个具体操作步骤：
[0056] 步骤1：测试终端采集和计算一次彩信发送业务的KPI参数：
[0057] 每次测试流程需要两个终端分别作为发送端和接收端配合完成，发送端内置一条图文并茂的彩信，其字节长度为常规彩信大小。首先新建彩信业务测试实施例的任务，设置下述模拟用户发送彩信操作行为的测试条件和KPI参数名称(如下表1所示)：发送终端、接收终端、测试任务执行次数(1次)、连接超时、发送彩信内容等，然后，存储并执行测试任务，测试终端完成一次彩信发送用户的KPI下述参数的测试数据的采集：
[0058]KPI名称 单位 实测数值
接入GPRS时长 s 0.05
PDP激活结束状态 无 1
Attach结束状态 无 1
DNS响应状态 无 1
承载网络状态 无 1
速率标准差 KB/s 9.68
彩信上传时长 s 6.20
平均传输速率 KB/s 7.52
信号电平标准差 dBm 8.67
传输成功状态 无 1
确认消息状态 无 1
[0059] 步骤2：根据图2所示的彩信业务QoE测评指标体系中彩信发送的性能指标参数，利用上述采集到的彩信发送用户关键性能指标KPI逐步计算其关键质量指标KQI，以及利用心理模型对KQI进行综合运算，获得相应关键体验指标KEI，并最终得到测试终端模拟用户本次使用彩信业务的QoE值。该步骤包括下列操作内容：
[0060] (21)利用测试终端采集到的上述表1所示的彩信业务发送用户的KPI，计算下述各个对应的KQI(参见下表2所示)：
[0061]KQI名称 单位 实测数值 满意度值(KQIMOS)
接入时延 s 0.05 5
接通状态 无 1 5
请求成功状态 无 1 5
在线状态 无 1 5
平均速率 KB/s 7.52 3.76
发送时长 s 6.20 4.21
信号稳定度 无 14 5
信息完好性 无 1 5
流程完整性 无 1 5
[0062] (22)先将KQI指标分为两类：实测的指标参数值越大、网络传输性能越好的正向指标和实测的指标参数值越小、网络传输性能越好的反向指标，其中正向指标包括：接通状态、请求成功状态、在线状态、平均速率、信息完好性和流程完整性，反向指标包括：接入时延、信号稳定度、发送时长和接收时长。
[0063] 再将每项KQI指标分别与其期望值进行比较，并按照满意度映射函数计算每个KQI的满意度值KQIMOS，即等效于MOS取值区间[0,5]之间的得分值(如下表3：该实施例采用的KQI期望值和百分比指标与KQIMOS的映射关系表所示)：
[0064]
[0065] 需要说明的是：该步骤中的期望值是由评估者根据人的主观体验和需求，针对不同类型的应用进行差异化设置的数值。满意度映射函数是根据人的主观体验模型，即取决于各项KQI实测值与其期望值之比值而确定的下述两种S型分段曲线的函数式，其中，[0066] 正向指标满意度映射函数式：
[0067] 反向指标满意度映射函数式：
[0068] 式中，系数a取决于初始值，且a＞0；系数b用于决定S型曲线的变化率；变量KQI％表示KQI实测值与其期望值之比。其中的正向指标满意度映射函数式表示：KQI值低于期望值而高于设定数值时，对人的主观体验性能影响小；当KQI值降低到该设定数值后仍继续降低，人的主观体验性能急剧下降；但当KQI值降低到另一设定数值后再继续降低，人的主观体验性能变化平稳；而反向指标满意度映射函数式表示：当KQI值高于期望值而低于设定数值时，对人的主观体验性能影响小；当KQI值增高到该设定数值后再继续增高，人的主观体验性能急剧下降；但当KQI值继续增高到另一设定数值后再继续增高，人的主观体验性能变化平稳。
[0069] (23)利用每个KQI的满意度值KQIMOS和层次分析法AHP(Analytic Hierarchy Process)，按照公式KEIi＝∑ωβKQIMOS，i,β计算其关键体验指标KEI，得到的KEI的分值区间为[0,5]，其中，ωi为各个KQI指标的权重；
[0070] 本发明实施例中，利用AHP计算业务KEI的操作过程包括下述三个步骤：
[0071] (23A)用AHP方法构造各项KQI相对重要性关系的判断矩阵：利用1-9之间的自然数及其倒数作为标度，构造两两比较判断矩阵： 以便对各个KQI指标之间采用相对尺度进行两两相对的比较，得到每个KQI指标对于KEI的重要性。
[0072] 上述式中， 自然数下标i和j的最大值都是n；Ci和Cj分别是两个KQIMOS指标i和j对于目标KEI的相对重要性，aij的取值的涵义参见下表4所示：
[0073]
[0074]
[0075] 例如，两个业务完整性的KQI：信息完好性和流程完整性的关系判断矩阵为：其中，4表示信息完好性与流程完整性两个指标相比较的话，信息完好性比流程
完整性重要。按照同样的方法，可以写出3个业务接入性KQI指标的3×3关系判断矩阵和
4个业务保持性KQI指标的4×4关系判断矩阵。
[0076] (23B)计算各指标权重，即计算KQI关系判断矩阵的最大特征值与其对应的特征向量，并对该特征向量进行归一化处理,归一化处理后的向量的每个元素就是每项KEI下的各KQI对应的权重ωi。
[0077] 上述两个业务完整性的KQI指标：信息完好性和流程完整性的关系判断矩阵的最大特征值为：λmax＝2，该最大特征值所对应的特征向量为：p＝(0.9701,0.2425)，再对其进行归一化处理，得到的权重向量为：ω＝(0.8,0.2)。
[0078] (23C)进行一致性检验：构造判断矩阵时，并不要求判断结果是一致的，但是，要避免得到的判断结果差异过大，因此需要进行一致性检验；
[0079] 先计算一致性指标 再计算随机一致性比率 其中，RI为平均的随机一致性指标，RI取值见下表5所示：
[0080]n 1 2 3 4 5 6 7 8 9 10
RI 0 0 0.58 0.90 1.12 1.24 1.32 1.41 1.45 1.49
[0081] 当CR小于0.1时，认为该判断矩阵具有一致性；否则，调整该判断矩阵的数值，直到其满足一致性条件。
[0082] 这样，这两个业务完整性KQI的信息完好性和流程完整性的关系判断矩阵的随机一致性比率CR＝0<0.1，满足一致性检验的条件。两个业务完整性KQI的信息完好性和流程完整性的权重数值为依次为0.8和0.2。
[0083] 按照同样方法，可得到本次彩信发送业务中其他各个KQI对应的权重(需要说明的是：彩信接收和彩信发送对应的KQI权重相同)，如下表6所示。
[0084]
[0085] 由此，就可以得到本次实施例中的彩信发送业务的三个KEI接入性、保持性、完整性的数值依次为：5、4.515、5。
[0086] (24)按照下述公式分别计算测试终端模拟用户发送彩信一次的用户QoE值：QoE＝∑ωiKEIi＝ω接入性KEI接入性+ω保持性KEI保持性+ω完整性KEI完整性；其中，权重ωi为KEI关系判断矩阵的归一化最大特征向量。
[0087] 需要说明的是，该步骤的操作内容与步骤(23)相同，故不再赘述。最终得到接入性、保持性、完整性KEI权重数值分别为：0.55、0.24和0.21。
[0088] 由此，可以得到本次彩信业务实施例的QOE分值为：4.88。
[0089] 步骤3：从时间、空间的角度，统计分析多次发送和接收彩信的QoE评测值，得到一段时间内某地区的彩信体验质量状况。
[0090] 下表7为2011年11月17日在宁夏吴忠城区测试的部分数据。分别采用两个位于不同位置的测试终端互相进行彩信收发，每一次收发为一次测试任务。
[0091]
[0092] 本发明方法已经进行了多次仿真实施试验，试验结果是成功的，实现了发明目的：证明利用本发明方法得到的5分制QoE值，与人们在不同时段、不同地点使用彩信业务时的主观感受具有良好的一致性。
[0093] 以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所做的任何
修改、等同替换、改进等，均应包含在本发明保护的范围之内。
