技术领域
[0001] 本
发明属于教育
数据挖掘技术领域，尤其涉及一种多步分层的学习者认知水平挖掘方法及系统。
背景技术
[0003] 迄今为止，整个测验统计理论的发展可以分为标准测验理论阶段和新一代测验理论阶段。以经典测量理论和项目反应理论为代表的标准测验理论聚焦于测验分数的结果，无法对学习者得分背后所隐藏的心理内部加工过程、加工技能和认知结构等进行分析判断，漠视了具有相同测验分数的学习者常常具有不同的认知结构和认知策略。
[0004] 以认知诊断为核心的新一代测量理论充分采取认知
心理学有关人类知识加工过程内在机制，通过对学习者内部心理加工过程的测量，提供具有针对性的认知挖掘信息，并强调对学习者的认知优势与劣势进行分析，由此开发出具有认知诊断的心理计量模型--认知诊断模型。认知诊断模型对学习者进行单独建模，模式化其认知结构，定量的
分析学习者之间的个体差异与认知结构，从而帮助教师及时掌握学习者学习状态，及早进行学习干预，实现因材施教；帮助学习者通过个性化学习信息反馈，提供针对性的补救措施及建议，实现自主学习；更可以帮助教育管理者合理均衡地分配教育资源，实现教育公平。
[0005] 目前学习者认知水平挖掘的方式主要是以项目反应理论(Item Response Theory,IRT)与确定性输入，噪声“与”
门(the Deterministic Input,Noisy“And”Gate model,DINA)模型为主。其中，IRT将学习者在试题上的作答情况建模为一维连续的能
力值，并且学习者的综合能力以此能力值作为判定，通过项目特征曲线(Item Characteristic Curve,ICC)表示学习者在不同的潜在特质下与试题作答概率以及试题参数的关系。
[0006] 而DINA模型是一个多维离散认知诊断模型，由于客观试题的作答结果具有非对即错的特点，DINA模型结合学习者在客观试题上的作答情况，通过教育专家对试题所考查知识点进行标记，使用EM
算法最大化总似然函数的边际似然，得到试题的隐参数估计，其中试题隐参数主要是指失误参数与猜测参数，然后通过最大化学习者试题得分后验概率来计算学习者的二分知识点掌握向量。在获得了学习者相应的知识点掌握情况后，对学习者进行个性化的学习资源推荐，从而实现自适应个性化学习。
[0007] 但是，在IRT模型下，学习者被建模成一个具有单一能力值的对象，除试题参数(难度、
鉴别度、猜测率)之外，只存在这单一的综合能力因素影响学习者在试题上的作答情况，然而在实际的测试中，不同的试题考查的知识点并非单一的，且即使考查知识点相同但其要求解题的知识点层次也不相同，单一的学习者能力难以准确描述学习者在不同维度即不同知识点上的能力差别。
[0008] 而传统的DINA模型只能对学习者的知识掌握进行离散化估计，即只能判断学习者对某一知识点掌握或未掌握，不能挖掘其具体的知识点掌握程度，且由DINA模型得到的学习者知识掌握结果可解释性不强，难以准确描述挖掘结果具有的实际意义。
[0009] 综上所述，现有技术存在的问题是：
[0010] (1)现有技术中，项目反应理论依赖众多假设，不能在多维上建模学习者的知识掌握，没有对学习者的潜在特质作出精细化分析，只能在大容量样本(学习者的能力分布范围广,测试用题数量多)下以项目特征函数描述出作答反应结果与学习者潜在特质及试题参数的关系或趋势，而不能作出具体分析，挖掘的粒度较粗；
[0011] (2)现有技术中，DINA模型在挖掘过程中，不考虑属性间的层级关系，只能挖掘出学习者的二维离散型知识掌握(掌握或未掌握)，使得挖掘粒度较粗；且在其划分学习者知识掌握属性的标准时，一般是由其作答反应的后验概率值决定的，误差较大，导致其没有对学习者的知识掌握程度、知识的结构层次、知识的认知水平进行深入诊断挖掘；
[0012] (3)现有技术大多基于统计分析或
机器学习方法，通常将诊断模型视为黑盒子，对于学习诊断的过程及结果并不能提供
支撑性的可解释信息，导致最终挖掘结果的解释性不强，因而无法对“学习病情”进行有效地循证归因，导致了教师、学习者对诊断结果的不信任、不接受，无法使得学习者对自身的知识掌握水平有充分认识，从而有效地、有针对性地对学习方案进行规划调整，造成学习效率低，学习成本高等问题。
[0013] 综上，挖掘粒度较粗、挖掘不深入、可解释性不强等问题导致目前的方法对学习者认知水平挖掘并未真正发挥其提升学习效果的关键性作用。
[0014] 解决上述技术问题的难度：
[0015] (1)如何将布鲁姆认知领域目标分类与试题-知识认知水平矩阵相结合，从而产生多步分层学习者认知水平挖掘模型的输入数据；
[0016] (2)如何将二元的学习者知识掌握程度映射为结合布鲁姆认知领域目标分类的多层级掌握模式，即试题隐参数的重新定义问题如何解决；
[0017] (3)如何在挖掘得到的学习者在知识认知水平候选集合中，寻找最接近于学习者实际知识掌握情况的知识掌握模式，并以何种形式将挖掘结果反馈给学习者。
[0018] 解决上述技术问题的意义：
[0019] 本发明是多步分层的学习者认知水平挖掘方法，结合布鲁姆认知领域分类目标与认知心理，通过输入学习者试题作答情况与试题-知识认知水平矩阵，构建多步分层学习者认知水平挖掘模型，重新定义学习者潜在答题矩阵与试题隐参数，挖掘学习者在不同知识点上的认知水平，从多维
角度进行分析，对挖掘结果提供多方位的可解释性分析，从而对学习者的知识掌握程度、知识的结构层次、知识的认知水平进行深入诊断挖掘。
[0020] 本发明在对学习者学习特质赋值时提供了更加深入细致的挖掘性信息，根据学习者的不同作答模式，提供出现该种作答模式的潜在的、内隐的认知结构分析，使得挖掘粒度更加精细化。
[0021] 本发明在挖掘结果的决策上使用全局期望，将挖掘结果映射到布鲁姆认知领域分类目标中并使用雷达图
可视化输出，既对挖掘结果提供了可靠的支撑性信息，降低挖掘误差，同时完整、清晰且直观的反映学习者认知状态，对“学习病情”进行有效地循证归因，有利于对学习者当前发展状况进行反馈并提供补救建议及措施从而有针对性的促进个体认知发展，提升学习者学习效果。
发明内容
[0022] 针对现有技术存在的问题，本发明提供了一种多步分层的学习者认知水平挖掘方法及系统。本发明目的在于解决现有技术中，IRT模型将学习者建模成一个具有单一能力值的对象，难以准确描述学习者在不同维度即不同知识点上的能力差别；传统的DINA模型只能对学习者的知识掌握进行离散化估计，而不能挖掘其具体的知识点掌握程度，难以准确描述挖掘结果具有的实际意义，其挖掘结果的可解释性不强，挖掘结果的粒度较粗。
[0023] 本发明是这样实现的，一种多步分层的学习者认知水平挖掘方法，包括以下步骤：
[0024] 步骤一：结合布鲁姆认知领域目标分类及认知心理，构建试题-知识认知水平矩阵P，引入教育专家对试题考查的知识点水平进行标记。
[0025] 步骤二：利用已知的学习者知识认知水平矩阵和试题-知识认知水平矩阵重新定义学习者理想答题矩阵，利用多步分层学习者认知水平挖掘模型的边际极大似然估计和EM算法挖掘学习者在某次测试中各道试题上的失误率与猜测率，通过已估计出的试题参数，使用极大似然估计计算学习者在各知识点上的掌握模式，组建学习者知识掌握候选集合。
[0026] 步骤三：对集合内元素的全局期望进行判断，获取学习者最终的知识认知水平，并将挖掘结果使用雷达图可视化输出。
[0027] 进一步，步骤一所述的结合布鲁姆认知领域目标分类及认知心理，构建试题-知识认知水平矩阵P，引入教育专家对试题考查的知识点水平进行标记。
[0028] 具体包括：
[0029] 步骤a)：预处理收集到的数据集，对学习者答题数据进行处理，去除无效数据即全部学习者作答正确或作答错误的试题。
[0030] 步骤b)：根据布鲁姆认知领域目标分类，由教育专家对试题所考查的知识点水平进行标记，得到试题-知识认知水平矩阵P。
[0031] 步骤c)：试题-知识认知水平矩阵中的每一行表示某道试题考查了哪些知识点并考查到哪种水平，每一列表示了某个知识点被那些试题考查，Pvk＝0表示试题v没有考查知识点k,Pvk＝c(1≤c≤6)表示试题v考查了知识点k并考查到c水平。
[0032] 进一步，步骤二所述的利用已知的学习者知识认知水平矩阵和试题-知识认知水平矩阵重新定义学习者理想答题矩阵，利用多步分层学习者认知水平挖掘模型的边际极大似然估计和EM算法挖掘学习者在某次测试中各道试题上的失误率与猜测率，通过已估计出的试题参数，使用极大似然估计计算学习者在各知识点上的掌握模式，组建学习者知识掌握候选集合。
[0033] 具体包括：
[0034] 进一步，步骤二包括：
[0035] 步骤1)：采用的数据集有两个，一个包括某高中300名学习者在20道数学试题上的作答结果以及此20道试题所考查的5种知识点，每道试题考查的知识点不同且水平不同。一个包括某大学103名学习者在15道C语言试题上的作答结果以及此15道试题所考查的10种知识点，每道试题考查的知识点不同且水平不同。
[0036] 步骤2)：将试题-知识点层次矩阵导入，将其转化为二元Q矩阵，以进行二元知识掌握模型计算，即将某试题所有考查的知识点标记为1，未考查的知识点仍然标记为0。
[0037] 步骤3)：随机生成学习者-知识点矩阵作为初始化的学习者知识掌握，随机生成试题非失误参数1-s与试题猜测参数g，作为试题隐参数初始化值，两种参数均服从4参数的beta分布。
[0038] 步骤4)：使用步骤(2)中得到的Q矩阵计算学习者潜在答题情况，每个学习者u描述为一个知识点掌握程度向量αu＝{αu1,αu2...αuk},其中每一维对应一个知识点。在已知学习者u的知识点掌握向量αu的情况下，对于学习者u未作答的试题Jv，根据下式获得学习者对试题的潜在作答情况：
[0039]
[0040] 即当学习者u掌握了正确回答试题Jv所需的全部知识点时，ηuv＝1。
[0041] 步骤5)：通过步骤(4)得到的学习者潜在作答矩阵，对比步骤(2)中的学习者实际作答情况，计算学习者作答概率。
[0042] 步骤6)：使用EM算法估计试题参数，设置算法最大
迭代次数为1000，初始值采用步骤3)生成的试题非失误率1-s和猜测率g，定义为：
[0043] 学习者u掌握了回答试题v所需的全部知识点,但是由于某些原因回答错误。
[0044] 即失误参数s：
[0045] sj＝P(Ruv＝0|ηuv＝1)。
[0046] 学习者u没有掌握回答试题v所需的全部知识点,甚至一个知识点都没掌握，但是回答正确。即猜测参数g：
[0047] gj＝P(Ruv＝1|ηuv＝0)。
[0048] 步骤7)：由二元知识掌握模型的总似然函数：
[0049]
[0050] 其中，L＝2K，由于式中含有隐变量αl，使用EM算法，采用边缘极大似然估计的方法求解。
[0051] 步骤8)E步:利用上一轮得到的sv与gv估计计算矩阵P(R|α)＝[P(Ru|αl)]U×L的值，并利用P(R|α)计算矩阵P(α|R)＝[P(αl|Ru)]L×U的值。
[0052] 步骤9)：M步：分别令 和 可得： 其中，其中 表示属于第l种知识点掌握模式的学习者中缺乏至少一个第v题所需知识点的人数期望， 表示 中回答正确第v题的人数期望， 和 的含义与 和 相似，不同之处在于 与 是在学习者掌握所有第v题所需知识点的情形下的期望。由E步中得到的估计，计算 和 的值，并由此得到新的sv与gv估计。
[0053] 步骤10)：由步骤9)得到的试题失误参数与试题猜测参数，即已知项目参数下对学习者知识掌握进行极大似然估计求解，建立实际响应矩阵R(Ruv)的概率模型为：
[0054]
[0055] 步骤11)：在步骤4)已知试题隐参数条件下，利用极大似然估计求解学习者知识掌握情况，得到学习者的二分知识点掌握向量。
[0056]
[0057] 步骤12)：将试题-知识点二元矩阵Q重新转化为试题-知识点层次矩阵P。
[0058] 步骤13)：将步骤(9)挖掘出的试题非失误参数1-s转
化成失误参数s。
[0059] 步骤14)：根据总知识点数产生有序K进制数，此模型共有7K种水平，产生有序七进制数。
[0060] 步骤15)：重新定义学习者在理想情况下的潜在答题矩阵,计算学习者的潜在作答情况，将学习者u在试题v上的潜在作答结果重新定义为：
[0061]
[0062] 步骤16)：若学习者任一知识点掌握层次小于试题所要求的知识点掌握层次，则认为学习者在此试题上理论上应作答错误。若学习者所有知识点掌握层次均大于或等于试题所要求的的知识点掌握层次，则认为学习者在此试题上理论上应作答正确。
[0063] 步骤17)：计算学习者知识点层次掌握模式。
[0064] 步骤18)：根据步骤16)分析的学习者潜在作答情况对比学习者在所有知识点层次掌握模式下的实际作答情况，挖掘学习者在每道试题上的真实作答反应，即失误作答概率s、非失误作答概率1-s、猜测作答概率g和非猜测作答概率1-g，将所有学习者的所有作答反应进行记录。
[0065] 步骤19)：计算学习者在每种不同的知识点层次掌握模式下的作答概率：
[0066]
[0067] 步骤20)：判断是否存在导致相同最大概率的知识层次掌握模式情况。
[0068] 步骤21)：若不存在，则该最大概率值对应的知识水平掌握模式即为最终的学习者知识水平掌握模式。
[0069] 步骤22)：若存在，则将该知识层次掌握模式纳入候选集合：
[0070]
[0071] 进一步，步骤三对集合内元素的全局期望进行判断，获取学习者最终的知识认知水平，并将结果使用雷达图可视化输出。
[0072] 具体包括：
[0073] 步骤i):在不同的知识掌握层次下，可能会存在导致最终学习者答题概率相同的情况，由此构建学习者知识认知水平集合。
[0074]
[0075] 步骤ii):利用全局期望方法计算集合内共m个元素的期望，由于先前挖掘出的二元学习者知识点掌握为零，将其认知水平划归为0，故利用多步分层学习者认知水平挖掘模型挖掘出的均值结果均非0，基于区间决策将结果向上取整。
[0076]
[0077] 其中，符号 表示向上取整。
[0078] 步骤iii):将挖掘的学习者知识掌握层次对应布鲁姆认知领域目标分类，结果为零则表示学习者并未掌握该知识点，即知识点掌握层次为零。若知识点层次挖掘结果为1～6，则对应布鲁姆认知领域目标分类中的六个层次：知道-1、领会-2、应用-3、分析-4、综合-5和评价-6。
[0079] 步骤iv):将得到的学习者知识认知水平使用雷达图可视化输出，其中每个坐标轴代表一个知识点，每个坐标轴坐标点代表学习者对该知识点的认知水平。
[0080] 本发明的另一目的在于提供一种终端，搭载实现所述多步分层的学习者认知水平挖掘方法的处理器。
[0081] 本发明的另一目的在于提供一种计算机可读存储介质，包括指令，当其在计算机上运行时，使得计算机执行所述的多步分层的学习者认知水平挖掘方法。
[0082] 本发明的另一目的在于提供一种实现所述多步分层的学习者认知水平挖掘方法的多步分层学习者认知水平挖掘系统，包括：
[0083] 试题-知识认知水平矩阵构建模
块，用于结合布鲁姆认知领域目标分类及认知心理，构建试题-知识认知水平矩阵P，引入教育专家对此次试题考查的知识点水平进行标记。
[0084] 学习者知识掌握候选集合构建模块，利用已知的学习者知识认知水平矩阵和试题-知识认知水平矩阵重新定义学习者理想答题矩阵，利用多步分层学习者认知水平挖掘模型的边际极大似然估计和EM算法挖掘学习者在某次测试中各道试题上的失误率与猜测率，通过已估计出的试题参数，使用极大似然估计计算学习者在各知识点上的掌握模式，组建学习者知识掌握候选集合。
[0085] 学习者最终的知识认知水平获取模块，对集合内元素的全局期望进行判断，获取学习者最终的知识认知水平，并将结果使用雷达图可视化输出。
[0086] 本发明的另一目的在于提供一种搭载所述多步分层学习者认知水平挖掘系统的多步分层学习者认知水平挖掘设备。
[0087] 综上所述，本发明的优点及积极效果为：
[0088] 本发明先结合布鲁姆认知领域目标分类及认知心理，构建试题-知识认知水平矩阵P，在设计的多步分层学习者认知水平挖掘模型中，构建学习者多层级理想答题矩阵，利用边际极大似然估计和EM算法挖掘试题参数，使用极大似然估计计算学习者在各知识点上的掌握模式，组建学习者知识掌握候选集合。最后计算集合内元素的全局期望进行判断决策，挖掘学习者最终的知识认知水平，即将特定知识点掌握对应布鲁姆认知领域目标分类的具体水平，将结果使用雷达图可视化输出。将多步分层学习者认知水平挖掘模型与经典的DINA模型进行对比，下表主要从数据输入与挖掘结果输出进行对比,只列出部分数据：
[0089] 表1多步分层学习者认知水平挖掘模型与DINA模型输入数据对比
[0090]
[0091]
[0092] 表2多步分层学习者认知水平挖掘模型与DINA模型的输出数据对比
[0093]
[0094]
[0095]
[0096]
[0097] 多步分层学习者认知水平挖掘模型与二元知识挖掘模型的挖掘结果对比如图2所示，多步分层学习者认知水平挖掘模型可视化输出结果后可以给出学习者在某一知识点上的认知水平，如图2(a)图显示学习者在知识点“三角函数”上的认知水平为2级，2级对应布鲁姆分类目标即达到了“领会”层面；而二元知识挖掘模型可视化输出挖掘数据后也只能给出学习者在某一知识点上的掌握情况，即掌握或未掌握，而不能进行具体判断掌握的水平，如图2(b)图只能表示学习者掌握了“三角函数”，而无法解释“掌握”的具体含义，即掌握的程度。
[0098] 本发明应用在教育评估、教学辅助、自适应学习等领域，可用来估计试题隐参数并挖掘学习者知识掌握层次，根据布鲁姆认知领域目标分类与雷达图的可视化输出将更明确地反馈给学习者自身的知识掌握情况，及时对学习方案进行规划调整，实现自主学习，也便于教师因材施教，从而有效提升学习
质量。
[0099] 与现有技术相比，本发明的优势进一步包括：
[0100] 多步分层的学习者认知水平挖掘方法结合布鲁姆认知领域分类目标与认知心理，通过输入学习者试题作答情况与试题-知识认知水平矩阵，构建多步分层学习者认知水平挖掘模型，重新定义学习者潜在答题矩阵与试题隐参数，挖掘学习者在不同知识点上的认知水平，从多维角度进行分析，对挖掘结果提供多方位的可解释性分析，对挖掘结果提供支撑性的可解释信息；
[0101] 本发明在对学习者学习特质赋值时提供了更加深入细致的挖掘性信息，根据学习者的不同作答模式，提供出现该种作答模式的潜在的、内隐的认知结构分析；
[0102] 本发明在挖掘结果的决策上使用全局期望，将挖掘结果映射到布鲁姆认知领域分类目标中并使用雷达图可视化输出，既提高了挖掘结果的准确性，降低挖掘误差，同时完整、清晰且直观的反映学习者认知状态，有利于对学习者当前发展状况进行反馈并提供补救建议及措施从而有针对性的促进个体认知发展。
[0103] 综上，本发明通过将学习者答题数据与试题-知识认知水平矩阵作为输入，利用多步分层学习者认知水平挖掘模型既可以挖掘出学习者的二元知识点掌握情况，又可以分析出学习者的知识认知水平，将反馈给学习者的挖掘结果变得更加直观、通俗易懂，辅助学习者及时调整学习方案。模型分析出的试题隐参数可以评估组成此次测试的试题质量，方便对试题亦或测验进一步改进，提高测试准确性与可信度。
附图说明
[0104] 图1是本发明
实施例提供的多步分层的学习者认知水平挖掘方法
流程图。
[0105] 图2是本发明实施例提供的两种数据集中，学习者1知识认知水平挖掘结果图与二元模型知识掌握情况挖掘结果对比图。
[0106] 图3是使用项目反应理论中的二参数logistics模型对数据集1的第13道试题描绘的项目特征曲线。
[0107] 图4是本发明实施例提供的多步分层学习者认知水平挖掘系统示意图。
[0108] 图中：1、试题-知识认知水平矩阵构建模块；2、学习者知识掌握候选集合构建模块；3、学习者最终的知识认知水平获取模块。
具体实施方式
[0109] 为了使本发明的目的、技术方案及优点更加清楚明白，以下结合实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
[0110] 现有技术中，IRT不能在多维上建模学习者的知识掌握。DINA模型只能挖掘出学习者的二维离散型知识掌握情况，挖掘结果的解释性不强。
[0111] 现有技术没有根据布鲁姆认知领域目标分类与雷达图的可视化输出将更明确地反馈给学习者自身的知识掌握情况，及时对学习方案进行规划调整，造成学习效率低，学习成本高。
[0112] 针对现有技术存在的问题，本发明提供了一种多步分层的学习者认知水平挖掘方法及系统，下面结合附图对本发明作详细的描述。
[0113] 如图1所示，本发明实施例提供的多步分层的学习者认知水平挖掘方法包括：
[0114] 先结合布鲁姆认知领域目标分类及认知心理，构建试题-知识认知水平矩阵P，引入教育专家对试题考查的知识点水平进行标记。构建多步分层学习者认知水平挖掘模型，使用边际极大似然估计和EM算法挖掘试题隐参数。
[0115] 再根据已分析出的试题隐参数计算学习者在所有可能的知识点认知水平模式下的答题概率，利用极大似然估计方法构建学习者知识认知水平模式候选集合。利用全局期望方法对集合内元素进行计算，判断学习者最终的知识认知水平模式，输出对应布鲁姆分类目标的知识认知水平。
[0116] 具体包括：
[0117] 步骤1：预处理学习者答题数据集，去除无效数据并导入相关数据。
[0118] 步骤2：根据多步分层学习者认知水平挖掘模型挖掘学习者二元知识掌握情况并计算试题隐参数。
[0119] 步骤3：利用全局期望方法对集合内元素进行计算，判断学习者最终的知识认知水平模式，输出对应布鲁姆分类目标的知识认知水平，并可视化输出学习者知识认知水平。
[0120] 作为本发明优选实施例。步骤1预处理学习者答题数据集，去除无效数据并导入相关数据，具体包括：
[0121] 步骤1.1：处理学习者答题数据集中所有学习者均答对或答错的试题，在模型计算中涉及到方差计算，这些试题导致方差为0，从而使得计算结果无法收敛而出错。
[0122] 步骤1.2：将数据集导入，转化成矩阵形式以便进行下一步操作。
[0123] 作为本发明优选实施例。步骤2根据多步分层学习者认知水平挖掘模型挖掘学习者二元知识掌握情况并计算试题隐参数。具体包括：
[0124] 步骤2.1：采用的数据集有两个，一个包括某高中300名学习者在20道数学试题上的作答结果以及此20道试题所考查的5种知识点，每道试题考查的知识点不同且水平不同；一个包括某大学103名学习者在15道C语言试题上的作答结果以及此15道试题所考查的10种知识点，每道试题考查的知识点不同且水平不同；所用两种数据集部分试题考查知识点如下表所示：
[0125] 表3试题-知识认知水平矩阵(数据集一)
[0126]
[0127] 表4试题-知识认知水平矩阵(数据集二部分)
[0128]
[0129]
[0130] 步骤2.2：将试题-知识点层次矩阵导入，将其转化为试题知识点考查二元矩阵Q，以进行二元知识掌握模型计算，即将某试题所有考查的知识点标记为1，未考查的知识点仍然标记为0。
[0131] 步骤2.3：随机生成学习者-知识点矩阵作为初始化的学习者知识掌握，随机生成试题非失误参数1-s与试题猜测参数g，作为试题隐参数初始化值同时也作为此次测试试题参数真值，两种参数均服从4参数的beta分布。
[0132] 步骤2.4：使用步骤2.2中得到的Q矩阵计算学习者潜在答题情况，每个学习者u描述为一个知识点掌握程度向量αu＝{αu1,αu2...αuk},其中每一维对应一个知识点。在已知学习者u的知识点掌握向量αu的情况下，对于学习者u未作答的试题Jv，可以根据下式获得学习者对试题的潜在作答情况：
[0133]
[0134] 即当学习者u掌握了正确回答试题Jv所需的全部知识点时，ηuv＝1。
[0135] 步骤2.5：通过步骤2.4得到的学习者潜在作答矩阵，对比步骤2.2中的学习者实际作答情况，计算学习者作答概率。
[0136] 步骤2.6：使用EM算法估计试题参数，设置算法最大迭代次数为1000，初始值采用步骤2.3生成的试题非失误率1-s和猜测率g，其定义为：
[0137] 学习者Pu掌握了回答试题所需的全部知识点Jv,但是由于某些原因回答错误。即失误参数s：
[0138] sj＝P(Ruv＝0|ηuv＝1)
[0139] 学习者Pu没有掌握回答试题所需的全部知识点Jv,甚至一个知识点都没掌握，但是回答正确。即猜测参数g：
[0140] gj＝P(Ruv＝1|ηuv＝0)
[0141] 步骤2.7：由二元知识掌握模型的总似然函数：
[0142]
[0143] 其中，L＝2V，由于式中含有隐变量αl，使用EM算法，采用边缘极大似然估计的方法求解。
[0144] 步骤2.8：E步:利用上一轮得到的sv与gv估计计算矩阵P(R|α)＝[P(Ru|αl)]U×L的值，并利用P(R|α)计算矩阵P(α|R)＝[P(αl|Ru)]L×U的值。
[0145] 步骤2.9：M步：分别令 和 可得： 其中，其中 表示属于第l种知识点掌握模式的学习者中缺乏至少一个第v题所需知识点的人数期望， 表示 中回答正确第v题的人数期望， 和 的含义与 和 相似，不同之处在于 与 是在学习者掌握所有第v题所需知识点的情形下的期望。故可由E步中得到的估计，计算 和 的值，并由此得到新的sv与gv估计。
[0146] 步骤2.10：由步骤2.9得到的试题失误参数与试题猜测参数，即已知项目参数下对学习者知识掌握情况进行极大似然估计求解，建立实际响应矩阵R(Ruv)的概率模型为：
[0147]
[0148] 步骤2.11：在步骤2.4即已知试题隐参数条件下，利用极大似然估计求解学习者知识掌握情况，得到学习者的二分知识点掌握向量。
[0149]
[0150] 步骤2.12：将传统的试题-知识点矩阵Q重新标记为试题-知识点层次矩阵P。
[0151] 步骤2.13：将步骤2.9挖掘出的试题非失误参数1-s转化成失误参数s。
[0152] 步骤2.14：根据总知识点数产生有序K进制数，因为此模型共有75种水平，故产生有序七进制数。
[0153] 步骤2.15：重新定义学习者在理想情况下的潜在答题矩阵,计算学习者的潜在作答情况，将学习者u在试题v上的潜在作答结果重新定义为：
[0154]
[0155] 步骤2.16：若学习者任一知识点掌握层次小于试题所要求的知识点掌握层次，则认为学习者在此试题上理论上应作答错误。若学习者所有知识点掌握层次均大于或等于试题所要求的的知识点掌握层次，则认为学习者在此试题上理论上应作答正确。
[0156] 例如，试题1要求知识水平为p1＝[2,0,0,5,0]，若α1＝[1,1,0,5,0]，则学习者1理论上作答错误，若α2＝[3,1,0,6,1]，则学习者2理论上作答正确。
[0157] 步骤2.17：计算学习者知识点层次掌握模式。
[0158] 步骤2.18：根据步骤2.16分析的学习者潜在作答情况对比学习者在所有知识点层次掌握模式下的实际作答情况，挖掘学习者在每道试题上的真实作答反应，即失误作答(s)、非失误作答(1-s)、猜测作答(g)和非猜测作答(1-g)。将所有学习者的所有作答反应进行记录。
[0159] 步骤2.19：计算学习者在每种不同的知识点层次掌握模式下的作答概率：
[0160]
[0161] 步骤2.20：判断是否存在导致相同最大概率的知识层次掌握模式情况。
[0162] 步骤2.21：若不存在，则该最大概率值对应的知识水平掌握模式即为最终的学习者知识水平掌握模式。
[0163] 步骤2.22：若存在，则将该知识层次掌握模式纳入候选集合：
[0164]
[0165] 作为本发明优选实施例，步骤3利用全局期望方法对集合内元素进行计算，判断学习者最终的知识认知水平模式，输出对应布鲁姆分类目标的知识认知水平，并可视化输出学习者知识认知水平具体包括：
[0166] 步骤3.1：计算共m个元素的候选集合的全局期望，依次对每个知识点取均值后向上取整：
[0167]
[0168] 其中，符号 表示向上取整。
[0169] 步骤3.2：将挖掘的学习者知识水平掌握层次对应布鲁姆认知领域目标分类，结果为零则表示学习者并未掌握该知识点，即知识点掌握层次为零。若知识点层次挖掘结果为1～6，则对应布鲁姆认知领域目标分类中的六个层次：
[0170] 0级对应“未掌握”“Failing to master”。
[0171] 1级对应“知道”“Knowledge”。
[0172] 2级对应“领会”“Comprehension”。
[0173] 3级对应“应用”“Application”。
[0174] 4级对应“分析”“Analysis”。
[0175] 5级对应“综合”“Synthesis”。
[0176] 6级对应“评价”“Evaluation”。
[0177] 如图4所示，本发明实施例提供的多步分层学习者认知水平挖掘系统，包括：
[0178] 试题-知识认知水平矩阵构建模块1，用于结合布鲁姆认知领域目标分类及认知心理，构建试题-知识认知水平矩阵P，引入教育专家对此次试题考查的知识点水平进行标记。
[0179] 学习者知识掌握候选集合构建模块2，利用已知的学习者知识认知水平矩阵和试题-知识认知水平矩阵重新定义学习者理想答题矩阵，利用多步分层学习者认知水平挖掘模型的边际极大似然估计和EM算法挖掘学习者在某次测试中各道试题上的失误率与猜测率，通过已估计出的试题参数，使用极大似然估计计算学习者在各知识点上的掌握模式，组建学习者知识掌握候选集合。
[0180] 学习者最终的知识认知水平获取模块3，对集合内元素的全局期望进行判断，获取学习者最终的知识认知水平，并将结果使用雷达图可视化输出。
[0181] 下面结合实验及结果对本发明作进一步描述。
[0182] 本发明的实验结果显示，对于多步分层学习者认知水平挖掘模型中所挖掘的学习者知识掌握为0的情况，最终的学习者认知水平挖掘结果也为0，符合一般的认知规律。对于多步分层学习者认知水平挖掘模型挖掘的学习者知识掌握为1的学习者知识掌握，多步分层学习者认知水平挖掘模型挖掘出学习者在不同知识点上的认知水平是不同的。如表所示为多步分层学习者认知水平挖掘模型二元结果与挖掘出的对应布鲁姆认知领域分类层级结果，并将学习者认知水平结果使用雷达图可视化呈现。最终的多步分层学习者认知水平挖掘模型由于结合了布鲁姆认知领域目标分类，故对于学习者的知识认知水平具有较好的可解释性。实验结果如下表所示：
[0183] 表5分步多层学习者认知水平挖掘模型结果
[0184]
[0185] 表6 DINA模型结果
[0186]
[0187] 表7分步多层学习者认知水平挖掘模型结果
[0188]
[0189] 表8 DINA模型结果
[0190]
[0191]
[0192] 使用项目反应理论中的二参数logistic模型对学习者建模，使用项目特征曲线描述数据集一中的学习者作答概率与学习者潜在特质以及试题参数的关系，挖掘结果如图3所示，其中，二参数logistic模型如下所示，D＝1.702为量表因子常数，θ为受测者能力值，P(θ)表示能力为θ的学习者答对此题目的概率；a为题目的区分度，即特征曲线的斜率，它的值越大说明题目对学习者的区分程度越高；b表示题目的难度，即特征曲线在横坐标上的投影。
[0193]
[0194] 将学习者1的挖掘结果使用雷达图可视化输出，如图2(a)(c)图学习者1各知识水平挖掘结果所示。
[0195] 使用平均绝对误差(MAE)计算模型估计的试题参数精确度：
[0196]
[0197] 其中，y表示真实值, 表示预测值，n表示值的个数。MAE的值越小，说明
预测模型拥有更好的精确度,实验所用两个数据集结果如下表所示：
[0198] 表9实验数值记录(数据集一)
[0199]
[0200]
[0201] 表10实验数值记录(数据集一)
[0202]
[0203]
[0204] 在上述实施例中，可以全部或部分地通过
软件、
硬件、
固件或者其任意组合来实现。当使用全部或部分地以
计算机程序产品的形式实现，所述计算机程序产品包括一个或多个计算机指令。在计算机上加载或执行所述计算机程序指令时，全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、
计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个
网站站点、计算机、
服务器或
数据中心通过有线(例如同轴
电缆、光纤、数字用户线(DSL)或无线(例如红外、无线、
微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输)。所述计算机可读取存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是
磁性介质，(例如，
软盘、
硬盘、磁带)、光介质(例如，DVD)、或者
半导体介质(例如固态硬盘Solid State Disk(SSD))等。
[0205] 以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何
修改、等同替换和改进等，均应包含在本发明的保护范围之内。
