对用户活度进行分类的预测洞察的自动生成

申请号 CN202280054314.2 申请日 2022-07-15 公开(公告)号 CN117795531A 公开(公告)日 2024-03-29
申请人 微软技术许可有限责任公司; 发明人 S·本-依拉扎; D·西顿; A·卡塔夫; Y·H·本·戴维; Y·Z·扎格丹斯基;
摘要 本公开的非限制性示例涉及应用 人工智能 (AI)处理来为一组用户生成用户活度的分类。例如,基于对多种类型的用户驱动事件的上下文分析来生成分类预测,该分类预测指示在预定时间段内教育课程中的学生被预测为具有高活度 水 平或是低活度水平。由于用户活度数据通常相当稳健,因此本公开应用 降维 处理来高效地管理用户活度数据,并且进一步提高下游二元分类的生成的准确性。用户活度数据的降维变换得到输入特征数据的低维表示,该低维表示与二元分类的生成是上下文相关的。然后,利用导出的分类来生成与一个或多个用户的用户活度水平相关的数据洞察。然后,可以 渲染 数据洞察以用于演示。
权利要求

1.一种计算机实现的方法,包括:
访问与由多个学生用户的用户交互相关的教育软件平台的用户活度数据,其中所述用户活度数据包括指示用户活度的事件计数数据,所述用户活度由所述多个学生用户中的每个学生用户与多个应用或服务的每个应用或服务进行,所述多个应用或服务与所述教育软件平台相关联;
自动应用经训练人工智能(AI)处理,所述经训练AI处理适于基于对所述用户活度数据的降维变换的分析来为所述多个学生用户中的每个学生用户生成用户活度平的分类,其中在为所述多个学生用户中的每个学生用户生成所述用户活度的所述分类时,所述经训练AI处理执行处理操作,所述处理操作包括:
标识用于所述经训练AI处理的输入特征数据,其中所述输入特征数据包括指示所述多个学生用户中的每个学生用户的所述事件计数数据的特征,
基于教育参考框架指定来归一化所述输入特征数据,
对归一化的输入特征数据执行降维处理以生成所述用户活度数据的所述降维变换,以及
基于对所述用户活度数据的所述降维变换的分析来为所述多个学生用户中的每个学生用户生成所述用户活度水平的所述分类。
2.根据权利要求1所述的计算机实现的方法,其中所述多个学生用户是教育课程中的学生,并且其中所述教育参考框架指定是所述教育课程。
3.根据权利要求2所述的计算机实现的方法,其中经训练AI处理基于对所述用户活度数据的所述降维变换应用分类算法来为所述多个学生用户中的每个学生用户生成活度得分,并且其中所述多个学生用户中的每个学生用户的所述用户活度水平的所述分类是基于对所述多个学生用户的活度得分的比较评估的分析而被生成的。
4.根据权利要求3所述的计算机实现的方法,其中所述比较评估包括:针对所述多个学生用户中的每个学生用户执行所述活度得分的阈值评估;基于所述阈值评估的结果来将所述多个学生用户中的一个或多个学生用户分类为低活度;以及基于所述阈值评估的结果来将所述多个学生用户中的一个或多个学生用户分类为高活度。
5.根据权利要求3所述的计算机实现的方法,其中所述分类算法使用被训练为逻辑回归模型的分类器来生成所述分类。
6.根据权利要求3所述的计算机实现的方法,其中所述降维处理的所述执行包括对所述归一化的输入特征数据执行主成分分析(PCA),以生成一个或多个主成分作为所述用户活度数据的所述降维变换;基于所述一个或多个主成分来在PCA空间中投影所述输入特征数据;以及应用空活度向量以确定用于评估所述输入特征数据在所述PCA空间中的投影的参考框架,并且其中所述经训练AI处理还适于:基于对所述PCA空间中的所述投影的分析,使用经训练机器学习模型来为所述多个学生用户中的每个学生用户生成用于所述用户活度水平的所述分类的标签。
7.根据权利要求1所述的计算机实现的方法,还包括:生成包括所述多个学生用户中的一个或多个学生用户的所述用户活度水平的所述分类的数据洞察;以及引起包括所述多个学生用户中的一个或多个学生用户的所述用户活度水平的所述分类的所述数据洞察的渲染
8.根据权利要求1所述的计算机实现的方法,还包括:相对于与所述多个学生用户中的一个或多个学生用户的用户活度水平相关的一个或多个历史分类,评估所述多个学生用户中的一个或多个学生用户的所述用户活度水平的所述分类;基于相对于一个或多个历史分类对所述多个学生用户中的一个或多个学生用户的所述用户活度水平的所述分类的所述评估来生成数据洞察;以及引起所述数据洞察的渲染。
9.根据权利要求1所述的计算机实现的方法,其中为所述多个学生用户中的每个学生用户生成所述用户活度水平的所述分类包括:应用分类算法以根据所述用户活度数据的所述降维变换从对所述输入特征数据的投影的分析来生成所述分类。
10.根据权利要求1所述的计算机实现的方法,其中所述用户活度数据还包括从通过所述教育软件平台提供的学生调查接收的用户反馈的分级表示,其中对所述输入特征数据的所述归一化还包括将所述用户反馈的所述分级表示转换为数字表示。
11.一种系统,包括:
至少一个处理器;以及
存储器,与所述至少一个处理器可操作地连接,所述存储器存储计算机可执行指令,所述计算机可执行指令在由所述至少一个处理器执行时引起所述至少一个处理器执行方法,所述方法包括:
访问与由多个学生用户的用户交互相关的教育软件平台的用户活度数据,其中所述用户活度数据包括指示用户活度的事件计数数据,所述用户活度由所述多个学生用户中的每个学生用户与多个应用或服务的每个应用或服务进行,所述多个应用或服务与所述教育软件平台相关联;
自动应用经训练人工智能(AI)处理,所述经训练AI处理适于基于对所述用户活度数据的降维变换的分析来为所述多个学生用户中的每个学生用户生成用户活度水平的分类,其中在为所述多个学生用户中的每个学生用户生成所述用户活度的所述分类时,所述经训练AI处理执行处理操作,所述处理操作包括:
标识用于所述经训练AI处理的输入特征数据,其中所述输入特征数据包括指示所述多个学生用户中的每个学生用户的所述事件计数数据的特征,
基于教育参考框架指定来归一化所述输入特征数据,
对归一化的输入特征数据执行降维处理以生成所述用户活度数据的所述降维变换,以及
基于对所述用户活度数据的所述降维变换的分析来为所述多个学生用户中的每个学生用户生成所述用户活度水平的所述分类。
12.根据权利要求11所述的系统,其中所述多个学生用户是教育课程中的学生,并且其中所述教育参考框架指定是所述教育课程。
13.一种计算机实现的方法,包括:
访问与由多个学生用户的用户交互相关的教育软件平台的用户活度数据,其中所述用户活度数据包括指示用户活度的事件计数数据,所用户活度由所述多个学生用户中的每个学生用户与多个应用或服务的每个应用或服务进行,所述多个应用或服务与所述教育软件平台相关联;
自动应用经训练人工智能(AI)处理,所述经训练AI处理适于基于对所述用户活度数据的降维变换的分析来为所述多个学生用户中的每个学生用户生成用户活度水平的分类,其中在为所述多个学生用户中的每个学生用户生成所述用户活度的所述分类时,所述经训练AI处理执行处理操作,所述处理操作包括:
标识用于所述经训练AI处理的输入特征数据,其中所述输入特征数据包括指示所述多个学生用户中的每个学生用户的所述事件计数数据的特征,
基于教育参考框架指定来归一化所述输入特征数据,
对归一化的输入特征数据执行降维处理以生成所述用户活度数据的所述降维变换,以及
基于对所述用户活度数据的所述降维变换的分析来为所述多个学生用户中的每个学生用户生成所述用户活度水平的所述分类;以及
输出所述多个学生用户中的一个或多个学生用户的所述用户活度水平的所述分类。
14.根据权利要求13所述的计算机实现的方法,其中经训练AI处理基于对所述用户活度数据的所述降维变换应用分类算法来为所述多个学生用户中的每个学生用户生成活度得分,并且其中所述多个学生用户中的每个学生用户的所述用户活度水平的所述分类是基于对所述多个学生用户的活度得分的阈值评估的分析而被生成的。
15.根据权利要求13所述的计算机实现的方法,还包括:引起包括所述多个学生用户中的所述一个或多个学生用户的所述用户活度水平的所述分类的数据洞察的渲染。

说明书全文

对用户活度进行分类的预测洞察的自动生成

背景技术

[0001] 聚合多维活度数据(activity data)以生成关于用户的二元分类并非易事。通常,先前的解决方案使用简单的启发式方法(heuristics,例如,多数投票启发式方法)作为对用户活度进行分类的手段。然而,这种方法可能会高估相关事件,因为启发式分析不足以在上下文中考虑具有不同活度规模的事件。这通常会导致生成有偏差的结果。在处理各种不同类型的活度数据时,有偏差的建模可能会导致不准确的分类以及其他技术问题。
[0002] 当您考虑从稳健的软件平台收集的活度数据包括跨多个应用或服务而聚合的事件数据时,还存在附加的技术挑战。由于用户活度可能跨不同的应用/服务以任何间隔(例如,每周)变化,因此很难使用过去用户活度的模式来始终提供用户活度的准确实时预测。内容和任务的变化往往各不相同,并且需要适当地构建(framed),以生成对用户活度的准确预测。
[0003] 另一技术挑战源于理解如何从活度数据生成数据洞察(insight),尤其是与用户参与在线学习工具相关的数据洞察。活度数据往往庞大并且相关性较弱,因此极难生成有意义的数据洞察。处理如此大量的弱相关数据需要大量的计算资源,这将进一步需要为数据洞察生成的特定目的进行编程。在考虑处理效率和延迟问题时,也会出现挑战,因为通常需要实时(或接近实时)地生成结果才能有效。当试图生成预测通知时,尤其如此,诸如那些用于帮助教育过程的通知。例如,对电子学习活度的传统评估提供了学生整体学习活度的部分/稀疏视图。这使得很难为学生生成上下文相关的预测洞察并且以其他用户(例如,教师、家长)能够理解为什么做出预测的方式进一步构建洞察。发明内容
[0004] 为了解决上述技术问题以及出于其他原因,技术上需要应用人工智能(AI)处理来为一组用户生成用户活度的分类。例如,基于对多种类型的用户驱动事件的上下文分析来生成分类预测,该分类预测指示在预定时间段内教育课程中的学生被预测为具有低活度平或是高活度水平。由于用户活度数据通常相当稳健,因此本公开应用降维处理来高效地管理用户活度数据,并且进一步提高下游二元分类的生成的准确性。用户活度数据的降维变换得到输入特征数据的低维表示,该低维表示与预定时间段内二元分类的生成是上下文相关的。然后,利用导出的分类来生成与一个或多个用户的用户活度水平相关的数据洞察。然后,例如,可以经由领域专用软件数据平台的应用/服务来渲染数据洞察以用于显示。
[0005] 提供本“发明内容”是为了以简化的形式介绍以下在“具体实施方式”中进一步描述的概念的选择。本“发明内容”不旨在标识所要求保护的主题的关键特征或必要特征,也不旨在用于限制所要求保护主题的范围。示例的附加方面、特征和/或优点将部分地在下面的描述中阐述,并且部分地将从描述中很清楚,或者可以通过本公开的实践来获知。附图说明
[0006] 参考以下附图来描述非限制性和非穷尽性的示例。
[0007] 图1A示出了用于实现与系统或服务的使用相关的用户活度水平的分类的自动生成的组件接口的示例性系统图,利用该系统图可以实践本公开的各方面。
[0008] 图1B示出了用于经由降维处理的执行来改善用户活度水平的分类的生成的示例性处理流程,利用该流程可以实践本公开的各方面。
[0009] 图2示出了与用户活度水平的分类的自动生成相关的示例性方法,利用该方法可以实践本公开的各方面。
[0010] 图3A‑图3C示出了与改善的用户界面的用户界面示例相关联的示例性处理设备视图,该用户界面适于管理数据洞察,该数据洞察提供使用系统或服务的用户活度水平的分类,利用该处理设备可以实现本公开的各方面。
[0011] 图4示出了适合于实现本文中描述的与用户活度水平的分类的生成和管理相关的处理操作的计算系统,利用该计算系统可以实践本公开的各方面。

具体实施方式

[0012] 本公开涉及适于为一组用户生成用户活度分类的AI处理的应用。例如,基于对多种类型的用户驱动事件的上下文分析来生成分类预测,该分类预测指示在预定时间段内教育课程中的学生被预测为具有低活度水平或是高活度水平。由于用户活度数据通常相当稳健,因此本公开应用降维处理来高效地管理用户活度数据,并且进一步提高下游二元分类的生成的准确性。用户活度数据的降维变换得到输入特征数据的低维表示,该低维表示与预定时间段内二元分类的生成是上下文相关的。然后,利用导出的分类来生成与一个或多个用户的用户活度水平相关的数据洞察。然后,例如,可以经由领域专用软件数据平台的应用/服务来渲染数据洞察以用于显示。
[0013] 为了便于理解和解释,本公开将教育作为示例性领域。然而,应当认识到,本公开的处理适于导出任何类型的领域的二元分类。继续以教育为示例领域,访问与由多个用户与教育软件平台进行的用户交互相关的用户活度数据。教育软件平台是分布式软件平台的非限制性示例。分布式软件平台是通过分布式网络连接来连接其组件的软件系统。实现组件以使得软件数据平台的组件能够通过网络连接进行操作是本领域技术人员已知的。例如,分布式软件平台可以由一个或多个服务支持,以使得分布式软件平台能够在各种技术分布式数据场景中实现,包括但不限于:软件即服务(SaaS);平台即服务(PaaS);通信平台即服务(CPaaS);以及基础设施即服务(IaaS)等。此外,分布式软件平台可以支持多个不同的编程语言、工具和框架等,包括组织专有系统(例如, 专用的)和第三方软件两者,并且系统包括独立软件供应商的软件和系统。因此,分布式软件平台(例如,教育软件平台)的用户通过与适用于特定领域(例如,教育)的多个应用/服务进行交互来创建用户活度数据。
[0014] 继续教育示例,教育软件平台使得学生、教师、管理员、家长等能够通过定制版本的软件产品被连接,该软件产品有助于指导学习(在线、面对面和/或混合学习)和相关教育数据的管理。教育平台的集成提供在线学习资源,并且其实现方式是本领域技术人员已知的。作为参考,教育平台的能包括但不限于:注册学生参加课程;进行在线学习/课程;文档储存、保留和管理;作业/文档提交和评级、成绩单管理、学生评估;管理对为学习而提供的内容的访问;制定学生时间表;跟踪学生出勤情况;管理课外活度的数据;用户反馈(包括学生专用调查);以及管理学校中的学生相关数据需求等。众所周知的分布式软件平台的一个示例是 它可以针对特定文档(例如,教育)的管理进行定制。在教育领域的示例中,分布式软件平台(例如, )的应用/服务是为用
户提供进一步的教育体验而定制的。例如,通过 Education来启用用于
管理相关用户、内容等的在线教室和资源,从而提供在线学习(或混合学习)环境。
[0015] 在一个非限制性示例中,访问分布式软件平台(例如,教育软件平台)的用户活度数据。示例性用户活度数据涉及由多个用户(例如,学生用户)与多个应用和/或服务中的每个进行的用户交互,多个应用和/或服务与分布式软件平台相关联。在教育示例中,用户活度数据涉及由学生用户与应用或服务进行的用户交互,应用或服务与教育软件平台的应用/服务相关联。例如,用户活度数据包括事件计数数据,该事件计数数据指示与教育软件平台的特定应用/服务和/或相关应用/服务的特定特征的用户交互的计数或速率。由于存在多个要考虑的学生用户、与教育软件平台相关联的多个应用/服务、以及甚至更多数目的要考虑访问的个人特征,因此多个学生用户的用户活度数据计数的数据集是非常稳健的。
[0016] 在另外的示例中,通过包括附加数据类型,用户活度数据进一步变得更加稳健。例如,用户活度数据可以包括从教育软件平台的用户接收的用户反馈的分级表示。例如,用户反馈可以通过与教育软件平台相关联的一个或多个应用/服务来接收。例如,通过教育软件平台提供的学生调查(survey)的分级表示被收集,以表示学生用户在特定参考点的社交(social)和情绪状态。在另一示例中,可以相对于以下一项或多项生成分级表示:先前分类确定(例如,用户活度水平的先前分类);一个或多个用户的历史用户活度数据;和/或生成的数据洞察(例如,与过去用户活度预测相关)。示例性参考点可以涉及预定的时间段,和/或是相对于通过教育软件平台而发生的事件(例如,作业、考试、进度报告等)来确定的。在另外的示例中,用户活度数据可以包括用户的用户活度的先前分类(例如,在历史时间段内)的分级表示、和/或与用户/用户组相关联的数据洞察的分级表示(例如,从先前生成的数据洞察的分析中导出的二元确定)。这样的数据类型可以进一步为与教育软件平台的用户活度提供上下文,并且提供与学生用户、家长、老师等跟进的谈话要点,涉及用户活度水平的分类。
[0017] 用户活度数据的稳健性可以进一步要求确定用于评估用户活度数据的参考框架。针对教育软件平台,多个学生用户可以跨越多个地理位置、学校、学区、年级等。因此,本公开根据教育参考框架指定和/或时间参考框架(例如,预定时间段)来管理用户活度数据。应用这些策划(curation)级别来标识密切相关的用户组,并且进一步标识该用户组的用户活度数据的上下文框架。教育参考框架指定标识与一个或多个学生用户(例如,一组用户)相对应的特定教育细分。在一个示例中,教育参考框架指定是包括多个学生用户的教育课程,其中评估该教育课程的多个学生用户的用户活度数据。然而,应当认识到,教育参考框架指定可以是用户的任何类型的教育细分,包括但不限于:教育课程;学校;学区;等级水平;用户描述符(例如,年龄)和地理描述符等。作为应用教育参考框架指定的补充或替代,可以根据时间参考框架(例如,预定的时间段)来策划用户活度数据。时间参考框架是用于生成与一个或多个用户的用户活度水平相关的预测分类(例如,与教育参考框架指定相关联)的已标识的时间段。在一个示例中,时间参考框架是一周,其中要为与给定一周(例如,一周时间段)的教育课程相关联的学生用户生成用户活度水平的预测分类。应当认识到,时间参考框架的非限制性示例包括任何时间段,包括但不限于:天;周;月;以及年份等。在评估其他类型的领域专用软件平台的技术实例中,关于用户活度数据的数据类型的特定参考和参考指定可以适用于特定领域。
[0018] 一旦用户活度数据被访问并且被正确地构建,本公开就继续应用经训练AI处理(一个或多个经训练AI模型),该经训练AI处理适于为多个学生用户中的每个学生用户生成用户活度水平的分类。如上所述,用户活度数据是稳健的。即使在应用策划级别以构建用户活度数据以进行分类处理的情况下,这一说法也是正确的。这样,对与用户活度数据相关的输入特征数据执行降维处理。降维处理是将数据从高维空间变换到低维空间,使得低维表示保留原始数据的一些有意义的特性。用于应用降维处理的降维处理及其相关处理操作的执行方法/算法是本领域技术人员已知的。作为参考,降维处理的非限制性示例包括但不限于:线性和/或非线性主成分分析(PCA);因子分析;缺失值比率;低方差滤波;高相关滤波;决策树(例如,随机森林);特征选择;特征消除;因子分析;线性判别分析(LDA);广义判别分析;编码器;以及变换器等。
[0019] 在传统已知的基础上,经训练AI处理适于使用与领域专用软件数据平台(例如,教育软件平台)相关联的用户活度数据来执行降维处理。在一个示例中,降维处理包括PCA算法的应用,该PCA算法适于与教育软件平台的用户活度数据一起工作,以帮助对学生用户的用户活度水平进行分类。例如,学生用户被描述为本文中描述的多个事件计数数据(例如,与示例性用户活度数据相关的事件计数数据)和/或示例性分级表示的向量,其中用户活度数据被归一化(或标准化)到相关的参考框架(例如,教育参考框架指定和/或时间参考框架)。由于用户活度、作业等对于特定教育课程可能会有规律地变化(例如,每周),因此在时间参考框架内,某些类型的事件计数数据可以比其他类型的事件计数数据更相关。因此,执行降维处理可以确定不同类型的用户活度数据之间的差异,以基于在输入特征数据之间标识的相关性来标识用户活度中的模式(对应于参考框架)。这种类型的分析通过高效地减少数据集同时将注意力集中在对学生用户的用户活度水平的分类最有用的特定类型的数据相关性上来提高下游处理的效率(例如,根据所应用的参考框架)。在本公开中,经训练AI处理适于基于对用户活度数据的降维变换的分析来为多个学生用户中的每个学生用户生成用户活度水平的分类。用户活度的降维变换是从被投影到低维特征子空间上的输入特征数据(例如,用户活度数据)中导出的数据集。换言之,用户活度数据的降维变换标识低维轴集以汇总输入特征数据,其中然后可以应用分类处理来为用户生成用户活度水平的示例性分类。
[0020] 在一个示例中,应用执行线性PCA分析或非线性PCA分析的PCA算法。在任一技术实例中,示例性PCA算法对输入特征数据(例如,用户活度数据)执行监督学习和分析。例如,本公开的示例性降维处理应用线性PCA算法以生成用户活度数据的降维变换。然后应用分类算法以评估PCA空间中的投影特征数据的线性映射。PCA以使低维表示中的数据的方差最大化的方式来执行输入数据到低维空间的线性映射。在这样做的过程中,构造输入数据的协方差矩阵(以及在某些情况下的相关矩阵),并且计算上述矩阵上的特征向量和特征值。协方差(或相关)矩阵的所计算的特征向量和特征值表示PCA的核心部分。所确定的特征向量与PCA空间的主成分相关,并且决定新PCA空间的方向。对应特征值决定对应特征向量的大小。也就是说,所计算的特征向量表示PCA空间的一组新轴,并且特征向量携带每个特征向量在该PCA空间内所具有的方差的数量的信息。为了降低初始数据集的维数,选择方差最大的特征向量,并且丢弃方差较小的特征向量。因此,可以根据一个或多个主成分在PCA空间中映射原始输入特征数据的低维表示。然后,使用所选择的与一个或多个主成分相对应的特征向量来重构原始输入数据的大部分方差。在实践中,一个或多个特征向量的子集通常可以根据系统的大规模物理行为来解释,因为上述特征向量通常贡献系统的绝大多数能量,尤其是在低维系统中。结果是低维数据集,该低维数据集具有一些数据丢失,但保留了空间的最重要方差(例如,由一个或多个特征向量的子集跨越)。
[0021] 如上所述,PCA算法的输出是一个或多个主成分,其数目小于或等于原始变量/特征的数目。在大多数示例中,主成分的数目通常小于原始变量/特征的数目,以减少维度,同时使方差最大化。在本公开的一个示例中,选择单个主成分。然而,在附加示例中,作为降维处理的结果,选择两个或更多个主成分。主成分可以被定义为最优加权观测变量或特征的线性组合。主成分本质上是原始变量/特征的线性组合,从而为特征和变量分配权重。变量/特征的不同权重被分配以指示每个特征的重要性。通过每次生成分类时应用主成分分析,用户活度的分类完全是数据驱动的,并且有助于自然解释和支持根据正在评估的领域按重要性权衡事件类型。在教育领域的情况下,应用实时(或接近实时)的PCA分析来获知学生在给定作业和/或时间段内的变化,并且找到用于考察每个输入变量/特征的重要性的权重。此外,本公开通过应用示例性教育参考框架指定和/或时间参考框架来增强这种分析。本文中执行的PCA分析可以获知一类学生(或替代的教育参考框架指定)在给定作业和/或时间段内是如何变化的。跨应用/服务和/或教育软件平台的特征的用户活度在一周内对于用户活度水平的总体分类(例如,高或低)可能更重要,其中降维处理有助于标识哪些特征对于相对于(一个或多个)参考框架的分类确定最重要。此外,输入特征数据可以被归一化(或标准化)为教育参考框架指定的类平均值,以进一步增强分类确定。
[0022] 在为多个学生用户中的每个学生用户生成用户活度的分类时,经训练AI处理(例如,一个或多个经训练AI模型)执行处理操作,该处理操作包括标识用于经训练AI处理的输入特征数据。示例性输入特征数据包括指示多个学生用户中的每个学生用户的事件计数数据的特征、和/或先前引用的示例性分级表示。与分级表示相关的数据的一个非限制性示例包括通过与教育软件平台相关联的一个或多个应用/服务而接收的用户反馈的分级表示。例如,可以通过经由教育软件平台的应用/服务而访问和完成的学生调查来提供用户反馈。
在另一示例中,可以相对于以下中的一项或多项来生成分级表示:先前分类确定(例如,用户活度水平的先前分类);一个或多个用户的历史用户活度数据;和/或生成的数据洞察(例如,与过去用户活度预测相关)。
[0023] 经训练AI处理进一步执行处理操作,以缩放与示例性用户活度数据相关的输入特征数据。在一个示例中,特征缩放处理包括对与示例性用户活度数据相关的输入特征数据进行归一化的处理操作的执行。在另一技术实例中,特征缩放处理包括对输入特征数据执行标准化处理操作。在一个示例中,输入特征数据基于一个或多个参考框架(例如,教育参考框架指定和/或时间参考框架)被归一化(或标准化)。可以执行附加处理以在分析用户活度数据时使偏差最小化。例如,标识并且擦除与教育课程相关联的多个学生用户的用户活度数据,以移除学生用户标识(例如,用户标识)。擦除输入特征数据以移除用户标识有助于在分析用户活度数据时使偏差(偏见bias)最小化。
[0024] 经训练AI处理进一步对归一化(或标准化)的输入特征数据执行降维处理,以生成用户活度数据的降维变换。在一个示例中,降维处理的执行包括对归一化(或标准化)的输入特征数据执行PCA(例如,经由PCA算法的应用),以生成一个或多个主成分以用于生成用户活度数据的降维变换。一旦标识出一个或多个主成分,降维处理还包括在PCA空间中使用一个或多个选择的主成分来生成原始输入特征数据的低维表示(例如,用户活度数据的降维变换)。结果可以是降维变换的线性表示,该线性表示根据一个或多个主成分的应用而被投影在PCA空间中。在PCA空间中呈现的数据向量与(例如,教育课程的)多个学生用户中的每个相关联,其中为多个用户(例如,学生用户)中的每个生成表示来自用户活度数据的加权分析的总得分的活度得分。
[0025] 此外,重要的是执行附加处理以理解PCA空间中正在查看的数据的方向。在一个示例中,本公开的经训练AI处理适于将空(null)活度向量(用户活度数据的变量/特征的零值)与其他向量一起应用于PCA空间,以确定用于评估PCA空间内的用户活度数据的降维变换的参考框架。换言之,空向量被投影在PCA空间中,以帮助算出PCA空间中数据向量(例如,活度得分)的方向表示,其中确定数据向量是否被投影在正确的方向上。然后执行处理操作以评估与已更新PCA空间中的数据向量相关联的符号(正或负),该已更新PCA包括投影的数据向量(例如,学生用户向量)和空活度向量。在与投影数据向量(例如,学生用户向量)相关联的符号为正的技术实例中,确认数据被正确映射。在与投影数据向量相关联的符号为负的技术实例中,执行附加处理以更新与结果值相关联的信号。例如,执行处理操作以将负号翻转为正号。然后,可以在PCA空间中重新投影已更新值,使得数据在正确的方向上可查看。
[0026] 一旦结果被适当地投影在PCA空间中,经训练AI处理就还适于分析与在PCA空间中投影的降维变换相关联的结果,以为多个学生用户中的每个学生用户生成表示用户活度水平的分类的标签。示例性标签是将用户活度数据的多个维度压缩为用户的二元分类的表示。关于标记,经训练AI处理应用分类算法以分析绘制用户活度数据(例如,被投影在PCA空间中)的结果。经训练AI处理(例如,混合机器学习模型)为多个学生用户中的每个学生用户生成活度得分。如上所述,为多个用户(例如,学生用户)中的每个生成活度得分,该活度得分表示来自用户活度数据的加权分析的总得分。多个用户的活度得分被提供为线性表示以用于进一步分析。例如,应用分类算法以评估用户活度数据的降维变换。分类算法执行有监督分析(例如,经训练AI模型),该有监督分析生成指示用户(例如,学生用户)的用户活度水平的分类的标签。在一个示例中,分类算法使用被训练为逻辑回归模型的分类器来生成分类。在另一示例中,分类算法使用线性回归模型生成分类。使用逻辑回归模型和/或线性回归模型执行数据分析的处理是本领域技术人员已知的。
[0027] 在传统已知的基础上,本公开应用逻辑回归模型或线性回归模型(本文中统称为“分类模型”)来具体分析示例性用户活度数据,其中使用历史用户活度数据来进一步训练分类模型。分类模型的目的是估计事件的概率,包括确定特征与特定结果的概率之间的关系。例如,用户的活度得分用于预测性地评估特定时间段(例如,教育课程中的一周、一学期、一年)的用户活度是高或是低。个人用户(例如,学生用户)的活度得分是从与特定用户相关联的用户活度数据的加权分析中导出的预测分析。如前所述,通过降维处理(例如,主成分的选择)来确定特定特征/变量的权重。当归一化的输入特征数据(例如,用户活度数据)被映射到PCA空间中时,用户的活度得分被投影为用户活度数据的数据向量。
[0028] 通过对历史活度数据的评估进行训练,示例性分类模型适于基于用户(例如,与教育参考框架指定和/或时间参考框架相关联的学生用户)的活度得分的比较评估来生成关于用户的用户活度水平的分类。在一个示例中,比较评估是与多个用户(例如,学生用户)中的每个用户的活度得分相关的阈值评估。例如,学生用户的活度得分可以相对于与教育参考框架指定相关联的用户的中等(median)活度得分进行比较评估,其中阈值评估用于标识其活度得分在特定阈值内的用户。在一个技术实例中,设置阈值以标识相对于中等活度得分的低活度得分。在另一技术实例中,设置阈值以标识相对于中等活度得分而设置的高活度得分。例如,提供相对于中等活度得分的底部和顶部百分之十五(15%)的活度得分作为有监督二元分类的标记示例,其中活度得分的实时(或接近实时)评估将底部和顶部百分之十五度量中的活度分别标识为低活度和高活度。然而,应当认识到,在不偏离本公开的精神的情况下,开发者可以将用于阈值评估的阈值设置为任何期望的度量。在一些示例中,可以相对于参考框架指定来设置用于分类的阈值。例如,教育参考框架指定可以变化,其中可以设置用于应用预定阈值(例如,阈值)以基于所选择的教育参考框架指定的类型来评估活度得分的规则。也就是说,用于评估教育课程的用户的活度得分的阈值可以与用于评估学区的用户的活度得分的阈值不同。
[0029] 在一些备选示例中,阈值评估可以被设置为在生成关于多个用户(例如,教育课程的学生用户)的用户活度水平的确定时相对于历史活度得分来评估活度得分。例如,可以生成历史时间段的活度得分,并且将其与当前生成的活度得分进行比较评估。这可以为评估用户活度提供独特的视,其中可以相对于过去用户活度来构建用户活度,这有利于生成关于用户活度的数据洞察。例如,活度得分相对于历史活度得分的比较评估可以实现与教育参考框架指定相关联的用户的组特定指定(group‑specific designations)。由于作业和用户活度可以不同,这种类型的上下文信息可以有助于教师理解用户如何与应用/服务交互和/或处理特定作业内容。
[0030] 经训练AI处理还适于输出多个用户(例如,学生用户)中的一个或多个用户的用户活度水平的分类。在一个示例中,用户活度水平的分类被输出到数据洞察以生成应用/服务,以生成与示例性分类相关的数据洞察。虽然应当认识到由于应用经训练AI处理而生成的任何结果都可以用于帮助训练和更新经训练模型,但出于通知的目的,关于用户活度水平的每一种都进行分类可能不是必要的。这就是为什么可以选择与一个或多个用户(例如,学生用户)相关的分类进行输出。例如,被标识为满足一个或多个阈值(例如,对于高用户活度水平或低用户活度水平)的用户被标识用于输出。因此,可以选择一个或多个分类(例如,与一个或多个用户相关联)用于输出,诸如被分类为具有低用户活度水平和/或高用户活度水平的那些用户。在一些备选示例中,开发者可以应用规则来选择用于输出的分类。例如,规则可以被设置为输出与那些被预测为具有低用户活度水平和/或高用户活度水平的分类相对应的任何分类。在另一示例中,可以设置用于选择N个分类用于输出(例如,具有N个最高或最低活度得分的分类)的规则。在又一示例中,可以设置用于输出所生成的所有分类的规则。例如,可以生成数据洞察,该数据洞察提供所有学生用户的分类的等级报告和/或相对于历史分类来评估学生。
[0031] 本公开进一步公开了与多个用户(例如,学生用户)中的一个或多个用户的用户活度水平的分类相关的数据洞察的生成。例如,数据洞察生成应用/服务接收由经训练AI处理输出的分类,并且生成与用户的用户活度水平的分类相关的数据洞察。用于生成数据洞察和执行数据洞察生成应用/服务的处理是本领域技术人员已知的。在传统已知的基础上,已知的数据洞察适于基于具有特定领域(例如,教育软件平台)的多个用户(例如,学生用户)中的一个或多个用户的用户活度水平的分类来生成。例如,示例性数据洞察包括关于教育软件平台的应用/服务的使用的教育课程的用户的用户活度水平的分类。此外,执行附加处理以将示例性分类与软件数据平台的特定用户相关联。如前所述,在输入特征数据(例如,用户活度数据)的归一化中移除用户标识,以避免在生成分类时的任何偏差。一旦输出了分类,就可以进行处理以将分类与特定用户相关联。例如,所生成的分类与使用教育软件平台的(例如,教育课程的)学生用户相关联。这种处理能够生成与特定用户相关的丰富的上下文数据洞察。在一些备选示例中,不需要用户相关性处理来生成数据洞察。例如,可以生成数据洞察,该数据洞察评估整个教育课程的学生用户,其中可以不需要个人(individual)分类来生成这样的数据洞察。
[0032] 在另外的技术实例中,数据洞察是从历史用户活度数据中生成的。如前所述,用户活度数据可以包括历史用户活度数据(例如,用户活度水平的历史分类),该历史用户活度数据可以被考虑到用户活度水平的预测分类中。还应当认识到,由经训练AI处理生成的示例性分类可以进一步与历史用户活度数据(包括先前生成的分类)进行比较评估,以增强所生成的数据洞察的全面性,并且提供不同的参考框架。例如,数据洞察可以通过相对于用户的过去预测和/或表现来构建预测来提供关于用户活度的趋势/模式的上下文信息。在另外的示例中,可以生成数据洞察,该数据洞察提供用户活度分析的时间线,诸如关于用户活度水平(例如,过去、现在和未来)的预测的时间线。在备选示例中,可以对照教育软件平台上的实际表现来检查与一个或多个用户的用户活度水平的分类相关的准确性。例如,低用户活度水平的分类可以与学生相对于每周作业的实际表现(例如,学生是否交了作业、是否按时、学生作业做得有多好)相关联。这种类型的上下文分析可以为评估学生用户活度提供更全面的更有意义的数据洞察。
[0033] 在一些示例中,可以生成并且存储与教育软件平台的用户活度的分类相关的示例性数据洞察(例如,用于在稍后的时间点进行后续渲染)。在其他示例中,使所生成的数据洞察被立即渲染,例如通过教育软件平台的GUI。在一个示例中,本公开的处理引起包括多个学生用户中的一个或多个学生用户的用户活度水平的分类的数据洞察的渲染。渲染的原因可以包括向呈现应用/服务(例如,教育软件平台)的GUI表示的计算设备(例如,客户端计算设备)传输用于渲染示例性数据洞察的数据。然后可以经由与诸如客户端计算设备等计算设备相关联的显示器来渲染和呈现数据洞察。
[0034] 本公开中描述的处理所提供的示例性技术优势包括但不限于:用于管理用户活度数据的改善处理,以生成关于上下文相关和可理解的用户活度水平的有意义的分类;生成和应用新颖的经训练AI处理,该经训练AI处理适于从分布式软件平台(例如,教育软件平台)的用户活度数据的上下文相关性分析来生成预测洞察;实现一个或多个经训练机器学习模型(例如,混合机器学习模型)以执行降维处理和分类处理以高效并且准确地生成本公开的示例性分类;针对领域专用软件数据平台的用户活度数据的分析的特定目的而适配降维处理;由经训练AI处理应用的新颖的相关性分析,该相关性分析以上下文相关的方式(例如,跨对等体和/或相对于本文中描述的参考框架指定)分析用户活度数据的历史迭代和当前迭代;自动生成可用于生成软件数据平台的预测洞察的用户活度水平的分类;自动生成从用户活度数据的分析中导出的预测洞察;改善的用户界面(GUI),该GUI适于提供预测洞察的通知,该预测洞察可扩展以集成在与分布式软件平台相关联的多个应用/服务的GUI内;当生成示例性分类和示例性数据洞察时,提高了计算设备的处理效率(例如,减少处理周期,节省资源/带宽);通过提高不同应用/服务之间的内容相关性的高效处理操作来减少延迟,包括在不同主机应用/服务端点内内联的示例性通知的集成;在生成与某个领域(例如,教育特定领域)相关联的预测结果时,提高经训练AI处理的应用的准确性和精确性;以及经由本文中描述的处理的集成来提高主机应用/服务对用户的可用性、以及其他技术优势。
[0035] 图1A示出了用于实现与系统或服务的使用相关的用户活度水平的分类的自动生成的组件接口的示例性系统图100,利用该系统图可以实践本公开的各方面。作为示例,系统图100中所示的组件可以由如图4的描述中所述的示例性计算系统401(或多个计算系统)执行。系统图100描述了可以用于执行处理流程120(图1B)、方法200(图2)中所述的处理操作以及图3A‑图3C的视觉图和伴随描述中所述并且与之相关联的处理的组件。此外,在不偏离本公开的精神的情况下,可以改变系统图100的组件之间的交互。在系统图100中描述的示例性组件可以是被编程为执行本文中描述的处理操作的硬件和/或软件组件。在一些示例中,系统图100的组件每个可以是与特定服务的执行相关联的一个或多个计算设备。示例性服务可以由软件数据平台(例如,教育软件平台)管理,该软件数据平台还向组件提供对与应用/服务相关联的其他组件的访问和知识。在一个实例中,系统图100中描述的处理操作可以由通过分布式网络而连接的一个或多个组件来实现,其中用户帐户可以使用通过分布式软件平台而建立的特定简档来工作。系统图100包括用户计算设备102;应用/服务组件104;活度分类组件106;用于实现经训练AI处理的组件108;以及知识库110。
[0036] 系统图100包括(一个或多个)用户计算设备102。用户计算设备102的示例是如图4的描述中所述的计算系统(或多个计算系统)。在一个示例中,(一个或多个)用户计算设备102旨在覆盖计算设备是客户端计算设备的示例,该客户端计算设备正在执行被配置为使得能够访问分布式软件平台的应用或服务。在备选示例中,用户计算设备102可以是软件数据平台的一个或多个计算设备,开发者使用该计算设备来执行处理以训练示例性AI处理和/或应用经训练AI处理以生成用户活度水平的分类以及数据洞察。例如,一个或多个用户计算设备102可以适于执行活度分类组件106和/或用于实现经训练AI处理的组件108的处理操作。
[0037] 应用/服务组件104是被配置为管理主机应用/服务和相关联的端点的一个或多个计算机组件(硬件、软件或其组合)。如前所述,应用/服务端点组件108与系统图100的其他计算机组件接口连接,以使得能够以上下文相关的方式(例如,与特定主机应用/服务端点的内容内联(inline))来管理示例性通知的呈现。如本公开中引用的,内联旨在指代其中数据被嵌入为内容部分(例如,数据对象)以及其他内容部分的技术实例,该内容部分可以在主机应用/服务端点的操作系统内容和/或GUI的渲染内可显示。内联呈现的通知和/或数据洞察的非限制性示例在图3A‑图3C中示出。应用/服务组件104还被配置为通过与系统图100的其他计算机组件接口连接来呈现经适配的GUI,该GUI提供用户通知、GUI菜单、GUI元素等,以管理消息通知的渲染及其自动通知。
[0038] 应用/服务组件104进一步管理GUI的呈现,该GUI可用于呈现示例性通知并且促进与其的用户交互。主机应用/服务被配置为使得一个或多个用户帐户能够执行任务。在一些示例中,示例性主机应用/服务可以是分布式软件数据平台的组件,其提供一套主机应用或服务以及相关联的端点。(分布式)软件数据平台被配置为提供对多个应用/服务的访问,从而实现跨应用/服务使用,以在运行时增强特定应用/服务的功能。例如,软件平台使得能够在(一个或多个)用户计算设备102的OS与通过其访问的主机应用/服务之间进行接口连接。领域专用软件数据平台(诸如教育软件平台)可以包括多个主机应用/服务,这些主机应用/服务适于管理与特定领域(例如,教育)相关联的内容。分布式软件数据平台可以进一步管理租户配置/用户帐户,以管理对功能、应用/服务等的访问、以及对分布式数据存储装置(包括用户特定分布式数据存储装置)的访问。此外,特定主机应用/服务(包括分布式软件平台的那些)可以被配置为与其他非专有应用/服务(例如,第三方应用/服务)接口连接,以扩展包括数据变换和相关实现在内的功能。
[0039] 为了便于理解和解释,本公开将教育作为示例性领域。然而,应当认识到,本公开的处理适于导出任何类型的领域的二元分类。继续以教育为示例领域,访问与由多个用户与教育软件平台进行的用户交互相关的用户活度数据。示例性用户活度数据涉及由多个用户(例如,学生用户)与多个应用和/或服务中的每个应用和/或服务进行的用户交互,多个应用和/或服务与分布式软件平台相关联。
[0040] 教育软件平台是分布式软件平台的非限制性示例。分布式软件平台是通过分布式网络连接来连接其组件的软件系统。实现组件以使得软件数据平台的组件能够通过网络连接进行操作是本领域技术人员已知的。例如,分布式软件平台可以由一个或多个服务支持,以使得分布式软件平台能够在各种技术分布式数据场景中实现,包括但不限于:(SaaS);PaaS;IaaS。此外,分布式软件平台可以支持多个不同的编程语言、工具和框架等,包括组织专有系统(例如, 特定的)和第三方软件和系统两者,包括独立软件供应
商的软件和系统。因此,分布式软件平台(例如,教育软件平台)的用户通过与适用于特定领域(例如,教育)的多个应用/服务进行交互来创建用户活度数据。
[0041] 继续教育示例,教育软件平台使得学生、教师、管理员、家长等能够通过定制版本的软件产品被连接,该软件产品的定制版本有助于指导学习(在线、面对面和/或混合学习)和相关教育数据的管理。教育平台的集成提供在线学习资源,并且其实现方式是本领域技术人员已知的。作为参考,教育平台的能力包括但不限于:注册学生参加课程;进行在线学习/课程;文档储存、保留和管理;作业/文档提交和评级、成绩单管理、学生评估;管理对为学习而提供的内容的访问;制定学生时间表;跟踪学生出勤情况;管理课外活度的数据;用户反馈(包括学生特定调查);以及管理学校中的学生相关数据需求等。众所周知的分布式软件平台的一个示例是 它可以针对特定文档(例如,教育)的管理进行定制。在教育领域的示例中,分布式软件平台(例如, )的应用/
服务是为用户提供进一步的教育体验而定制的。例如,通过 Education
来启用用于管理相关用户、内容等的在线教室和资源,从而提供在线学习(或混合学习)环境。
[0042] 在教育示例中,用户活度数据涉及由学生用户与应用或服务进行的用户交互,该应用或服务与教育软件平台的应用/服务相关联。例如,用户活度数据包括事件计数数据,该事件计数数据指示与教育软件平台的特定应用/服务和/或相关应用/服务的特定特征的用户交互的计数。由于存在多个要考虑的学生用户、与教育软件平台相关联的多个应用/服务、以及甚至更多数目的要考虑访问的个人特征,因此多个学生用户的用户活度数据计数的数据集是非常稳健的。
[0043] 在另外的示例中,通过包括附加数据类型,用户活度数据进一步变得更加稳健。例如,用户活度数据可以包括从教育软件平台的用户接收的用户反馈的分级表示。例如,用户反馈可以通过与教育软件平台相关联的一个或多个应用/服务来接收。例如,通过教育软件平台提供的学生调查的分级表示被收集,以表示学生用户在特定参考点的社交和情绪状态。在另一示例中,可以相对于以下中的一项或多项生成分级表示:先前分类确定(例如,用户活度水平的先前分类);一个或多个用户的历史用户活度数据;和/或生成的数据洞察(例如,与过去用户活度预测相关)。示例性参考点可以涉及预定的时间段,和/或是相对于通过教育软件平台而发生的事件(例如,作业、考试、进度报告等)来确定的。在另外的示例中,用户活度数据可以包括用户的用户活度的先前分类(例如,在历史时间段内)的分级表示、和/或与用户/用户组相关联的数据洞察的分级表示(例如,从先前生成的数据洞察的分析中导出的二元确定)。这样的数据类型可以进一步为与教育软件平台的用户活度提供上下文,并且提供与学生用户、家长、老师等跟进的谈话要点,涉及用户活度水平的分类。
[0044] 适用于本公开的主机应用/服务的非限制性示例(包括在示例性软件数据平台内的集成)包括但不限于:教育信息管理应用/服务;开源协作框架应用/服务;视频会议应用/服务;文字处理应用/服务;电子表格应用/服务;笔记/记笔记应用/服务;创作应用/服务;数字演示应用/服务;演示广播应用/服务;搜索引擎应用/服务;电子邮件应用/服务;消息传递应用/服务;网络浏览应用/服务;协作通信应用/服务;数字助理应用/服务;网页构建应用/服务;目录应用/服务;映射应用/服务;日历应用/服务;电子支付应用/服务;数字数据存储装置或分布式数据存储装置应用/服务;网络会议应用/服务;呼叫通信应用/服务;
语言理解应用/服务;机器人框架应用/服务;联网应用/服务;社交网络应用/服务;以及可以共同包括前述应用/服务中的一个或多个的组合的应用/服务套件等。应用/服务组件104还管理与在前面的描述中已经引用的个人主机应用/服务相关联的相应端点。
[0045] 应用/服务组件104还被配置为通过与系统100的其他计算机组件接口连接来呈现经适配的GUI,该GUI提供与(例如,教育软件平台的)用户活度水平数据的分类和/或相关联的数据洞察的提供相关的用户通知、GUI菜单、GUI特征等。在其他情况下,应用命令控件(例如,用户界面功能区和/或GUI菜单)可以适于包括与通知管理相关的可选择的用户界面特征。例如,可以自动生成和呈现GUI特征,以引起对消息通知和相关内容以及所采取的动作的关注,诸如自动将更新应用于计算设备。在图3A‑图3C中提供了改善的GUI以及其中提供的GUI元素的非限制性视觉示例。
[0046] 此外,本公开还适于使得经训练AI处理能够进一步考虑由应用/服务组件104可以通过各种主机应用/服务而收集的其他类型的信号数据。例如,经训练AI处理的应用(例如,一个或多个经训练机器学习模型可以不仅适用于评估用户活度数据,还适用于评估其他类型的上下文数据,包括过去和/或当前用户动作、用户偏好、应用/服务日志数据等,这些数据均与一个或多个用户帐户相关联。这种附加信号数据分析可以帮助确定如何(和/或何时)向用户呈现示例性GUI通知。值得注意的是,不同的用户(例如,学生、教师、学校管理员、家长)可以正在使用教育软件平台,其中GUI通知可以根据对为用户而定制的信号数据的分析而在上下文中被渲染。可以被收集和分析的信号数据的非限制性示例包括但不限于:从一个或多个用户计算设备的操作收集的设备特定信号数据;从特定租户/用户帐户收集的关于访问以下中的任何一项的用户特定信号数据:设备、登录分布式软件平台、应用/服务等;从应用/服务和相关联的端点的使用中收集的应用特定数据;或其组合。以聚合的方式对这种类型的信号数据进行的分析可以有助于生成上下文相关确定、数据洞察等。对示例性信号数据的分析可以包括标识不同类型信号数据之间的相关性和关系,其中可以应用遥测分析来生成关于不同主机应用/服务和相关联的端点的用户活度的上下文状态的确定。
[0047] 活度分类组件106是一个或多个计算机组件(硬件、软件或其组合),该计算机组件被配置为执行和管理与以下各项相关的处理操作:由用户对关于用户活度水平的示例性分类的生成和供应、由此生成的预测洞察、以及示例性GUI通知的生成。活度分类组件106被配置为执行本文中所述的任何处理操作,包括相对于系统图100(图1A)、过程流120(图1B)、方法200(图2)所述的那些操作、以及与图3A‑图3C的视觉图相关联并且在附随描述中进一步描述的处理。还应当认识到,在不偏离本公开的精神的情况下,由活度分类组件106对处理操作的执行的顺序可以变化。
[0048] 如在前文的描述中引用的,活度分类组件106和/或应用/服务组件104被配置为与用于实现经训练AI处理的组件108接口连接,以辅助在各种上下文场景中的处理。用于实现经训练AI处理的组件被配置为管理一个或多个经训练AI模型的实现。经训练AI模型的实现(包括经训练AI处理的创建、适配、训练和更新)是本领域技术人员已知的。经训练AI处理适用于辅助任何类型的确定或预测处理,包括以上关于确定、分类排名/评分和相关性排名/评分而描述的特定处理操作。此外,用于实现编程软件模和/或经训练AI处理的组件110可以被应用以辅助生成系统图100的其他组件的处理确定。示例性的用于实现经训练AI处理的组件108可以管理AI模型,包括AI模型的创建、训练、应用和更新。在应用经训练AI处理的情况下,本领域技术人员已知经训练AI处理的一般应用,包括其创建、训练和更新。在传统已知的基础上,经训练AI处理可以适于执行本文中参考框架图100的任何组件而描述的特定确定以及由此执行的处理操作。例如,AI模型可以被专训练并且适于处理操作的执行,包括但不限于:收集和分析用户活度数据;执行降维处理,该降维处理适于管理领域专用软件数据平台的用户活度数据;策划分类以确定应当输出哪些以用于生成数据洞察;生成预测洞察;生成用于预测洞察的GUI通知;执行数据相关和相关分析;生成用于预测洞察的选择性输出的置信度得分;以及生成用于渲染GUI内容和更新的数据等。示例性AI处理可以适用于经由以下任何一种来帮助系统图100的任何组件进行任何类型的确定或预测处理:有监督学习;无监督学习半监督学习;或者强化学习等。在一个示例中,本公开的经训练AI处理执行混合机器学习模型,该模型适于执行用于降维处理和分类处理的处理,以高效并且准确地生成本公开的示例性分类。例如,示例性混合机器学习模型可以适于在执行降维处理时执行无监督学习,并且随后在执行分类处理时执行有监督学习。在备选示例中,本公开的处理应用多个经训练机器学习模型,每个模型独立地适于分别执行降维处理和分类处理。
[0049] 可以应用的有监督学习的非限制性示例包括但不限于:最近邻处理;朴素贝叶斯分类处理;决策树;线性回归;支持向量机(SVM)神经网络(例如,卷积神经网络(CNN)或递归神经网络(RNN));以及变换器等。可以应用的无监督学习的非限制性包括但不限于:聚类处理的应用,包括用于聚类问题的k均值、分层聚类、混合建模等;关联规则学习的应用;潜变量模型的应用;异常检测;以及神经网络处理等。可以应用的半监督学习的非限制性包括但不限于:假定确定处理;生成建模;低密度分离处理和基于图形的方法处理等。可以应用的强化学习的非限制性包括但不限于:基于值的处理;基于策略的处理;以及基于模型的处理等。此外,用于实现经训练AI处理的组件108可以被配置为应用排序器来生成相关性评分,以辅助关于本文中描述的任何相关性分析的任何处理确定。相关性评分的非限制性示例以及用于相关性评分的特定度量已经在前面的描述中被引用,并且随后被描述,包括方法200(图2)的描述。相关性(或重要性)排名的评分可以基于本文中描述的个人相关性评分度量或上述评分度量的集合。在使用多个相关性评分度量的一些备选示例中,可以应用权重,该权重根据所收集的信号数据和正在生成的特定确定而使一个相关性评分量度优先于另一相关性评分量度。相关性分析的结果可以根据开发者规范来最终确定。这可以包括对结果的阈值分析,其中阈值相关性得分可以与从经训练AI处理的应用而生成的一个或多个相关性得分度量进行比较评估。
[0050] 继续其中领域是教育的示例,建立并且训练专有深度学习模型,以标识在给定一系列学生交互的情况下预测学生个人活度的行为模式。该模型应用专有的以学生为中心的(个性化的)自我关注机制,在对所述学生进行预测时,考虑整个教育参考框架指定的用户活度模式。本公开的深度学习模型专注于对用户活度的评估,而不是性能结果,并且因此能够提供可解释的结果,以为用户(例如,教育工作者、家长)提供可操作的建议。
[0051] 经训练AI模型被生成为稳健模型,其可以理解领域专用场景的复杂性。例如,数百万条用户数据日志被收集、聚合、分析并且用于训练人工智能模型,以便在教育年度内对用户活度进行上下文理解。出于训练目的,可以实现滚动窗口以指定聚合数据的时间段(时间滤波器)。训练调谐AI模型,以了解可能影响学生整体的场景(例如,在特定时间段内),并且避免在评估该学生时对个别学生产生偏差。例如,在一学年的某些时间段内,学生的参与度可能会较低,因为学校可能会放假(例如,寒假、春假、暑假)。如果学生有休息日,这不应当被视为他们在特定时间段内参与度较低的原因。类似地,通过业务逻辑(所应用的业务逻辑规则)的训练和实现,适配经训练AI模型的实时执行,从而为执行对学生的公正评估提供上下文。示例性商业逻辑规则被配置用于教育软件平台的教育领域,并且用于评估由经训练AI模型生成的移动性确定的相关性。在一些示例中,特定的业务逻辑规则可以进一步指向特定于学校/大学、学区、学校、班级/课程等的上下文场景。以这种方式,经训练AI处理可以进一步将处于类似情况下的学生标识为用于评估用户行为的基线,诸如在选择特定的用户组来执行分析时。
[0052] 为特定事件(例如,学生作业)而收集的信号数据被视为一系列时间事件,每个事件都是一组特征。特定事件被馈送到深度学习模型,该模型被训练以生成用于分类预测的分位数(或四分位数)。对于每个训练序列,每个事件包括多个特征,这些特征根据其基本输入变量类型分别以数字方式被编码为适当的向量。指示为事件的信号数据包含多个特征,每个特征被分解为若干输入变量。这样的变量的非限制性示例包括但不限于先前描述的各种类型的用户活度数据。
[0053] 本公开的经训练AI处理还被配置为与经训练注意力模型并行地实现附加经训练AI模型,用于比较评估和改善示例性建模的准确性和精确性。例如,可以基于用于比较评估的决策树来实现经训练AI模型。使用决策树来实现AI模型是本领域技术人员已知的。通过包括以下各项的标准来评估经训练AI模型的成功:分类预测的准确性;击败更简单的基线方法(beating simpler,baseline,approaches);标识由经训练机器学习模型捕获的有意义和可解释的行为;以及对偏差的稳健性。使用知识提取或从头开始训练,可以应用决策树/随机森林模型来开发用于生成相关预测的基线。
[0054] 一旦生成成功的模型,确保避免偏差是很重要的。可能将偏差引入用户活度分析的方式的一个非限制性示例是标识特定的用户帐户和/或班级/课程。为了避免偏差,可以执行附加处理,包括以下中的一项或多项:评估屏蔽用户可标识特征的影响;在没有用户可标识特征的情况下重新训练AI模型,以量化个性化对建模成功的贡献;研究算法缓解方法(例如,人口统计奇偶性)以针对每个用户组设置辨别(discrimination)阈值;并且执行将标识的属性(例如,用户帐户和/或班级/课程)与随机标识符交换的处理。开发者可以应用这些方法中的一种或多种,以基于相对于经训练AI模型的结果的准确性和/或精确性的阈值来调节经训练AI模型。
[0055] 当模型不能成功地证明假定时,多个潜在的失败点可能相互掩盖。在训练中应用模型迭代,以尝试隔离、发现和减轻潜在的技术错误。这种处理的非限制性示例可以包括但不限于:验证经训练AI模型在更容易/琐碎的假定或模拟数据上的收敛性;使用学习遥测图研究学习过程(例如,不同层的变化率可以表明存在梯度传播问题,并且导致增加稳定/正则化层);超参数调谐和架构搜索;在会话数据中引入新的工程特征,诸如每日/每周事件聚合,并且评估对性能的影响;以及评估数据池与每个班级/课程学习模型以调查数据漂移相关问题的影响等。开发者可以应用这些方法中的一种或多种,以基于相对于经训练AI模型的结果的准确性和/或精确性的阈值来调节经训练AI模型。
[0056] 如在前面的描述中引用的,知识库110可以被访问以管理系统图100中所述的任何其他计算机组件的数据辅助操作。知识资源包括与软件应用平台(例如,)相关的任何数据、以及通过网络连接
(包括第三方应用/服务)与资源接口连接而获取的数据。知识库110可以是经由网络连接以分布式方式可访问的资源,其可以存储可用于改善本文中描述的处理操作的数据。由知识库110维护的数据的示例包括但不限于:活度数据日志;生成的分类预测;数据洞察和GUI通知;收集的信号数据(例如,来自应用/服务的使用、设备特定的、用户特定的);遥测数据,包括特定用户和/或用户组的过去和现在的使用;用于执行包括主机应用/服务和相关联的端点的应用/服务的数据;用于构建和训练用于经训练AI模型的AI处理分类器的注释数据的语料库;访问可用于评估信号数据的实体数据库和/或其他网络图数据库;基于网络的资源,包括经由网络连接可访问的任何数据,包括经由分布式数据存储装置而存储的数据;经训练机器人,包括用于理解自然语言的机器人;用于内容和元数据的上下文评估的软件模块和算法;以及用于执行包括电子文档元数据的特定应用/服务的应用/服务数据(例如,由应用/服务组件104管理的应用/服务的数据)等。在附加的示例中,遥测数据可以被收集、聚集和关联(例如,通过接口应用/服务),以进一步向系统图100的计算机组件提供对遥测数据的按需访问,这可以帮助由此生成的确定。
[0057] 图1B示出了用于经由降维处理的执行来改善用户活度水平的分类的生成的示例性处理流程120,利用该流程可以实践本公开的各方面。如上所述,降维处理是将数据从高维空间变换到低维空间,使得低维表示保留原始数据的一些有意义的特性。在本公开中,经训练AI处理适于使用与领域专用软件数据平台(例如,教育软件平台)相关联的用户活度数据来执行降维处理。例如,用于实现经训练AI处理的组件108实现一个或多个经训练机器学习模型,以为多个用户中的每个用户生成用户活度水平的分类。在一个示例中,混合机器学习模型适于执行降维处理和分类处理,从而将无监督机器学习和有监督机器学习两者相结合,以高效并且准确地生成本公开的示例性分类。
[0058] 处理流程120示出了线性图形表示122‑128的进展,该线性图形表示在视觉上表示通过应用线性PCA算法进行的降维处理的进展,该线性PCA算法适于与教育软件平台的用户活度数据一起工作,以帮助对学生用户的用户活度水平进行分类。例如,学生用户被描述为本文中描述的多个事件计数数据(例如,与示例性用户活度数据相关的事件计数数据)和/或示例性分级表示的向量,其中用户活度数据被归一化为相关的参考框架(例如,教育参考框架指定和/或时间参考框架)。由于用户活度、作业等对于特定教育课程可能会有规律地变化(例如,每周),因此在时间参考框架内,某些类型的事件计数数据可以比其他类型的事件计数数据更相关。因此,执行降维处理可以确定不同类型的用户活度数据之间的差异,以基于在输入特征数据之间标识的相关性来标识用户活度中的模式(对应于参考框架)。这种类型的分析通过高效地减少数据集的同时将注意力集中在对学生用户的用户活度水平的分类最有用的特定类型的数据相关性上来提高下游处理的效率(例如,根据所应用的参考框架)。
[0059] 在处理流程120中所示的示例中,教育软件平台的多个学生用户的第一线性表示122被表示为线性图形中的向量。为了便于解释,每个学生用户被示出为具有两个特征的用户活度向量。特征是对不同类型的用户活度数据的测量,例如,与教育软件平台的应用/服务(以及相关联的特征)的特定交互相关的事件计数或速率。如前所述的用户活度数据的其他非限制性示例也可以表示为特征。每个特征可以通过学生的同学组(peer group,例如,教育课程中的学生用户)的平均值进行归一化。如在前面的描述中所指出的,可以利用其他类型的教育参考框架指定和/或时间参考框架来帮助特征数据的归一化。其结果是生成预测分类,以预测学生用户活度在预定时间段(例如,一周)内是“高”或是“低”。因此,对特征分析的兴趣在于关联输入特征数据,该输入特征数据对于生成高活度与低活度的广泛二元分类是非常稳健的。
[0060] 在处理流程120中进一步呈现第二线性表示124,其从如第一线性表示122中所示的输入特征数据的绘图开始进行。第二线性表示124示出了在PCA空间中投影输入特征数据以帮助标识可以用于降维处理的候选主成分之间的方差的结果。如上所述,PCA以使低维表示中的数据的方差最大化的方式来执行输入数据到低维空间的线性映射。在这样做的过程中,构造输入数据的协方差矩阵(以及在某些情况下的相关矩阵),并且计算上述矩阵上的特征向量和特征值。协方差(或相关)矩阵的所计算的特征向量和特征值表示PCA的核心部分。所确定的特征向量与PCA空间的主成分相关,并且决定新PCA空间的方向。对应特征值决定对应特征向量的大小。也就是说,所计算的特征向量表示PCA空间的一组新轴,并且特征向量携带每个特征向量在该PCA空间内所具有的方差的数量的信息。该处理在第二线性表示124中可视地表示,其中在PCA空间内,新的“x”轴将高活度与低活度分离为原始用户活度特征(例如,输入特征数据)的组合。
[0061] 在处理流程120中进一步呈现第三线性表示126,其从如第二线性表示124中所示的PCA空间中的投影开始进行。第三线性表示126示出了特征向量到第一主成分的投影。主成分分析中的第一主成分标识特征空间中的最大方差的方向。如在前面的描述中所指出的,由于与教育软件平台相关联的应用/服务的稳健性和多样性,用户活度数据可以每周大幅变化。因此,对每个时间参考框架实时(或接近实时)执行PCA分析可以帮助标识用户活度数据的特征/变量的最重要权重(例如,每周)。
[0062] 在处理流程120中进一步呈现第四线性表示128,其从如第三线性表示126中所示的PCA空间中的投影开始进行。如上所述,选择方差最大的特征向量,并且丢弃方差较小的特征向量。这得到原始输入特征数据的低维表示,使得能够根据一个或多个主成分在PCA空间中进行映射。第四线性表示128示出了根据单个主成分的特征输入数据的映射。然后,使用与一个或多个主成分相对应的所选择的特征向量来重构原始输入数据的大部分方差。在实践中,一个或多个特征向量的子集通常可以根据系统的大规模物理行为来解释,因为上述特征向量通常贡献系统的绝大多数能量,尤其是在低维系统中。结果是低维数据集,该低维数据集具有一些数据损失(与原始输入特征数据相比),但保留了空间的最重要方差(例如,由一个或多个特征向量的子集跨越)。
[0063] 在实际的示例中,每个学生用户被提供有活度得分。然后应用分类算法来为多个学生用户中的一个或多个学生用户生成分类。例如,应用分类模型,该分类模型为学生用户生成关于预测的用户活度水平的标签(例如,分类标签)。分类模型的目的是估计事件的概率,包括确定特征与特定结果的概率之间的关系。例如,用户的活度得分用于预测性地评估特定时间段(例如,教育课程中的一周、一学期、一年)的用户活度是高或是低。个人用户(例如,学生用户)的活度得分是从与特定用户相关联的用户活度数据的加权分析中导出的预测分析。如前所述,通过降维处理(例如,主成分的选择)来确定特定特征/变量的权重。当归一化的输入特征数据(例如,用户活度数据)被映射到PCA空间中时,用户的活度得分被投影为用户活度数据的数据向量。
[0064] 通过对历史活度数据的评估进行训练,示例性分类模型适于基于用户(例如,与教育参考框架指定和/或时间参考框架相关联的学生用户)的活度得分的比较评估来生成关于用户的用户活度水平的分类。在一个示例中,比较评估是与多个用户(例如,学生用户)中的每个用户的活度得分相关的阈值评估。例如,学生用户的活度得分可以相对于与教育参考框架指定相关联的用户的中等活度得分进行比较评估,其中阈值评估用于标识其活度得分在特定阈值内的用户。在一个技术实例中,设置阈值以标识相对于中等活度得分的低活度得分。在另一技术实例中,设置阈值以标识相对于中等活度得分而设置的高活度得分。例如,提供相对于中等活度得分的底部和顶部百分之十五(15%)的活度得分作为有监督二元分类的标记示例,其中活度得分的实时(或接近实时)评估将底部和顶部百分之十五度量中的活度分别标识为低活度和高活度。然而,应当认识到,在不偏离本公开的精神的情况下,开发者可以将用于阈值评估的阈值设置为任何期望的度量。
[0065] 图2示出了与用户活度水平的分类的自动生成相关的示例性方法200,利用该方法可以实践本公开的各方面。作为示例,方法200可以在如图4的描述中所述的示例性计算系统401(或多个计算系统)上执行。方法200中描述的示例性组件可以是被编程为执行本文中描述的处理操作的硬件和/或软件组件。用于方法200中的处理操作的操作的组件的非限制性示例在系统图100(图1A)和处理流程120(图1B)中描述。在方法200中执行的处理操作可以对应于由执行以下各项的系统和/或服务执行的操作:计算机模块/程序、软件代理、应用程序编程接口(API)、插件、包括经训练数据模型的应用的AI处理、智能机器人、神经网络、变换器和/或其他类型的机器学习处理(例如,经训练机器学习建模,包括混合机器学习模型)等。在一个非限制性示例中,方法200中描述的处理操作可以由计算机组件执行,诸如:用户计算设备102;应用/服务组件104;活度分类组件106;用于实现经训练AI处理的组件
108或其组合。在分布式示例中,方法200中描述的处理操作可以由通过分布式网络而连接的一个或多个计算机组件来实现。例如,计算机组件可以在通过分布式网络而连接的一个或多个启用网络的计算设备上执行,这些设备使得能够访问用户通信。
[0066] 方法200开始于处理操作202,其中收集分布式软件平台的用户活度数据。用户活度数据是从与教育软件平台相关联的多个应用或服务接收的原始信号数据。教育软件平台是分布式软件平台的非限制性示例。分布式软件平台是通过分布式网络连接来连接其组件的软件系统。实现组件以使得软件数据平台的组件能够通过网络连接进行操作是本领域技术人员已知的。例如,分布式软件平台可以由一个或多个服务支持,以使得分布式软件平台能够在各种技术分布式数据场景中实现,包括但不限于:SaaS;PaaS;IaaS。此外,分布式软件平台可以支持多个不同的编程语言、工具和框架等,包括组织专有系统(例如,‑specific)和第三方软件和系统两者,包括独立软件供应商的软件和系统。
[0067] 用户活度数据的收集(处理操作202)发生在用户通过软件数据平台执行不同活度时。例如,登录到教育软件平台的用户可以创建会话,其中可以相对于用户访问软件数据平台(例如,教育软件平台)的一个或多个应用/服务的会话来对信号数据进行日志记录。用户活度数据被识别为与通过与教育平台相关联的应用/服务而接收的用户活度相关的应用特定信号数据或服务特定信号数据。例如,用户活度数据包括事件计数数据,该事件计数数据指示与教育软件平台的特定应用/服务和/或相关应用/服务的特定特征的用户交互的计数或速率。由于存在多个要考虑的学生用户、与教育软件平台相关联的多个应用/服务、以及甚至更多数目的要考虑访问的个人特征,因此多个学生用户的用户活度数据计数的数据集是非常稳健的。关于(例如,教育软件平台的)相关联的应用/服务的特定特征的计数或速率,与领域相关联的特定应用/服务和内容可以规定跟踪哪些计数和/或速率的特征。评估不同应用/服务的事件计数数据使得经训练AI处理能够标识预定时间段(例如,一周)内的用户活度模式,特别是因为随着教育课程的进行,用户使用不同的应用/服务来完成不同的作业。例如,学生可以在第一周完成作业时专门在基于网络的协作平台(例如,)的应用/服务中工作,然后在下周使用协作通信应用/服务 的不同应用/服务,以最小化对基于网络的
协作平台的应用/服务的使用。因此,重要的是关联用户之间的活度模式,并且为分类评估提供一个或多个参考框架,从而避免不准确的分类或相关的分析/度量。与可为其生成和跟踪事件计数数据的教育软件平台相关联的用户活度数据的非限制性示例包括但不限于与以下各项相关的用户活度数据:登录信息;访问(包括访问时间和数目)特定内容、作业、帖子、反馈/评论、资源、会议、测试/考试等;完成任务、作业的开始和完成时间等;用户和/或教师与学生之间的协作交互;修改内容;张贴内容,包括作业、考试等;特征、表情符号等的使用以及评级等。与同教育平台的用户交互相关的信号数据的其他示例是本领域技术人员已知的。
[0068] 在另外的示例中,通过包括附加数据类型,用户活度数据进一步变得更加稳健。例如,用户活度数据可以包括从教育软件平台的用户接收的用户反馈的分级表示。例如,用户反馈可以通过与教育软件平台相关联的一个或多个应用/服务来接收。例如,通过教育软件平台提供的学生调查的分级表示被收集,以表示学生用户在特定参考点的社交和情绪状态。在另一示例中,可以相对于以下中的一项或多项生成分级表示:先前分类确定(例如,用户活度水平的先前分类);一个或多个用户的历史用户活度数据;和/或生成的数据洞察(例如,与过去用户活度预测相关)。示例性参考点可以涉及预定的时间段、和/或是相对于通过教育软件平台而发生的事件(例如,作业、考试、进度报告等)来确定的。在另外的示例中,用户活度数据可以包括用户的用户活度的先前分类(例如,在历史时间段内)的分级表示、和/或与用户/用户组相关联的数据洞察的分级表示(例如,从先前生成的数据洞察的分析中导出的二元确定)。这样的数据类型可以进一步为与教育软件平台的用户活度提供上下文,并且提供给学生用户、家长、老师等需跟进的谈话要点,涉及用户活度水平的分类。
[0069] 在处理操作204,存储用户活度数据的日志以用于调用。例如,用户活度数据存储在一个或多个分布式数据存储装置(或分布式数据存储系统)上。在一个示例中,用户活度数据经由文件托管服务或文档管理存储系统的数据存储装置来存储。重要的是,要认识到的是,用户活度数据的存储(和访问)符合隐私法律法规。此外,示例性AI处理(例如,一个或多个经训练机器学习模型)以符合隐私的方式进行训练和执行,其中由于对用户活度数据的访问的符合性要求/限制,开发者永远看不到数据。如在前述描述中所标识的,可以相对于用户访问软件数据平台(例如,教育软件平台)的一个或多个应用/服务的会话来对信号数据进行日志记录。对于一个班的学生来说,每天的活度可能有多个日志。在教育空间中,预测结果可以是直接的(例如,学生是否会按时交作业),也可以是抽象的(例如,用户是否会在给定时间段内减少参与度)。例如,本公开的系统可以用于预测给定一周内将发生的事情,并且在教师采取行动并且积极影响学生行为为时已晚之前,将这些预测提供为学生表现下降的预测洞察和/或预警指示。
[0070] 方法200的流程然后前进到处理操作206。在处理操作206,管理经训练AI处理,该经训练AI处理适于在上下文中分析(例如,教育软件平台的)用户活度数据以生成用户活度水平的示例性分类。生成和管理经训练AI处理(诸如一个或多个经训练机器学习模型,包括一个或多个分类器的训练)是本领域技术人员已知的。在传统已知的基础上,执行处理以向经训练AI模型提供与教育软件平台的用户活度数据相关的原始信号。经训练AI处理适于通过训练相关训练数据(包括历史用户活度数据)的语料库来执行降维处理以及分析降维变换的分类处理。根据上述分析生成分类标签,该分类标签然后可以用于生成与同特定领域应用/服务或软件数据平台(例如,教育软件平台)的用户活度相关的数据洞察。在一个示例中,本公开的经训练AI处理执行混合机器学习模型,该模型适于执行用于降维处理和分类处理的处理,以高效并且准确地生成本公开的示例性分类。例如,示例性混合机器学习模型可以适于在执行降维处理时执行无监督学习,并且随后在执行分类处理时执行有监督学习。在备选示例中,本公开的处理应用多个经训练机器学习模型,每个模型独立地适于分别执行降维处理和分类处理。在包括系统图100(图1A)的描述在内的前述描述中已经描述了可应用的经训练AI处理的其他非限制性示例。
[0071] AI处理的管理(处理操作206)还可以包括生成AI模型,该AI模型被调谐以在经训练AI模型暴露用于实时(接近实时)使用之前反映准确性、精确性和/或召回(recall)的特定度量。开发者可以为特定指标设置阈值,以确保经训练AI模型按预期运行。在不偏离本公开的精神的情况下,用于特定经训练AI模型的度量评估的阈值可以根据开发者规范而变化。在另外的示例中,用户反馈可以被接收并且用于持续更新经训练AI模型,以改善预测并且生成与上下文最相关的洞察。因此,任何用户活度(包括接收的关于GUI通知和/或预测洞察、社交/情绪调查等的用户反馈)都可以用于更新(处理操作226)任何经训练AI模型。例如,可以添加训练数据和/或附加用户活度数据的语料库,并且进一步将其用于从经训练AI模型的先前迭代中进行构建。
[0072] 一旦满足用于暴露经训练AI处理的阈值,方法200的流程前进到处理操作208。在处理操作208,暴露经训练AI处理以用于用户活度数据的实时(或接近实时)评估。用于暴露用于应用的经训练AI处理的处理是本领域技术人员已知的。
[0073] 在处理操作210,然后应用经训练AI处理(例如,一个或多个经训练AI模型)。处理操作包括自动应用经训练AI处理,该AI处理适于至少基于对用户活度数据的降维变换的分析来为多个学生用户中的每个学生用户生成用户活度水平的分类。在这样做的过程中,经训练AI处理包括执行多个处理操作(例如,方法200的标记为212‑216)。
[0074] 作为应用经训练AI处理的起点,管理输入特征数据(处理操作212)。输入特征数据的管理(处理操作212)包括标识输入特征数据以用于经训练AI处理进行分析。示例性输入特征数据是从示例性用户活度数据中导出的,先前已经描述其示例。在一个示例中,经训练AI处理(例如,一个或多个经训练AI模型)包括选择输入特征数据作为用户活度数据,该用户活度数据指示软件数据平台(例如,教育软件平台)的多个学生用户中的每个学生用户的事件计数数据。除了(或者备选地代替)示例性事件计数数据之外,可以选择先前描述的用户活度数据的其他示例。在另外的示例中,经训练AI处理(例如,一个或多个经训练机器学习模型)可以适于根据不同类型的信号数据来生成用户活度的计数或速率。例如,用户活度数据的计数或速率可以集中在设备特定信号数据上,其中用户活度是相对于学生用户用来访问教育软件平台的应用/服务的特定计算设备来计数的。在另一示例中,可以进一步对用户特定帐户或简档数据进行计数,以跟踪学生是单独或是作为组的一部分而登录到应用/服务。评估计数/速率的另一类别可以集中在其他用户(例如,父母、监护人、教师)访问用户特定作业、进度报告、活度等的频率上。因此,应当共同认识到,用户活度数据可以是从各种不同角度对用户活度的综合评估。
[0075] 此外,对输入特征数据的管理还包括确定用于评估用户活度数据的参考框架作为输入特征数据。关于教育软件平台,多个学生用户可以跨越多个地理位置、学校、学区、年级等。因此,本公开根据教育参考框架指定和/或时间参考框架(例如,预定时间段)来管理用户活度数据。应用这些策划级别来标识密切相关的用户组,并且进一步标识该用户组的用户活度数据的上下文框架。在至少一个示例中,应用业务规则来选择教育参考框架指定和/或时间参考框架。如前所述,开发者可以设置一个或多个业务规则,以有效地管理用户活度数据的构建,并且生成各种分析和上下文数据洞察。
[0076] 教育参考框架指定标识与一个或多个学生用户(例如,一组用户)相对应的特定教育细分。教育参考框架指定有助于标识具有相似用户活度模式的相似用户(例如,同一班级的学生),从而提供对用户活度进行比较评估的最适当方式。在一个示例中,教育参考框架指定是包括多个学生用户的教育课程,其中评估该教育课程的多个学生用户的用户活度数据。然而,应当认识到,教育参考框架指定可以是用户的任何类型的教育细分,包括但不限于:教育课程;学校;学区;等级水平;用户描述符(例如,年龄)和地理描述符等。在经训练AI处理适用于不同领域的示例中,应当认识到,领域专用参考框架指定可以被应用于组用户以进行评估。在一些技术实例中,作为输入特征数据的用户活度数据的不同数据类型的选择取决于所选择的教育参考框架指定的类型。例如,与对不同地理区域和/或年龄段的可以从事不同内容/作业的学生进行比较相比,对于特定作业(或其他内容),来自一个教育课程、学校等的学生特定调查的学生社交/情绪反馈的分级表示可能更具相关性。在一个示例中,开发者可以根据所选择的教育参考框架指定来预设用户活度数据的数据类型,其中特征输入数据可以根据所选择的教育参考框架指定而变化。
[0077] 作为应用教育参考框架指定的补充或替代,可以根据时间参考框架(例如,预定的时间段)来策划用户活度数据。时间参考框架是用于生成与一个或多个用户的用户活度水平相关的预测分类(例如,与教育参考框架指定相关联)的已标识的时间段。在一个示例中,时间参考框架是一周,其中要为与给定一周(例如,一周时间段)的教育课程相关联的学生用户生成用户活度水平的预测分类。应当认识到,时间参考框架的非限制性示例包括任何时间段,包括但不限于:天;周;月;以及年份等。在评估其他类型的领域专用软件平台的技术实例中,关于用户活度数据的数据类型的特定参考和参考指定可以适用于特定领域。时间参考框架使得经训练AI处理能够生成关于用户活度水平的实时(或接近实时)分类预测。虽然可以基于包括历史用户活度数据的训练数据的语料库来训练AI模型,但是可以认识到,可以生成预测当前或未来(例如,即将到来的一周)的学生活度的示例性分类。除了其他技术益处,示例性分类可以提供关于用户活度水平的早期警告通知,使得其他用户(例如,教师、家长、监护人、其他学生)可以进行干预,并且为学生用户在教育课堂上的成功做好准备。
[0078] 输入特征数据的管理(处理操作212)还包括用于执行输入特征数据的特征缩放的处理操作。在一个示例中,特征缩放处理包括对与示例性用户活度数据相关的输入特征数据进行归一化的处理操作的执行。在另一技术实例中,特征缩放处理包括对输入特征数据执行标准化处理操作。用于执行特征缩放的处理操作(包括归一化或标准化)是本领域技术人员已知的。在传统已知的基础上,已知的特征缩放处理适于专门处理本文中描述的不同类型的用户活度数据。例如,输入特征数据基于一个或多个参考框架(例如,教育参考框架指定和/或时间参考框架)被归一化(或标准化)。
[0079] 在另外的示例中,对用户活度数据的输入特征数据的管理包括用于移除与用户标识相关的任何偏差的处理。例如,标识并且擦除与教育课程相关联的多个学生用户中的每个学生用户的用户标识,以在生成用户活度水平的初始分类时将学生用户标识从考虑中移除。因此,擦除输入特征数据以移除用户标识有助于在分析用户活度数据时使偏差最小化。应当理解,然后可以重新引入用户标识以生成关于用户或用户组(例如,教育课程的学生用户)的全面和上下文洞察,包括考虑特定用户的历史用户活度数据和/或教育参考框架指定的数据洞察。
[0080] 此外,输入特征数据的特征缩放处理还包括将用户活度数据(例如,事件计数数据和/或分级表示)的值转换为数字表示,从而帮助执行后续的降维处理。例如,归一化(或标准化)处理将输入特征数据的数据集中的数字列的值改变为通用比例,而不会扭曲值范围的差异。在其中教育参考框架指定是教育课程的一个示例中,与输入特征数据的变量/特征相关联的值相对于教育课程中的多个学生用户的跨输入特征数据中的每个变量/特征的课程平均值被归一化(或标准化)。这最终使得能够为多个学生用户中的每个学生用户生成活度得分,其中相对于教育课程的所有学生用户的课程平均活度得分生成个人活度得分。因此,经训练AI处理的结果可以与教育课程的其他学生用户相比来评估单个学生用户的用户活度。在替代实例中,经训练AI处理进一步对归一化(或标准化)的输入特征数据执行降维处理(处理操作214),以生成用户活度数据的降维变换。在一个示例中,降维处理的执行包括对归一化(或标准化)的输入特征数据执行PCA(例如,经由PCA算法的应用),以生成一个或多个主成分以用于用户活度数据的降维变换。一旦标识出一个或多个主成分,就利用它们来生成用户活度数据的降维变换。用户活度的降维变换是从被投影到低维特征子空间上的输入特征数据(例如,用户活度数据)中导出的数据集。换言之,用户活度数据的降维变换标识低维轴集合以汇总输入特征数据,其中然后可以应用分类处理来为用户生成用户活度水平的示例性分类。降维变换的结果来自于使用一个或多个选择的主成分在PCA空间中投影与用户活度数据相关的输入特征数据。结果可以是降维变换的线性表示,该线性表示根据一个或多个主成分的应用而被投影在PCA空间中。在PCA空间中呈现的数据向量与(例如,教育课程的)多个学生用户中的每个相关联,其中为多个用户(例如,学生用户)中的每个生成表示来自用户活度数据的加权分析的总得分的活度得分。
[0081] 此外,重要的是执行附加处理以理解PCA空间中正在查看的数据的方向。在一个示例中,本公开的经训练AI处理适于将空活度向量(用户活度数据的变量/特征的零值)与其他向量一起应用于PCA空间,以确定用于评估PCA空间内的用户活度数据的降维变换的参考框架。换言之,空向量被投影在PCA空间中,以帮助算出PCA空间中数据向量(例如,活度得分)的方向表示,其中确定数据向量是否被投影在正确的方向上。然后执行处理操作以评估与已更新PCA空间中的数据向量相关联的符号(正或负),该已更新PCA包括投影的数据向量(例如,学生用户向量)和空活度向量。在与投影数据向量(例如,学生用户向量)相关联的符号为正的技术实例中,确认数据被正确映射。在与投影数据向量相关联的符号为负的技术实例中,执行附加处理以更新与结果值相关联的信号。例如,执行处理操作以将负号翻转为正号。然后,可以在PCA空间中重新投影已更新值,使得数据在正确的方向上可查看。
[0082] 方法200的流程然后前进到处理操作216,其中生成关于用户的用户活度水平的分类。在教育示例中,根据教育参考框架指定为多个学生用户(例如,教育课程的学生)中的每个学生用户生成关于用户活度水平的分类。在这样做的过程中,分析在PCA空间中投影的结果,以为多个学生用户中的每个学生用户生成表示用户活度水平的分类的标签。示例性标签是将用户活度数据的多个维度压缩为用户的二元分类的表示。关于标记,经训练AI处理应用分类算法来分析绘制用户活度数据(例如,被投影在PCA空间中)的结果。经训练AI处理(例如,混合机器学习模型)为多个学生用户中的每个学生用户生成活度得分。如上所述,为多个用户(例如,学生用户)中的每个生成活度得分,该活度得分表示来自用户活度数据的加权分析的总得分。多个用户的活度得分被提供为线性表示以用于进一步分析。例如,应用分类算法以评估用户活度数据的降维变换。分类算法执行有监督分析(例如,经训练AI模型),该有监督分析生成指示用户(例如,学生用户)的用户活度水平的分类的标签。在一个示例中,分类算法使用被训练为逻辑回归模型的分类器来生成分类。在另一示例中,分类算法使用线性回归模型生成分类。使用逻辑回归模型和/或线性回归模型执行数据分析的处理是本领域技术人员已知的。
[0083] 在传统已知的基础上,本公开应用逻辑回归模型或线性回归模型(本文中统称为“分类模型”)来具体分析示例性用户活度数据,其中使用历史用户活度数据来进一步训练分类模型。分类模型的目的是估计事件的概率,包括确定特征与特定结果的概率之间的关系。例如,用户的活度得分用于预测性地评估特定时间段(例如,教育课程中的一周、一学期、一年)的用户活度是高或是低。个人用户(例如,学生用户)的活度得分是从与特定用户相关联的用户活度数据的加权分析中导出的预测分析。如前所述,通过降维处理(例如,主成分的选择)来确定特定特征/变量的权重。当归一化的输入特征数据(例如,用户活度数据)被映射到PCA空间中时,用户的活度得分被投影为用户活度数据的数据向量。
[0084] 通过对历史活度数据的评估进行训练,示例性分类模型适于基于用户(例如,与教育参考框架指定和/或时间参考框架相关联的学生用户)的活度得分的比较评估来生成(处理操作216)关于用户的用户活度水平的分类。在一个示例中,比较评估是与多个用户(例如,学生用户)中的每个用户的活度得分相关的阈值评估。例如,学生用户的活度得分可以相对于与教育参考框架指定相关联的用户的中等活度得分进行比较评估,其中阈值评估用于标识其活度得分在特定阈值内的用户。在一个技术实例中,设置阈值以标识相对于中等活度得分的低活度得分。在另一技术实例中,设置阈值以标识相对于中等活度得分而设置的高活度得分。例如,提供相对于中等活度得分的底部和顶部百分之十五(15%)的活度得分作为有监督二元分类的标记示例,其中活度得分的实时(或接近实时)评估将底部和顶部百分之十五度量中的活度分别标识为低活度和高活度。然而,应当认识到的是,在不偏离本公开的精神的情况下,开发者可以将用于阈值评估的阈值设置为任何期望的度量。在一些示例中,可以相对于参考框架指定来设置用于分类的阈值。例如,教育参考框架指定可以变化,其中可以设置用于应用预定阈值(例如,阈值)以基于所选择的教育参考框架指定的类型来评估活度得分的规则。也就是说,用于评估教育课程的用户的活度得分的阈值可以与用于评估学区的用户的活度得分的阈值不同。
[0085] 在一些备选示例中,阈值评估可以被设置为在生成关于多个用户(例如,教育课程的学生用户)的用户活度水平的确定时相对于历史活度得分来评估活度得分。例如,可以生成历史时间段的活度得分,并且将其与当前生成的活度得分进行比较评估。这可以为评估用户活度提供独特的视角,其中可以相对于过去用户活度来构建用户活度,这有利于生成关于用户活度的数据洞察。例如,活度得分相对于历史活度得分的比较评估可以实现与教育参考框架指定相关联的用户的组特定指定。由于作业和用户活度可以不同,这种类型的上下文信息可以有助于教师理解用户如何与应用/服务交互和/或处理特定作业内容。
[0086] 经训练AI处理还适于输出多个用户(例如,学生用户)中的一个或多个用户的用户活度水平的分类。在一个示例中,用户活度水平的分类被输出到数据洞察生成应用/服务,以生成与示例性分类相关的数据洞察。虽然应当认识到,由于应用经训练AI处理而生成的任何结果都可以用于帮助训练和更新经训练模型,但出于通知的目的,关于用户活度水平的每一种都进行分类可能不是必要的。这就是为什么可以选择与一个或多个用户(例如,学生用户)相关的分类进行输出。例如,被标识为满足一个或多个阈值(例如,对于高用户活度水平或低用户活度水平)的用户被标识用于输出。因此,可以选择一个或多个分类(例如,与一个或多个用户相关联)用于输出,诸如被分类为具有低用户活度水平和/或高用户活度水平的那些用户。在一些备选示例中,开发者可以应用规则来选择用于输出的分类。例如,规则可以被设置为输出与那些被预测为具有低用户活度水平和/或高用户活度水平的分类相对应的任何分类。在另一示例中,可以设置用于选择N个分类用于输出(例如,具有N个最高或最低活度得分的分类)的规则。在又一示例中,可以设置用于输出所生成的所有分类的规则。例如,可以生成数据洞察,该数据洞察提供所有学生用户的分类的等级报告和/或相对于历史分类来评估学生。
[0087] 方法200的流程然后前进到处理操作218。在处理操作218,生成与多个用户(例如,学生用户)中的一个或多个用户的用户活度水平的分类相关联的数据洞察。例如,数据洞察生成应用/服务接收经训练AI处理输出的分类,并且生成与用户的用户活度水平的分类相关的数据洞察。在另一示例中,经训练AI处理适于生成示例性数据洞察。例如,一个或多个附加AI模型适于生成上下文相关数据洞察,其中可以基于示例性分类的评估结果来生成不同类型的上下文数据洞察。
[0088] 用于生成数据洞察和执行数据洞察生成应用/服务的处理是本领域技术人员已知的。在传统已知的基础上,已知的数据洞察适于基于具有特定领域(例如,教育软件平台)的多个用户(例如,学生用户)中的一个或多个用户的用户活度水平的分类来生成。例如,示例性数据洞察包括关于教育软件平台的应用/服务的使用的教育课程的用户的用户活度水平的分类。此外,执行附加处理以将示例性分类与软件数据平台的特定用户相关联。如前所述,在输入特征数据(例如,用户活度数据)的归一化(或标准化)中移除用户标识,以避免在生成分类时的任何偏差。一旦输出了分类,就可以进行处理以将分类与特定用户相关联。例如,生成的分类与使用教育软件平台的(例如,教育课程的)学生用户相关联。这种处理能够生成与特定用户相关的丰富的上下文数据洞察。在一些备选示例中,不需要用户相关性处理来生成数据洞察。例如,可以生成数据洞察,该数据洞察评估整个教育课程的学生用户,其中可以不需要个人分类来生成这样的数据洞察。
[0089] 在另外的技术实例中,数据洞察是从历史用户活度数据中生成的。如前所述,用户活度数据可以包括历史用户活度数据(例如,用户活度水平的历史分类),该历史用户活度数据可以被考虑到用户活度水平的预测分类中。还应当认识到,由经训练AI处理生成的示例性分类可以进一步与历史用户活度数据(包括先前生成的分类)进行比较评估,以为数据洞察生成提供不同的参考框架,并且增强所生成的数据洞察的全面性。例如,数据洞察可以通过相对于用户的过去预测和/或表现来构建预测来提供关于用户活度的趋势/模式的上下文信息。在另外的示例中,可以生成数据洞察,该数据洞察提供用户活度分析的时间线,诸如关于用户活度水平(例如,过去、现在和未来)的预测的时间线。在备选示例中,可以对照教育软件平台上的实际表现来检查与一个或多个用户的用户活度水平的分类相关的准确性。例如,低用户活度水平的分类可以与学生相对于每周作业的实际表现(例如,学生是否交了作业,是否及时,学生做得有多好)相关联。这种类型的上下文分析可以为评估学生用户活度提供更全面的更有意义的数据洞察。
[0090] 在一个示例中,可以从示例性分类的上下文评估来生成N个预测数据洞察(例如,最高优先级/顺序)。在另外的示例中,可以生成预测数据洞察,该预测数据洞察应用关于用户活度水平的分类来预测与特定领域相关联的事件。例如,假定示例性分类正在被用于进一步生成关于用户是否被预测为错过分配的最后期限的预测。可以经由本公开中描述的集体分析基于对用户活度的最近评估(例如,包括对预定时间段内的用户活度水平的示例性分类)来生成表明学生可能错过作业的最后期限的数据洞察。在另外的示例中,包括与应用/服务(或软件数据平台)中的用户活度相关的预测的示例性数据洞察可以基于对关于用户活度水平的一个或多个分类的分析来导出,也可以基于对用户与他在类似作业中的同学之间的组活度的分析等来导出,等等。
[0091] 在另外的示例中,选择要生成的特定类型的数据洞察可以包括:基于经训练AI处理的应用,针对一个或多个数据洞察中的每个数据洞察,基于相关性将置信度得分分配给预测洞察,具有关于用户活度水平的一个或多个分类(例如,用户活度水平的当前和/或历史分类)。在这样的技术实例中,然后基于对一个或多个数据洞察中的每个数据洞察的置信度得分的阈值评估来生成一个或多个数据洞察。在不偏离本公开的精神的情况下,用于评估用于生成数据洞察的置信度得分的阈值可以根据开发者规范而变化。
[0092] 在另外的示例中,一个或多个数据洞察的生成包括:从由经训练AI处理执行的集体相关性分析中标识一个或多个数据相关性,该数据相关性提供支持预测数据洞察的基本原理(例如,谈话要点)。例如,某些类型的用户活度数据可以比其他类型的更相关,不仅用于生成用户活度水平的分类,还用于生成关于与教育软件平台的内容的用户交互的预测,包括作业、考试、进度报告、里程碑(milestone)和组活度等。
[0093] 本文中描述的谈话要点是对数据洞察的支持/原理,该数据洞察提供对为什么生成数据洞察的洞察。在生成提供一个或多个用户的用户活度水平的分类的数据洞察的示例中,谈话要点可以包括用户活度数据的特定数据类型和/或不同数据类型之间的相关性或模式,其中的任何一种导致用户活度水平被分类为低或高。谈话要点旨在帮助用户(例如,教育者或家长)制定并且讨论用户活度的趋势/模式。例如,如果学生用户的示例性分类是该用户在每周作业中将具有低活度性,则谈话要点可以帮助教师理解为什么该学生用户被预测为在该周具有低活度、或者甚至为什么与属于该学生用户的历史分类相比,活度水平较低(或较高)。如上所述,谈话要点可以可包括在预测数据洞察及其GUI通知中。在一个示例中,数据洞察的GUI通知可以提供预测数据洞察的第一级表示,其中GUI通知的附加层可以揭示关于数据洞察的附加上下文(例如,谈话要点)。在图3A‑图3C的进程中示出了在分层表示中渲染谈话要点的非限制性示例。谈话要点可以存储在生成的预测洞察内,或者作为可以添加到数据洞察的GUI通知中的附加数据对象(或元数据)以用于调用。
[0094] 例如,处理操作218可以包括生成包括一个或多个数据洞察的GUI通知。这可以通过由经训练AI处理进行的自动处理和/或经由数据洞察生成应用/服务来实现。在一个示例中,GUI通知的格式化是预先确定的,以基于正在生成的通知的类型(例如,调出、GUI菜单、图形、动态时间线)来填充数据字段。在其他示例中,GUI通知的格式和布局可以基于对示例性分类的分析以及正在生成的数据洞察的类型来动态生成。例如,相关数据的关键数据点可以是以各种方式可表示的,这可以通过评估用于相对于教育软件平台的应用/服务的处理能力来表示的相关数据点的类型来最佳地表示。在一些技术实例中,与数据洞察的GUI通知的用户交互可以指示如何以及何时呈现与数据洞察相关联的数据。例如,用户动作可以选择浮出表面(surfaced)的GUI通知的GUI特征,以揭示关于数据洞察的附加上下文(例如,谈话要点)。在另外的示例中,GUI通知被配置为使得用户能够立即采取行动来解决数据洞察的发现。GUI通知可以包括用于自动发起消息通知、电子邮件通知的链接、以及到附加遥测数据(例如,图表、统计数据)的链接等。
[0095] 在一些示例中,数据洞察和GUI通知是在教育软件平台的实时(或接近实时)用户操作期间动态生成的。在其他示例中,数据洞察及其GUI通知被存储以用于调用,并且在随后访问教育软件平台期间呈现给用户。例如,处理操作218可以包括在与教育软件平台相关联的分布式数据存储装置上存储包括一个或多个数据洞察的GUI通知。文件托管服务或文档管理存储系统的数据存储装置用于存储和管理以下任何一项的数据:经训练AI处理;生成的用户活度水平的分类;生成的数据洞察(以及相关联的数据对象);以及生成的包括数据洞察的GUI通知。
[0096] 一旦生成数据洞察(以及示例性GUI通知),方法200的流程就进行到处理操作220。在处理操作220,然后引起所生成的数据洞察被渲染以用于在诸如本文中引用的用户计算设备等计算设备上呈现。如前所述,生成包括一个或多个数据洞察的GUI通知,其中GUI通知可以被渲染,例如,用于经由(例如,教育软件平台的)主机应用/服务的端点来呈现。在一些示例中,使用与要通过主机应用/服务的GUI来呈现GUI通知的计算设备分离的资源,以分布式方式执行经训练AI处理。在这样的技术实例中,示例性通知随后被传输到计算设备(例如,用户计算设备)以用于渲染。在一些备选示例中,生成示例性GUI通知以用于将显示GUI通知的用户计算设备(例如,客户端计算设备)渲染。在这样的技术实例中,在经由计算设备(或外围显示设备)呈现的GUI(例如,主机应用/服务)中渲染通知和/或上下文数据洞察。示例性GUI通知与通过主机应用/服务端点的GUI呈现的内容一起呈现。如本公开中引用的,内联旨在指代其中数据被嵌入为内容部分(数据对象)以及其他内容部分的技术实例,该内容部分可以在主机应用/服务端点的渲染内可显示。内联呈现的内容的非限制性示例在图3A‑图3C中示出。在另外的示例中,示例性GUI通知和/或数据洞察被传播到其他计算设备用于渲染。例如,在与注册用户帐户相关联的另一计算设备上渲染包括用户活度水平的分类的GUI通知。
[0097] 方法200的流程然后可以前进到处理操作222。在处理操作222,渲染包括一个或多个数据洞察的示例性GUI通知。如前所述,在主机应用或服务(例如,与教育软件平台相关联)的GUI中渲染包括一个或多个数据洞察的GUI通知。GUI通知的非限制性示例在图3A‑图3C所示的处理设备视图中提供。
[0098] 此外,在GUI通知被渲染在主机应用/服务的GUI中的示例中,方法200的流程可以前进到处理操作224。在处理224,基于与示例性GUI通知的用户交互(用户动作)来更新GUI通知的呈现。例如,用户可以从GUI通知中选择GUI元素或特征,其中用户请求关于数据洞察的附加上下文信息,或者正在寻求执行由数据洞察的呈现产生的后续任务或动作。例如,用户(例如,教师、管理员、家长、学生)可以希望就作为数据洞察的一部分而呈现的预测分类和/或谈话要点与另一用户进行跟进。在另外的实例中,用户可以提供关于预测洞察和/或GUI通知的准确性和相关性的用户反馈、和/或对所显示的GUI通知的社交/情感响应。
[0099] 用户反馈可以用于持续更新经训练AI处理,以改善预测并且生成与上下文最相关的数据洞察。因此,任何用户活度(包括接收的关于GUI通知和/或数据洞察的用户反馈)都可以用于更新经训练AI处理(处理操作226)。例如,可以添加训练数据和/或附加用户活度数据的语料库,并且进一步将其用于提高一个或多个经训练机器学习模型的准确性和效率,该机器学习模型可以执行降维处理、分类处理和/或数据洞察生成。方法200然后可以返回到处理操作202,以收集附加用户活度数据以用于后续分析。如前所述,随着学生在整个教育课堂、课程等中的进步,可以连续生成数据洞察来构建用户活度。
[0100] 图3A‑图3C示出了与改善的用户界面的用户界面示例相关联的示例性处理设备视图,该用户界面适于管理数据洞察,该数据洞察提供与系统或服务的用户活度水平的分类,利用该处理设备可以实现本公开的各方面。图3A‑图3C提供了上述处理的非限制性前端示例,包括系统图100(图1A)、处理流程120(图1B)和方法200(图2)以及计算系统401(图4)的附带描述。
[0101] 图3A呈现处理设备视图300,其示出了被配置为教育软件平台的一部分的协作通信应用/服务(例如, )的GUI。处理设备视图300示出了与协作通信应用/服务的其他内容内联的多个示例性GUI通知的呈现。如本公开中引用的,内联旨在指代其中数据被嵌入为内容部分(数据对象)以及其他内容部分的技术实例,该内容部分可以在主机应用/服务的渲染内可显示。在前面的描述中已经描述了用于生成包括数据洞察的示例性GUI通知的处理操作。
[0102] 在处理设备视图300中所示的示例中,数字参与GUI菜单302呈现与数字内容的用户参与评估相关的多个GUI通知(分别为第一GUI通知304和第二GUI通知306),数字内容与教育软件平台相关联。数字参与菜单302被设计为提供与与软件数据平台的用户参与相关的上下文信息。在处理设备视图300中所示的示例中,数字参与菜单302提供GUI通知304和306,以分别提供与教育软件平台的应用/服务的用户活度水平的示例性分类相关的数据洞察、以及相关联的数据洞察。在所示的示例中,GUI通知304和306呈现评估(例如,教育课程的)一组学生用户的数据洞察,例如,以向教师提供整个教育课程的用户活度的概览。然而,应当认识到,示例性GUI通知可以提供特定于个人用户的数据洞察。
[0103] 例如,第一GUI通知304提供与当前一周的教育课程的学生活度的组分类相关的数据洞察(例如,时间参考框架)。示例性分类可以是在时间参考框架上对用户活度数据的实际评估(例如,一周内的用户活度)、或者提供预测的用户活度水平的预测(例如,基于对当前和/或过去用户活度数据的分析)。根据用户活度数据的上下文分析(例如,通过经训练AI处理),第一GUI通知304标识出一类学生被确定(或预测)为在当前一周内活度低。这是二元分类的一个示例,其中一组用户被预测为在时间参考框架内具有低用户活度水平。
[0104] 此外,第一GUI通知304以示例性谈话要点(基本原理)的形式提供附加数据洞察,该示例性谈话要点指示在当前一周内学生用户活度减少(或被预测为减少)了多少。这源于经训练AI处理的执行的结果,该经训练AI处理分析与用户活度数据相关的输入特征数据。提供了附加GUI元素或特征,该附加GUI元素或特征使得用户(例如,教师或学生)能够深入了解这些数据,还包括“学生活度跟踪”,这可以使得用户能够看到用户活度水平的个人分类,这可以有助于指示用户活度在当前一周期间较低(或可能较低)的组/课程分类。
[0105] 类似地,数字参与菜单302提供第二GUI通知306,该第二GUI通知306提供关于未来时间点(例如,下周)的教育课程的学生活度的组分类的预测数据洞察。根据用户活度数据的上下文分析(例如,通过经训练AI处理),第二GUI通知306标识出一类学生被确定(或预测)为在下一周比当前一周活度水平高。这是二元分类的一个示例,其中预测一组用户在时间参考框架内具有高用户活度水平。
[0106] 此外,第二GUI通知306以示例性谈话要点(基本原理)的形式提供关于学生用户活度被预测为将增加多少的附加数据洞察。这也源于经训练AI处理的执行的结果,该经训练AI处理分析与用户活度数据相关的输入特征数据。类似于在第一GUI通知304中呈现的GUI元素/特征,呈现的GUI元素/特征使得用户(例如,教师或学生)能够深入了解这些数据,还包括与一类学生用户相关的“学生活度的跟踪”。
[0107] 第三GUI通知308提供数据洞察的另一示例,这一次涉及特定学生用户(“Shay Daniel”)的用户活度水平的分类。类似于先前描述的GUI通知,被包括在第三GUI通知308中的数据洞察是与学生用户“Shay Daniel”在时间参考框架(例如,当前一周)上的用户活度水平的分类相关的数据洞察。此外,示例性分类与经由教育软件平台分配给学生用户的特定作业相关联。此外,第三GUI通知308将特定应用/服务中一周的低用户活度水平的分类与预测数据洞察相关联,该预测数据洞察指示学生用户可能错过作业的作业截止日期(例如,“图书报告回顾”)。例如,学生用户可能必须使用特定主机应用/服务来完成作业,其中确定学生用户在该特定主机应用或服务内具有或已经具有较低活度水平。
[0108] 继续第三GUI通知308中所示的示例,查看协作通信应用/服务的GUI表示的用户(例如,教师)执行用户动作312,该用户动作312选择与第三GUI通知308相关联的GUI特征310。GUI特征310是提示用户选择GUI特征310以获取附加信息的问题(“为什么”)。用户动作
312是用于显示随后描述的处理设备视图320(图3B)的触发。
[0109] 图3B呈现处理设备视图320,其示出了从处理设备视图300(图3A)中所示的处理的继续示例。如前所述,处理设备视图320是作为接收到用户动作312(图3A)的结果而呈现的,该用户动作312选择GUI特征以获取关于第三GUI通知308(图3A)中所示的数据洞察的附加上下文信息。响应于接收到用户动作312,自动渲染并且向用户呈现自动数据洞察通知322。自动数据洞察通知322提供附加数据洞察作为相对于第三GUI通知308的呈现的谈话要点。
[0110] 例如,第一数据洞察324被呈现在自动数据洞察通知322中,以提供数据分析,该数据分析指示学生用户(“Shay Daniel”)在相对于先前作业的作业截止日期的相同参考点(例如,在第1周期间)在主应用/服务中的活度高出百分之二十(20%)。此外,自动数据洞察通知322还提供第二数据洞察326,该第二数据洞察326指示教育课程(“英语101”)的课程平均活度得分比学生用户“Shay Daniel”的用户活度率高百分之十五(15%)。这种类型的度量可以与学生用户的活度得分相对于同一班级中的其他学生用户的活度得分的阈值评估相一致(例如,教育参考框架指定)。此外,第三数据洞察328提供与用户活度数据的特定数据类型相关联的数据洞察。第三数据洞察328确定学生用户“Shay Daniel”对经由教育软件平台提供给学生用户的每周情绪调查做出负面反应。这可以是被分析以生成关于学生用户的用户活度水平的分类的用户活度数据的数据类型的示例。例如,开发者可以标记/标识他们认为有助于生成上下文相关数据洞察的用户活度数据的特定数据类型。在该示例中,对特定作业的每周情绪调查做出负面反应的学生用户可以与检测到的用户活度水平直接相关。这种类型的数据洞察可以作为教师干预和帮助学生用户的早期警告通知。
[0111] 此外,在处理设备视图320中呈现的自动洞察通知322还包括GUI元素330,该GUI元素330被配置为使得用户(例如,教师)能够更深入地研究该预测数据洞察。例如,GUI元素330被呈现为提示性链接(表示为(“查看更多”)的可选择的链接),其是可选择的以使得用户能够获取关于预测数据洞察的更多信息。处理设备视图320示出了选择GUI元素330的用户动作332。用户动作332是用于显示随后描述的处理设备视图340(图3C)的触发。
[0112] 图3C呈现处理设备视图340,其示出了从处理设备视图320(图3B)中所示的处理的继续示例。如前所述,基于用户动作332(图3B)的接收来呈现处理设备视图340,该用户动作332选择GUI特征330以获取关于预测数据洞察的附加上下文信息,特别是与学生用户对每周情绪调查的响应相关的数据洞察。附加数据洞察通知342被自动渲染并且呈现给用户。附加数据洞察通知342提供附加数据洞察作为相对于第三数据洞察328(图3B)的呈现的谈话要点。
[0113] 在处理设备视图340中所示的示例中,呈现第一后续数据洞察344,该第一后续数据洞察344指示学生用户“Shay Daniel”响应于与作业指南相关的问题提供困惑表情符号。第一后续数据洞察344提供明确的谈话要点以标识用户可能在作业方面有困难。
[0114] 还提供了第二后续数据洞察346,该第二后续数据洞察346标识其他学生用户(例如,“Yossi Amnon”),该学生用户也响应于与作业指南相关的问题提供困惑表情符号。第二后续数据洞察346提供谈话要点作为标识可能类似地在作业中有困难的其他学生用户的早期警告通知。此外,为了进一步提高处理效率,在附加数据洞察通知342中提供了GUI特征348,该GUI特征348使得教师能够自动发起与可能也需要帮助来完成当前作业的其他标识的学生用户(例如,“Yossi Amnon”)的通信。
[0115] 图4示出了适合于实现本文中描述的与用户活度水平的分类的生成和管理相关的处理操作的计算系统401,利用该计算系统401可以实践本公开的各方面。如上所述,计算系统401可以被配置为实现本文中描述的任何组件的处理操作,包括先前在系统图100(图1)中描述的示例性组件。因此,计算系统401可以被配置为执行特定处理操作以解决本文中描述的技术问题,该特定处理操作包括用于智能并且高效地生成与系统(例如,软件数据平台)或特定应用/服务的使用相关的用户活度水平的分类的处理操作。计算系统401可以被实现为单个装置、系统或设备,或者可以以分布式方式被实现为多个装置、系统或设备。例如,计算系统401可以包括一个或多个计算设备,该计算设备通过分布式网络执行对应用和/或服务的处理,以使得能够通过一个或多个应用或服务执行本文中描述的处理操作。计算系统401可以包括执行用于前端应用/服务、后端应用/服务或其组合的处理的设备的集合。计算系统401包括但不限于处理系统402、存储系统403、软件405、通信接口系统407和用户接口系统409。处理系统402与存储系统403、通信接口系统407和用户接口系统409可操作地耦合。计算机系统401的非限制性示例包括但不限于:智能电话、笔记本计算机、平板计算机、PDA、台式计算机、服务器、包括电视设备的智能计算设备、以及包括VR设备和AR设备的可穿戴计算设备、电子阅读器设备、游戏控制台和会议系统、以及其他非限制性示例。
[0116] 处理系统402从存储系统403加载并且执行软件405。软件405包括一个或多个软件组件(例如,406A‑B),该软件组件被配置为实现本文中描述的功能。在一些示例中,计算系统401可以连接到其他计算设备(例如,显示设备、音频设备、服务器、移动/远程设备、游戏设备、VR设备、AR设备等),以进一步使得能够执行处理操作。当由处理系统402执行时,软件405指导处理系统402如本文中至少针对前述实现中所讨论的各种过程、操作场景和序列所述进行操作。计算系统401可以可选地包括为简洁起见而未讨论的附加设备、特征或功能。
计算系统401还可以用于执行系统图100(图1A)、处理流程120(图1B)、方法200(图2)中描述的处理操作、和/或图3A‑图3C的附带描述。
[0117] 仍然参考图4,处理系统402可以包括处理器、微处理器、以及从存储系统403检索和执行软件405的其他电路系统。处理系统402可以在单个处理设备内实现,但也可以分布在协作执行程序指令的多个处理设备或子系统上。处理系统402的示例包括通用中央处理单元、微处理器、图形处理单元、专用处理器、声卡、扬声器和逻辑设备、游戏设备、VR设备、AR设备、以及任何其他类型的处理设备、其组合或变体。
[0118] 存储系统403可以包括由处理系统402可读取并且能够存储软件405的任何计算机可读存储介质。存储系统403可以包括以用于存储信息的任何方法或技术实现的易失性和非易失性的可移动和不可移动介质,诸如计算机可读指令、数据结构、程序模块、高速缓冲存储器或其他数据。存储介质的示例包括随机存取存储器只读存储器、磁盘、光盘、闪存、虚拟存储器和非虚拟存储器、磁带盒、磁带、磁盘存储或其他磁存储设备、或其他合适的存储介质,但传播信号除外。在任何情况下,计算机可读存储介质都不是传播信号。
[0119] 除了计算机可读存储介质之外,在一些实现中,存储系统403还可以包括计算机可读通信介质,软件405中的至少一些可以通过该计算机可读通信介质在内部或外部进行传送。存储系统403可以被实现为单个存储设备,但也可以被实现在相对于彼此共同定位或分布的多个存储设备或子系统上。存储系统403可以包括能够与处理系统402或可能的其他系统通信的附加元件,诸如控制器
[0120] 软件405可以在程序指令中实现,并且除了其他功能,当由处理系统402执行时,可以指导处理系统402如关于本文中所示的各种操作场景、序列和过程所述的那样操作。例如,软件405可以包括用于执行活度分类组件406a;以及如本文中描述的应用/服务组件406b的程序指令。在另外的示例中,软件可以包括用于执行用于实现编程的软件模块和/或经训练AI处理的单独组件的程序指令,尽管在其他情况下,编程的软件模件和/或经训练AI处理可以由系统图100的其他组件中的一个与一个或多个计算系统401相结合来执行。
[0121] 特别地,程序指令可以包括各种组件或模块,这些组件或模块协作或以其他方式交互以执行本文中描述的各种过程和操作场景。各种组件或模块可以体现在编译或解释的指令中,或者体现在指令的某种其他指令变体或组合中。各种组件或模块可以以同步或异步方式、串行或并行、在单线程环境或多线程环境、或者根据任何其他合适的执行范例、变体或其组合来执行。软件405可以包括附加过程、程序或组件,诸如操作系统软件虚拟机软件或其他应用软件。软件405还可以包括由处理系统402可执行的固件或某种其他形式的机器可读处理指令。
[0122] 通常,在被加载到处理系统402中并且被执行时,软件405可以将合适装置、系统或设备(计算系统401是其代表)从通用计算系统整体转换为专用计算系统,该专用计算系统被定制为执行本文中描述的特定处理组件并且处理数据和响应于查询。实际上,存储系统403上的编码软件405可以变换存储系统403的物理结构。物理结构的具体变换可以取决于本描述的不同实现中的各种因素。这样的因素的示例可以包括但不限于用于实现存储系统
403的存储介质的技术以及计算机存储介质的特征是主存储装置或是辅存储装置、以及其他因素。
[0123] 例如,如果计算机可读存储介质被实现为基于半导体的存储器,则当程序指令被编码在其中时,软件405可以变换半导体存储器的物理状态,诸如通过变换构成半导体存储器的晶体管、电容器或其他分立电路元件的状态。对于磁性或光学介质,可以发生类似的变换。在不脱离本说明书的范围的情况下,物理介质的其他变换是可能的,提供上述示例只是为了便于本讨论。
[0124] 通信接口系统407可以包括允许通过通信网络(未示出)与其他计算系统(未示出)进行通信的通信连接和设备。通信接口系统407也可以用于覆盖本文中描述的处理组件之间的接口连接。一起允许系统间通信的连接和设备的示例可以包括网络接口卡或设备、天线、卫星、功率放大器、RF电路系统、收发器和其他通信电路系统。连接和设备可以通过通信介质进行通信,以与其他计算系统或系统网络(诸如金属、玻璃、空气或任何其他合适的通信介质)交换通信。上述介质、连接和设备是众所周知的,这里不需要详细讨论。
[0125] 用户接口系统409是可选的,并且可以包括键盘鼠标、语音输入设备、用于从用户接收触摸手势的触摸输入设备、用于检测由用户进行的非触摸手势和其他运动的运动输入设备、游戏配件(例如,控制器和/或机)、以及能够接收来自用户的用户输入的其他可比较的输入设备和相关联的处理元件。诸如显示器、扬声器、触觉设备和其他类型的输出设备等输出设备也可以被包括在用户接口系统409中。在一些情况下,输入和输出设备可以组合在单个设备中,诸如能够显示图像和接收触摸手势的显示器。上述用户输入和输出设备在本领域中是公知的,这里不需要详细讨论。
[0126] 用户接口系统409还可以包括由处理系统402可执行以支持上面讨论的各种用户输入和输出设备的相关联的用户接口软件。单独地或彼此结合以及与其他硬件和软件元件相结合,用户接口软件和用户接口设备可以支持图形用户接口、自然用户接口或任何其他类型的用户接口,例如,该接口使得能够对本文中描述的示例性应用/服务进行前端处理,包括渲染以下各项:来自经训练AI处理的应用的结果,该经训练AI处理包括用户相对于软件数据平台和/或特定应用/服务的活度级别的所生成的分类;对经训练AI处理的管理,包括建立、训练和适配经训练AI模型以执行本文中描述的处理操作,包括用于管理示例性用户活度数据的GUI视图、用于执行降维处理和分类处理的代码、用于分类确定的阈值、以及用户反馈;日志数据、用户活度数据和遥测数据的管理;改善的GUI,其提供与分类确定、用户推荐和用户交互管理相关的数据洞察;使得用户能够与GUI元素和特征交互,包括GUI菜单和调用的呈现、应用命令控制等,并且通过不同的主机应用/服务端点(例如,经由GUI元素、OS通知和/或与内容的内联)提供通知、以及其他示例。用户界面系统409包括图形用户界面,该图形用户界面呈现表示以上描述中描述的处理中的任何点的图形用户界面元素,包括系统图100(图1A)中描述的处理操作、处理流程120(图1B)、方法200(图2)中描述的处理操作和/或图3A‑图3C的随附描述。
[0127] 用户界面系统409的图形用户界面还可以被配置为显示图形用户界面元素(例如,数据字段、菜单、链接、图形、图表、数据相关性表示和标识符等),这些元素是从前述描述中描述的处理生成的表示。示例性应用/服务还可以被配置为与计算设备401的处理组件接口,该处理组件使得能够结合本文中描述的示例性应用软件/服务的操作来输出其他类型的信号(例如,音频输出、手写输入、AR/VR输入)。
[0128] 计算系统401与其他计算系统(未示出)之间的通信可以根据各种通信协议、协议组合或其变体通过一个或多个通信网络来发生。示例包括内部网、互联网、因特网、局域网、广域网、无线网络、有线网络、虚拟网络、软件定义的网络、数据中心总线、计算背板或任何其他类型的网络、网络组合或其变体。上述通信网络和协议是众所周知的,并且不需要在这里详细讨论。然而,可以使用的一些通信协议包括但不限于互联网协议(IP、IPv4、IPv6等)、传输控制协议(TCP)和用户数据报协议(UDP)、以及任何其他合适的通信协议、变体或其组合。
[0129] 在交换数据、内容或任何其他类型的信息的任何上述示例中,信息的交换可以根据各种协议中的任何协议来进行,包括FTP(文件传输协议)、HTTP(超文本传输协议),REST(表示状态传输)、WebSocket、DOM(文档对象模型)、HTML(超文本标记语言),CSS(级联样式表)、HTML5、XML(可扩展标记语言)、JavaScript、JSON(JavaScript对象表示法)和AJAX(异步JavaScript和XML)、Bluetooth、红外、RF、蜂窝网络、卫星网络、全球定位系统、以及任何其他合适的通信协议、变体或其组合。
[0130] 图中提供的功能框图、操作场景和序列以及流程图表示用于执行本公开的新颖方面的示例性系统、环境和方法。尽管为了解释的简单性,本文中包括的方法可以是功能图、操作场景或序列或流程图的形式,并且可以被描述为一系列动作,但是应当理解和认识到,这些方法不受动作顺序的限制,因为一些动作可以根据动作顺序、以不同于此处所示和所述的顺序和/或与其他动作同时发生。例如,本领域技术人员将理解并且认识到,一种方法可以替代地表示为一系列相互关联的状态或事件,诸如在状态图中。此外,并非方法中所示的所有活度都可以是新颖实现所必需的。
[0131] 本文中包括的描述和附图描述了具体实现,以教导本领域技术人员如何制作和使用最佳选项。为了教导发明原理,已经简化或省略了一些常规方面。本领域技术人员将理解落入本发明范围内的来自这些实现的变化。本领域技术人员还将理解,上述特征可以以各种方式组合以形成多个实现。因此,本发明不限于上述具体实现,而仅限于权利要求及其等同物。
[0132] 在本说明书中,参考了“一个示例”或“示例”,这表示特定描述的特征、结构或特性被包括在至少一个示例中。因此,这样的短语的使用可以指代不止一个示例。此外,所描述的特征、结构或特性可以在一个或多个示例中以任何合适的方式组合。
[0133] 然而,相关领域的技术人员可以认识到,这些示例可以在没有一个或多个特定细节的情况下、或者使用其他方法、资源、材料等来实践。在其他情况下,仅仅为了观察示例的模糊方面,没有详细示出或描述公知的结构、资源或操作。
[0134] 虽然已经示出和描述了示例和应用,但是应当理解,示例不限于上述的精确配置和资源。在不脱离所要求保护的示例的范围的情况下,可以对本文中公开的方法和系统的布置、操作和细节进行对本领域技术人员很清楚的各种修改、改变和变化。
QQ群二维码
意见反馈