教学资源的生成方法、装置、设备和存储介质

申请号 CN202410076487.5 申请日 2024-01-18 公开(公告)号 CN117975967A 公开(公告)日 2024-05-03
申请人 科大讯飞股份有限公司; 安徽智慧皆成数字技术有限公司; 发明人 郐吉丰; 石楠; 金晶; 黄玉春; 郑艳艳; 袁龙;
摘要 本 发明 提供一种教学资源的生成方法、装置、设备和存储介质,该方法包括:获取课堂视频;所述课堂视频包括课堂音频和课堂图像,所述课堂图像包括对教学交互终端的显示屏进行录制后得到的录制图像和基于所述教学交互终端的书写板采集的多个轨迹点序列确定的目标图像;从所述课堂音频中提取与预设声纹匹配的目标声纹对应的说话人的目标音频;将所述目标音频转换为第一文本,并在所述录制图像和所述目标图像中提取第一信息;基于所述第一文本和所述第一信息确定教学资源,所述教学资源包括课堂纪要。本发明可以提高教学资源的确定效率。
权利要求

1.一种教学资源的生成方法,其特征在于,包括:
获取课堂视频;所述课堂视频包括课堂音频和课堂图像,所述课堂图像包括对教学交互终端的显示屏进行录制后得到的录制图像和基于所述教学交互终端的书写板采集的多个轨迹点序列确定的目标图像;
从所述课堂音频中提取与预设声纹匹配的目标声纹对应的说话人的目标音频;
将所述目标音频转换为第一文本,并在所述录制图像和所述目标图像中提取第一信息;
基于所述第一文本和所述第一信息确定教学资源,所述教学资源包括课堂纪要。
2.根据权利要求1所述的教学资源的生成方法,其特征在于,所述获取课堂视频,包括:
获取课堂教学过程对应的录制视频,所述录制视频包括所述录制图像和所述课堂音频;
获取基于所述书写板采集的多个轨迹点序列;
确定各所述轨迹点序列对应的目标图像;
基于所述录制视频中各所述录制图像的时间戳和各所述目标图像对应的时间戳,对所述录制视频和所述目标图像进行合成,得到所述课堂视频。
3.根据权利要求1所述的教学资源的生成方法,其特征在于,所述方法还包括:
在接收到用户针对所述课堂纪要中的例题讲解控件的第一指令的情况下,响应于所述第一指令,查找所述课堂视频中各例题对应的讲解视频;
针对各所述例题,输出所述例题的讲解视频,所述讲解视频中包括所述例题的解题思路对应的图像和解题思路对应的讲解音频。
4.根据权利要求3所述的教学资源的生成方法,其特征在于,所述方法还包括:
针对各所述例题,从所述目标音频中提取与所述例题相关的讲解音频,并从所述课堂图像中提取与所述例题相关的讲解图像;
将所述例题对应的讲解音频转换为第二文本,并从所述讲解图像中提取第二信息;
将所述第二文本和所述第二信息输入大语言模型中,得到所述大语言模型输出的所述例题的解题思路;
确定所述解题思路对应的图像;
将所述例题对应的讲解音频和所述解题思路对应的图像进行合成,得到所述例题的讲解视频。
5.根据权利要求4所述的教学资源的生成方法,其特征在于,所述方法还包括:
针对各所述例题,将所述例题对应的文本输入所述大语言模型中,得到所述大语言模型输出的所述例题的相似例题;
将所述相似例题对应的图像和所述解题思路对应的图像进行拼接,得到所述例题的更新后的讲解视频。
6.根据权利要求2所述的教学资源的生成方法,其特征在于,所述基于所述录制视频中各录制图像的时间戳和各所述目标图像对应的时间戳,对所述录制视频和所述目标图像进行合成,得到所述课堂视频,包括:
从所有所述目标图像中确定包含书写信息的书写图像;
基于所述录制视频中各录制图像的时间戳和各所述书写图像对应的时间戳,对所述录制视频和所述书写图像进行合成,得到所述课堂视频。
7.根据权利要求1‑6任一项所述的教学资源的生成方法,其特征在于,所述教学资源还包括教学文本;所述方法还包括:
将所述课堂音频转换为第一教学文本;
将所述第一教学文本输入大语言模型中,得到所述大语言模型输出的第二教学文本,所述第二教学文本为对所述第一教学文本进行规整后得到的文本;所述第二教学文本为在接收到用户输入的针对文本规整控件的第二指令的情况下显示的文本。
8.根据权利要求7所述的教学资源的生成方法,其特征在于,所述方法还包括:
在接收到用户触发的在所述课堂视频对应的进度条上的悬停操作的情况下,确定所述悬停操作对应的目标时刻;
在预设位置显示所述目标时刻对应的课堂图像,并在显示所述第一教学文本的情况下,将所述第一教学文本中所述目标时刻对应的文本进行标记。
9.根据权利要求7所述的教学资源的生成方法,其特征在于,所述方法还包括:
将所述第一教学文本输入所述大语言模型中,得到所述大语言模型输出的多个分段文本;
针对各所述分段文本,从所述课堂视频中提取与所述分段文本对应的课堂子视频;
确定所述课堂子视频的起始时刻和终止时刻;
在所述课堂视频对应的进度条的目标位置处显示所述分段文本,所述目标位置为用于用于表征所述课堂子视频的起始时刻和终止时刻之间的位置。
10.根据权利要求7所述的教学资源的生成方法,其特征在于,所述方法还包括:
将所述第一教学文本输入所述大语言模型中,得到所述大语言模型输出的第三教学文本,所述第三教学文本包括从所述第一教学文本中提取的提问文本和任务文本;
在显示所述第一教学文本的情况下,将所述提问文本和任务文本进行标记。
11.一种教学资源的生成装置,其特征在于,包括:
获取模,用于获取课堂视频;所述课堂视频包括课堂音频和课堂图像,所述课堂图像包括对教学交互终端的显示屏进行录制后得到的录制图像和基于所述教学交互终端的书写板采集的多个轨迹点序列确定的目标图像;
提取模块,用于从所述课堂音频中提取与预设声纹匹配的目标声纹对应的说话人的目标音频;
转换模块,用于将所述目标音频转换为第一文本;
所述提取模块,还用于在所述录制图像和所述目标图像中提取第一信息;
确定模块,用于基于所述第一文本和所述第一信息确定教学资源,所述教学资源包括课堂纪要。
12.一种电子设备,包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述程序时实现如权利要求1至10任一项所述教学资源的生成方法。
13.一种非暂态计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1至10任一项所述教学资源的生成方法。

说明书全文

教学资源的生成方法、装置、设备和存储介质

技术领域

[0001] 本发明涉及人工智能技术领域,尤其涉及一种教学资源的生成方法、装置、设备和存储介质。

背景技术

[0002] 随着现代教育技术的发展,课堂教学已经不仅仅局限于传统的面对面教学方式。在线教育、远程教育等新型教学方式逐渐普及,使得课堂教学的内容和形式更加丰富多样。
[0003] 目前,一些在线教育平台会提供课堂教学录制的功能,以提高学生对课堂教学内容的学习效果和掌握情况,例如,可以通过电脑等设备进行课堂教学录制。另外,为了让学生能够一目了然的了解本次课堂教学的内容,教师通常还会整理一些教学资源,例如整理或者记录课堂纪要等,学生可以通过教师整理的教学资源和电脑录制的课堂教学视频进行课堂教学的回顾。
[0004] 然而,现在通常都是教师通过手动方式整理教学资源,使得教学资源的确定效率较低。

发明内容

[0005] 本发明提供一种教学资源的生成方法、装置、设备和存储介质,用以解决现有技术中教学资源的确定效率较低的缺陷,实现提高教学资源的确定效率的目的。
[0006] 本发明提供一种教学资源的生成方法,包括:
[0007] 获取课堂视频;所述课堂视频包括课堂音频和课堂图像,所述课堂图像包括对教学交互终端的显示屏进行录制后得到的录制图像和基于所述教学交互终端的书写板采集的多个轨迹点序列确定的目标图像;
[0008] 从所述课堂音频中提取与预设声纹匹配的目标声纹对应的说话人的目标音频;
[0009] 将所述目标音频转换为第一文本,并在所述录制图像和所述目标图像中提取第一信息;
[0010] 基于所述第一文本和所述第一信息确定教学资源,所述教学资源包括课堂纪要。
[0011] 根据本发明提供的一种教学资源的生成方法,所述获取课堂视频,包括:
[0012] 获取课堂教学过程对应的录制视频,所述录制视频包括所述录制图像和所述课堂音频;
[0013] 获取基于所述书写板采集的多个轨迹点序列;
[0014] 确定各所述轨迹点序列对应的目标图像;
[0015] 基于所述录制视频中各所述录制图像的时间戳和各所述目标图像对应的时间戳,对所述录制视频和所述目标图像进行合成,得到所述课堂视频。
[0016] 根据本发明提供的一种教学资源的生成方法,所述方法还包括:
[0017] 在接收到用户针对所述课堂纪要中的例题讲解控件的第一指令的情况下,响应于所述第一指令,查找所述课堂视频中各例题对应的讲解视频;
[0018] 针对各所述例题,输出所述例题的讲解视频,所述讲解视频中包括所述例题的解题思路对应的图像和解题思路对应的讲解音频。
[0019] 根据本发明提供的一种教学资源的生成方法,所述方法还包括:
[0020] 针对各所述例题,从所述目标音频中提取与所述例题相关的讲解音频,并从所述课堂图像中提取与所述例题相关的讲解图像;
[0021] 将所述例题对应的讲解音频转换为第二文本,并从所述讲解图像中提取第二信息;
[0022] 将所述第二文本和所述第二信息输入所述大语言模型中,得到所述大语言模型输出的所述例题的解题思路;
[0023] 确定所述解题思路对应的图像;
[0024] 将所述例题对应的讲解音频和所述解题思路对应的图像进行合成,得到所述例题的讲解视频。
[0025] 根据本发明提供的一种教学资源的生成方法,所述方法还包括:
[0026] 针对各所述例题,将所述例题对应的文本输入所述大语言模型中,得到所述大语言模型输出的所述例题的相似例题;
[0027] 将所述相似例题对应的图像和所述解题思路对应的图像进行拼接,得到所述例题的更新后的讲解视频。
[0028] 根据本发明提供的一种教学资源的生成方法,所述基于所述录制视频中各录制图像的时间戳和各所述目标图像对应的时间戳,对所述录制视频和所述目标图像进行合成,得到所述课堂视频,包括:
[0029] 从所有所述目标图像中确定包含书写信息的书写图像;
[0030] 基于所述录制视频中各录制图像的时间戳和各所述书写图像对应的时间戳,对所述录制视频和所述书写图像进行合成,得到所述课堂视频。
[0031] 根据本发明提供的一种教学资源的生成方法,所述教学资源还包括教学文本;所述方法还包括:
[0032] 将所述课堂音频转换为第一教学文本;
[0033] 将所述第一教学文本输入所述大语言模型中,得到所述大语言模型输出的第二教学文本,所述第二教学文本为对所述第一教学文本进行规整后得到的文本;所述第二教学文本为在接收到用户输入的针对文本规整控件的第二指令的情况下显示的文本。
[0034] 根据本发明提供的一种教学资源的生成方法,所述方法还包括:
[0035] 在接收到用户触发的在所述课堂视频对应的进度条上的悬停操作的情况下,确定所述悬停操作对应的目标时刻;
[0036] 在预设位置显示所述目标时刻对应的课堂图像,并在显示所述第一教学文本的情况下,将所述第一教学文本中所述目标时刻对应的文本进行标记。
[0037] 根据本发明提供的一种教学资源的生成方法,所述方法还包括:
[0038] 将所述第一教学文本输入所述大语言模型中,得到所述大语言模型输出的多个分段文本;
[0039] 针对各所述分段文本,从所述课堂视频中提取与所述分段文本对应的课堂子视频;
[0040] 确定所述课堂子视频的起始时刻和终止时刻;
[0041] 在所述课堂视频对应的进度条的目标位置处显示所述分段文本,所述目标位置为用于用于表征所述课堂子视频的起始时刻和终止时刻之间的位置。
[0042] 根据本发明提供的一种教学资源的生成方法,所述方法还包括:
[0043] 将所述第一教学文本输入所述大语言模型中,得到所述大语言模型输出的第三教学文本,所述第三教学文本包括从所述第一教学文本中提取的提问文本和任务文本;
[0044] 在显示所述第一教学文本的情况下,将所述提问文本和任务文本进行标记。
[0045] 本发明还提供一种教学资源的生成装置,包括:
[0046] 获取模,用于获取课堂视频;所述课堂视频包括课堂音频和课堂图像,所述课堂图像包括对教学交互终端的显示屏进行录制后得到的录制图像和基于所述教学交互终端的书写板采集的多个轨迹点序列确定的目标图像;
[0047] 提取模块,用于从所述课堂音频中提取与预设声纹匹配的目标声纹对应的说话人的目标音频;
[0048] 转换模块,用于将所述目标音频转换为第一文本;
[0049] 所述提取模块,还用于在所述录制图像和所述目标图像中提取第一信息;
[0050] 确定模块,用于基于所述第一文本和所述第一信息确定教学资源,所述教学资源包括课堂纪要。
[0051] 本发明还提供一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时实现如上述任一种所述教学资源的生成方法。
[0052] 本发明还提供一种非暂态计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现如上述任一种所述教学资源的生成方法。
[0053] 本发明还提供一种计算机程序产品,包括计算机程序,所述计算机程序被处理器执行时实现如上述任一种所述教学资源的生成方法。
[0054] 本发明提供的教学资源的生成方法、装置、设备和存储介质,通过获取课堂视频,该课堂视频包括课堂音频和课堂图像,课堂图像包括对教学交互终端的显示屏进行录制后得到的录制图像和基于教学交互终端的书写板采集的多个轨迹点序列确定的目标图像,从课堂音频中提取与预设声纹匹配的目标声纹对应的说话人的目标音频,将目标音频转换为第一文本,并在录制图像和目标图像中提取第一信息,并基于第一文本和第一信息确定教学资源,该教学资源包括课堂纪要。由于可以基于目标音频转换后的第一文本、以及基于从录制的录制图像和教师的书写轨迹确定的目标图像中提取的第一信息,通过语义理解分析后可以自动生成教学资源,例如可以生成课堂纪要,从而避免教师通过手动方式整理教学资源的现象,提高了教学资源确定的效率。附图说明
[0055] 为了更清楚地说明本发明或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
[0056] 图1为本发明实施例提供的教学资源的生成方法的流程示意图;
[0057] 图2为本发明实施例提供的教学交互终端的结构示意图;
[0058] 图3为本发明实施例提供的课堂纪要的示意图;
[0059] 图4为本发明实施例提供的例题讲解视频的示意图;
[0060] 图5为本发明实施例提供的规整后文本的示意图;
[0061] 图6为本发明实施例提供的教学文本的显示示意图之一;
[0062] 图7为本发明实施例提供的教学文本的显示示意图之二;
[0063] 图8为本发明实施例提供的教学文本的显示示意图之三;
[0064] 图9为本发明实施例提供的对第一教学文本进行标记的示意图;
[0065] 图10为本发明实施例提供的视频和文本对照显示的示意图;
[0066] 图11为本发明实施例提供的对教学文本进行标记的示意图;
[0067] 图12为本发明实施例提供的对课堂视频大小进行调整的示意图;
[0068] 图13是本发明实施例提供的教学资源的生成装置的结构示意图;
[0069] 图14示例了一种电子设备的实体结构示意图。

具体实施方式

[0070] 为使本发明的目的、技术方案和优点更加清楚,下面将结合本发明中的附图,对本发明中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
[0071] 目前,在课堂教学过程中,为了提升课堂教学效果,让学生能及时回顾课堂内容,会对课堂教学过程进行录制。另外,教师在课后还会进行教学资源的一些整理,例如整理本次课堂中的重点或者难点、以及课堂纪要等,以使学生更有针对性的进行教学回顾。然而,目前的方式中,需要教师手动整理教学资源,费事费,且使得教学资源的确定效率较低。
[0072] 本发明实施例中考虑到上述问题,提出一种教学资源的生成方法,在该方法中,通过获取包括课堂音频和课堂图像的课堂视频,该课堂图像包括对显示屏进行录制后得到的录制图像和基于书写板采集的多个轨迹点序列确定的目标图像,并从录制的课堂音频中分离出教师的目标音频后,基于目标音频转换后的第一文本、以及在录制图像和目标图像中提取的第一信息确定教学资源,该确定出的教学资源中包括有课堂纪要。由于可以基于目标音频转换后的第一文本、以及基于从录制的录制图像和教师的书写轨迹确定的目标图像中提取的第一信息,通过语义理解分析后可以自动生成教学资源,例如可以生成课堂纪要,从而避免教师通过手动方式整理教学资源的现象,提高了教学资源确定的效率。
[0073] 下面结合图1至图12对本发明实施例提供的教学资源的生成方法进行描述。本发明实施例可以适用于远程教学、在线教学或者其他任意的教学课堂中,通过录制的教学视频生成教学资源的场景中。本方法的执行主体可以是教学交互终端、智能摄像机、计算机、服务器、服务器集群或专设计的教学资源的生成设备等电子设备,也可以是设置在该电子设备中的教学资源的生成装置,该教学资源的生成装置可以通过软件硬件或两者的结合来实现。
[0074] 图1为本发明实施例提供的教学资源的生成方法的流程示意图,如图1所示,该方法包括:
[0075] 步骤101:获取课堂视频;课堂视频包括课堂音频和课堂图像,该课堂图像包括对教学交互终端的显示屏进行录制后得到的录制图像和基于教学交互终端的书写板采集的多个轨迹点序列确定的目标图像。
[0076] 图2为本发明实施例提供的教学交互终端的结构示意图,如图2所示,该教学交互终端20包括显示屏21、设置在显示屏21侧方的书写板22和麦克(未示出)和处理器(未示出),其中,书写板22又可以称为副板,在书写板的下方设置有红外设备,该红外设备用于检测在书写板上是否存在书写笔迹。若教师在书写板上进行书写时,红外设备会采集书写笔迹对应的轨迹点序列,并将该轨迹点序列发送至处理器。处理器可以基于书写板上采集的多个轨迹点序列确定目标图像,该目标图像中包括教师在书写板上进行书写时书写笔迹。
[0077] 另外,教师在进行课堂教学时,会将教学课件投影至显示屏进行显示,因此,对显示屏进行录制后得到的录制图像中,包括有教学课件,以及显示屏上显示的其他内容。进一步地,在课堂教学过程中,教师会对教学课件以及书写内容进行讲解,因此,在进行录制时,还会通过麦克风采集课堂教学过程中的音频,形成课堂音频。
[0078] 应理解,该课堂音频可能不仅包括有教师的语音信息,还可能包括学生回答问题或者其他互动的语音信息。
[0079] 将课堂音频和得到的各种图像按照采集的时间戳进行视频合成,从而可以得到课堂视频。因此,该课堂视频中包括有课堂音频、录制图像和目标图像。
[0080] 步骤102:从课堂音频中提取与预设声纹匹配的目标声纹对应的说话人的目标音频。
[0081] 在本步骤中,在获取到课堂视频后,从该课堂视频中分离出课堂音频,并对课堂音频进行声纹识别,得到多个说话人的声纹,并将这些声纹和预设声纹进行匹配,确定与预设声纹相匹配的目标声纹。
[0082] 进一步地,由于在确定教学资源时,尤其是在生成课堂纪要时,通常只需要根据教师讲解的内容生成,教师和学生的互动内容以及学生的回答内容对课堂纪要的生成作用不是很大。因此,为了降低工作量,减少无用信息的干扰,在本实施例中,可以从课堂音频中提取目标声纹对应的说话人的目标音频。其中,目标声纹对应的说话人例如可以为教师。
[0083] 示例性的,上述目标声纹对应的说话人还可以为某个学生,通过从课堂音频中提取该学生的音频,从而可以确定出该学生在课堂中的互动情况,如知识提问或者教学回答情况等,从而可以基于该互动情况进行该学生的成长记录分析。
[0084] 步骤103:将目标音频转换为第一文本,并在录制图像和目标图像中提取第一信息。
[0085] 在本步骤中,在提取出目标音频后,可以进行语音文本的转换,从而得到该目标音频对应的第一文本。
[0086] 另外,录制图像中包括有教师在讲课时的课件内容,目标图像中包括有教师在书写板上的书写笔迹,该课件内容和书写笔迹对于教学资源的生成也是非常有帮助的。因此,为了提升生成的教学资源的全面性,还可以从录制图像和目标图像中提取第一信息。该第一信息中包括有课件内容中的相关信息和书写笔迹中的相关信息,第一信息包括文本和/或图形,例如教师在课件中制作的文字和图形以及在书写板上书写的文字和图形等。
[0087] 应理解,课件内容通常是以幻灯片的方式呈现的,因此,电子设备可以基于幻灯片的页码进行内容的切分,从而基于切分后的内容进行关键信息提取,再从得到的关键信息中提取第一信息。
[0088] 步骤104:基于第一文本和第一信息确定教学资源,教学资源包括课堂纪要。
[0089] 在本步骤中,在教学资源包括课堂纪要时,可以将得到的第一文本和第一信息输入至大语言模型中,从而得到大语言模型输出的课堂纪要。
[0090] 图3为本发明实施例提供的课堂纪要的示意图,如图3所示,生成的课堂纪要可以包括“课程导入”、“新知讲解”、“应用拓展”、“应用新知”和“课堂小结”。将第一文本和第一信息输入至大语言模型后,通过大语言模型对第一文本和第一信息进行语义理解,从而可以总结梳理出上述课堂纪要中的各部分内容。其中,大语言模型例如可以为讯飞星火大模型(IFlytek Spark),也可以为其他能够对文本语义进行理解和处理的模型。
[0091] 以“新知讲解”为例,对于知识梳理部分,可以是在对第一文本和第一信息进行语义理解后,提取出第一文本和第一信息中的目标知识点后,基于预先构建的知识点和知识图谱的对应关系,确定与该目标知识点对应的目标知识图谱,从而将目标知识图谱添加至“新知讲解”中。当然,也可以通过对大语言模型进行迭代训练,从而通过大语言模型对第一文本和第一信息进行知识总结后,确定出目标知识图谱。
[0092] 本发明实施例提供的教学资源的生成方法,通过获取课堂视频,该课堂视频包括课堂音频和课堂图像,课堂图像包括对教学交互终端的显示屏进行录制后得到的录制图像和基于教学交互终端的书写板采集的多个轨迹点序列确定的目标图像,从课堂音频中提取与预设声纹匹配的目标声纹对应的说话人的目标音频,将目标音频转换为第一文本,并在录制图像和目标图像中提取第一信息,并基于第一文本和第一信息确定教学资源,该教学资源包括课堂纪要。由于可以基于目标音频转换后的第一文本、以及基于从录制的录制图像和教师的书写轨迹确定的目标图像中提取的第一信息,通过语义理解分析后可以自动生成教学资源,例如可以生成课堂纪要,从而避免教师通过手动方式整理教学资源的现象,提高了教学资源确定的效率。
[0093] 示例性的,在上述各实施例的基础上,在获取课堂视频时,可以通过获取课堂教学过程对应的录制视频,该录制视频包括录制图像和课堂音频,并获取基于书写板采集的多个轨迹点序列;确定各轨迹点序列对应的目标图像;基于录制视频中各录制图像的时间戳和各目标图像对应的时间戳,对录制视频和目标图像进行合成,得到课堂视频。
[0094] 具体地,课堂教学过程可以理解为教师在进行授课的过程。在一种实现方式中,教学交互终端可以通过检测关键词来识别课堂教学过程的开始和结束,例如,若识别到“现在开始上课”等关键词时,教学交互终端将自动开启视频的录制,若识别到“下课”等关键词时,教学交互终端将自动关闭视频的录制,从而可以实现无感知的教学视频的录制。应理解,在进行视频录制时,不仅可以通过麦克风采集整个课堂教学过程中的语音信息,以录制课堂音频,而且还可以对教学交互终端的显示屏进行录制,得到录制图像,该录制图像中包括有教师投影至显示屏上的教学课件的相关内容。通过上述的录制,可以获取到课堂教学过程对应的录制视频。其中,录制视频包括有录制图像和课堂音频。
[0095] 另外,教师在课堂教学过程中,通常还会在书写板上书写一些内容,因此,设置在书写板下方的红外设备可以检测到多个轨迹点序列,每个轨迹点序列中包括有多个轨迹点,这些轨迹点序列可以组成教师在书写板上书写的内容。红外设备在采集到多个轨迹点序列后,可以将这些轨迹点序列发送至处理器。处理器可以基于各轨迹点序列确定对应的目标图像。应理解,多个轨迹点序列对应的多个目标图像进行合成后,可以得到书写板相关内容的视频信息。
[0096] 进一步地,在进行录制视频的录制时,每录制图像均有各自的时间戳,该时间戳可以理解为录制该录制图像时的时刻。另外,目标图像对应的时间戳可以理解为在目标图像对应的轨迹点序列的书写时刻。因此,为了保证合成后的课堂视频中录制视频和目标图像的一致性,也即在某个时刻,教师在讲解针对某一例题的内容时,录制图像中播放的也是该例题的相关内容,且教师在书写板上书写的也是该例题的相关内容,可以将各录制图像的时间戳和各目标图像对应的轨迹点序列的时间戳进行对齐,从而将对齐后的录制视频和目标图像合成。这样,得到的课堂视频中的录制图像、课堂音频和书写轨迹时间的一致性。
[0097] 需要进行说明的是,生成的课堂视频中,针对显示屏的录制视频和针对书写板上的目标图像合成的书写板视频可以一起控制,如仅显示一条进度条,该进度条可以同步控制录制视频和书写板视频,也可以独立控制,如录制视频和书写板视频各自有一条进度条,两者可以独立播放及显示。还可以将书写板视频放大且居中显示,或者仅显示书写板视频等。另外,如图2所示,在显示屏的两侧通常均设置有书写板,对于每个书写板,均可以生成其各自对应的书写板视频。因此,在显示时,可以同时播放两个书写板视频的内容,也可以仅播放其中任意一个书写板视频的内容,其他书写板视频和显示屏的录制视频不播放等。
[0098] 在本实施例中,在获取到课堂教学过程对应的录制视频以及基于书写板采集的各轨迹点序列对应的目标图像后,可以基于录制视频中的各录制图像的时间戳和各目标图像对应的时间戳,将录制视频和目标图像进行合成,得到课堂视频,从而可以保证该课堂视频中的录制图像、课堂音频和书写轨迹时间的一致性。
[0099] 示例性的,在上述实施例的基础上,在基于录制视频中各录制图像的时间戳和各目标图像对应的时间戳,对录制视频和目标图像进行合成,得到课堂视频时,可以从所有目标图像中确定包含书写信息的书写图像;基于录制视频中各录制图像的时间戳和各书写图像对应的时间戳,对录制视频和书写图像进行合成,得到课堂视频。
[0100] 具体地,由于教师通常会在书写板上写下教学知识脉络和总结性语言等内容,且书写的时间通常会存在间隔性,因此,可以根据书写板上笔迹产生的轨迹点时刻,将无轨迹点的视频内容处理掉,可单独保留教师总结性视频,也即可以从所有的目标图像中确定只包含有书写信息的书写图像,从而可以基于录制视频中各录制图像的时间戳和各书写图像对应的时间戳,对录制视频和书写图像进行合成,得到课堂视频。需要进行说明的是,在该场景下,课堂视频中针对显示屏的录制视频和针对书写图像合成的书写视频,两者可以独立控制,也即两者各自有自己的进度条,可以独立播放和显示。
[0101] 应理解,也可以针对剪辑的只包含有书写信息的书写图像单独生成针对书写板的书写视频。
[0102] 在本实施例中,由于可以从所有目标图像中确定包含有书写信息的书写图像,并基于录制视频中各录制图像的时间戳和各书写图像对应的时间戳,对录制视频和书写图像进行合成,得到课堂视频,这样,由于书写图像中仅包含有教师的书写信息,该视频内容时长更短,对学生进行知识回顾时的价值更高,从而进一步提升了人机交互的智能化程度。
[0103] 示例性的,在上述各实施例的基础上,在本发明实施例中,为了提高学生对课堂内容的掌握程度,针对课堂教学过程中涉及到的例题,还可以生成单独的讲解视频。可选地,在接收到用户针对课堂纪要中的例题讲解控件的第一指令的情况下,响应于第一指令,查找课堂视频中各例题对应的讲解视频;针对各例题,输出例题的讲解视频,讲解视频中包括例题的解题思路对应的图像和解题思路对应的讲解音频。
[0104] 具体地,在生成的课堂纪要中包括有例题讲解控件,如图3中的“典例生成”控件。当学生想要查看在课堂教学过程中教师讲解的例题时,可以点击该控件。电子设备在接收到用户针对例题讲解控件的第一指令时,将响应于该第一指令,并从视频库中查找预先生成的各例题对应的讲解视频。可以理解的是,这些例题通常为课堂视频中教师讲解的例题。
[0105] 其中,第一指令可以包括触控指令、语音指令、手势指令或者其他任何能够进行讲解视频查找的指令。
[0106] 图4为本发明实施例提供的例题讲解视频的示意图,如图4所示,电子设备在查找到各例题对应的讲解视频后,针对各例题,将会输出该例题的讲解视频。其中,讲解视频中包括例题的解题思路对应的图像和解题思路对应的讲解音频。例如,解题思路对应的图像可以包括图4中左侧的例题以及右侧的解题步骤,该解题步骤可以为通过调用大语言模型,对教师针对该例题的讲解音频以及课件和书写笔迹中与该例题相关的内容进行语义分析总结出的。
[0107] 在上述方式中,由于在接收到用户针对例题讲解控件的第一指令时,可以查找课堂视频中各例题对应的讲解视频,从而输出各例题的讲解视频,这样,可以方便学生针对性的查看涉及课堂视频中各例题的相关内容,使得学生可以更有针对性的进行学习,提高了人机交互的智能化程度,提升了用户的体验。
[0108] 示例性的,在上述实施例中,各例题的讲解视频可以基于如下方式得到:
[0109] 针对各例题,从目标音频中提取与例题相关的讲解音频,并从课堂图像中提取与例题相关的讲解图像;将例题对应的讲解音频转换为第二文本,并从讲解图像中提取第二信息;将第二文本和第二信息输入大语言模型中,得到大语言模型输出的例题的解题思路;确定解题思路对应的图像;将例题对应的讲解音频和解题思路对应的图像进行合成,得到例题的讲解视频。
[0110] 具体地,对于在课堂教学过程中涉及到的每个例题来说,在生成讲解视频时,通常仅需要基于教师的目标音频,而教师和学生的互动以及学生的回答内容作用并不是很大,因此,可以从教师讲解的目标音频中提取与该例题相关的讲解音频。在一种可能的实现方式中,可以将目标音频转换为文本后,将转换后的文本输入至大语言模型中,通过大语言模型对转换后的文本进行语义分析,从而提取出与例题相关的文本,再基于提取的文本获取该例题的讲解音频。在另一种可能的实现方式中,也可以基于转换后的文本进行关键词识别,从而基于识别到的文本确定与例题相关的文本,再基于识别的文本获取该例题的讲解音频,其中,关键词可以为例题中的某个分词或者其他预设的与该例题相关的分词。
[0111] 另外,与该例题相关的内容除了教师的讲解音频之外,教师制作的关于该例题的课件和在书写板上书写的内容也很重要,因此,还需要从课堂图像中提取与该例题相关的讲解图像,也即从显示屏上显示的课件和书写板上的书写内容中提取与例题相关的讲解图像。
[0112] 在提取出讲解音频和讲解图像后,会将讲解音频转换为第二文本,并从讲解图像中提取第二信息,该第二信息包括文本信息和/或图形信息。
[0113] 将该第二文本和第二信息输入至大语言模型中,通过大语言模型对第二文本和第二信息进行语义理解,得到大语言模型输出的该例题的解题思路。另外,为了方便显示,还可以将获得的解题思路渲染成对应的图像,如图4所示,该解题思路对应的图像中包括“试题切片”、“思路梳理”和“解题过程”。
[0114] 进一步地,可以将例题对应的讲解音频和解题思路对应的图像进行合成,从而可以得到该例题的讲解视频。
[0115] 为了进一步提升用户体验,还可以基于该例题对应的讲解音频中每帧音频的时间戳,为解题思路中的每个部分添加时间戳,并在合成讲解视频时,可以将上述两个时间戳对齐,从而可以达到在讲解音频中对例题的题目进行分析时,讲解视频中显示“试题切片”,在讲解音频中对例题的解题思路进行分析时,讲解视频中显示“思路梳理”,在讲解音频中对例题的解题过程进行分析时,讲解视频中显示“解题过程”。
[0116] 在本实施例中,可以针对每个例题生成对应的讲解视频,从而可以方便学生针对性的查看对于例题的讲解,使得学生的学习更有针对性,能够进一步提升用户的体验,另外,由于可以单独生成对于例题的讲解视频,可以使得生成的教学资源的灵活性更高。
[0117] 进一步地,为了使得学生能够更好的掌握课堂内容,教师通常会在讲完例题之后还会找一些相似题目,以对学生掌握的知识进行巩固。现有技术中,教师通常需要翻阅资料手动查找,费时费力。为了解决这一问题,在本发明实施例中,针对各例题,可以将例题对应的文本输入大语言模型中,得到大语言模型输出的例题的相似例题,并将相似例题对应的图像和解题思路对应的图像进行拼接,得到例题的更新后的讲解视频。
[0118] 具体地,对于每个例题,通过语音转文本的方式或者通过光学字符识别(Optical Character Recognition,OCR)可以得到例题对应的文本。将得到的例题文本输入大语言模型后,通过大语言模型对该例题文本进行语义理解后,可以从知识库中查找该例题的相似例题,从而通过大语言模型输出该相似例题。
[0119] 进一步地,可以将相似例题渲染为图像,如图4中的“相关训练”,并将相似例题对应的图像和解题思路对应的图像进行拼接,从而可以得到图4中右侧的“解题步骤”的图像,采用拼接后的图像更新该例题的讲解视频中的解题思路对应的图像,从而可以得到例题的更新后的讲解视频。
[0120] 另外,在一种可能的实现方式中,可以先获取多个初始相似题目,并计算每个初始相似题目的难度系数和该例题的难度系数,从而将与该例题的难度系数的差值小于预设值的初始相似题目作为最终的相似例题。在另一种可能的实现方式中,也可以在获取到多个初始相似例题后,并获取历史时间段内,其他学生对每个初始相似例题的解题正确率,将解题正确率低于预设正确率的初始相似例题作为最终的相似例题。通过上述两种方式,可以使得最终输出的相似例题更具有针对性。
[0121] 在本实施例中,可以在讲解视频中添加例题的相似例题,可以达到巩固学生学习内容的目的,进一步提升了用户的体验。另外,通过大语言模型可以直接输出相似例题,可以提高相似例题确定的效率,而且可以避免教师手动查找相似例题的现象,因此,可以节约人力成本。
[0122] 示例性的,在上述各实施例的基础上,教学资源还包括教学文本,在确定教学文本时,可以将课堂音频转换为第一教学文本;将第一教学文本输入大语言模型中,得到大语言模型输出的第二教学文本,第二教学文本为对第一教学文本进行规整后得到的文本;第二教学文本为在接收到用户输入的针对文本规整控件的第二指令的情况下显示的文本。
[0123] 具体地,图5为本发明实施例提供的规整后文本的示意图,如图5所示,可以通过语音识别方式将课堂音频转换为第一教学文本,该第一教学文本中包括有教师授课的内容、教师和学生的互动内容以及学生回答问题的内容等等,该第一教学文本也即如图5中的课堂全文。
[0124] 在课堂全文中通常可能会包含有一些语气词以及对讲课内容的重要度低于预设值的内容,因此,为了能更好的凸显出课堂教学的重点内容,就需要对得到的第一教学文本进行规整。具体地,可以将第一教学文本输入至大语言模型中,通过大语言模型对第一教学文本进行语义识别,从而筛选出重要度大于或等于预设值的内容,以对第一教学文本进行规整,得到大语言模型输出的规整后的第二教学文本。其中,规整可以理解为从第一教学文本中删除对教学内容的重要度小于或等于预设值的文本。例如图5,可以将“他认为读书可以开阔眼界、增长见识、提高自己的修养和素质”删除。
[0125] 当电子设备在接收到用户输入的针对文本规整控件的第二指令的情况下,将显示该第二教学文本。图6为本发明实施例提供的教学文本的显示示意图之一,图7为本发明实施例提供的教学文本的显示示意图之二,图8为本发明实施例提供的教学文本的显示示意图之三,如图6所示,在具体的实现过程中,可以采用多种方式显示教学文本,如“仅原文”、“仅规整”和“原文+规整”,其中,如图6所示,当用户选择“仅原文”时,将仅显示第一教学文本。如图7所示,当用户选择“仅规整”时,将仅显示第二教学文本,如图8所示,当用户选择“原文+规整”时,将显示第一教学文本和第二教学文本,从而可以方便的将第一教学文本和第二教学文本进行对比。其中,图7中的“仅规整”和图8中的“原文+规整”可以理解为文本规整控件。其中,第二指令可以包括触控指令、语音指令、手势指令或者其他任何能够触发进行第二教学文本显示的指令。
[0126] 在本实施例中,在将课堂音频转换为第一教学文本后,可以将第一教学文本输入至大语言模型,以对第一教学文本进行规整,得到第二教学文本,在接收到用户输入的针对文本规整控件的第二指令后,将显示第二教学文本,由于可以对第一教学文本进行规整,从而将重要度较低的教学文本删除,这样可以更方便学生查找课堂的重点内容,提升学习体验,而且通过多种方式显示教学文本,可以提升教学文本显示的灵活性。
[0127] 示例性的,在上述各实施例的基础上,还可以是在接收到用户触发的在课堂视频对应的进度条上的悬停操作的情况下,确定悬停操作对应的目标时刻,并在预设位置显示目标时刻对应的课堂图像,并在显示第一教学文本的情况下,将第一教学文本中目标时刻对应的文本进行标记。
[0128] 具体地,图9为本发明实施例提供的对第一教学文本进行标记的示意图,如图9所示,在课堂视频中会设置进度条来控制或者显示课堂视频的播放进度。当用户需要查看未播放时间点的内容时,会将鼠标放置在进度条上进行悬停。电子设备在接收到用户触发的悬停操作时,将确定该悬停操作对应的目标时刻,如“02:17”。在确定出目标时刻后,将从课堂视频中确定该目标时刻对应的课堂图像,并在预设位置处显示该课堂图像,例如可以在如图9所示的进度条的上方显示该目标时刻对应的课堂图像。当然,也可以在其他位置显示该课堂图像,对于课堂图像的具体显示位置,本发明实施例在此不做限制。另外,当确定出在课堂视频中显示有第一教学文本的情况下,例如在用户点击了如图9中的“课堂全文”的控件时,将显示第一教学文本,此时,会将第一教学文本中该目标时刻对应的文本进行标记,以将视频和文本进行对照显示。如将“接下来,我们来看看……”标记为蓝色或者其他颜色,也可以高亮显示,还可以如图9中所示,将该文本采用虚线下划线进行标记。
[0129] 需要进行说明的是,如图9所示,第一教学文本可以按照语义信息进行分段,得到多个分段文本。该目标时刻对应的文本,并不仅仅包括该时刻下的文本,而是包括从该目标时刻开始或者包含该目标时刻的分段文本,例如目标时刻对应的文本可以为“接下来,我们来看看……”这一分段的内容。
[0130] 另外,当用户在点击目标时刻对应的文本时,课堂视频也会跳转至目标时刻开始播放,从而可以实现文本和视频的联动。
[0131] 在本实施例中,在接收到用户触发的在课堂视频对应的进度条上的悬停操作的情况下,将确定悬停操作对应的目标时刻,并在预设位置显示目标时刻对应的课堂图像,并在显示第一教学文本的情况下,将第一教学文本中目标时刻对应的文本进行标记,从而可以实现文本和视频的联动,在提升了视频和文本显示灵活性的同时,还可以让用户在查看课堂视频时,能够一目了然的获知目标时刻对应的课堂视频所讲解的内容,从而提升了人机交互的智能化程度。
[0132] 示例性的,为了进一步提升文本和视频的对照显示效果,还可以将第一教学文本输入大语言模型中,得到大语言模型输出的多个分段文本,针对各分段文本,从课堂视频中提取与分段文本对应的课堂子视频;确定课堂子视频的起始时刻和终止时刻;在课堂视频对应的进度条的目标位置处显示分段文本,目标位置为用于用于表征课堂子视频的起始时刻和终止时刻之间的位置。
[0133] 具体地,图10为本发明实施例提供的视频和文本对照显示的示意图,如图10所示,可以将第一教学文本输入大语言模型中,大语言模型对第一教学文本进行语义理解和分析后,对该第一教学文本按照语义进行分段,从而得到大语言模型输出的多个分段文本。
[0134] 对于每个分段文本,通过对课堂视频中的内容进行分析,可以提取出与该分段文本对应的课堂子视频,课堂子视频可以理解为教师正在讲解这一分段文本时的视频。在确定出课堂子视频之后,可以确定出该课堂子视频的起始时刻和终止时刻,该起始时刻可以理解为开始播放课堂子视频时的时刻,终止时刻可以理解为课堂子视频结束播放时的时刻。
[0135] 进一步地,如图10所示,可以在课堂视频的进度条中用来表征课堂子视频的起始时刻和终止时刻之间的目标位置处显示分段文本。
[0136] 例如,若分段文本“首先,我们来了解一下XX的背景……”对应的课堂子视频的起始时刻是00:30,终止时刻是01:22,因此,可以将分段文本“首先,我们来了解一下XX的背景……”显示在进度条中00:30到01:22的目标位置处。其中,该目标位置可以处于进度条的下方,也可以处于进度条的上方。
[0137] 在本实施例中,通过将第一教学文本按照语义进行分段,得到多个分段文本后,针对每个分段文本,从课堂视频中提取与该分段文本对应的课堂子视频,从而确定该课堂子视频的起始时刻和终止时刻,以将分段文本显示在课堂视频的进度条中起始时刻和终止时刻之间的目标位置处,实现了将分段文本和课堂子视频的对照显示。这样,当学生在查找课堂子视频时,可以基于对照显示的分段文本快速的定位到想要查看的课堂子视频,可以提升课堂子视频的查找效率,提高了用户体验。
[0138] 示例性的,为了使学生能快速的查看到本次课堂教学中关于问题和任务等内容,还可以将第一教学文本输入大语言模型中,得到大语言模型输出的第三教学文本,第三教学文本包括从第一教学文本中提取的提问文本和任务文本,在显示第一教学文本的情况下,将提问文本和任务文本进行标记。
[0139] 具体地,将第一教学文本输入至大语言模型后,大语言模型通过对第一教学文本进行语义理解和分析,从而可以得到第一教学文本中的第三教学文本,该第三教学文本中包括提问文本和任务文本。如图6和图8所示,在显示第一教学文本的情况下,可以将提问文本和任务文本进行标记,如将“请同学们模仿老师的示范,任选一组完成这次作业,把答案拍照上传”标记为绿色,或者加粗显示,或者高亮显示等,还可以如图6和图8中所示的将提问文本和任务文本采用实线下划线标记。
[0140] 在一种实现方式中,可以将提问文本和任务文本分别采用不同的方式进行标记,如提问文本标记为红色,而任务文本标记为绿色等。
[0141] 值得注意的是,也可以将第二教学文本输入至大语言模型中,从而提取第二教学文本中的提问文本和任务文本,如图7所示,可以将第二教学文本中的任务文本采用下划线进行标记,并将提问文本采用加粗下划线进行标记。
[0142] 在本实施例中,在显示第一教学文本时,可以将第一教学文本中的提问文本和任务文本进行标记,使得学生可以快速的查找到重点内容,提升了人机交互的智能化程度。
[0143] 示例性的,图11为本发明实施例提供的对教学文本进行标记的示意图,如图11所示,在第一教学文本和/或第二教学文本中出现错误文本时,可以对错误文本进行编辑,例如,通过单击第一教学文本和/或第二教学文本,以对第一教学文本和/或第二教学文本中的错误文本进行编辑,在编辑完成后,点击“完成”控件,即可完成对教学文本的编辑。另外,还可以对第一教学文本和/或第二教学文本执行双击操作,以播放或者回听课堂视频。另外,还可以确定双击的位置,从而基于该双击位置,确定对应的课堂视频的播放位置。
[0144] 在本实施例中,由于可以对第一教学文本和/或第二教学文本进行编辑,可以提高第一教学文本和/或第二教学文本的显示灵活性,以保证第一教学文本和/或第二教学文本的正确性。
[0145] 示例性的,图12为本发明实施例提供的对课堂视频大小进行调整的示意图,如图12所示,该课堂视频包括有不同的窗口,如左侧用于显示课件内容或者课堂图像的窗口以及右侧用于显示课堂全文或者课堂纪要的窗口,通过拖拽窗口的边缘,可以调整不同窗口的位置,还可以对窗口进行隐藏,从而可以使得窗口的位置显示更加灵活。
[0146] 示例性的,还可以通过对不同窗口的点击操作,以最大化、最小化或者随意调整窗口的大小,使得窗口大小的显示也较为灵活。
[0147] 下面对本发明提供的教学资源的生成装置进行描述,下文描述的教学资源的生成装置与上文描述的教学资源的生成方法可相互对应参照。
[0148] 图13是本发明实施例提供的教学资源的生成装置的结构示意图,参照图13所示,教学资源的生成装置1300包括:
[0149] 获取模块1301,用于获取课堂视频;所述课堂视频包括课堂音频和课堂图像,所述课堂图像包括对教学交互终端的显示屏进行录制后得到的录制图像和基于所述教学交互终端的书写板采集的多个轨迹点序列确定的目标图像;
[0150] 提取模块1302,用于从所述课堂音频中提取与预设声纹匹配的目标声纹对应的说话人的目标音频;
[0151] 转换模块1303,用于将所述目标音频转换为第一文本;
[0152] 所述提取模块1302,还用于在所述录制图像和所述目标图像中提取第一信息;
[0153] 确定模块1304,用于基于所述第一文本和所述第一信息确定教学资源,所述教学资源包括课堂纪要。
[0154] 在一种示例实施例中,所述获取模块1301,具体用于:
[0155] 获取课堂教学过程对应的录制视频,所述录制视频包括所述录制图像和所述课堂音频;
[0156] 获取基于所述书写板采集的多个轨迹点序列;
[0157] 确定各所述轨迹点序列对应的目标图像;
[0158] 基于所述录制视频中各所述录制图像的时间戳和各所述目标图像对应的时间戳,对所述录制视频和所述目标图像进行合成,得到所述课堂视频。
[0159] 在一种示例实施例中,所述装置还包括:查找模块和输出模块,其中:
[0160] 查找模块,用于在接收到用户针对所述课堂纪要中的例题讲解控件的第一指令的情况下,响应于所述第一指令,查找所述课堂视频中各例题对应的讲解视频;
[0161] 输出模块,用于针对各所述例题,输出所述例题的讲解视频,所述讲解视频中包括所述例题的解题思路对应的图像和解题思路对应的讲解音频。
[0162] 在一种示例实施例中,所述装置还包括输入模块和合成模块,其中:
[0163] 所述提取模块1302,还用于针对各所述例题,从所述目标音频中提取与所述例题相关的讲解音频,并从所述课堂图像中提取与所述例题相关的讲解图像;
[0164] 转换模块1303,还用于将所述例题对应的讲解音频转换为第二文本;
[0165] 所述提取模块1302,还用于从所述讲解图像中提取第二信息;
[0166] 输入模块,用于将所述第二文本和所述第二信息输入所述大语言模型中,得到所述大语言模型输出的所述例题的解题思路;
[0167] 确定模块1304,还用于确定所述解题思路对应的图像;
[0168] 合成模块,用于将所述例题对应的讲解音频和所述解题思路对应的图像进行合成,得到所述例题的讲解视频。
[0169] 在一种示例实施例中,所述装置还包括:拼接模块,其中:
[0170] 输入模块,还用于针对各所述例题,将所述例题对应的文本输入所述大语言模型中,得到所述大语言模型输出的所述例题的相似例题;
[0171] 拼接模块,用于将所述相似例题对应的图像和所述解题思路对应的图像进行拼接,得到所述例题的更新后的讲解视频。
[0172] 在一种示例实施例中,获取模块1301,具体用于:
[0173] 从所有所述目标图像中确定包含书写信息的书写图像;
[0174] 基于所述录制视频中各录制图像的时间戳和各所述书写图像对应的时间戳,对所述录制视频和所述书写图像进行合成,得到所述课堂视频。
[0175] 在一种示例实施例中,所述教学资源还包括教学文本;
[0176] 所述转换模块1303,还用于将所述课堂音频转换为第一教学文本;
[0177] 输入模块,还用于将所述第一教学文本输入所述大语言模型中,得到所述大语言模型输出的第二教学文本,所述第二教学文本为对所述第一教学文本进行规整后得到的文本;所述第二教学文本为在接收到用户输入的针对文本规整控件的第二指令的情况下显示的文本。
[0178] 在一种示例实施例中,所述装置还包括:显示模块,其中:
[0179] 确定模块1304,还用于在接收到用户触发的在所述课堂视频对应的进度条上的悬停操作的情况下,确定所述悬停操作对应的目标时刻;
[0180] 显示模块,用于在预设位置显示所述目标时刻对应的课堂图像,并在显示所述第一教学文本的情况下,将所述第一教学文本中所述目标时刻对应的文本进行标记。
[0181] 在一种示例实施例中,输入模块,还用于将所述第一教学文本输入所述大语言模型中,得到所述大语言模型输出的多个分段文本;
[0182] 提取模块1302,还用于针对各所述分段文本,从所述课堂视频中提取与所述分段文本对应的课堂子视频;
[0183] 确定模块1304,还用于确定所述课堂子视频的起始时刻和终止时刻;
[0184] 显示模块,还用于在所述课堂视频对应的进度条的目标位置处显示所述分段文本,所述目标位置为用于用于表征所述课堂子视频的起始时刻和终止时刻之间的位置。
[0185] 在一种示例实施例中,所述装置还包括:标记模块,其中:
[0186] 输入模块,还用于将所述第一教学文本输入所述大语言模型中,得到所述大语言模型输出的第三教学文本,所述第三教学文本包括从所述第一教学文本中提取的提问文本和任务文本;
[0187] 标记模块,还用于在显示所述第一教学文本的情况下,将所述提问文本和任务文本进行标记。
[0188] 本实施例的装置,可以用于执行教学资源的生成方法侧实施例中任一实施例的方法,其具体实现过程与技术效果与教学资源的生成方法侧实施例中类似,具体可以参见教学资源的生成方法侧实施例中的详细介绍,此处不再赘述。
[0189] 图14示例了一种电子设备的实体结构示意图,如图14所示,该电子设备可以包括:处理器(processor)1410、通信接口(Communications Interface)1420、存储器(memory)
1430和通信总线1440,其中,处理器1410,通信接口1420,存储器1430通过通信总线1440完成相互间的通信。处理器1410可以调用存储器1430中的逻辑指令,以执行教学资源的生成方法,该方法包括:获取课堂视频;所述课堂视频包括课堂音频和课堂图像,所述课堂图像包括对教学交互终端的显示屏进行录制后得到的录制图像和基于所述教学交互终端的书写板采集的多个轨迹点序列确定的目标图像;从所述课堂音频中提取与预设声纹匹配的目标声纹对应的说话人的目标音频;将所述目标音频转换为第一文本,并在所述录制图像和所述目标图像中提取第一信息;基于第一文本和所述第一信息确定教学资源,所述教学资源包括课堂纪要。
[0190] 此外,上述的存储器1430中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘只读存储器(ROM,Read‑Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
[0191] 另一方面,本发明还提供一种计算机程序产品,所述计算机程序产品包括计算机程序,计算机程序可存储在非暂态计算机可读存储介质上,所述计算机程序被处理器执行时,计算机能够执行上述各方法所提供的教学资源的生成方法,该方法包括:获取课堂视频;所述课堂视频包括课堂音频和课堂图像,所述课堂图像包括对教学交互终端的显示屏进行录制后得到的录制图像和基于所述教学交互终端的书写板采集的多个轨迹点序列确定的目标图像;从所述课堂音频中提取与预设声纹匹配的目标声纹对应的说话人的目标音频;将所述目标音频转换为第一文本,并在所述录制图像和所述目标图像中提取第一信息;基于所述第一文本和所述第一信息确定教学资源,所述教学资源包括课堂纪要。
[0192] 又一方面,本发明还提供一种非暂态计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现以执行上述各方法提供的教学资源的生成方法,该方法包括:获取课堂视频;所述课堂视频包括课堂音频和课堂图像,所述课堂图像包括对教学交互终端的显示屏进行录制后得到的录制图像和基于所述教学交互终端的书写板采集的多个轨迹点序列确定的目标图像;从所述课堂音频中提取与预设声纹匹配的目标声纹对应的说话人的目标音频;将所述目标音频转换为第一文本,并在所述录制图像和所述目标图像中提取第一信息;基于所述第一文本和所述第一信息确定教学资源,所述教学资源包括课堂纪要。
[0193] 以上所描述的装置实施例仅仅是示意性的,其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下,即可以理解并实施。
[0194] 通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件。基于这样的理解,上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品可以存储在计算机可读存储介质中,如ROM/RAM、磁碟、光盘等,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
[0195] 最后应说明的是:以上实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
QQ群二维码
意见反馈