用于处理题目的方法、装置及计算机程序产品 |
|||||||
| 申请号 | CN202410082602.X | 申请日 | 2024-01-19 | 公开(公告)号 | CN117911730A | 公开(公告)日 | 2024-04-19 |
| 申请人 | 上海小度技术有限公司; | 发明人 | 陈晓健; 韩倩倩; 范小双; 郭茂通; | ||||
| 摘要 | 本公开提供了一种用于处理题目的方法、装置、 电子 设备、存储介质及程序产品，涉及 人工智能 技术领域，具体涉及 机器视觉 、自然语言理解技术领域，可应用于搜题、讲题场景下。具体实现方案为：识别所获取的目标图像中的待讲解题目；匹配预设题库中的题目和待讲解题目，确定待讲解题目的目标答案；通过预训练的大模型，讲解待讲解题目和目标答案。本公开基于大模型向用户进行针对性地讲解，有助于提高用户在学习过程中的便捷性和学习效率。 | ||||||
| 权利要求 | 1.一种用于处理题目的方法，包括： |
||||||
| 说明书全文 | 用于处理题目的方法、装置及计算机程序产品技术领域背景技术[0002] 用户的日常真实学习场景中，答写作业是非常高频的场景。目前，搜题类应用仅仅支持对搜索答案的直接展示，且现有答案解析多是采用视频推荐的形式，无法满足用户对题目的针对讲解需求。发明内容 [0003] 本公开提供了一种用于处理题目的方法、装置、电子设备、存储介质以及计算机程序产品。 [0004] 根据第一方面，提供了一种用于处理题目的方法，包括：识别所获取的目标图像中的待讲解题目；匹配预设题库中的题目和待讲解题目，确定待讲解题目的目标答案；通过预训练的大模型，讲解待讲解题目和目标答案。 [0005] 根据第二方面，提供了一种用于处理题目的装置，包括：识别单元，被配置成识别所获取的目标图像中的待讲解题目；确定单元，被配置成匹配预设题库中的题目和待讲解题目，确定待讲解题目的目标答案；讲解单元，被配置成通过预训练的大模型，讲解待讲解题目和目标答案。 [0006] 根据第三方面，提供了一种电子设备，包括：至少一个处理器；以及与至少一个处理器通信连接的存储器；其中，存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行如第一方面任一实现方式描述的方法。 [0007] 根据第四方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，计算机指令用于使计算机执行如第一方面任一实现方式描述的方法。 [0008] 根据第五方面，提供了一种计算机程序产品，包括：计算机程序，计算机程序在被处理器执行时实现如第一方面任一实现方式描述的方法。 [0009] 根据本公开的技术，提供了一种用于处理题目的方法，在识别所获取的目标图像中的待讲解题目，并匹配预设题库中的题目和待讲解题目，确定待讲解题目的目标答案后，可以通过预训练的大模型，讲解待讲解题目和目标答案，从而可以基于大模型向用户进行针对性地讲解，有助于提高用户在学习过程中的便捷性和学习效率。 [0011] 附图用于更好地理解本方案，不构成对本公开的限定。其中： [0012] 图1是根据本公开的一个实施例可以应用于其中的示例性系统架构图； [0013] 图2是根据本公开的用于处理题目的方法的一个实施例的流程图； [0015] 图4是根据本实施例的采用思辩驱动式讲题对话策略的预设讲解流程的示意图； [0016] 图5是根据本实施例的数据流转显示架构的结构示意图； [0017] 图6是根据本实施例的用于处理题目的方法的应用场景的示意图； [0018] 图7是根据本公开的用于处理题目的方法的又一个实施例的流程图； [0019] 图8是根据本公开的用于处理题目的装置的一个实施例的结构图； [0020] 图9是适于用来实现本公开实施例的计算机系统的结构示意图。 具体实施方式[0021] 以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。 [0022] 本公开的技术方案中，所涉及的用户个人信息的收集、存储、使用、加工、传输、提供和公开等处理，均符合相关法律法规的规定，且不违背公序良俗。 [0023] 图1示出了可以应用本公开的用于处理题目的方法及装置的示例性架构100。 [0024] 如图1所示，系统架构100可以包括终端设备101、102、103，网络104和服务器105。终端设备101、102、103之间通信连接构成拓扑网络，网络104用以在终端设备101、102、103和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。 [0025] 终端设备101、102、103可以是支持网络连接从而进行数据交互和数据处理的硬件设备或软件。当终端设备101、102、103为硬件时，其可以是支持网络连接，信息获取、交互、显示、处理等功能的各种电子设备，包括但不限于图像采集设备、智能手机、平板电脑、电子书阅读器、膝上型便携计算机和台式计算机等等。当终端设备101、102、103为软件时，可以安装在上述所列举的电子设备中。其可以实现成例如用来提供分布式服务的多个软件或软件模块，也可以实现成单个软件或软件模块。在此不做具体限定。 [0026] 服务器105可以是提供各种服务的服务器，例如，获取终端设备101、102、103发送的目标图像，识别目标图像中的待讲解题目，确定待讲解题目的目标答案，并通过大模型讲解待讲解题目和目标答案的后台处理服务器。作为示例，服务器105可以是云端服务器。 [0027] 需要说明的是，服务器可以是硬件，也可以是软件。当服务器为硬件时，可以实现成多个服务器组成的分布式服务器集群，也可以实现成单个服务器。当服务器为软件时，可以实现成多个软件或软件模块(例如用来提供分布式服务的软件或软件模块)，也可以实现成单个软件或软件模块。在此不做具体限定。 [0028] 还需要说明的是，本公开的实施例所提供的用于处理题目的方法可以由服务器执行，也可以由终端设备执行，还可以由服务器和终端设备彼此配合执行。相应地，用于处理题目的装置包括的各个部分(例如各个单元)可以全部设置于服务器中，也可以全部设置于终端设备中，还可以分别设置于服务器和终端设备中。 [0029] 应该理解，图1中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。当用于处理题目的方法运行于其上的电子设备不需要与其他电子设备进行数据传输时，该系统架构可以仅包括用于处理题目的方法运行于其上的电子设备(例如终端设备或服务器)。 [0030] 请参考图2，图2为本公开实施例提供的一种用于处理题目的方法的流程图。其中，在流程200中，包括以下步骤： [0031] 步骤201，识别所获取的目标图像中的待讲解题目。 [0032] 本实施例中，用于处理题目的方法的执行主体(例如，图1中的终端设备或服务器)可以通过有线网络连接方式或无线网络连接方式从远程，或从本地获取目标图像，并识别所获取的目标图像中的待讲解题目。 [0033] 目标图像可以是针对于待讲解题目拍摄得到的图像。待讲解题目可以是各类学科各类题型下的题目。例如，语文学科下的基础选择、阅读理解、诗歌赏析等题型，数学学科下的选择、填空、应用、证明等题型，英语学科下的完形填空、阅读理解、写作表达等题型。 [0034] 在获取目标图像之后，上述执行主体可以对目标图像进行分析处理，确定其中的待讲解题目和待讲解题目在目标图像中的位置。 [0035] 作为示例，上述执行主体可以将目标图像输入预训练的目标检测模型，通过目标检测模型确定目标图像中的待讲解题目和待讲解题目在目标图像中的位置区域。其中，目标检测模型用于表征目标图像和目标图像中的待讲解题目、待讲解题目在目标图像中的位置区域之间的对应关系。 [0036] 目标检测模型可以是单阶段的目标检测模型，也可以是双阶段的目标检测模型。单阶段的目标检测模型旨在直接从路侧感知图像输出目标对象(待讲解题目)的检测框和目标对象的类别标签，例如是YOLO(You Only Look Once，你只需看一次)模型、SSD(Single Shot Multi‑Box Detector，单次多盒探测器)模型、RetinaNet(视网膜网络)模型。 [0037] 双阶段的目标检测模型通常分为两个阶段进行目标检测。 [0038] 阶段一(候选框生成)：模型通过特征提取网络提取图像特征。然后，运用候选框生成算法来生成一系列潜在的候选目标框，这些候选目标框可能包含目标对象。其中，候选框生成算法例如是SS(Selective Search，选择性检索)或RPN(Region Proposal Network，区域候选网络)。 [0039] 阶段二(目标分类与边界框回归)：候选目标框以及其与真实目标框的重叠情况(即IoU值)被输入到分类网络中，用于对目标对象进行分类和边界框回归。分类网络判断每个候选目标框是前景还是背景，并为前景目标分配类别标签。边界框回归网络对候选目标框的位置进行微调，以更准确地定位目标框。 [0040] 双阶段的目标检测模型例如是Faster R‑CNN(Region Convolutional Neural Networks，快速区域卷积神经网络)、R‑CNN(Region Convolutional Neural Networks，区域卷积神经网络)、Mask R‑CNN(Mask Region Convolutional Neural Networks，掩膜区域卷积神经网络)等模型。 [0041] 在本实施例的一些可选的实现方式中，上述执行主体可以通过如下方式执行上述步骤201： [0042] 首先，识别目标图像中承载待讲解题目的承载对象的边缘，得到承载对象图像。 [0043] 承载待讲解题目的承载对象例如是纸张、屏幕等。通过识别目标图像中承载待讲解题目的承载对象的边缘，去除掉边缘外的多余部分，得到承载对象图像。 [0044] 然后，采用仿射矩阵映射的方式，调整承载对象图像，得到调整后图像。 [0045] 当前用户端教育产品大多是借助前置摄像头外加棱镜工具进行拍摄，所以获得的目标图像一般为梯形。在这种情况下，直接进行OCR(Optical Character Recognition，光学字符识别)识别处理容易出现错误，所以在预处理阶段通过仿射矩阵映射的方式，将梯形的承载对象图像矫正为矩形的调整后图像，以提高数据的质量。 [0046] 最后，识别调整后图像，确定待讲解题目。 [0047] 将调整后图像输入目标检测模型，确定其中的至少一个待讲解题目。 [0048] 本实现方式中，在确定待讲解题目之前，通过预处理过程处理目标图像，有助于提升图像的质量，提高图像识别过程的准确度。 [0049] 步骤202，匹配预设题库中的题目和待讲解题目，确定待讲解题目的目标答案。 [0050] 本实施例中，上述执行主体可以匹配预设题库中的题目和待讲解题目，确定待讲解题目的目标答案。 [0051] 上述执行主体，或者与上述执行主体通信连接的电子设备中设置有预设题库。预设题库中存储有各种题目和题目对应的答案。为了提高匹配效率，可以通过不同的预设题库存储不同学科的题目，也可以通过不同的预设题库存储不同学科的不同题型的题目。 [0052] 在确定目标图像中的待讲解题目后，上述执行主体可以基于OCR识别的方式确定待讲解题目的文本数据，进而基于文本数据在预设题库中进行匹配，以将匹配到的题目的答案，作为待讲解题目的目标答案。 [0053] 作为示例，上述执行主体可以将待讲解题目的文本数据与预设题库中的题目的文本数据进行匹配。 [0054] 例如，可以先提取待讲解题目的文本数据的关键字，进而将待讲解题目的关键字与预设题库中的题目的关键字进行匹配，得到与待讲解题目初步匹配的候选题目；进而，将待讲解题目的文本数据与候选题目的文本数据进行完全匹配，从候选题目中确定出与待讲解题目匹配的题目，进而将所匹配的题目的答案，作为待讲解题目的目标答案。 [0055] 又例如，可以先提取待讲解题目的文本数据的特征向量，进而将待讲解题目的第一特征向量与预设题库中的题目的特征向量进行匹配，得到与待讲解题目匹配的题目；进而，将所匹配的题目的答案，作为待讲解题目的目标答案。 [0056] 步骤203，通过预训练的大模型，讲解待讲解题目和目标答案。 [0057] 本实施例中，上述执行主体可以通过预训练的大模型，讲解待讲解题目和目标答案。 [0058] 大模型具体指人工智能预训练大模型，具有大规模或超大规模的参数。人工智能大模型包括了两层含义，一层是“预训练”，另一层是“大模型”，两者相结合产生了一种新的人工智能模式，即模型在大规模数据集上完成预训练后，无需或仅需少量数据的微调，就能直接支撑各类应用。人工智能大模型具有出色的上下文理解能力、语言生成能力、学习能力和可迁移性。 [0059] 作为示例，通过人工智能大模型，可以对待讲解题目和目标答案进行自然语言理解，确定待讲解题目所考察的知识点和目标答案的解答逻辑，进而向用户讲解待讲解题目和目标答案，并在讲解过程中基于与用户的信息交互，确定并解答用户的疑问。其中，大模型与用户之间的信息交互可以采用文本、语音等形式进行。 [0060] 在本实施例的一些可选的实现方式中，上述执行主体可以通过如下方式执行上述步骤203： [0061] 步骤3.1，通过大模型，基于预设判定条件，确定待讲解题目和目标答案是否适于讲解。 [0062] 其中，预设判定条件可以根据实际情况具体设置，例如，预设判定条件例如是待讲解题目语义完整，不存在逻辑型错误。 [0063] 本实现方式中，针对于不同的学科，甚至不同学科的不同题型，可以设置不同的预设判定条件；在确定待讲解题目后，可以根据待讲解题目所属的学科或题型，确定对应的预设判定条件；进而，针对于预设判定条件中的每个条件，通过大模型分析待讲解题目和目标答案，确定是否满足当前条件的判定结果；最终，结合各个判定结果，确定待讲解题目和目标答案是否适于讲解。 [0064] 步骤3.2，响应于确定适于讲解，通过大模型，讲解待讲解题目和目标答案。 [0065] 在确定待讲解题目和目标答案适于讲解的情况下，通过大模型，向用户讲解待讲解题目和目标答案，并在讲解过程中基于与用户的信息交互，确定并解答用户的疑问。 [0066] 本实现方式中，事先通过大模型基于预设判定条件，确定待讲解题目和目标答案是否适于讲解，以在确定待讲解题目和目标答案适于讲解的情况下，进行讲解，提高了基于大模型的讲解过程的有效性。 [0067] 在本实施例的一些可选的实现方式中，上述执行主体可以通过如下方式执行上述步骤3.1： [0068] 步骤3.11，确定待讲解题目，和预设题库中与待讲解题目匹配的检索题目是否支持结构化。 [0069] 在信息处理和数据管理中，结构化(Structured)通常指的是数据按照特定的格式和规则进行组织和存储。对于题目而言，结构化的题目具有明确的组织结构，使用户能够更容易理解和处理其中的信息。 [0070] 在数学题目中，结构化意味着问题陈述清晰、逻辑清楚，通常按照一定的顺序和格式进行组织。例如，数学问题可能会提供给定条件、要求解的未知量，然后要求按照一定的步骤或方法解决问题。问题的结构化使得用户能够更好地理解问题的要求、确定解题方向、应用适当的数学知识和技巧进行求解。 [0071] 对于英语的阅读理解题，结构化指的是文章的组织方式和段落之间的关系。良好的结构化文章通常具有明确的引言、主体段落和结论部分，以及逻辑和连贯的思路逻辑。文章结构的合理安排可以帮助读者理解作者的观点、主旨和论证过程，并更好地掌握文章的主题和信息。 [0072] 步骤3.12，响应于确定支持结构化，向目标图像的用户展示待讲解题目被初步判断为适于讲解的提示信息。 [0073] 步骤3.13，响应于确定接收到对于提示信息的触发操作，通过大模型，基于预设判定条件，进一步确定待讲解题目和目标答案是否适于讲解。 [0074] 基于大模型进行数据请求，其一大特点就是响应时间较长，同时也不是所有的题目都支持讲解。如图3所示，示出了基于大模型请求链路优化流程300的示意图。本实现方式中，链路优化流程300将是否适于讲解状这一态前置，当用户实际触发提示信息后再请求大模型的讲解过程，从而将长链接任务拆分多步，分散链路时长。 [0075] 作为示例，分散链路的请求过程如下： [0076] 首先，根据正则化规则匹配的方式判断待讲解题目，和预设题库中与待讲解题目匹配的检索题目是否支持结构化；然后，响应于确定支持结构化，通过用户的客户端根据结构化结果，确认目标图像中被初步认定为适于讲解的题目，并高亮适于讲解的题目的讲解按钮；然后，用户可以根据自身需求点击讲解按钮，发送讲题请求；然后，上述执行主体收到讲题请求，异步请求大模型，待大模型进一步确定待讲解题目和目标答案适于讲解后，将讲题过程涉及到的数据推送到客户端；最后，客户端根据讲题过程，展示与交互讲题过程涉及到的数据。 [0077] 本实现方式中，将基于大模型的讲解过程分解成多个任务，从而将长链接任务拆分多步，分散链路时长，有助于降低请求过程的等待时长，提高用户的体验度。 [0078] 在本实施例的一些可选的实现方式中，上述执行主体可以通过如下方式执行上述步骤3.2中的讲解过程：响应于确定适于讲解，通过大模型，按照预设讲解要求，讲解待讲解题目和目标答案。 [0079] 其中，预设讲解要求可以根据实际情况具体设置。例如，针对于不同学科的不同题型，设置统一的讲题要求。又例如，针对于不同的学科，甚至不同学科的不同题型，可以设置不同的讲题要求。 [0080] 作为示例，讲题要求可以如下设置： [0081] 1、事先确定待讲解题目、目标答案是否有问题；若确定待讲解题目、目标答案有问题，则需要通过大模型尽量进行修正，并在修正后的正确数据的基础上进行讲解。 [0082] 2、讲解过程中的讲解内容要具体、准确，不重复讲述题目和其他与讲解过程无关的内容，能总结出考察的知识点，讲解过程的结尾要进行总结反馈。 [0083] 3、讲解过程要生动形象，用和蔼的语气进行讲解。 [0084] 4、若确定待讲解题目和目标答案适于讲解，将讲解过程所涉及的数据输出为JSON格式。 [0085] 5、若确定待讲解题目和目标答案不适于讲解，只输出终止符：[stop][0086] 其中，JSON格式中包括设定好的以下参数字段： [0087] can_be_explained：表示题目是否可以被正确讲解，讲解过程的开头不分先给出能不能讲解的结论，后面可以给出精简的原因。 [0088] explanation：表示分步骤、叙述性地进行题目的具体讲解过程。 [0089] knowledge_points:表示题目相关的知识点，是个list(表)结构，题目涉及的知识点都放在list中。 [0090] 本实现方式中，可以根据实际情况预先设置讲题要求，使得大模型根据讲题要求讲解待讲解题目和目标答案，有助于提高大模型的讲解效果，进一步提高用户的学习效率。 [0091] 在本实施例的一些可选的实现方式中，上述执行主体可以通过如下方式执行上述讲解过程：响应于确定适于讲解，通过大模型，按照预设讲解要求，采用思辩驱动式讲题对话策略，讲解待讲解题目和目标答案。 [0092] 其中，思辩驱动式讲题对话策略用于表征，采用对话提问的方式，逐步引导用户对待讲解题目的理解和学习。 [0093] 本实现方式中，上述执行主体可以采用苏格拉底式讲解方式，即通过对话提问的方式，逐步引导学生对题目的学习，从多个角度培养学生的学习能力。具体的，思辩驱动式讲题对话策略，通过由“提问‑回答‑引导‑总结”四步骤组成的对话过程，经过对题目、答案等多方面进行多轮对话，来实现用户对题目的全方位掌握与深入理解。 [0094] 作为示例，以英文单词interested和interesting之间的区别为例，给出基于思辩驱动式讲题对话策略的、大模型与用户之间的交互过程： [0095] 大模型：假如你正在描述一个学生对英语课程的态度，你会使用"interested"还是"interesting"？ [0096] 用户：我觉得会用"interested"，因为"interested"是用来描述人的感受，表示学生对英语课感兴趣。 [0097] 大模型：很好，你强调了"interested"是用来描述人的状态。那么，如果你要形容这个英语课程本身，你可能会用哪个词？ [0098] 用户：我可能会用"interesting"，因为这个课程本身有趣，内容引人入胜。 [0099] 大模型：嗯，你观察得非常仔细。那么，如果我说"I aminterested in teaching English"，这表示我对于教英语感兴趣，对吗？ [0100] 用户：是的，您正确。 [0101] 大模型：那么，如果我形容我的英语教学方法，我可能会用"interesting"，因为我希望我的教学方法本身就具有吸引人的特点，对学生有启发。 [0102] 用户：嗯，我明白了。"interested"是描述个体感受，而"interesting"是描述事物本身的性质。 [0103] 大模型：你总结得非常到位。通过对这两个词的巧妙运用，我们能更准确地表达自己的思想。感谢你的思考和回答。 [0104] 本实现方式中，大模型在遵循讲题要求的基础上，进一步采用思辨式讲题对话策略进行待解答题目和目标答案的讲解，有助于进一步提高用户的学习效率。 [0105] 在本实施例的一些可选的实现方式中，上述执行主体可以进一步通过如下方式执行讲解过程：对于待讲解题目对应的多个待讲解对象中的每个待讲解对象，分别通过大模型，按照预设讲解流程向用户讲解当前待讲解对象。 [0106] 继续参考图4，示出了采用思辩驱动式讲题对话策略的预设讲解流程400的示意图。多个待讲解对象包括待讲解题目对应的题目、题干、目标答案和所考察的知识点。预设讲解流程包括大模型基于当前待讲解对象向用户的发散式提问、用户基于发散式提问的互动回答、大模型基于互动回答的分析引导和大模型基于当前待讲解对象的总结反馈。 [0107] 本实现方式中，将思辩驱动式讲题对话策略具化为针对于每个待讲解对象的预设讲解流程，预设讲解流程基于“提问‑回答‑引导‑总结”等环节，进一步提高了用户的学习效率。 [0108] 继续参考图5，示出了数据流转显示架构500的结构示意图。 [0109] 在本实施例的一些可选的实现方式中，上述执行主体可以通过如下方式执行上述讲解过程： [0110] 第一，通过待讲解题目的类型对应的数据流转引擎，根据待讲解题目对应的多个待讲解对象，生成包括多个展示卡片的任务队列，多个展示卡片表征每个待讲解对象在思辩驱动式讲题对话策略中的展示数据。 [0111] 第二，在通过大模型按照预设讲解流程向用户讲解当前待讲解对象的过程中，根据讲解进度，向用户展示任务队列中对应的展示卡片。 [0112] 对于不同的学科，其讲解过程中的交互数据的上屏方式存在差异。因此，需要根据不同数据类型(数学计算、英语单选等)构造对应的数据流转引擎cardEngine，进行数据的处理。例如，构造MathMixCalEngine、MathMixQueEngine、EngReadingEngine等数据流转引擎。其中，MathMixCalEngine用于进行四则运算等题型的流转、MathMixQueEngine用于进行数学应用题、单选题等混合题型的流转、EngReadingEngine用于进行英语阅读题的流转。 [0114] ‑dispatchmessage：分发消息接口，用于实现对当前卡片任务的处理； [0115] ‑startloadCard：开始装载卡片接口，用于触发引擎开始流转； [0116] ‑postMessage：更新消息接口，用于当前任务结束后进行下一任务的更新。 [0117] 任务队列TaskQueue为数据处理队列，队列中用于存储不同类型的展示卡片(问题、回答、提示等)。 [0118] 本实现方式中，提供了一种应用于大模型的讲题过程的数据流转显示架构，有助于提高讲解过程的展示效果。 [0119] 在本实施例的一些可选的实现方式中，上述执行主体可以通过如下方式执行上述第二步骤： [0120] 首先，在通过大模型按照预设讲解流程向用户讲解当前待讲解对象的过程中，通过数据流转引擎，确定任务队列中讲解进度对应的展示卡片；然后，通过卡片模板管理器，根据展示卡片的类型，生成并展示展示卡片对应的界面布局。 [0121] 在讲题过程的整体流程中，首先，数据流转引擎CardEngine通过DefaultLifecycleObserver实现与题目讲解这一activity的生命周期的绑定，主要负责数据解析以及对任务队列的流转控制。任务队列中存放不同类型的数据卡片CardTask，其作用是绑定不同数据及对应的UI对话子项，例如数学计算步骤card，知识点card，英语单选分析card等等。 [0122] 客户端在收到云端数据之后，构造出需要首次上屏的卡片，之后取出任务队列中的首个任务，通过卡片模板管理器cardTemplateManager获取首个任务对应的layout view(布局视图)，并将其添加到讲题界面上；用户需要进入下一步学习的时候，通过改变CardMessage来让CardEngine进行下一个卡片的处理，如此循环，以此完成数据的流转交互。 [0123] 其中，DefaultLifecycleObserver为android系统中定义的生命周期观察接口；CardMessage是流转过程中的结构化对象，其中封装了下一个流转数据类型以及流转状态等数据；CardtemplateManager用于根据卡片类型生成对应的用户界面布局，以实现数据上屏。 [0124] 本实现方式中，提供了一种讲解过程中的数据的具体展示方法，基于讲解进度，向用户展示任务队列中对应的展示卡片，有助于进一步提高展示效果，提高用户的学习效率。 [0125] 在本实施例的一些可选的实现方式中，上述执行主体可以通过如下方式执行上述步骤3.13： [0126] 首先，响应于确定接收到对于提示信息的触发操作，通过大模型进行如下判定操作：确定待讲解题目是否具有完整性；确定检索题目与待讲解题目之间是否具有相似度；确定检索题目是否具有可解性；确定目标答案是否具有完整性和可用性。 [0127] 本实现方式中，大模型可以基于自身具有出色的上下文理解能力、语言生成能力、学习能力和可迁移性，分析检索题目、待讲解题目和目标答案，以确定待讲解题目是否具有完整性，确定检索题目与待讲解题目之间是否具有相似度，确定检索题目是否具有可解性，确定目标答案是否具有完整性和可用性。 [0128] 然后，基于由判定操作所确定的判定结果，确定待讲解题目和目标答案是否适于讲解。 [0129] 响应于确定待讲解题目具有完整性，确定检索题目与待讲解题目之间具有相似度，确定检索题目具有可解性，确定目标答案具有完整性和可用性，确定待讲解题目和目标答案是否适于讲解；否则，确定待讲解题目和目标答案不适于讲解。 [0130] 本实现方式中，提供了一种待讲解题目和目标答案是否适于讲解的具体确定方式，提高了确定过程的全面性和确定结果的准确度。 [0131] 继续参见图6，图6是根据本实施例的用于处理题目的方法的应用场景的一个示意图600。在图6的应用场景中，用户601完成作业后，通过终端设备602对作业进行了图像采集，得到了目标图像603，并将目标图像602发送至服务器604。服务器604在接收到目标图像603之后，首先，识别所获取的目标图像中的待讲解题目；然后，匹配预设题库605中的题目和待讲解题目，确定待讲解题目的目标答案；最后，通过预训练的大模型606，讲解待讲解题目和目标答案。 [0132] 本实施例中，提供了一种用于处理题目的方法，在识别所获取的目标图像中的待讲解题目，并匹配预设题库中的题目和待讲解题目，确定待讲解题目的目标答案后，可以通过预训练的大模型，讲解待讲解题目和目标答案，从而可以基于大模型向用户进行针对性地讲解，有助于提高用户在学习过程中的便捷性和学习效率。 [0133] 继续参考图7，示出了根据本公开的用于处理题目的方法的又一个实施例的示意性流程700。在流程700中，包括以下步骤： [0134] 步骤701，识别目标图像中承载待讲解题目的承载对象的边缘，得到承载对象图像。 [0135] 步骤702，采用仿射矩阵映射的方式，调整承载对象图像，得到调整后图像。 [0136] 步骤703，匹配预设题库中的题目和待讲解题目，确定待讲解题目的目标答案。 [0137] 步骤704，确定待讲解题目，和预设题库中与待讲解题目匹配的检索题目是否支持结构化。 [0138] 步骤705，响应于确定支持结构化，向目标图像的用户展示待讲解题目被初步判断为适于讲解的提示信息。 [0139] 步骤706，响应于确定接收到对于提示信息的触发操作，通过大模型，基于预设判定条件，进一步确定待讲解题目和目标答案是否适于讲解。 [0140] 步骤707，响应于确定适于讲解，对于待讲解题目对应的多个待讲解对象中的每个待讲解对象，分别通过大模型，按照预设讲解流程向用户讲解当前待讲解对象。 [0141] 其中，多个待讲解对象包括待讲解题目对应的题目、题干、目标答案和所考察的知识点，预设讲解流程包括大模型基于当前待讲解对象向用户的发散式提问、用户基于发散式提问的互动回答、大模型基于互动回答的分析引导和大模型基于当前待讲解对象的总结反馈。 [0142] 从本实施例中可以看出，与图2对应的实施例相比，本实施例中的用于处理题目的方法的流程700具体说明了目标图像的预处理过程，以及基于大模型的讲解过程，进一步提高了题目匹配过程的准确度和基于大模型的讲题效果，进一步提高了用户的学习效率。 [0143] 继续参考图8，作为对上述各图所示方法的实现，本公开提供了一种用于处理题目的装置的一个实施例，该装置实施例与图2所示的方法实施例相对应，该装置具体可以应用于各种电子设备中。 [0144] 如图8所示，用于处理题目的装置800包括：识别单元801，被配置成识别所获取的目标图像中的待讲解题目；确定单元802，被配置成匹配预设题库中的题目和待讲解题目，确定待讲解题目的目标答案；讲解单元803，被配置成通过预训练的大模型，讲解待讲解题目和目标答案。 [0145] 在本实施例的一些可选的实现方式中，上述讲解单元803，进一步被配置成：通过大模型，基于预设判定条件，确定待讲解题目和目标答案是否适于讲解；响应于确定适于讲解，通过大模型，讲解待讲解题目和目标答案。 [0146] 在本实施例的一些可选的实现方式中，上述讲解单元803，进一步被配置成：确定待讲解题目，和预设题库中与待讲解题目匹配的检索题目是否支持结构化；响应于确定支持结构化，向目标图像的用户展示待讲解题目被初步判断为适于讲解的提示信息；响应于确定接收到对于提示信息的触发操作，通过大模型，基于预设判定条件，进一步确定待讲解题目和目标答案是否适于讲解。 [0147] 在本实施例的一些可选的实现方式中，上述讲解单元803，进一步被配置成：响应于确定适于讲解，通过大模型，按照预设讲解要求，讲解待讲解题目和目标答案。 [0148] 在本实施例的一些可选的实现方式中，上述讲解单元803，进一步被配置成：响应于确定适于讲解，通过大模型，按照预设讲解要求，采用思辩驱动式讲题对话策略，讲解待讲解题目和目标答案，其中，思辩驱动式讲题对话策略用于表征，采用对话提问的方式，逐步引导用户对待讲解题目的理解和学习。 [0149] 在本实施例的一些可选的实现方式中，上述讲解单元803，进一步被配置成：对于待讲解题目对应的多个待讲解对象中的每个待讲解对象，分别通过大模型，按照预设讲解流程向用户讲解当前待讲解对象，其中，多个待讲解对象包括待讲解题目对应的题目、题干、目标答案和所考察的知识点，预设讲解流程包括大模型基于当前待讲解对象向用户的发散式提问、用户基于发散式提问的互动回答、大模型基于互动回答的分析引导和大模型基于当前待讲解对象的总结反馈。 [0150] 在本实施例的一些可选的实现方式中，上述讲解单元803，进一步被配置成：通过待讲解题目的类型对应的数据流转引擎，根据待讲解题目对应的多个待讲解对象，生成包括多个展示卡片的任务队列，多个展示卡片表征每个待讲解对象在思辩驱动式讲题对话策略中的展示数据；在通过大模型按照预设讲解流程向用户讲解当前待讲解对象的过程中，根据讲解进度，向用户展示任务队列中对应的展示卡片。 [0151] 在本实施例的一些可选的实现方式中，上述讲解单元803，进一步被配置成：在通过大模型按照预设讲解流程向用户讲解当前待讲解对象的过程中，通过数据流转引擎，确定任务队列中讲解进度对应的展示卡片；通过卡片模板管理器，根据展示卡片的类型，生成并展示展示卡片对应的界面布局。 [0152] 在本实施例的一些可选的实现方式中，上述讲解单元803，进一步被配置成：响应于确定接收到对于提示信息的触发操作，通过大模型进行如下判定操作：确定待讲解题目是否具有完整性；确定检索题目与待讲解题目之间是否具有相似度；确定检索题目是否具有可解性；确定目标答案是否具有完整性和可用性；基于由判定操作所确定的判定结果，确定待讲解题目和目标答案是否适于讲解。 [0153] 在本实施例的一些可选的实现方式中，上述识别单元801，进一步被配置成：识别目标图像中承载待讲解题目的承载对象的边缘，得到承载对象图像；采用仿射矩阵映射的方式，调整承载对象图像，得到调整后图像；识别调整后图像，确定待讲解题目。 [0154] 本实施例中，提供了一种用于处理题目的装置，在识别所获取的目标图像中的待讲解题目，并匹配预设题库中的题目和待讲解题目，确定待讲解题目的目标答案后，可以通过预训练的大模型，讲解待讲解题目和目标答案，从而可以基于大模型向用户进行针对性地讲解，有助于提高用户在学习过程中的便捷性和学习效率。 [0155] 根据本公开的实施例，本公开还提供了一种电子设备，该电子设备包括：至少一个处理器；以及与至少一个处理器通信连接的存储器；其中，存储器存储有可被至少一个处理器执行的指令，该指令被至少一个处理器执行，以使至少一个处理器执行时能够实现上述任意实施例所描述的用于处理题目的方法。 [0156] 根据本公开的实施例，本公开还提供了一种可读存储介质，该可读存储介质存储有计算机指令，该计算机指令用于使计算机执行时能够实现上述任意实施例所描述的用于处理题目的方法。 [0157] 本公开实施例提供了一种计算机程序产品，该计算机程序在被处理器执行时能够实现上述任意实施例所描述的用于处理题目的方法。 [0158] 图9示出了可以用来实施本公开的实施例的示例电子设备900的示意性框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本公开的实现。 [0159] 如图9所示，设备900包括计算单元901，其可以根据存储在只读存储器(ROM)902中的计算机程序或者从存储单元908加载到随机访问存储器(RAM)903中的计算机程序，来执行各种适当的动作和处理。在RAM 903中，还可存储设备900操作所需的各种程序和数据。计算单元901、ROM 902以及RAM 903通过总线904彼此相连。输入/输出(I/O)接口905也连接至总线904。 [0160] 设备900中的多个部件连接至I/O接口905，包括：输入单元906，例如键盘、鼠标等；输出单元907，例如各种类型的显示器、扬声器等；存储单元908，例如磁盘、光盘等；以及通信单元909，例如网卡、调制解调器、无线通信收发机等。通信单元909允许设备900通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。 [0161] 计算单元901可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元901的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。计算单元901执行上文所描述的各个方法和处理，例如用于处理题目的方法。例如，在一些实施例中，用于处理题目的方法可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元908。在一些实施例中，计算机程序的部分或者全部可以经由ROM 902和/或通信单元909而被载入和/或安装到设备900上。当计算机程序加载到RAM 903并由计算单元901执行时，可以执行上文描述的用于处理题目的方法的一个或多个步骤。备选地，在其他实施例中，计算单元901可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行用于处理题目的方法。 [0162] 本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、负载可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。 [0163] 用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。 [0164] 在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD‑ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。 [0165] 为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。 [0166] 可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)和互联网。 [0167] 计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端‑服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，又称为云计算服务器或云主机，是云计算服务体系中的一项主机产品，以解决传统物理主机与虚拟专用服务器(VPS，Virtual Private Server)服务中存在的管理难度大，业务扩展性弱的缺陷；也可以为分布式系统的服务器，或者是结合了区块链的服务器。 [0168] 根据本公开实施例的技术方案，提供了一种用于处理题目的方法，在识别所获取的目标图像中的待讲解题目，并匹配预设题库中的题目和待讲解题目，确定待讲解题目的目标答案后，可以通过预训练的大模型，讲解待讲解题目和目标答案，从而可以基于大模型向用户进行针对性地讲解，有助于提高用户在学习过程中的便捷性和学习效率。 [0169] 应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本公开提供的技术方案所期望的结果，本文在此不进行限制。 [0170] 上述具体实施方式，并不构成对本公开保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等，均应包含在本公开保护范围之内。 |
||||||
QQ群二维码
意见反馈
意见反馈