一种辅助英语翻译者练习的训练系统及其使用方法 |
|||||||
| 申请号 | CN202410180096.8 | 申请日 | 2024-02-18 | 公开(公告)号 | CN118038723A | 公开(公告)日 | 2024-05-14 |
| 申请人 | 成都白垩纪科技有限公司; | 发明人 | 龚沁; | ||||
| 摘要 | 本 申请 涉及辅助英语翻译者练习设备技术领域，公开一种辅助英语翻译者练习的训练系统包括：数据获取设备，时刻采集英语翻译者练习者的图像；模型训练设备，包括调节模型，对调节模型进行训练；模型使用设备，得到显示器或纸质资料 支架 需要调节的高度与 角 度；装置主体为需要安装的 硬件 做 支撑 ，通过模型使用设备输出的数据对其上设置的显示模 块 或纸质资料支架做出高度及角度的调整； 云 端存储与计算模块,用于部署所需要的图像文字识别模型。本 发明 通过 深度学习 的方式调节显示器和支撑架的角度和高度，通过图像与文字的转换将不同介质的资料整合，通过文字与语音的互相转换辅助口语的练习，通过控制设备显示内容决定译文与原文的选择性遮挡。 | ||||||
| 权利要求 | 1.一种辅助英语翻译者练习的训练系统的使用方法，其特征在于，包括以下步骤： |
||||||
| 说明书全文 | 一种辅助英语翻译者练习的训练系统及其使用方法技术领域[0001] 本发明涉及辅助英语翻译者练习设备技术领域，具体为一种辅助英语翻译者练习的训练系统及其使用方法。 背景技术[0002] 翻译服务作为现代服务产业，帮助中国在经济、文化和科技等领域和国外交流，英语翻译是以英语为主体而进行的语言转换活动，用英语来表达另一种语言或用另一种语言表达英语的语言之间互相表达的活动，英语翻译既包含中译英，也包含英译中，英语翻译者需要不断的学习，不断提高自己的翻译能力以及翻译的速度，在进行英语翻译练习的过程中需要翻译板等辅助装置来协助完成，帮助英语翻译者提高学习效率。 [0003] 现有技术公开号为CN219102545U的文献提供了一种辅助英语翻译者练习的训练装置，包括主体，所述底座的顶部固定安装有高度调节机构，所述高度调节机构的顶部转动安装有角度调节机构，所述高度调节机构通过顶部的角度调节机构转动连接有放置板，所述放置板的底部固定安装有挡板，所述放置板的两端滑动安装有夹持装置。通过高度调节机构的基柱、定位孔、插销、插杆的共同作用下，插杆滑动插接在基柱上，高度调节机构通过顶部的角度调节机构转动连接的放置板，通过手动调节机械结构的方式改变放置板的高度和角度。 [0004] 现有技术公开号为CN115188230A的文献提供了一种用于英语翻译练习辅助装置，包括：箱体和练习装置，箱体顶部设置有箱盖，箱体和箱盖为活动连接，箱盖的顶部设置有提手，练习装置位于箱体内，练习装置包含底座、支撑杆、支撑架和扩音器，底座上安装有支撑杆 [0005] 和扩音器，支撑杆上活动连接有支撑架，箱体内部底部连接有存放盒，存放盒内部左右两侧均固定连接有导轨，存放盒内部右侧固定连接有磁条，存放盒内部活动连接有盒体。通过扩音器播放录音帮助使用者练习口语，通过放置学习平板电脑避免手动遮挡。 [0006] 现有技术方案虽然通过现有技术的结构可以实现与有关的有益效果，但是仍存在缺陷。依靠人工调节高度和角度较为繁琐，且不能适应时常变化的人类姿态，无法做到及时的调整，仅通过录音无法有效的练习到口语，需要对发音进行练习，才能帮助口语能力的提升。 [0007] 鉴于此，我们提出了一种辅助英语翻译者练习的训练系统及其使用方法。 发明内容[0008] 本申请实施例提供了一种辅助英语翻译者练习的训练系统及其使用方法，解决上述背景技术中提出的问题，实现了可以识别使用者的面部特征，自动调节显示器或纸质资料支架的高度和角度，保障使用者在学习时的用眼健康和颈椎健康的技术效果。 [0010] 数据获取设备，包括带激光测距仪的高清摄像头，时刻采集英语翻译者练习者的图像(包括头部的图像)，采集装置主体上面板的高度及角度数据。 [0011] 模型训练设备可以是诸如手机、平板电脑、笔记本电脑、台式电脑、智能电视和多媒体播放设备等电子设备，或者是其他一些具有较强计算能力的电子设备。模型训练设备包括调节模型；模型训练设备可以对调节模型进行训练。 [0012] 调节模型通过训练卷积神经网络完成回归任务，所述卷积神经网络的网络结构为：卷积层对输入图像进行卷积运算，得到特征图。卷积层使用了relu激活函数，relu公式为f(x)＝max(0,x)，将负值置为“0”，增加非线性；池化层对每个特征图进行降采样，得到特征图，池化层一可以减少参数数量和计算量，同时保留重要的特征信息；全连接层一使用了relu激活函数，将负值置为“0”，增加非线性；全连接层二使用了relu激活函数，将负值置为“0”，增加非线性，输出层使用线性函数f(x)＝wx+b作为激活函数。 [0013] 损失函数为平滑L1，损失L1＝1/n∑|y‑y'|。 [0014] 其中：y是真实值，y'是预测值，n是样本数量，使用优化器优化。 [0015] 调节模型包括图像处理模块和动作检测模块。 [0016] 图像处理模块，对采集到的人体图像进行灰度化、去噪、过滤及增强处理。 [0018] 通过Meanshift跟踪算法来快速准确的跟踪人体动作，基于光流的运动监测方法，能有效的监测和跟踪人的动作，关联人体的前后两帧图像检测到人体的动作变化；对人的头部等四个区域进行计算，以此检测人的头部位置和倾斜角度。 [0019] 动作检测模块，从处理后的图像中提取头部位置和角度的坐标特征。 [0020] 动作检测目标的特征可分为形状、灰度、边缘、区域、纹理等；经过目标识别环节后，就可以得到感兴趣的目标区域，进而计算出图像中目标的形心位置；可以描绘出人体大致的运动轨迹，估算出人体动作后位置和方向等参数信息。动作检测的计算公式为。 [0021] F1(x)＝{255,[I1(x)‑B1(x)]≥T；0,I1(x)‑B1(x)] [0023] 通过计算，得出人体的位置和脸部的方向参数信息。然后根据面板的高度和角度，计算得出面板需要调整高度和角度。 [0024] 模型使用设备可以是诸如手机、平板电脑、笔记本电脑、台式电脑、智能电视和多媒体播放设备等电子设备。通过摄像头获取用户图像，得到显示器或纸质资料支架需要调节的高度与角度。 [0025] 模型训练设备和模型使用设备可以是两个独立存在的设备，也可以是同一个设备，若模型训练设备和模型使用设备是同一个设备时，则模型训练设备可以部署在模型使用设备中。 [0028] 云端存储与计算模块用于部署所需要的图像文字识别模型，如cnocr，文字转语音模型，如Bark，语音转文字模型，如Whisper，与显示模块内部的处理器通过网络通信连接。 [0029] 云端存储与计算模块还部署有使用语音测评技术的测评系统，通过拾音器获取音频信息，经通信网络传至测评系统对口语进行评价。 [0030] 作为本发明的一种可选方案，所述装置主体包括。 [0031] 显示模块，所述显示模块用于显示上传的或扫描的练习资料，内部设有处理器和存储器。 [0032] 扬声器，所述扬声器用于播放上传的录音或生成的文本声音。 [0033] 拾音器，所述拾音器用于收集录音和练习测试时的语音。 [0034] 摄像头，所述摄像头用于捕捉人脸信息和识别纸质文件的文本信息。 [0035] 手写板，所述手写板用于输入文字信息，可在测试时获取手写的翻译文本。 [0036] 处理器，所述处理器用于模型的的计算与推理，用于程序的运行。 [0037] 存储器，所述存储器用于程序、文档和录音等的存储。 [0038] 支撑架，所述支撑架用于放置纸质练习资料或其他存放资料是设备。 [0039] 传动装置，用于调节显示器或纸质资料支架的高度和角度。 [0040] 装置支架，所述装置支架用于安装上述硬件，组合为一个完整装置。 [0041] 作为本发明的一种可选方案，所述传动装置包括高度调节机构、水平转动机构和竖直转动机构。 [0042] 高度调节机构为电动伸缩杆。 [0044] 竖直转动机构包含电机B和齿轮组B，水平转动机构固定设置在竖直转动机构的上端；电机B通过齿轮组B带动面板进行竖直方向转动；竖直转动机构固定设置在高度调节机构的上端。 [0045] 传动装置也可以采用其它的高度和角度调节方式。 [0046] 本发明提供了一种辅助英语翻译者练习的训练系统的使用方法，包括以下步骤。 [0047] S1、利用摄像头和计算机视觉技术来检测使用者脸部信息。 [0048] S2、调节模型计算得出面板需要调整高度和角度。 [0049] S3、然后通过传动装置来调节面板高度和角度。 [0050] S4、上传练习所需的电子文件(文档，录音等)，对于纸质资料若有需要，可通过摄像头扫描，图像转文字扫描至显示模块。 [0051] S5、若上传或扫描的无译文或录音，可选择使用机器翻译和文字转语音模型生成。 [0052] S6、可自主选择显示模块上显示资料的内容，方便自测。 [0053] S7、测试时可通过手写或语音输入翻译内容，可对照上传的译文和机器翻译的结果。 [0054] S8、进行口语练习或测试时，使用语音测评技术测评翻译的口语。 [0055] 作为本发明的一种可选方案，在步骤S2中，调节模型的训练包括。 [0056] S21、获取大量的、不同人图像和调节的舒适的高度角度数据，将采集的图像标记为相应的高度和角度制成数据集。 [0057] S22、将数据集分为训练集和验证集训练卷积神经网络回归模型得到调节模型的预训练模型。 [0058] S23、用户可用设置的摄像头采集自身使用时的图像，与适合自己的高度角度信息对预训练模型进行调整，得到适合用户的调整模型。 [0059] 作为本发明的一种可选方案，在步骤S2中，调节模型的使用方法，包括。 [0060] S24、图像处理模块，对采集到的人体图像进行灰度化、去噪、过滤及增强处理。 [0061] S25、通过Meanshift跟踪算法来快速准确的跟踪人体动作，关联人体的前后两帧图像检测到人体的动作变化；检测人的头部位置和倾斜角度。 [0062] S26、动作检测模块，从处理后的图像中提取头部位置和角度的坐标特征；通过计算，得出人体的位置和脸部的方向参数信息。 [0063] S27、然后根据面板的高度和角度，计算得出面板需要调整高度和角度数据。 [0064] 1、本申请实施例提供的技术方案可以带来如下有益技术效果。 [0065] 2、一方面，识别使用者的面部特征，调节显示器或纸质资料支架的高度和角度，保障使用者在学习时的用眼健康和颈椎健康。 [0066] 3、另一方面，通过上传或扫描的方式，支持不同载体的资料，通过人工智能的方式对缺少译文或录音带资料进行补全，另一方面，可自主选择资料内容的显示，解决了遮挡效果不好，难以操作的问题。 [0068] 图1是本申请一种辅助英语翻译者练习的训练系统的整体结构示意图。 [0069] 图2是本申请一个实施例提供的一种辅助英语翻译者练习的训练系统结构图。 [0070] 图3是本申请一个实施例提供的一种辅助英语翻译者练习的训练系统的使用方法流程图。 [0071] 图4是本申请一个实施例提供的一种辅助英语翻译者练习的训练系统所需的调节模型训练流程图。 [0072] 图5是本申请一个实施例提供的一种辅助英语翻译者练习的训练系统所需的调节模型使用流程图。 具体实施方式[0073] 为使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请实施方式作进一步地详细描述。 [0074] 人工智能技术是一门综合学科，涉及领域广泛，既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器，专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。 [0075] 机器学习(Machine Learning，ML)是一门多领域交叉学科，涉及概率论、统计学、逼近学、凸分析、算法复杂度理论等多门学科。专门研究计算机怎么模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。机器学习是人工智能的核心，是使计算机具有智能的根本途径，其应用遍及人工智能的各个领域。机器学习和深度学习通常包括人工神经网络、置信网络、强化学习、迁移学习、归纳学习、示教学习等技术。 [0076] 本申请实施例提供的方案涉及人工智能的计算机视觉等技术，具体通过如下实施例进行说明。 [0077] 请参考图1，其示出了本申请一种辅助英语翻译者练习的训练系统，包括：云端存储与计算模块、模型使用设备、数据获取设备、装置主体和模型训练设备。 [0078] 数据获取设备，包括带激光测距仪的高清摄像头，时刻采集英语翻译者练习者的图像(包括头部的图像)，采集装置主体上面板的高度及角度数据。 [0079] 模型训练设备可以是诸如手机、平板电脑、笔记本电脑、台式电脑、智能电视和多媒体播放设备等电子设备，或者是其他一些具有较强计算能力的电子设备。模型训练设备包括调节模型；模型训练设备可以对调节模型进行训练。 [0080] 调节模型通过训练卷积神经网络完成回归任务，所述卷积神经网络的网络结构为，卷积层一使用六十四个3*3的卷积核，对输入图像进行卷积运算，得到六十四个特征图。卷积层一使用了relu激活函数，relu公式为f(x)＝max(0,x)，将负值置为“0”，增加非线性； 池化层一使用了2*2的最大池化，对每个特征图进行降采样，得到六十四个特征图。池化层一可以减少参数数量和计算量，同时保留重要的特征信息卷积层二使用了一百二十八个3* 3的卷积核，对池化层一的输出进行卷积运算，得到一百二十八个特征图。卷积层二使用了relu激活函数，将负值置为“0”，增加非线性，池化层二使用了2x2的最大池化，对每个特征图进行降采样，得到一百二十八个特征图。池化层二可以减少参数数量和计算量，同时保留重要的特征信息，卷积层三使用了二百五十六个3*3的卷积核，对池化层二的输出进行卷积运算，得到二百五十六个特征图。卷积层三使用了relu激活函数，将负值置为“0”，增加非线性，池化层三使用了2x2的最大池化，对每个特征图进行降采样，得到二百五十六个特征图。 池化层三可以减少参数数量和计算量，同时保留重要的特征信息，全连接层一将池化层三的输出展平为一个一维向量，并连接到一千零二十四个神经元上。全连接层一使用了relu激活函数，将负值置为“0”，增加非线性，全连接层二将全连接层一的输出连接到五百一十二个神经元上，全连接层二使用了relu激活函数，将负值置为“0”，增加非线性，输出层将全连接层二输出连接到两个神经元上，输出层使用线性函数f(x)＝wx+b作为激活函数。 [0081] 损失函数为平滑L1，损失L1＝1/n∑|y‑y'|。 [0082] 其中：y是真实值，y'是预测值，n是样本数量，使用优化器优化。 [0083] 调节模型包括图像处理模块和动作检测模块。 [0084] 图像处理模块，对采集到的人体图像进行灰度化、去噪、过滤及增强处理。 [0085] 首先从摄像头的帧队列中提取一帧进行图像的单通道和灰度转换，并高斯滤波，利用当前帧和静态标准帧相减的方法，得到二值化图像，然后对图像进行膨胀和腐蚀操作，以减少噪点的影响。 [0086] 通过Meanshift跟踪算法来快速准确的跟踪人体动作，基于光流的运动监测方法，能有效的监测和跟踪人的动作，关联人体的前后两帧图像检测到人体的动作变化；对人的头部等四个区域进行计算，以此检测人的头部位置和倾斜角度。 [0087] 动作检测模块，从处理后的图像中提取头部位置和角度的坐标特征。 [0088] 动作检测目标的特征可分为形状、灰度、边缘、区域、纹理等；经过目标识别环节后，就可以得到感兴趣的目标区域，进而计算出图像中目标的形心位置；可以描绘出人体大致的运动轨迹，估算出人体动作后位置和方向等参数信息。动作检测的计算公式为。 [0089] F1(x)＝{255,[I1(x)‑B1(x)]≥T；0,I1(x)‑B1(x)] [0090] 式中：I1(x)为当前时刻的输入图像，B1(x)为背景图像；x为图像的像素位置，T为判别门限，F1(x)＝255的点为t时刻的前景点。 [0091] 通过计算，得出人体的位置和脸部的方向参数信息。然后根据面板的高度和角度，计算得出面板需要调整高度和角度。 [0092] 训练后的模型可部署在模型使用设备中使用。 [0093] 模型使用设备可以是诸如手机、平板电脑、笔记本电脑、台式电脑、智能电视和多媒体播放设备等电子设备。通过摄像头获取用户图像，得到显示器或纸质资料支架需要调节的高度与角度。 [0094] 模型训练设备和模型使用设备可以是两个独立存在的设备，也可以是同一个设备，若模型训练设备和模型使用设备是同一个设备时，则模型训练设备可以部署在模型使用设备中。 [0095] 数据获取设备包括设置于装置主体上的摄像头、拾音器、键盘输入装置和手写板等，用于用户图像的采集，纸质资料的扫描上传，口语翻译的收集，文本翻译的收集。 [0096] 装置主体为需要安装的硬件做支撑，通过模型使用设备输出的数据对其上设置的显示模块或纸质资料支架做出高度及角度的调整。 [0097] 云端存储与计算模块用于部署所需要的图像文字识别模型，如cnocr，文字转语音模型，如Bark，语音转文字模型，如Whisper，与显示模块内部的处理器通过网络通信连接。 [0098] 云端存储与计算模块还部署有使用语音测评技术的测评系统，通过拾音器获取音频信息，经通信网络传至测评系统对口语进行评价。 [0099] 在本申请实施例中，装置主体上设置的摄像头采集训练者的人体图像,对调节模型进行训练，通过计算后得到显示器或纸质资料支架需要调节的高度与角度，模型训练设备可采用机器学习的方式对调节模型进行训练，通过计算，得出人体的当前位置和脸部的方向参数信息。然后根据面板的高度和角度。然后根据面板的高度和角度，计算得出面板需要调整高度和角度。 [0100] 请参考图2，装置主体包括。 [0101] 显示模块，用于显示上传的或扫描的练习资料，内部设有处理器和存储器，安装于装置支架上。 [0102] 扬声器、拾音器、摄像头和手写板，通过电路连接于显示模块上，扬声器用于播放上传的录音或生成的文本声音；拾音器，用于收集录音和练习测试时的语音；摄像头，用于捕捉人脸信息和识别纸质文件的文本信息；手写板用于输入文字信息，可在测试时获取手写的翻译文本。 [0103] 处理器，置于显示模块内部，用于模型的计算与推理，用于程序的运行。 [0104] 存储器，用于程序、文档和录音等的存储； [0105] 支撑架，用于放置纸质练习资料或其他存放资料的设备。 [0106] 电机和传动装置，传动装置的上端固定设置有面板,面板上设置有显示器或纸质资料支架；电机带动传动装置动作,调节显示器或纸质资料支架的高度和角度。 [0107] 传动装置包括高度调节机构、水平转动机构和竖直转动机构。 [0108] 高度调节机构为电动伸缩杆。 [0109] 水平转动机构包含电机A和齿轮组A，电机A通过齿轮组A带动面板进行水平方向转动。 [0110] 竖直转动机构包含电机B和齿轮组B，水平转动机构固定设置在竖直转动机构的上端；电机B通过齿轮组B带动面板进行竖直方向转动；竖直转动机构固定设置在高度调节机构的上端。 [0111] 传动装置也可以采用其它的高度和角度调节方式。 [0112] 装置支架，用于安装上述硬件，组合为一个完整装置。 [0113] 请参考图3，其示出了本申请一个实施例提供一种辅助英语翻译者练习的训练系统的使用方法,包括以下步骤: [0114] S1、利用摄像头和计算机视觉技术来检测使用者脸部信息。 [0115] S2、调节模型计算得出面板需要调整高度和角度。 [0116] S3、然后通过传动装置来调节面板的高度和角度。 [0117] S4、上传练习所需的电子文件(文档，录音等)，对于纸质资料若有需要，可通过摄像头扫描，图像转文字扫描至显示模块。 [0118] S5、若上传或扫描的无译文或录音，可选择使用机器翻译和文字转语音模型生成。 [0119] S6、可自主选择显示模块上显示资料的内容，方便自测。 [0120] S7、测试时可通过手写或语音输入翻译内容，可对照上传的译文和机器翻译的结果。 [0121] S8、进行口语练习或测试时，使用语音测评技术测评翻译的口语。 [0122] 请参考图4，在步骤S2中，调节模型训练包括； [0123] S21、获取大量的、不同人的图像和调节的舒适的高度角度数据，将采集的图像标记为相应的高度和角度制成数据集。 [0124] S22、将数据集分为训练集和验证集,训练卷积神经网络回归模型得到调节模型的预训练模型。 [0125] S23、用户可用设置的摄像头采集自身使用时的图像，与适合自己的高度角度信息对预训练模型进行调整，得到适合用户的调整模型。 [0126] 请参考图5，在步骤S2中，调节模型训练还包括； [0127] S24、图像处理模块，对采集到的人体图像进行灰度化、去噪、过滤及增强处理。 [0128] S25、通过Meanshift跟踪算法来快速准确的跟踪人体动作，关联人体的前后两帧图像检测到人体的动作变化；检测人的头部位置和倾斜角度。 [0129] S26、动作检测模块，从处理后的图像中提取头部位置和角度的坐标特征；通过计算，得出人体的位置和脸部的方向参数信息。 [0130] S27、然后根据面板的高度和角度，计算得出面板需要调整高度和角度数据。 [0131] 本发明可以识别使用者的面部特征，调节显示器或纸质资料支架的高度和角度，保障使用者在学习时的用眼健康和颈椎健康；通过上传或扫描的方式，支持不同载体的资料，通过人工智能的方式对缺少译文或录音带资料进行补全，另一方面，可自主选择资料内容的显示，解决了遮挡效果不好，难以操作的问题；通过使用语音转文字技术，语音测评技术帮助对口语的练习。 [0132] 以上所述，以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。 |
||||||
