首页 / 专利库 / 多媒体工具与应用 / 媒体流 / 视频流 / 一种文字识别方法及电子设备

一种文字识别方法及电子设备

阅读:988发布:2020-05-11

专利汇可以提供一种文字识别方法及电子设备专利检索,专利查询,专利分析的服务。并且本 发明 实施例 涉及教育技术领域,公开了一种文字识别方法及 电子 设备,该方法包括:当进入听写模式时,在书写页面上投影标记 光标 ;在标记光标所在 位置 处采集包含书写文字和标记光标的文字图像;在文字图像中确定标记光标相对于标准光标的倾斜度,并基于标记光标对应的倾斜度对文字图像进行倾斜矫正,以获得矫正后的目标图像;从目标图像中识别出目标文字。实施本发明实施例,能够提高文字识别的准确率。,下面是一种文字识别方法及电子设备专利的具体信息内容。

1.一种文字识别方法,其特征在于,所述方法包括:
当进入听写模式时,在书写页面上投影标记光标
在所述标记光标所在位置处采集包含书写文字和所述标记光标的文字图像;
在所述文字图像中确定所述标记光标相对于标准光标的倾斜度,并基于所述倾斜度对所述文字图像进行倾斜矫正,以获得矫正后的目标图像;
从所述目标图像中识别出目标文字。
2.根据权利要求1所述的方法,其特征在于,所述标记光标和所述标准光标均为十字光标;所述在所述文字图像中确定所述标记光标相对于标准光标的倾斜度,包括:
以所述标记光标的光标中心为坐标原点,在所述文字图像中确定所述标记光标的四个第一端点各自对应的第一坐标;
新建包含标准光标的空白图像,并以所述标准光标的光标中心为坐标原点,在所述空白图像中确定所述标准光标的四个第二端点各自对应的第二坐标;
将所述四个第一端点各自对应的第一坐标与所述四个第二端点各自对应的第二坐标进行坐标映射,获得所述标记光标与所述标准光标之间的转换矩阵,以作为所述标记光标相对于所述标准光标的倾斜度;
所述基于所述倾斜度对所述文字图像进行倾斜矫正,以获得矫正后的目标图像,包括:
基于所述转换矩阵,对所述文字图像中每一像素进行坐标转换,以获得所述文字图像中每一像素在所述空白图像中对应的转换坐标;
根据所述文字图像中每一像素在所述空白图像中对应的转换坐标,对所述空白图像进行像素填充,以获得矫正后的目标图像。
3.根据权利要求1所述的方法,其特征在于,所述当进入听写模式时,在书写页面上投影标记光标,包括:
当进入听写模式时,根据当前报读的听写文字,确定所述听写文字对应的书写范围;
根据所述书写范围,设置标记光标,以使得所述标记光标的光标大小与所述书写范围对应的光标大小相匹配;
在书写页面上投影所述标记光标;
所述在所述标记光标所在位置处采集包含书写文字和所述标记光标的文字图像,包括:
获取包含所述书写页面和所述标记光标的页面图像;
以所述标记光标的光标大小为采集范围,从所述页面图像中所述标记光标所在位置处采集包含书写文字和所述标记光标的文字图像。
4.根据权利要求3所述的方法,其特征在于,所述在书写页面上投影所述标记光标,包括:
识别书写页面中的笔尖,并判断所述笔尖在所述书写页面中某一坐标处的停留时长是否超过指定时长;
若超过,将所述笔尖在所述书写页面中对应的停留坐标确定为所述标记光标所在位置;
在所述书写页面上的所述停留坐标处投影所述标记光标。
5.根据权利要求3或4所述的方法,其特征在于,所述方法还包括:
在所述听写模式下,若接收到授权用户端发送的学习监督请求,响应于所述学习监督请求,在所述标记光标所在位置处确定拍摄装置的镜头对焦点;
根据所述标记光标的光标大小和所述镜头对焦点,调节所述拍摄装置的镜头焦距,以使得所述拍摄装置的取景范围内所述标记光标的占比大于或等于预设的占比;
将利用所述拍摄装置拍摄到的实时视频流发送至所述授权用户端,使得所述授权用户端接收并播放所述实时视频流以实现远程听写监督。
6.一种电子设备,其特征在于,所述电子设备包括:
投影单元,用于在进入听写模式时,在书写页面上投影标记光标;
采集单元,用于在所述标记光标所在位置处采集包含书写文字和所述标记光标的文字图像;
第一确定单元,用于在所述文字图像中确定所述标记光标相对于标准光标的倾斜度;
矫正单元,用于基于所述倾斜度对所述文字图像进行倾斜矫正,以获得矫正后的目标图像;
识别单元,用于从所述目标图像中识别出目标文字。
7.根据权利要求6所述的电子设备,其特征在于,所述标记光标和所述标准光标均为十字光标;所述第一确定单元,包括:
第一确定子单元,用于以所述标记光标的光标中心为坐标原点,在所述文字图像中确定所述标记光标的四个第一端点各自对应的第一坐标;
新建子单元,用于新建包含标准光标的空白图像;
第二确定子单元,用于以所述标准光标的光标中心为坐标原点,在所述空白图像中确定所述标准光标的四个第二端点各自对应的第二坐标;
映射子单元,用于将所述四个第一端点各自对应的第一坐标与所述四个第二端点各自对应的第二坐标进行坐标映射,获得所述标记光标与所述标准光标之间的转换矩阵,以作为所述标记光标相对于所述标准光标的倾斜度;
所述矫正单元,包括:
转换子单元,用于基于所述转换矩阵,对所述文字图像中每一像素进行坐标转换,以获得所述文字图像中每一像素在所述空白图像中对应的转换坐标;
填充子单元,用于根据所述文字图像中每一像素在所述空白图像中对应的转换坐标,对所述空白图像进行像素填充,以获得矫正后的目标图像。
8.根据权利要求6所述的电子设备,其特征在于,所述投影单元,包括:
第三确定子单元,用于在进入听写模式时,根据当前报读的听写文字,确定所述听写文字对应的书写范围;
设置子单元,用于根据所述书写范围,设置标记光标,以使得所述标记光标的光标大小与所述书写范围对应的光标大小相匹配;
投影子单元,用于在书写页面上投影所述标记光标;
所述采集单元,包括:
获取子单元,用于获取包含所述书写页面和所述标记光标的页面图像;
采集子单元,用于以所述标记光标的光标大小为采集范围,从所述页面图像中所述标记光标所在位置处采集包含书写文字和所述标记光标的文字图像。
9.根据权利要求8所述的电子设备,其特征在于,所述投影子单元,包括:
判断模,用于识别书写页面中的笔尖,并判断所述笔尖在所述书写页面中某一坐标处的停留时长是否超过指定时长;
确定模块,用于在所述判断模块判定出所述停留时长超过所述指定时长时,将所述笔尖在所述书写页面中对应的停留坐标确定为所述标记光标所在位置;
投影模块,用于在所述书写页面上的所述停留坐标处投影所述标记光标。
10.根据权利要求8或9所述的电子设备,其特征在于,所述电子设备还包括:
第二确定单元,用于在所述听写模式下,若接收到授权用户端发送的学习监督请求,响应于所述学习监督请求,在所述标记光标所在位置处确定拍摄装置的镜头对焦点;
调节单元,用于根据所述标记光标的光标大小和所述镜头对焦点,调节所述拍摄装置的镜头焦距,以使得所述拍摄装置的取景范围内所述标记光标的占比大于或等于预设的占比;
第一发送单元,用于将利用所述拍摄装置拍摄到的实时视频流发送至所述授权用户端,使得所述授权用户端接收并播放所述实时视频流以实现远程听写监督。

说明书全文

一种文字识别方法及电子设备

技术领域

[0001] 本发明涉及教育技术领域,具体涉及一种文字识别方法及电子设备。

背景技术

[0002] 如今,市面上很多电子设备已配置有听写功能,用以辅助用户进行听写练习。用户在利用电子设备进行听写练习时,通常会根据报读音频在书写纸张上书写相应的文字,并将拍摄到的包含书写纸张的图像输入电子设备,使得电子设备从图像中识别并批改用户书写的文字。然而,实践中发现,受拍摄度的影响,拍摄到的图像中往往会出现文字倾斜的情况,这使得电子设备难以从图像中识别出正确的文字,进而降低了文字识别的准确度。

发明内容

[0003] 本发明实施例公开了一种文字识别方法及电子设备,能够提高文字识别的准确率。
[0004] 本发明实施例第一方面公开一种文字识别方法,所述方法包括:
[0005] 当进入听写模式时,在书写页面上投影标记光标
[0006] 在所述标记光标所在位置处采集包含书写文字和所述标记光标的文字图像;
[0007] 在所述文字图像中确定所述标记光标相对于标准光标的倾斜度,并基于所述倾斜度对所述文字图像进行倾斜矫正,以获得矫正后的目标图像;
[0008] 从所述目标图像中识别出目标文字。
[0009] 作为一种可选的实施方式,在本发明实施例第一方面中,所述标记光标和所述标准光标均为十字光标;所述在所述文字图像中确定所述标记光标相对于标准光标的倾斜度,包括:
[0010] 以所述标记光标的光标中心为坐标原点,在所述文字图像中确定所述标记光标的四个第一端点各自对应的第一坐标;
[0011] 新建包含标准光标的空白图像,并以所述标准光标的光标中心为坐标原点,在所述空白图像中确定所述标准光标的四个第二端点各自对应的第二坐标;
[0012] 将所述四个第一端点各自对应的第一坐标与所述四个第二端点各自对应的第二坐标进行坐标映射,获得所述标记光标与所述标准光标之间的转换矩阵,以作为所述标记光标相对于所述标准光标的倾斜度;
[0013] 所述基于所述倾斜度对所述文字图像进行倾斜矫正,以获得矫正后的目标图像,包括:
[0014] 基于所述转换矩阵,对所述文字图像中每一像素进行坐标转换,以获得所述文字图像中每一像素在所述空白图像中对应的转换坐标;
[0015] 根据所述文字图像中每一像素在所述空白图像中对应的转换坐标,对所述空白图像进行像素填充,以获得矫正后的目标图像。
[0016] 作为一种可选的实施方式,在本发明实施例第一方面中,所述当进入听写模式时,在书写页面上投影标记光标,包括:
[0017] 当进入听写模式时,根据当前报读的听写文字,确定所述听写文字对应的书写范围;
[0018] 根据所述书写范围,设置标记光标,以使得所述标记光标的光标大小与所述书写范围对应的光标大小相匹配;
[0019] 在书写页面上投影所述标记光标;
[0020] 所述在所述标记光标所在位置处采集包含书写文字和所述标记光标的文字图像,包括:
[0021] 获取包含所述书写页面和所述标记光标的页面图像;
[0022] 以所述标记光标的光标大小为采集范围,从所述页面图像中所述标记光标所在位置处采集包含书写文字和所述标记光标的文字图像。
[0023] 作为一种可选的实施方式,在本发明实施例第一方面中,所述在书写页面上投影所述标记光标,包括:
[0024] 识别书写页面中的笔尖,并判断所述笔尖在所述书写页面中某一坐标处的停留时长是否超过指定时长;
[0025] 若超过,将所述笔尖在所述书写页面中对应的停留坐标确定为所述标记光标所在位置;
[0026] 在所述书写页面上的所述停留坐标处投影所述标记光标。
[0027] 作为一种可选的实施方式,在本发明实施例第一方面中,所述方法还包括:
[0028] 在所述听写模式下,若接收到授权用户端发送的学习监督请求,响应于所述学习监督请求,在所述标记光标所在位置处确定拍摄装置的镜头对焦点;
[0029] 根据所述标记光标的光标大小和所述镜头对焦点,调节所述拍摄装置的镜头焦距,以使得所述拍摄装置的取景范围内所述标记光标的占比大于或等于预设的占比;
[0030] 将利用所述拍摄装置拍摄到的实时视频流发送至所述授权用户端,使得所述授权用户端接收并播放所述实时视频流以实现远程听写监督。
[0031] 本发明实施例第二方面公开一种电子设备,所述电子设备包括:
[0032] 投影单元,用于在进入听写模式时,在书写页面上投影标记光标;
[0033] 采集单元,用于在所述标记光标所在位置处采集包含书写文字和所述标记光标的文字图像;
[0034] 第一确定单元,用于在所述文字图像中确定所述标记光标相对于标准光标的倾斜度;
[0035] 矫正单元,用于基于所述倾斜度对所述文字图像进行倾斜矫正,以获得矫正后的目标图像;
[0036] 识别单元,用于从所述目标图像中识别出目标文字。
[0037] 作为一种可选的实施方式,在本发明实施例第二方面中,所述标记光标和所述标准光标均为十字光标;所述第一确定单元,包括:
[0038] 第一确定子单元,用于以所述标记光标的光标中心为坐标原点,在所述文字图像中确定所述标记光标的四个第一端点各自对应的第一坐标;
[0039] 新建子单元,用于新建包含标准光标的空白图像;
[0040] 第二确定子单元,用于以所述标准光标的光标中心为坐标原点,在所述空白图像中确定所述标准光标的四个第二端点各自对应的第二坐标;
[0041] 映射子单元,用于将所述四个第一端点各自对应的第一坐标与所述四个第二端点各自对应的第二坐标进行坐标映射,获得所述标记光标与所述标准光标之间的转换矩阵,以作为所述标记光标相对于所述标准光标的倾斜度;
[0042] 所述矫正单元,包括:
[0043] 转换子单元,用于基于所述转换矩阵,对所述文字图像中每一像素进行坐标转换,以获得所述文字图像中每一像素在所述空白图像中对应的转换坐标;
[0044] 填充子单元,用于根据所述文字图像中每一像素在所述空白图像中对应的转换坐标,对所述空白图像进行像素填充,以获得矫正后的目标图像。
[0045] 作为一种可选的实施方式,在本发明实施例第二方面中,所述投影单元,包括:
[0046] 第三确定子单元,用于在进入听写模式时,根据当前报读的听写文字,确定所述听写文字对应的书写范围;
[0047] 设置子单元,用于根据所述书写范围,设置标记光标,以使得所述标记光标的光标大小与所述书写范围对应的光标大小相匹配;
[0048] 投影子单元,用于在书写页面上投影所述标记光标;
[0049] 所述采集单元,包括:
[0050] 获取子单元,用于获取包含所述书写页面和所述标记光标的页面图像;
[0051] 采集子单元,用于以所述标记光标的光标大小为采集范围,从所述页面图像中所述标记光标所在位置处采集包含书写文字和所述标记光标的文字图像。
[0052] 作为一种可选的实施方式,在本发明实施例第二方面中,所述投影子单元,包括:
[0053] 判断模,用于识别书写页面中的笔尖,并判断所述笔尖在所述书写页面中某一坐标处的停留时长是否超过指定时长;
[0054] 确定模块,用于在所述判断模块判定出所述停留时长超过所述指定时长时,将所述笔尖在所述书写页面中对应的停留坐标确定为所述标记光标所在位置;
[0055] 投影模块,用于在所述书写页面上的所述停留坐标处投影所述标记光标。
[0056] 作为一种可选的实施方式,在本发明实施例第二方面中,所述电子设备还包括:
[0057] 第二确定单元,用于在所述听写模式下,若接收到授权用户端发送的学习监督请求,响应于所述学习监督请求,在所述标记光标所在位置处确定拍摄装置的镜头对焦点;
[0058] 调节单元,用于根据所述标记光标的光标大小和所述镜头对焦点,调节所述拍摄装置的镜头焦距,以使得所述拍摄装置的取景范围内所述标记光标的占比大于或等于预设的占比;
[0059] 第一发送单元,用于将利用所述拍摄装置拍摄到的实时视频流发送至所述授权用户端,使得所述授权用户端接收并播放所述实时视频流以实现远程听写监督。
[0060] 本发明实施例第三方面公开一种电子设备,包括:
[0061] 存储有可执行程序代码的存储器
[0062] 与所述存储器耦合的处理器;
[0063] 所述处理器调用所述存储器中存储的所述可执行程序代码,执行本发明实施例第一方面公开的一种文字识别方法。
[0064] 本发明实施例第四方面公开一种计算机可读存储介质,其存储计算机程序,其中,所述计算机程序使得计算机执行本发明实施例第一方面公开的一种文字识别方法。
[0065] 本发明实施例第五方面公开一种计算机程序产品,当所述计算机程序产品在计算机上运行时,使得所述计算机执行第一方面的任意一种方法的部分或全部步骤。
[0066] 本发明实施例第六方面公开一种应用发布平台,所述应用发布平台用于发布计算机程序产品,其中,当所述计算机程序产品在计算机上运行时,使得所述计算机执行第一方面的任意一种方法的部分或全部步骤。
[0067] 与现有技术相比,本发明实施例具有以下有益效果:
[0068] 本发明实施例中,在听写模式下,通过在拍摄到的书写页面上投影标记光标,在标记光标所在位置处采集包含书写文字和标记光标的文字图像,并基于文字图像中标记光标相对于标准光标的倾斜度,获得对文字图像进行倾斜校正之后的目标图像,以从目标图像中识别出目标文字,能够将不同拍摄角度下拍摄到的标记光标的倾斜度作为图像倾斜度,来对文字图像进行倾斜矫正,解决了因受拍摄角度限制而造成文字图像倾斜的问题,进而大大提高听写场景下文字识别的准确度。附图说明
[0069] 为了更清楚地说明本发明实施例中的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
[0070] 图1是本发明实施例公开的一种文字识别方法的流程示意图;
[0071] 图2是本发明实施例公开的一种书写页面检测的场景示意图;
[0072] 图3是本发明实施例公开的一种书写页面的示意图;
[0073] 图4是本发明实施例公开的另一种文字识别方法的流程示意图;
[0074] 图5是本发明实施例公开的一种电子设备的结构示意图;
[0075] 图6是本发明实施例公开的另一种电子设备的结构示意图;
[0076] 图7是本发明实施例公开的另一种电子设备的结构示意图。

具体实施方式

[0077] 下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
[0078] 需要说明的是,本发明的说明书权利要求书中的术语“第一”、“第二”、“第三”“第四”等是用于区别不同的对象,而不是用于描述特定顺序。本发明实施例的术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
[0079] 本发明实施例公开了一种文字识别方法及电子设备,能够提高文字识别的准确率。本发明实施例公开的文字识别方法适用于供用户使用的学习平板、学习手机、学习机、家教机、点读机等电子设备中,具体地,还适用于上述电子设备内的Web应用、APP或者专用软件。以下结合附图进行详细描述。
[0080] 实施例一
[0081] 请参阅图1,图1是本发明实施例公开的一种文字识别方法的流程示意图。如图1所示,该文字识别方法可以包括以下步骤。
[0082] 101、电子设备在进入听写模式时,在书写页面上投影标记光标。
[0083] 本发明实施例中,电子设备利用拍摄装置拍摄书写页面,其中,拍摄装置可以包括设置于显示屏一面的前置摄像头以及设置于非显示屏一面的后置摄像头。电子设备可以利用前置摄像头拍摄书写页面,也可以利用后置摄像头拍摄书写页面,对此不作具体限定。
[0084] 请参阅图2,图2是本发明实施例公开的一种书写页面检测的场景示意图。在图2中,电子设备与平面(比如桌面)呈一定角度摆放,电子设备设置有拍摄装置以及反光装置,反光装置用于改变拍摄装置的光路,进而使得拍摄装置拍摄到摆放在水平面上的书写页面(比如练习本、课本等)。
[0085] 可选的,在步骤101之前,电子设备检测用户输入的语音信息,若从语音信息中识别出用于启用听写模式的语音指令(比如“开始听写”),则判定出进入听写模式;或者,电子设备在检测到显示屏所在平面与水平平面之间的夹角位于预设夹角范围(比如85°~95°)时,若通过拍摄装置检测到符合听写场景的书写页面(比如指定的听写练习本、标注有听写图标的课本页面),则进入听写模式;或者,电子设备获取当前用户的学习计划表,若判断出当前时刻属于学习计划表中听写练习对应的时段,则主动进入听写模式,对此不作具体限定。
[0086] 此外,可以理解,电子设备上还设有投影装置。具体来说,电子设备通过拍摄装置检测并识别书写页面中符合预设书写格式(比如田字格、米字格、双横线等)的书写区域,并在书写区域中确定下一个文字的书写位置,从而基于该书写位置设置投影光束的方向及角度,使得投影装置按照对投影光束的设置向书写页面中该书写坐标所在位置处投影标记光标。
[0087] 请参阅图3,图3是本发明实施例公开的一种书写页面的示意图。在图3中,假设当前听写报读的四字词语为“郁郁苍苍”,可知待书写的下一个汉字“苍”所对应的书写位置如图中标记光标30所示。此外,标记光标30还可以确定出相应的书写范围31,用以指示用户在书写范围31内进行书写。
[0088] 102、电子设备在标记光标所在位置处采集包含书写文字和标记光标的文字图像。
[0089] 103、电子设备在文字图像中确定标记光标相对于标准光标的倾斜度。
[0090] 104、电子设备基于标准光标对应的倾斜度对文字图像进行倾斜矫正,以获得矫正后的目标图像。
[0091] 作为一种可选的实施方式,若标记光标和标准光标均为十字光标,步骤103具体可以包括:
[0092] 电子设备以标记光标的光标中心为坐标原点,在文字图像中确定标记光标的四个第一端点各自对应的第一坐标;
[0093] 电子设备新建包含标准光标的空白图像,并以标准光标的光标中心为坐标原点,在空白图像中确定标准光标的四个第二端点各自对应的第二坐标;
[0094] 电子设备将四个第一端点各自对应的第一坐标与四个第二端点各自对应的第二坐标进行坐标映射,获得标记光标与标准光标之间的转换矩阵,以作为标记光标相对于标准光标的倾斜度;
[0095] 具体来说,假设以文字图像的左下角为坐标系原点,标记光标的四个第一端点在文字图像中各自对应的第一坐标为(x1,y1)、(x2,y2)、(x3,y3)和(x4,y4);以空白图像的左下角为坐标系原点,标准光标的四个第二端点在空白图像中各自对应的第二坐标为为(x1',y1')、(x2',y2')、(x3',y3')和(x4',y4'),并且,标准光标为正立的十字光标,其两轴相互垂直。电子设备可基于下述公式(1)获得第一坐标与第二坐标之间的坐标映射关系,即:
[0096] (1)
[0097] 对公式(1)进一步简化可得:
[0098]
[0099] 其中,x、y用于代入第一坐标,x'、y'用于代入x、y对应的第二坐标。因此,电子设备将四组坐标对代入上述简化后的公式中,即可求解出转换矩阵A,其中,四组坐标对包括[(x1,y1),(x1',y1')]、[(x2,y2),(x2',y2')]、[(x3,y3),(x3',y3')]和[(x4,y4),(x4',y4')]。
[0100] 可见,实施上述可选的实施方式,基于文字图像中标记光标与空白图像中正立的标准光标之间的坐标映射关系,能够求得用于矫正标记光标的转换矩阵,进而可利用该转换矩阵快速地对文字图像中的文字进行倾斜矫正。
[0101] 相应的,步骤104具体包括:
[0102] 电子设备基于转换矩阵,对文字图像中每一像素进行坐标转换,以获得文字图像中每一像素在空白图像中对应的转换坐标;
[0103] 根据文字图像中每一像素在空白图像中对应的转换坐标,对空白图像进行像素填充,以获得矫正后的目标图像。
[0104] 举例来说,若转换矩阵 文字图像中任一像素的坐标为(10,5),且该像素的像素值为255,结合简化后的公式(1)可知,该像素在空白图像中对应的转换坐标为:
[0105] 即(4,12)。因此,空白图像中坐标(4,12)处的像素被填充的像素值为255。
[0106] 可见,实施可选的实施方式,基于转换矩阵的倾斜矫正作用,能够从像素层面出发,利用文字图像填充空白图像中与之一一对应的像素,从而快速地获得包含倾斜矫正后的文字的目标图像。
[0107] 105、电子设备从目标图像中识别出目标文字。
[0108] 作为一种可选的实施方式,本方案还可以应用于听写竞赛的场景。在听写竞赛的场景下,假设电子设备对应于竞赛小组中的任一目标用户端,目标用户端在进入听写模式时(比如用户语音指示“听写准备完毕”),向服务器端发送听写确认消息;其中,竞赛小组至少包括两个目标用户端;
[0109] 服务器端在检测到竞赛小组中的所有目标用户端均已发送听写确认消息时,向每个目标用户端传送相同的听写内容;其中,听写内容可包括若干汉字、若干词汇或者若干短句等,对此不作限定;
[0110] 目标用户端开始报读听写内容,并针对听写内容包括的每一听写文字,在书写页面上投影该听写文字对应的标记光标,并执行步骤102~步骤105;
[0111] 当听写内容均报读完毕时,目标用户端统计从开始报读到报读完毕的听写时间,并对每一个听写文字对应的目标文字进行批改,获得听写正确率;
[0112] 目标用户端向服务器端上传听写时间和听写正确率;
[0113] 服务器端根据每个目标用户端上传的听写时间和听写正确率,计算每个目标用户端对应的成绩;
[0114] 服务器端按照成绩从大到小的次序对所有目标用户端进行排序,以获得每个目标用户端的排位;
[0115] 服务器端根据每个目标用户端的排位,将相应的奖励点数添加至每个目标用户端对应的用户账号中;其中,一定数目的奖励点数可用于解目标用户端的游戏应用,以及在生成学习计划表时增加娱乐时间等。
[0116] 可见,实施上述可选的实施方式,能够将精确度高的文字识别方式应用至听写竞赛场景,增添听写学习的趣味性。
[0117] 可见,实施图1所描述的方法,能够将不同拍摄角度下拍摄到的标记光标的倾斜度作为图像倾斜度,来对文字图像进行倾斜矫正,解决了因受拍摄角度限制而造成文字图像倾斜的问题,进而大大提高听写场景下文字识别的准确度。
[0118] 实施例二
[0119] 请参阅图4,图4是本发明实施例公开的另一种文字识别方法的流程示意图。如图4所示,该文字识别方法可以包括以下步骤。
[0120] 401、电子设备在进入听写模式时,根据当前报读的听写文字,确定听写文字对应的书写范围。
[0121] 402、电子设备根据上述书写范围,设置标记光标,以使得标记光标的光标大小与书写范围对应的光标大小相匹配。
[0122] 403、电子设备在书写页面上投影标记光标。
[0123] 举例来说,在方格内书写汉字时,汉字“一”与汉字“翼”的书写占比明显有所不同,故汉字“一”对应的光标大小应小于汉字“翼”对应的光标大小。此外,还可选的,不同汉字对应的光标形状也可不同,比如,汉字“一”对应的光标横轴长于光标纵轴,汉字“翼”对应的光标横轴略短于光标纵轴。可见,实施上述步骤401~步骤403,基于不同的文字形态特征确定当前报读文字的书写范围,能够适应性地调整标记光标的大小和形状,并引导用户在标记光标指示的书写范围内书写文字,从而保证文字的书写规范,有利于提高后续文字识别的准确率。
[0124] 作为一种可选的实施方式,步骤403包括以下步骤:
[0125] 电子设备识别书写页面中的笔尖,并判断笔尖在书写页面中某一坐标处的停留时长是否超过指定时长;
[0126] 若超过,电子设备将笔尖在书写页面中对应的停留坐标确定为标记光标所在位置;
[0127] 电子设备在书写页面上的停留坐标处投影标记光标。
[0128] 可见,实施上述可选的实施方式,通过识别用户握笔书写时笔尖在书写页面中的停留坐标,能够确定符合用户实际书写习惯的投影位置,提高了投影标记光标的灵活性;此外,还能够检测到笔尖在某一坐标的停留时长,并在停留时长超过指定时长时触发投影,减少了笔尖误触带来的不便影响。
[0129] 404、电子设备获取包含书写页面和标记光标的页面图像。
[0130] 405、电子设备以标记光标的光标大小为采集范围,从页面图像中标记光标所在位置处采集包含书写文字和标记光标的文字图像。
[0131] 406、电子设备在文字图像中确定标记光标相对于标准光标的倾斜度。
[0132] 407、电子设备基于标准光标对应的倾斜度对文字图像进行倾斜矫正,以获得矫正后的目标图像。
[0133] 408、电子设备从目标图像中识别出目标文字。
[0134] 作为一种可选的实施方式,本方案还可以包括:
[0135] 电子设备在听写模式下,若接收到授权用户端发送的学习监督请求,响应于学习监督请求,在标记光标所在位置处确定拍摄装置的镜头对焦点;
[0136] 电子设备根据标记光标的光标大小和镜头对焦点,调节拍摄装置的镜头焦距,以使得拍摄装置的取景范围内标记光标的占比大于或等于预设的占比;
[0137] 电子设备将利用拍摄装置拍摄到的实时视频流发送至授权用户端,使得授权用户端接收并播放实时视频流以实现远程听写监督。
[0138] 其中,电子设备可对应于学生端,授权用户端可以为与学生端授权绑定的教师端或者家长端,对此不作具体限定。以家长端为例,在远程听写监督的场景下,家长可在可穿戴设备、移动设备或平板设备等设备上登录监护人账号,以使得登录有监护人账号的电子设备作为授权用户端。之后,家长通过授权用户端向学生端发送学习监督请求,便可直接远程观看孩子的听写书写情况,并且,由于学生端的拍摄装置经调焦后可拍摄到孩子正在书写的单个文字,家长更能直观地监督孩子的文字书写笔顺。
[0139] 可见,实施可选的实施方式,既能够发挥家长或者教师对孩子听写学习的参与作用,又能够通过远程听写监督的形式改善家长或者教师的空间和时间自由度,操作便利。
[0140] 进一步的,作为另一种可选的实施方式,电子设备在接收到授权用户端发送的学习监督请求之后,响应于学习监督请求,进入学习监督模式,并输出用于指示进入学习监督模式的提示信息;其中,提示信息可以包括在电子设备的显示屏上弹出的提示弹窗(比如内容为“已和【妈妈】建立连接”的弹窗),或者用于控制电子设备上指示灯闪烁的灯光指令,不作具体限定;
[0141] 在学习监督模式下,电子设备在检测到当前用户输入的语音信息或者接收到授权用户端传来的语音信息时,与授权用户端建立语音通话连接;比如,家长在授权用户端上远程监控到孩子长时间无法写出某一听写单词时,可语音提示对方,此时电子设备将根据接收到的语音信号自动建立语音通话连接,便于实时沟通。
[0142] 还可选的,电子设备还可以接收并在显示屏上显示授权用户端传来的听写提示信息,以实现文字信息交互;其中,听写提示信息可以为其他用户在授权用户端上输入的文字内容。可见,这样能够大大提升远程听写监督的交互性,改善用户的学习体验。
[0143] 可见,实施图4所描述的方法,能够将不同拍摄角度下拍摄到的标记光标的倾斜度作为图像倾斜度,来对文字图像进行倾斜矫正,解决了因受拍摄角度限制而造成文字图像倾斜的问题,进而大大提高听写场景下文字识别的准确度;此外,能够适应性地调整标记光标的大小和形状,并引导用户在标记光标指示的书写范围内书写文字,从而保证文字的书写规范,有利于提高后续文字识别的准确率;进一步的,能够确定符合用户实际书写习惯的投影位置,提高了投影标记光标的灵活性,以及,还能够检测到笔尖在某一坐标的停留时长,并在停留时长超过指定时长时触发投影,减少了笔尖误触带来的不便影响;再进一步的,既能够发挥家长或者教师对孩子听写学习的参与作用,又能够通过远程听写监督的形式改善家长或者教师的空间和时间自由度,操作便利。
[0144] 实施例三
[0145] 请参阅图5,图5是本发明实施例公开的一种电子设备的结构示意图。如图5所示,该电子设备可以包括投影单元501、采集单元502、第一确定单元503、矫正单元504以及识别单元505,其中:
[0146] 投影单元501,用于在进入听写模式时,在书写页面上投影标记光标。
[0147] 可选的,该电子设备还可以包括判定单元,判定单元用于在进入听写模式之前,检测用户输入的语音信息,若从语音信息中识别出用于启用听写模式的语音指令(比如“开始听写”),则判定出进入听写模式;以及,在检测到显示屏所在平面与水平平面之间的夹角位于预设夹角范围(比如85°~95°)时,若通过拍摄装置检测到符合听写场景的书写页面(比如指定的听写练习本、标注有听写图标的课本页面),则进入听写模式;以及,获取当前用户的学习计划表,若判断出当前时刻属于学习计划表中听写练习对应的时段,则主动进入听写模式。
[0148] 采集单元502,用于在标记光标所在位置处采集包含书写文字和标记光标的文字图像。
[0149] 第一确定单元503,用于在文字图像中确定标记光标相对于标准光标的倾斜度。
[0150] 矫正单元504,用于基于标记光标对应的倾斜度对文字图像进行倾斜矫正,以获得矫正后的目标图像。
[0151] 作为一种可选的实施方式,标记光标和标准光标均为十字光标;第一确定单元503,包括:
[0152] 第一确定子单元,用于以标记光标的光标中心为坐标原点,在文字图像中确定标记光标的四个第一端点各自对应的第一坐标;
[0153] 新建子单元,用于新建包含标准光标的空白图像;
[0154] 第二确定子单元,用于以标准光标的光标中心为坐标原点,在空白图像中确定标准光标的四个第二端点各自对应的第二坐标;
[0155] 映射子单元,用于将四个第一端点各自对应的第一坐标与四个第二端点各自对应的第二坐标进行坐标映射,获得标记光标与标准光标之间的转换矩阵,以作为标记光标相对于标准光标的倾斜度;
[0156] 矫正单元504,包括:
[0157] 转换子单元,用于基于转换矩阵,对文字图像中每一像素进行坐标转换,以获得文字图像中每一像素在空白图像中对应的转换坐标;
[0158] 填充子单元,用于根据文字图像中每一像素在空白图像中对应的转换坐标,对空白图像进行像素填充,以获得矫正后的目标图像。
[0159] 识别单元505,用于从目标图像中识别出目标文字。
[0160] 作为一种可选的实施方式,本方案还可以应用于听写竞赛的场景。在听写竞赛的场景下,假设电子设备对应于竞赛小组中的任一目标用户端,则电子设备还可以包括第二发送单元、统计单元、批改单元和上传单元,其中:
[0161] 第二发送单元,用于在进入听写模式时(比如用户语音指示“听写准备完毕”),向服务器端发送听写确认消息,使得服务器端在检测到竞赛小组中的所有目标用户端均已发送听写确认消息时,向每个目标用户端传送相同的听写内容;其中,竞赛小组至少包括两个目标用户端;听写内容可包括若干汉字、若干词汇或者若干短句等,对此不作限定;
[0162] 投影单元501,还用于报读听写内容,并针对听写内容包括的每一听写文字,在书写页面上投影该听写文字对应的标记光标,并触发采集单元502在标记光标所在位置处采集包含书写文字和标记光标的文字图像;
[0163] 统计单元,用于在听写内容均报读完毕时,统计从开始报读到报读完毕的听写时间;
[0164] 批改单元,用于对每一个听写文字对应的目标文字进行批改,获得听写正确率;
[0165] 上传单元,用于向服务器端上传听写时间和听写正确率,使得服务器端根据每个目标用户端上传的听写时间和听写正确率,计算每个目标用户端对应的成绩;以及,服务器端按照成绩从大到小的次序对所有目标用户端进行排序,以获得每个目标用户端的排位;以及,服务器端根据每个目标用户端的排位,将相应的奖励点数添加至每个目标用户端对应的用户账号中;其中,一定数目的奖励点数可用于解锁目标用户端的游戏应用,以及在生成学习计划表时增加娱乐时间等。
[0166] 可见,实施上述可选的实施方式,能够将精确度高的文字识别方式应用至听写竞赛场景,同时增添听写学习的趣味性。
[0167] 可见,实施图5所描述的电子设备,能够将不同拍摄角度下拍摄到的标记光标的倾斜度作为图像倾斜度,来对文字图像进行倾斜矫正,解决了因受拍摄角度限制而造成文字图像倾斜的问题,进而大大提高听写场景下文字识别的准确度。
[0168] 实施例四
[0169] 请参阅图6,图6是本发明实施例公开的另一种电子设备的结构示意图。其中,图6所示的电子设备是由图5所示的电子设备进行优化得到的。与图5所示的电子设备相比较,图6所示的电子设备中:
[0170] 投影单元501,包括:
[0171] 第三确定子单元5011,用于在进入听写模式时,根据当前报读的听写文字,确定听写文字对应的书写范围;
[0172] 设置子单元5012,用于根据书写范围,设置标记光标,以使得标记光标的光标大小与书写范围对应的光标大小相匹配;
[0173] 投影子单元5013,用于在书写页面上投影标记光标;
[0174] 采集单元502,包括:
[0175] 获取子单元5021,用于获取包含书写页面和标记光标的页面图像;
[0176] 采集子单元5022,用于以标记光标的光标大小为采集范围,从页面图像中标记光标所在位置处采集包含书写文字和标记光标的文字图像。
[0177] 作为一种可选的实施方式,投影子单元5013,包括:
[0178] 判断模块50131,用于识别书写页面中的笔尖,并判断笔尖在书写页面中某一坐标处的停留时长是否超过指定时长;
[0179] 确定模块50132,用于在判断模块50131判定出停留时长超过指定时长时,将笔尖在书写页面中对应的停留坐标确定为标记光标所在位置;
[0180] 投影模块50133,用于在书写页面上的停留坐标处投影标记光标。
[0181] 进一步的,作为一种可选的实施方式,该电子设备还可以包括:
[0182] 第二确定单元506,用于在听写模式下,若接收到授权用户端发送的学习监督请求,响应于学习监督请求,在标记光标所在位置处确定拍摄装置的镜头对焦点;
[0183] 调节单元507,用于根据标记光标的光标大小和镜头对焦点,调节拍摄装置的镜头焦距,以使得拍摄装置的取景范围内标记光标的占比大于或等于预设的占比;
[0184] 第一发送单元508,用于将利用拍摄装置拍摄到的实时视频流发送至授权用户端,使得授权用户端接收并播放实时视频流以实现远程听写监督。
[0185] 进一步的,作为另一种可选的实施方式,电子设备还包括输出单元、连接单元和显示单元,其中:
[0186] 输出单元,用于在接收到授权用户端发送的学习监督请求之后,响应于学习监督请求,进入学习监督模式,并输出用于指示进入学习监督模式的提示信息;其中,提示信息可以包括在电子设备的显弹窗上弹出的提示弹出(比如内容为“已和【妈妈】建立连接”的弹窗),或者用于控制电子设备上指示灯闪烁的灯光指令,不作具体限定;
[0187] 连接单元,用于在学习监督模式下,检测到当前用户输入的语音信息或者接收到授权用户端传来的语音信息时,与授权用户端建立语音通话连接;比如,家长在授权用户端上远程监控到孩子长时间无法写出某一听写单词时,可语音提示对方,此时电子设备将根据接收到的语音信号自动建立语音通话连接,便于实时沟通。
[0188] 显示单元,用于接收并在显示屏上显示授权用户端传来的听写提示信息,以实现文字信息交互;其中,听写提示信息可以为其他用户在授权用户端上输入的文字内容。可见,这样能够大大提升远程听写监督的交互性,改善用户的学习体验。
[0189] 可见,实施图6所描述的电子设备,能够将不同拍摄角度下拍摄到的标记光标的倾斜度作为图像倾斜度,来对文字图像进行倾斜矫正,解决了因受拍摄角度限制而造成文字图像倾斜的问题,进而大大提高听写场景下文字识别的准确度;此外,能够适应性地调整标记光标的大小和形状,并引导用户在标记光标指示的书写范围内书写文字,从而保证文字的书写规范,有利于提高后续文字识别的准确率;进一步的,能够确定符合用户实际书写习惯的投影位置,提高了投影标记光标的灵活性,以及,还能够检测到笔尖在某一坐标的停留时长,并在停留时长超过指定时长时触发投影,减少了笔尖误触带来的不便影响;再进一步的,既能够发挥家长或者教师对孩子听写学习的参与作用,又能够通过远程听写监督的形式改善家长或者教师的空间和时间自由度,操作便利。
[0190] 实施例五
[0191] 请参阅图7,图7是本发明实施例公开的另一种电子设备的结构示意图。如图7所示,该电子设备可以包括:
[0192] 存储有可执行程序代码的存储器701;
[0193] 与存储器701耦合的处理器702;
[0194] 其中,处理器702调用存储器701中存储的可执行程序代码,执行图1或图4所示的一种文字识别方法。
[0195] 本发明实施例公开一种计算机可读存储介质,其存储计算机程序,其中,该计算机程序使得计算机执行图1或图4所示的一种文字识别方法。
[0196] 本发明实施例还公开一种计算机程序产品,其中,当计算机程序产品在计算机上运行时,使得计算机执行如以上各方法实施例中的方法的部分或全部步骤。
[0197] 本发明实施例还公开一种应用发布平台,该应用发布平台用于发布计算机程序产品,其中,当上述计算机程序产品在计算机上运行时,使得计算机执行如以上各方法实施例中的方法的部分或全部步骤。
[0198] 本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成,该程序可以存储于一计算机可读存储介质中,存储介质包括只读存储器(Read-Only Memory,ROM)、随机存储器(Random Access Memory,RAM)、可编程只读存储器(Programmable Read-only Memory,PROM)、可擦除可编程只读存储器(Erasable Programmable Read Only Memory,EPROM)、一次可编程只读存储器(One-time Programmable Read-Only Memory,OTPROM)、电子抹除式可复写只读存储器(Electrically-Erasable Programmable Read-Only Memory,EEPROM)、只读光盘(Compact Disc Read-Only Memory,CD-ROM)或其他光盘存储器、磁盘存储器、磁带存储器、或者能够用于携带或存储数据的计算机可读的任何其他介质。
[0199] 以上对本发明实施例公开的一种文字识别方法及电子设备进行了详细介绍,本文中应用了具体个例对本发明的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本发明的方法及其核心思想;同时,对于本领域的一般技术人员,依据本发明的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本发明的限制。
高效检索全球专利

专利汇是专利免费检索,专利查询,专利分析-国家发明专利查询检索分析平台,是提供专利分析,专利查询,专利检索等数据服务功能的知识产权数据服务商。

我们的产品包含105个国家的1.26亿组数据,免费查、免费专利分析。

申请试用

分析报告

专利汇分析报告产品可以对行业情报数据进行梳理分析,涉及维度包括行业专利基本状况分析、地域分析、技术分析、发明人分析、申请人分析、专利权人分析、失效分析、核心专利分析、法律分析、研发重点分析、企业专利处境分析、技术处境分析、专利寿命分析、企业定位分析、引证分析等超过60个分析角度,系统通过AI智能系统对图表进行解读,只需1分钟,一键生成行业专利分析报告。

申请试用

QQ群二维码
意见反馈