黑板板书提取与智能识别方法及系统
阅读：83发布：2020-05-12
专利汇可以提供黑板板书提取与智能识别方法及系统专利检索，专利查询，专利分析的服务。并且本 申请 涉及教学领域，公开了一种黑板板书提取与智能识别方法及系统。该方法包括：预先用摄像机标定黑板，确定黑板区域；每隔预设时间，将所述摄像机拍摄的当前图像 帧 和基准图像帧进行比对，并根据比对结果判断黑板板书是否有更新；如果所述黑板板书有更新，则识别所述当前图像帧的所述黑板区域中的有效区域；以及将所述当前图像帧的所述有效区域中的所述黑板板书转化为文本。本申请的实施方式能够对摄像机拍摄的教学视频进行有效优化，提高了黑板板书的提取的可靠性和准确性。，下面是黑板板书提取与智能识别方法及系统专利的具体信息内容。
1.一种黑板板书提取与智能识别方法，其特征在于，包括：
预先用摄像机标定黑板，确定黑板区域；
每隔预设时间，将所述摄像机拍摄的当前图像帧和基准图像帧进行比对，并根据比对结果判断黑板板书是否有更新；
如果所述黑板板书有更新，则识别所述当前图像帧的所述黑板区域中的有效区域；
将所述当前图像帧的所述有效区域中的所述黑板板书转化为文本。
2.如权利要求1所述的黑板板书提取与智能识别方法，其特征在于，所述每隔预设时间，将所述摄像机拍摄的当前图像帧和基准图像帧进行比对，并根据比对结果判断黑板板书是否有更新，进一步包括：
每隔预设时间，分别将所述摄像机拍摄的当前图像帧和基准图像帧灰度图化后作差，并将差值图进行二值图化处理生成二值图；
根据所述二值图判断所述黑板板书是否有更新。
3.如权利要求2所述的黑板板书提取与智能识别方法，其特征在于，所述根据所述二值图判断所述黑板板书是否有更新，进一步包括：
如果所述二值图的像素个数之和小于第一预设阈值，则判定所述黑板板书没有更新，以及如果所述二值图的像素个数之和大于第二预设阈值，则确定所述黑板板书有更新或所述黑板区域有遮挡物；
将所述二值图根据连通性分为若干区域块，计算并绘制能够包括每个区域块的最小面积的矩形区块；
如果某个矩形区块下边沿在所述黑板区域下边沿的上方，则判定所述黑板板书有更新，及如果某个矩形区块下边沿在所述黑板区域下边沿的下方，则判定所述黑板区域有遮挡物。
4.如权利要求1所述的黑板板书提取与智能识别方法，其特征在于，所述根据比对结果判断黑板板书是否有更新之后，还包括：
如果所述黑板板书没有更新，则将当前图像帧更新为所述基准图像帧，其中初始基准图像帧为所述摄像机开机后的第一张图像帧。
5.如权利要求1-4中任意一项所述黑板板书提取与智能识别方法，其特征在于，所述黑板包括多联规格相同的子黑板。
6.如权利要求5所述黑板板书提取与智能识别方法，其特征在于，识别所述当前图像帧的所述黑板区域中的有效区域，进一步包括：
将所述当前图像帧从RGB颜色空间转换为Lab颜色空间，提取所述Lab颜色空间中的b通道图像；
将所述b通道图像按照图像的灰度特性分成背景和黑板边框；
将所述黑板边框进行二值化处理，得到边框二值图；
根据所述边框二值图确认所述黑板区域中的有效区域。
7.如权利要求6所述黑板板书提取与智能识别方法，其特征在于，所述预先用摄像机标定黑板，确定黑板区域之后，还包括：
框选所述摄像机拍摄画面中一联完整子黑板，并计算该完整子黑板的图像像素值；
所述根据所述边框二值图确认所述黑板区域中的有效区域，进一步包括：
根据所述边框二值图得到所述当前图像帧的黑板边框形态图，如果所述黑板边框形态图中某个区域下边沿为非闭合曲线，则将该区域补充为闭合区域；
计算所述黑板边框形态图中每个闭合区域的图像像素值；
如果某一闭合区域的图像像素值与所述完整子黑板的图像像素值的差值的绝对值小于第三预设阈值，则标识该闭合区域；
计算每个被标识的闭合区域中的所有像素的颜色平均值和所述黑板区域内的所有像素的颜色平均值；
如果某个被标识的闭合区域中的所有像素的颜色平均值与所述黑板区域中的所有像素的颜色平均值的差值的绝对值小于第四预设阈值，则确定该闭合区域为所述有效区域。
8.一种黑板板书提取与智能识别系统，其特征在于，包括：
标定模块，用于预先用摄像机标定黑板，确定黑板区域；
判断模块，用于每隔预设时间，将所述摄像机拍摄的当前图像帧和基准图像帧进行比对，并根据比对结果判断黑板板书是否有更新；
识别模块，用于如果所述黑板板书有更新，则识别所述当前图像帧的所述黑板区域中的有效区域；
提取模块，用于将所述当前图像帧的所述有效区域中的所述黑板板书转化为文本。
9.一种黑板板书提取与智能识别系统，其特征在于，包括：
存储器，用于存储计算机可执行指令；以及，
处理器，用于在执行所述计算机可执行指令时实现如权利要求1至7中任意一项所述的方法中的步骤。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机可执行指令，所述计算机可执行指令被处理器执行时实现如权利要求1至7中任意一项所述的方法中的步骤。
黑板板书提取与智能识别方法及系统
技术领域
[0001] 本申请涉及教学领域，特别涉及黑板板书提取技术。
背景技术
[0002] 网上课堂视频可以作为学生课后自习、老师课后教学观摩的素材，深受用户喜爱。随着网上课堂视频等产品的普及，一个地区所有教室一年内产生的网上课堂视频数量为百万数量级，而摄像机在拍摄视频时需要兼容教师教学行为拍摄和黑板板书特写拍摄功能，拍摄画面中包含很多无效信息，增加了黑板板书的提取的困难。
发明内容
发明内容
[0003] 本申请的目的在于提供一种黑板板书提取与智能识别方法及系统，能够对摄像机拍摄的教学视频进行有效优化，提高了黑板板书的提取的可靠性和准确性。
[0004] 本申请公开了一种黑板板书提取与智能识别方法，包括：
[0005] 预先用摄像机标定黑板，确定黑板区域；
[0007] 如果所述黑板板书有更新，则识别所述当前图像帧的所述黑板区域中的有效区域；
[0008] 将所述当前图像帧的所述有效区域中的所述黑板板书转化为文本。
[0009] 在一个优选例中，所述每隔预设时间，将所述摄像机拍摄的当前图像帧和基准图像帧进行比对，并根据比对结果判断黑板板书是否有更新，进一步包括：
[0010] 每隔预设时间，分别将所述摄像机拍摄的当前图像帧和基准图像帧灰度图化后作差，并将差值图进行二值图化处理生成二值图；
[0011] 根据所述二值图判断所述黑板板书是否有更新。
[0012] 在一个优选例中，所述根据所述二值图判断所述黑板板书是否有更新，进一步包括：
[0014] 将所述二值图根据连通性分为若干区域块，计算并绘制能够包括每个区域块的最小面积的矩形区块；
[0015] 如果某个矩形区块下边沿在所述黑板区域下边沿的上方，则判定所述黑板板书有更新，及如果某个矩形区块下边沿在所述黑板区域下边沿的下方，则判定所述黑板区域有遮挡物。
[0016] 在一个优选例中，所述根据比对结果判断黑板板书是否有更新之后，还包括：
[0017] 如果所述黑板板书没有更新，则将当前图像帧更新为所述基准图像帧，其中初始基准图像帧为所述摄像机开机后的第一张图像帧。
[0018] 在一个优选例中，所述黑板包括多联规格相同的子黑板。
[0019] 在一个优选例中，识别所述当前图像帧的所述黑板区域中的有效区域，进一步包括：
[0020] 将所述当前图像帧从RGB颜色空间转换为Lab颜色空间，提取所述Lab颜色空间中的b通道图像；
[0021] 将所述b通道图像按照图像的灰度特性分成背景和黑板边框；
[0022] 将所述黑板边框进行二值化处理，得到边框二值图；
[0023] 根据所述边框二值图确认所述黑板区域中的有效区域。
[0024] 在一个优选例中，所述预先用摄像机标定黑板，确定黑板区域之后，还包括：
[0025] 框选所述摄像机拍摄画面中一联完整子黑板，并计算该完整子黑板的图像像素值；
[0026] 所述根据所述边框二值图确认所述黑板区域中的有效区域，进一步包括：
[0027] 根据所述边框二值图得到所述当前图像帧的黑板边框形态图，如果所述黑板边框形态图中某个区域下边沿为非闭合曲线，则将该区域补充为闭合区域；
[0028] 计算所述黑板边框形态图中每个闭合区域的图像像素值；
[0029] 如果某一闭合区域的图像像素值与所述完整子黑板的图像像素值的差值的绝对值小于第三预设阈值，则标识该闭合区域；
[0030] 计算每个被标识的闭合区域中的所有像素的颜色平均值和所述黑板区域内的所有像素的颜色平均值；
[0031] 如果某个被标识的闭合区域中的所有像素的颜色平均值与所述黑板区域中的所有像素的颜色平均值的差值的绝对值小于第四预设阈值，则确定该闭合区域为所述有效区域。
[0032] 本申请还公开了一种黑板板书提取与智能识别系统，包括：
[0033] 标定模块，用于预先用摄像机标定黑板，确定黑板区域；
[0034] 判断模块，用于每隔预设时间，将所述摄像机拍摄的当前图像帧和基准图像帧进行比对，并根据比对结果判断黑板板书是否有更新；
[0035] 识别模块，用于如果所述黑板板书有更新，则识别所述当前图像帧的所述黑板区域中的有效区域；
[0036] 提取模块，用于将所述当前图像帧的所述有效区域中的所述黑板板书转化为文本。
[0037] 本申请还公开了一种黑板板书提取与智能识别系统，包括：
[0038] 存储器，用于存储计算机可执行指令；以及，
[0039] 处理器，用于在执行所述计算机可执行指令时实现如前文描述的方法中的步骤。
[0040] 本申请还公开了一种计算机可读存储介质所述计算机可读存储介质中存储有计算机可执行指令，所述计算机可执行指令被处理器执行时实现如前文描述的方法中的步骤。
[0041] 本申请实施方式中，至少包括以下优点：
[0042] 标定黑板框定黑板区域，每隔预设时间，将摄像机所拍摄视频的当前图像帧和基准图像帧进行比对来判断黑板板书是否有更新，如果判定黑板板书有更新则确定当前图像帧为有效帧，识别该有效帧中的该黑板区域中的有效区域，采用例如OCR算法将有效区域中的黑板板书转化为文本；其中通过周期性识别摄像机视频中的有效帧，减少了参与OCR算法识别图像帧的数量，节约了硬件计算资源，而且在识别有效帧的基础上，进一步识别有效帧中的黑板区域中的有效区域以剔除无效区域和非黑板区域，减少了OCR算法的计算量，提高了黑板板书的提取效率和准确度。
[0043] 进一步地，根据当前图像帧和基准图像帧得到二者的灰度图化后的差值二值图，并对二值图进行特征分析，以实现对当前图像帧的黑板板书内容是否更新做出准确判定，进一步提高了黑板板书的提取的可靠性和准确性。
[0044] 进一步地，在识别黑板区域中的有效区域过程中，利用黑板边框与黑板板面、背景墙壁颜色色差的这一特征，将摄像机拍摄的图像抽象分离为包含黑板边框的形态图，通过黑板边框形态图实现了黑板区域的自动标定和有效区域的自动识别，实现了黑板区域中有效区域的自动识别过程，将摄像机所拍摄图像中所包含的墙壁、教学仪器等无效信息进行了滤除，提高了有效区域识别的可靠性和准确性，进一步提高了黑板板书的提取的可靠性和准确性。
[0045] 并且，针对在摄像机拍摄的网上课堂视频，需要兼容教师教学行为拍摄与黑板板书特写拍摄功能，本申请的实施方式实现了一个摄像机兼容教师教学行为的拍摄与黑板板书提取的功能，有效地降低了网上课堂产品的硬件成本造价。
[0046] 本申请的说明书中记载了大量的技术特征，分布在各个技术方案中，如果要罗列出本申请所有可能的技术特征的组合(即技术方案)的话，会使得说明书过于冗长。为了避免这个问题，本申请上述发明内容中公开的各个技术特征、在下文各个实施方式和例子中公开的各技术特征、以及附图中公开的各个技术特征，都可以自由地互相组合，从而构成各种新的技术方案(这些技术方案均因视为在本说明书中已经记载)，除非这种技术特征的组合在技术上是不可行的。例如，在一个例子中公开了特征A+B+C，在另一个例子中公开了特征A+B+D+E，而特征C和D是起到相同作用的等同技术手段，技术上只要择一使用即可，不可能同时采用，特征E技术上可以与特征C相组合，则，A+B+C+D的方案因技术不可行而应当不被视为已经记载，而A+B+C+E的方案应当视为已经被记载。
附图说明
[0047] 图1是根据本申请第一实施方式的黑板板书提取与智能识别方法流程示意图；
[0048] 图2是根据本申请第一实施方式的一个示例图像在标定黑板框选出黑板区域后的状态图；
[0049] 图3是根据本申请第一实施方式的步骤b的一个具体实施例；
[0050] 图4是根据本申请第一实施方式的摄像机拍摄的当前图像帧和基准图像帧的灰色图的差值二值图的一个示例的示意图；
[0051] 图5是根据本申请第一实施方式的左右拉合形式的示例黑板的某一拉合状态的示意图；
[0052] 图6是根据本申请第一实施方式的上下拉合形式的示例黑板的某一拉合状态的示意图；
[0053] 图7是根据本申请的示例黑板的四联子黑板依次排布的状态图；
[0054] 图8是根据本申请的示例黑板的包含四个闭合区域的一种黑板边框形态图的示意图；
[0055] 图9是根据本申请的示例黑板的包含四个闭合区域的一种黑板边框形态图的示意图；
[0056] 图10是根据本申请的示例黑板的包含三个闭合区域的一种黑板边框形态图的示意图；
[0057] 图11是根据本申请的示例黑板的包含五个闭合区域的一种黑板边框形态图的示意图；
[0058] 图12是根据本申请的示例黑板的包含四个闭合区域的一种黑板边框形态图的示意图；
[0059] 图13是根据本申请第二实施方式的黑板板书提取与智能识别系统结构示意图。
具体实施方式
[0060] 在以下的叙述中，为了使读者更好地理解本申请而提出了许多技术细节。但是，本领域的普通技术人员可以理解，即使没有这些技术细节和基于以下各实施方式的种种变化和修改，也可以实现本申请所要求保护的技术方案。
[0061] 部分概念的说明：
[0062] 有效区域：黑板区域中具有完整子黑板的闭合区域。
[0063] 无效区域：黑板区域中某块子黑板被其他子黑板部分或全部遮挡，造成黑板板书不完整而无法对其进行识别的闭合区域。
[0064] 非黑板区域：黑板区域中因子黑板拉开后露出的区域。
[0065] 有效帧：网上课堂视频中产生了黑板板书更新的图像帧。
[0066] 光学字符识别(Optical Character Recognition，OCR)方法是手写字符识别的通用方法，可以将黑板板书图片中的手写字符转化为文本。
[0067] 为使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请的实施方式作进一步地详细描述。
[0068] 目前，由于网上课堂摄像机需要兼容教师教学行为拍摄与黑板板书特写拍摄功能，而摄像机所拍摄的图像除了包含黑板外，还包含墙壁、教学仪器等其他背景，如果直接对摄像机拍摄的黑板板书进行识别，由于图像中包含大量的无效信息，算法运算结果会生成大量乱码，会导致算法准确低；同时考虑到教师书写更新黑板板书的频率为可能是若干分钟一次，而标准视频中图片帧率为25帧/秒，如果对摄像机拍摄视频中的每一帧的图像进行识别黑板板书，将会浪费大量的硬件计算资源，也会导致算法效率低。
[0069] 为了解决至少以上问题，本申请的第一实施方式涉及一种黑板板书提取与智能识别方法，其流程如图1所示，该方法包括以下步骤：
[0070] 在步骤101中，预先用摄像机标定黑板，确定黑板区域。
[0071] 该步骤101中可以是在第一次安装摄像机时采用人工方式用该摄像机标定黑板。在一个实施例中，在安装摄像机时，通过软件设置，令工程安装人员在操作界面上用矩形框框选黑板，系统软件自动读取所框选的黑板矩形顶点的坐标，该矩形区域即为黑板区域，由于打开摄像机后其位置和拍摄角度是固定的，黑板在摄像画面中区域也是固定的，因此，仅在安装的时候进行一次框选黑板就可以完成标定工作。且不限于此实施例，其他可以实现黑板标定的具体实施方式都在本说明书的保护范围内。例如，图2所示为摄像机标定黑板框选出黑板区域后的示例状态图，框选出黑板区域后，该帧图像被划分为背景区域和黑板区域。
[0072] 需要说明的是，本申请的摄像机是指能够采集图像的任何装置和设备，例如但不限于包括可以定时获取图像功能的视频采集装置和图片采集装置等。
[0073] 之后，进入步骤102，每隔预设时间，将该摄像机拍摄的当前图像帧和基准图像帧进行比对。
[0074] 在一个实施例中，可以是在所述摄像机拍摄期间实时执行该步骤102。在另一个实施例中，也可以对已拍摄完成的某堂课视频执行该步骤102。
[0075] 该预设时间可以根据情况进行设置。在一个实施例中，该预设时间可以根据教师两次书写板书的所间隔的最短时间设置；例如如果教师两次书写板书的所间隔的最短时间为t，则该预设时间可以设置为≤t。在另一个实施例中，该预设时间可以根据经验进行设置；例如考虑到标准视频中图片帧率为25帧/秒，该预设时间可以设置为1s、2s、3s等。
[0076] 之后，进入步骤103，根据步骤102中的比对结果判断黑板板书是否有更新。
[0077] 可选地，该步骤102和步骤103进一步包括以下步骤a和b：
[0078] 在步骤a中，每隔预设时间，分别将该摄像机拍摄的当前图像帧和基准图像帧灰度图化后作差，并将差值图进行二值图化处理生成二值图。之后执行步骤b，根据该二值图判断该黑板板书是否有更新。
[0079] 可选地，该步骤b进一步包括以下步骤①～⑥：
[0080] 在步骤①中，将该二值图的像素个数之和与第一预设阈值比对以判断该二值图的像素个数之和是否小于第一预设阈值，如果该二值图的像素个数之和小于该第一预设阈值，则判定黑板板书没有更新；以及，
[0081] 在步骤②中，将该二值图的像素个数之和与第二预设阈值比对以判断该二值图的像素个数之和是否大于第二预设阈值，如果该二值图的像素个数之和大于第二预设阈值，则判定该黑板板书有更新或该黑板区域有遮挡物；之后执行步骤③，将该二值图根据连通性分为若干区域块，计算并绘制能够包括每个区域块的最小面积的矩形区块；之后执行步骤④，将各矩形区块下边沿与黑板区域比对，判断该各矩形区块下边沿是否在该黑板区域下边沿的上方；如果在该黑板区域下边沿的上方，则执行步骤⑤判定该黑板板书有更新；否则执行步骤⑥判定该黑板区域有遮挡物。
[0082] 需要说明的是，上述可选实施例中的步骤①和步骤②③④⑤⑥可以同时执行或者先后执行。图3为第一实施方式中基于步骤①和步骤②③④⑤⑥先后执行的步骤b的一个具体实施例。
[0083] 另外，为了更好的理解，对上述实施例进一步举例说明：如图4所示为摄像机拍摄的当前图像帧和基准图像帧的灰色图的差值二值图的一个示例，为了明显区分，图中将黑板区域用灰色矩形框框定，该二值图中第一白色区域块对应的矩形区块下边沿在黑板区域下边沿的上方，为黑板板书更新造成的，第二白色区域块(比第一白色区域块面积大的)对应的矩形区块下边沿在黑板区域下边沿的下方，为教师(遮挡物)移动造成的。需要说明的是，该例子中罗列的细节主要是为了便于理解，不作为对本申请保护范围的限制。
[0084] 可选地，如图1所示，该步骤103之后还包括以下步骤105：
[0085] 在步骤105中，如果该黑板板书没有更新，则将当前图像帧更新为该基准图像帧，其中初始基准图像帧为该摄像机开机后的第一张图像帧。
[0086] 之后，进入步骤104，如果该黑板板书有更新，则识别该当前图像帧的该黑板区域中的有效区域。
[0087] 可以根据黑板边框与黑板板面、背景墙壁颜色色差较大的这一特征，将该当前图像帧抽象分离为只包含黑板边框的形态图和其他。可选地，该步骤104中“识别该当前图像帧的该黑板区域中的有效区域”进一步实现为以下子步骤A、B、C和D：
[0088] 在步骤A中，将该当前图像帧从RGB颜色空间转换为Lab颜色空间，提取该Lab颜色空间中的b通道图像；之后执行步骤B，将该b通道图像按照图像的灰度特性分成背景和黑板边框；之后执行步骤C，将该黑板边框进行二值化处理，得到边框二值图；之后执行步骤D，根据该边框二值图确认该黑板区域中的有效区域。
[0089] 在一个实施例中，该步骤B和C进一步包括以下步骤I、II和III：
[0090] 在步骤I中，确定该b通道图像大小为M×N，黑板边框的像素个数占整幅图像的比例为ω0，其平均灰度为μ0，背景像素个数占整幅图像的比例为ω1，其平均灰度为μ1，b通道图像的总平均灰度记为μ；
[0091] 之后执行步骤II，设置一个阈值T，图像中像素的灰度值小于阈值T的像素个数记作N0，像素灰度大于阈值T的像素个数记作N1，则有：
[0092] ω0＝N0/M×N (1)
[0093] ω1＝N1/M×N (2)
[0094] N0+N1＝M×N (3)
[0095] ω0+ω1＝1 (4)
[0096] μ＝ω0*μ0+ω1*μ1 (5)
[0097] g＝ω0(μ0-μ)2+ω1(μ1-μ)2 (6)
[0098] 将式(5)代入式(6)，得到等价公式：
[0099] g＝ω0ω1(μ0-μ1)2 (7)并采用遍历的方法得到使g最大的阈值T，该阈值T是最优的二值化阈值；
[0100] 之后执行步骤III，根据该阈值T将该黑板边框进行二值化处理，得到边框二值图。
[0101] 可选地，该黑板可以是单联黑板，也可以是包括多联规格相同的子黑板。在一个实施例中，该黑板包括多联规格相同的子黑板。例如该多联子黑板为四联黑板，如图5所示为左右拉合形式的示例黑板的某一拉合状态的示意图，如图6所示为上下拉合形式的示例黑板的某一拉合状态的示意图。
[0102] 在一个实施例中，该黑板是多联规格相同的子黑板。在该实施例中，该101之后还包括以下步骤：框选该摄像机拍摄画面中一联完整子黑板，并计算该完整子黑板的图像像素值。在该实施例中，该步骤D可以进一步实现为以下步骤：根据该边框二值图得到该当前图像帧的黑板边框形态图，如果该黑板边框形态图中某个区域下边沿为非闭合曲线，则将该区域补充为闭合区域；计算该黑板边框形态图中每个闭合区域的图像像素值；如果某一闭合区域的图像像素值与该完整子黑板的图像像素值的差值的绝对值小于第三预设阈值，则标识该闭合区域；计算每个被标识的闭合区域中的所有像素的颜色平均值和该黑板区域内的所有像素的颜色平均值；如果某个被标识的闭合区域中的所有像素的颜色平均值与该黑板区域中的所有像素的颜色平均值的差值的绝对值小于第四预设阈值，则确定该闭合区域为该有效区域。需要指出，该实施例中的第三预设阈值和第四预设阈值可以根据具体情况进行设置，例如但不限于可以根据经验进行设置。
[0103] 之后，进入步骤106，将该当前图像帧的该有效区域中的该黑板板书转化为文本。
[0104] 在一个实施例中，该步骤106可以进一步实现为：采用OCR算法将该当前图像帧的该有效区域中的该黑板板书转化为文本。但不仅限于此实施例，其他可以将该当前图像帧的该有效区域中的该黑板板书转化为文本的现有的或待开发的方法都在本申请的保护范围内。
[0105] 为了能够更好地理解本申请的技术方案，下面结合一个具体的示例来进行说明，该示例中罗列的细节主要是为了便于理解，不作为对本申请保护范围的限制。该示例黑板为四联左右可拉合式黑板，该示例黑板包括四联规格相同的子黑板(子黑板1、子黑板2、子黑板3、子黑板4)，如图7所示为四联子黑板依次排布的状态图，其中子黑板1和子黑板4分别固定于最左侧和最右侧，子黑板2和子黑板3可以左右移动拉合，根据本说明书中的实施方式，可以按照以下四个步骤对该示例黑板的黑板板书进行提取，具体包括：
[0106] 步骤一，打开摄像机，标定示例黑板。
[0107] 1)安装摄像机时，通过软件设置，由工程安装人员在操作界面上用矩形框框选黑板；
[0108] 2)系统软件自动读取所框选的黑板矩形顶点的坐标，该矩形区域即为黑板区域；
[0109] 3)由工程人员框选黑板的一联完整子黑板，后台软件读取框选的坐标，并计算出该完整子黑板在拍摄图像中所占的像素个数，记为D。
[0110] 步骤二，摄像机拍摄期间，基于摄像机所拍摄视频判断黑板板书是否有更新。
[0111] 1)记录摄像机后的第一张图像帧，作为初始基准帧图像；
[0112] 2)拍摄期间，每隔时间t(t＝1s)获取该摄像机视频的当前图像帧，分别将当前图像帧和基准图像帧转化为灰度图；
[0113] 3)将当前图像帧与基准图像帧转化后的灰度图作差，并将差值图进行二值图化处理，生成二值图；
[0114] 4)当二值图的像素个数之和小于第一预设阈值，则判定黑板板书没有更新，黑板区域中也没有遮挡物(如教师)，图像的差别是光线变化造成的，用当前图像帧更新基准图像帧，当二值图的像素个数之和大于第二预设阈值，则判定黑板板书有更新或黑板区域中有遮挡物(如教师)，之后继续进行5)；
[0115] 5)将3)中所得的二值图根据区域连通性分为若干个区域块，求出能包含每个区域块的最小面积的矩形区块，对各矩形区块的位置进行以下分析：
[0116] 当区域块矩形下边缘的纵坐标小于黑板下边缘纵坐标时，判定该区域块为遮挡物移动造成的，黑板板书没有更新；
[0117] 当区域块矩形下边缘的纵坐标大于黑板下边缘纵坐标时，判定黑板板书有更新。
[0118] 步骤三，识别黑板区域中的有效区域。
[0119] 1)基于步骤一框选的黑板区域和步骤二确定的二值图得到黑板边框的形态图，其中如果黑板边框形态图中某个闭合区域下边沿为非闭合曲线时，则判定教师遮挡黑板造成的，可以将该区域补充为闭合的区域。
[0120] 2)由黑板边框形态图，计算出每个闭合区域所占的像素值d。
[0121] 3)每个闭合区域所占的像素值与步骤一标定的一联完整子黑板所占的像素进行对比分析：当满足|d-D|＜α时，该闭合区域的大小与标定的子黑板区域大小相近，判定为该闭合区域为完整子黑板或者非黑板区域，其中阈值α为经验值。
[0122] 4)满足3)的各闭合区域需要通过颜色判别法进行进一步甄别是否存在非黑板区域(例如可能存在图8和图9所示的闭合区域2和闭合区域3大小与完整黑板像素值相近，但是都为非黑板区域)，即获取满足3)的各闭合区域内所有对各区域的图像像素的颜色求平均值，分别为C1、C2、C3……、Cn，并求得黑板区域内所有像素的平均值Cav，满足|Cav-Cn|＜δ时，Cn对应的闭合区域为有效区域，否则为非黑板区域，其中阈值δ为经验值。例如可能得到的以下i ii iii三种情况的黑板边框形态图：
[0123] i.得到的黑板边框形态图包含三个闭合区域，效果如图10所示。可以判定：图中闭合区域2为非黑板，闭合区域1、闭合区域3为有效区域。
[0124] ii.得到的黑板边框形态图包含五个闭合区域，效果如图11所示，可以判定：图中区域3为非黑板区域，闭合区域1、闭合区域5为无效区域，闭合区域2、区域4为有效区域。
[0125] iii.得到的黑板边框形态图包含四个闭合区域。该情况下，又可以细分为三种子情况，需要进一步对各区域的图像像素的颜色求平均值，分别为C1、C2、C3、C4，并求得黑板内所有像素的平均值Cav，则：
[0126] 若同时满足|Cav-C1|＜δ，|Cav-C2|＜δ，|Cav-C3|＜δ，|Cav-C4|＜δ时，为图12所示的第一种子情况，四个闭合区域都为黑板有效区域。
[0127] 若同时满足|Cav-C1|＜δ，|Cav-C2|＞δ，|Cav-C3|＜δ，|Cav-C4|＜δ时，为图8所示的第二种子情况，闭合区域1、闭合区域3、闭合区域4为有效区域，闭合区域2为非黑板区域。
[0128] 若同时满足|Cav-C1|＜δ，|Cav-C2|＜δ，|Cav-C3|＞δ，|Cav-C4|＜δ时，为如图9所示的第三种子情况，闭合区域1、闭合区域2、闭合区域4为有效区域，区域3为非黑板区域。
[0129] 5)将所述当前图像帧的所述有效区域中的所述黑板板书转化为文本，直至摄像机拍摄结束或关闭。
[0130] 本申请的第二实施方式涉及一种黑板板书提取与智能识别系统，其结构如图13所示，该黑板板书提取与智能识别系统包括标定模块、判断模块、识别模块和提取模块。
[0131] 具体的，该标定模块，用于预先用摄像机标定黑板，确定黑板区域。
[0132] 该步骤101中可以采用人工标定黑板或者自动标定黑板的方式。
[0133] 在一个实施例中，在安装摄像机时，通过软件设置，令工程安装人员在操作界面上用矩形框框选黑板，系统软件自动读取所框选的黑板矩形顶点的坐标，该矩形区域即为黑板区域，由于打开摄像机后其位置和拍摄角度是固定的，黑板在摄像画面中区域也是固定的，因此，仅在安装的时候进行一次框选黑板就可以完成标定工作。且不限于此实施例，其他可以实现黑板标定的具体实施方式都在本说明书的保护范围内。例如，图2所示为摄像机标定黑板框选出黑板区域后的示例状态图，框选出黑板区域后，该帧图像被划分为背景区域和黑板区域。
[0134] 可选地，该黑板可以是单联或者是包括多联规格相同的子黑板。在一个实施例中，该黑板包括多联规格相同的子黑板。在该实施例中，该标定模块还用于框选该摄像机拍摄画面中一联完整子黑板，并计算该完整子黑板的图像像素值。
[0135] 该判断模块，用于每隔预设时间，将所述摄像机拍摄的当前图像帧和基准图像帧进行比对，并根据比对结果判断黑板板书是否有更新。
[0136] 该预设时间可以根据情况进行设置。在一个实施例中，该预设时间可以根据教师两次书写板书的所间隔的最短时间设置；例如如果教师两次书写板书的所间隔的最短时间为t，则该预设时间可以设置为≤t。在另一个实施例中，该预设时间可以根据经验进行设置；例如考虑到标准视频中图片帧率为25帧/秒，该预设时间可以设置为1s、2s、3s等。
[0137] 可选地，该判断模块还用于每隔预设时间，分别将该摄像机拍摄的当前图像帧和基准图像帧灰度图化后作差，并将差值图进行二值图化处理生成二值图，根据该二值图判断该黑板板书是否有更新。
[0138] 可选地，该判断模块还用于如果该二值图的像素个数之和小于第一预设阈值，则判定该黑板板书没有更新，以及如果该二值图的像素个数之和大于第二预设阈值，则确定该黑板板书有更新或该黑板区域有遮挡物，将该二值图根据连通性分为若干区域块，计算并绘制能够包括每个区域块的最小面积的矩形区块，以及如果某个矩形区块下边沿在该黑板区域下边沿的上方，则判定该黑板板书有更新，及如果某个矩形区块下边沿在该黑板区域下边沿的下方，则判定该黑板区域有遮挡物。
[0139] 该识别模块，如果所述黑板板书有更新，则识别所述当前图像帧的所述黑板区域中的有效区域。
[0140] 可选地，该识别模块还用于将该当前图像帧从RGB颜色空间转换为Lab颜色空间，提取该Lab颜色空间中的b通道图像，将该b通道图像按照图像的灰度特性分成背景和黑板边框，将该黑板边框进行二值化处理，得到边框二值图，以及根据该边框二值图确认该黑板区域中的有效区域。
[0141] 在一个实施例中，该识别模块还用于先确定该b通道图像大小为M×N，黑板边框的像素个数占整幅图像的比例为ω0，其平均灰度为μ0，背景像素个数占整幅图像的比例为ω1，其平均灰度为μ1，b通道图像的总平均灰度记为μ；然后设置一个阈值T，图像中像素的灰度值小于阈值T的像素个数记作N0，像素灰度大于阈值T的像素个数记作N1，则有：
[0142] ω0＝N0/M×N (1)
[0143] ω1＝N1/M×N (2)
[0144] N0+N1＝M×N (3)
[0145] ω0+ω1＝1 (4)
[0146] μ＝ω0*μ0+ω1*μ1 (5)
[0147] g＝ω0(μ0-μ)2+ω1(μ1-μ)2 (6)将式(5)代入式(6)，得到等价公式：
[0148] g＝ω0ω1(μ0-μ1)2 (7)并采用遍历的方法得到使g最大的阈值T，该阈值T是最优的二值化阈值；然后根据该阈值T将该黑板边框进行二值化处理，得到边框二值图。
[0149] 可选地，该系统还包括更新模块，用于如果该黑板板书没有更新，则将当前图像帧更新为该基准图像帧，其中初始基准图像帧为该摄像机开机后的第一张图像帧。
[0150] 在一个实施例中，该黑板包括多联规格相同的子黑板，该识别模块还用于根据该边框二值图得到该当前图像帧的黑板边框形态图，如果该黑板边框形态图中某个区域下边沿为非闭合曲线，则将该区域补充为闭合区域，计算该黑板边框形态图中每个闭合区域的图像像素值，如果某一闭合区域的图像像素值与该完整子黑板的图像像素值的差值的绝对值小于第三预设阈值，则标识该闭合区域，计算每个被标识的闭合区域中的所有像素的颜色平均值和该黑板区域内的所有像素的颜色平均值，以及如果某个被标识的闭合区域中的所有像素的颜色平均值与该黑板区域中的所有像素的颜色平均值的差值的绝对值小于第四预设阈值，则确定该闭合区域为该有效区域。需要指出，该实施例中的第三预设阈值和第四预设阈值可以根据具体情况进行设置，例如但不限于可以根据经验进行设置。
[0151] 该提取模块，用于将所述当前图像帧的所述有效区域中的所述黑板板书转化为文本。
[0152] 在一个实施例中，该提取模块还用于采用OCR算法将该当前图像帧的该有效区域中的该黑板板书转化为文本。且不限于此实施例，该提取模块也可以采用其他现有的或待开发的方法将该当前图像帧的该有效区域中的该黑板板书转化为文本的。
[0153] 第一实施方式是与本实施方式相对应的方法实施方式，第一实施方式中的技术细节可以应用于本实施方式，本实施方式中的技术细节也可以应用于第一实施方式。
[0154] 需要说明的是，本申请中的黑板并非特指黑色的板面，多为黑色、墨绿色、白色或米黄色等。传统意义上讲它是一个可以用粉笔反复书写的平面，板面坚硬，多用于教学。
[0155] 需要说明的是，本领域技术人员应当理解，上述黑板板书提取与智能识别系统的实施方式中所示的各模块的实现功能可参照前述黑板板书提取与智能识别方法的相关描述而理解。上述黑板板书提取与智能识别系统的实施方式中所示的各模块的功能可通过运行于处理器上的程序(可执行指令)而实现，也可通过具体的逻辑电路而实现。本申请实施例上述黑板板书提取与智能识别系统如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请实施例的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机、服务器、或者网络设备等)执行本申请各个实施例所述方法的全部或部分。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read Only Memory)、磁碟或者光盘等各种可以存储程序代码的介质。这样，本申请实施例不限制于任何特定的硬件和软件结合。
[0156] 相应地，本申请实施方式还提供一种计算机可读存储介质，其中存储有计算机可执行指令，该计算机可执行指令被处理器执行时实现本申请的各方法实施方式。计算机可读存储介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括但不限于，相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读存储介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。
[0157] 此外，本申请实施方式还提供一种黑板板书提取与智能识别系统，其中包括用于存储计算机可执行指令的存储器，以及，处理器；该处理器用于在执行该存储器中的计算机可执行指令时实现上述各方法实施方式中的步骤。其中，该处理器可以是中央处理单元(Central Processing Unit，简称“CPU”)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，简称“DSP”)、专用集成电路(Application Specific Integrated Circuit，简称“ASIC”)等。前述的存储器可以是只读存储器(read-only memory，简称“ROM”)、随机存取存储器(random access memory，简称“RAM”)、快闪存储器(Flash)、硬盘或者固态硬盘等。本发明各实施方式所公开的方法的步骤可以直接体现为硬件处理器执行完成，或者用处理器中的硬件及软件模块组合执行完成。
[0158] 需要说明的是，在本专利的申请文件中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。本专利的申请文件中，如果提到根据某要素执行某行为，则是指至少根据该要素执行该行为的意思，其中包括了两种情况：仅根据该要素执行该行为、和根据该要素和其它要素执行该行为。多个、多次、多种等表达包括2个、2次、2种以及2个以上、2次以上、2种以上。
[0159] 在本申请提及的所有文献都被认为是整体性地包括在本申请的公开内容中，以便在必要时可以作为修改的依据。此外应理解，以上所述仅为本说明书的较佳实施例而已，并非用于限定本说明书的保护范围。凡在本说明书一个或多个实施例的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本说明书一个或多个实施例的保护范围之内。
| 标题 | 发布/更新时间 | 阅读量 |
|---|---|---|
| 一种Lab空间的偏色校正方法 | 2020-05-08 | 564 |
| 一种基于机器视觉的试纸分拣系统及分拣方法 | 2020-05-13 | 138 |
| 一种基于几何信息的人工复眼相机三维图像处理方法 | 2020-05-13 | 204 |
| 一种基于显著性检测的颜色迁移方法及系统 | 2020-05-08 | 956 |
| 一种图像处理方法、装置及存储介质 | 2020-05-08 | 684 |
| 转变图像风格的方法和装置、卷积神经网络处理器 | 2020-05-14 | 244 |
| 一种图像紫边消除装置及方法 | 2020-05-08 | 579 |
| 黑板板书提取与智能识别方法及系统 | 2020-05-12 | 83 |
| 一种精细化照片染发方法及系统 | 2020-05-13 | 736 |
| 一种基于多特征融合的运动阴影去除方法 | 2020-05-11 | 795 |
高效检索全球专利专利汇是专利免费检索,专利查询,专利分析-国家发明专利查询检索分析平台，是提供专利分析，专利查询，专利检索等数据服务功能的知识产权数据服务商。
我们的产品包含105个国家的1.26亿组数据，免费查、免费专利分析。
分析报告
专利汇分析报告产品可以对行业情报数据进行梳理分析，涉及维度包括行业专利基本状况分析、地域分析、技术分析、发明人分析、申请人分析、专利权人分析、失效分析、核心专利分析、法律分析、研发重点分析、企业专利处境分析、技术处境分析、专利寿命分析、企业定位分析、引证分析等超过60个分析角度，系统通过AI智能系统对图表进行解读，只需1分钟，一键生成行业专利分析报告。
QQ群二维码
意见反馈
意见反馈