技术领域
[0001] 本
发明属于
图像处理的技术领域，涉及图像纹理，视频文字增强的技术领域，具体而言，涉及一种投影内容中字幕区域增强方法、装置及可读存储介质。
背景技术
[0002] 图像增强是计算机的一种术语，是将原来不清晰的图像变得清晰或强调某些感兴趣的特征，抑制不感兴趣的特征，使之改善图像
质量、丰富信息量，加强图像判读和识别效果的图像处理方法。
[0003] 图像增强可分成两大类：
频率域法和空间域法。前者把图像看成一种二维
信号，对其进行基于二维傅里叶变换的信号增强，采用低通滤波法，即只让低频信号通过，可去掉图中的噪声；采用高通滤波法，则可增强边缘等高频信号，使模糊的图片变得清晰。后者空间域法中具有代表性的
算法有局部求平均值法和中值滤波法等，中值滤波法取局部邻域中的中间
像素值，它们可用于去除或减弱噪声。
[0004]
现有技术中的图像增强主要是对图像区域或者特定物体区域作增强，但是现有技术缺乏对图像中的文字增强处理主要存在基于传统的直方图，具有效果差且
深度学习方法计算量大的
缺陷。
发明内容
[0005] 鉴于此，为了解决现有技术存在的上述问题，本发明的目的在于提供一种投影内容中字幕区域增强方法、装置及可读存储介质以达到能够对投影的字幕区域作增强处理并能良好的融入至原始图像中的目的。
[0006] 本发明所采用的技术方案为：一种投影内容中字幕区域增强方法，该方法包括：
[0007] 预处理：对字幕区域作预处理以形成连通区域；
[0008] 前景区域
定位：通过连通区域提取前景区域和背景区域，定位前景区域中字符笔画所在的所有像素点；
[0009] 前景区域
亮度统计：统计所述所有像素点的亮度信息，根据亮度信息在亮度值超过预设
阈值的像素点中提取部分或全部的像素点，并根据所提取的像素点计算亮度均值；
[0010] 前景区域亮度填充：通过亮度均值对所有像素点填充以生成增强的前景区域；
[0011] 字幕融合：将增强的前景区域与背景区域融合。
[0012] 进一步地，所述预处理包括：
[0013] 字幕区域去噪：对字幕区域进行滤波处理以生成图像A；
[0014] 边缘提取：计算图像A的边缘梯度并得到边缘强度图，对边缘强度图作二值化以生成图像B；
[0015] 边缘处理：对图像B进行边缘去噪和边缘连接，以对图像B中的噪点进行移除。
[0016] 进一步地，所述边缘强度图的计算包括canny边缘算法。
[0017] 进一步地，所述二值化的具体方法为：设定一个固定阈值Th，对边缘强度图中小于Th的像素点标记为0，对边缘强度图中大于Th的像素点命为边缘像素点并标记为1，以此生成图像B。
[0018] 进一步地，对图像B进行边缘去噪和边缘连接的具体方法如下：
[0019] 筛选图像B中各个独立的单个像素点并对其移除；
[0020] 连接图像B中标记为1的像素点以形成闭合的连通区域；
[0021] 对未形成闭合的连通区域的像素点移除。
[0022] 进一步地，定位所述前景区域中字符笔画所在的所有像素点采用如下方法：
[0023] 根据图像B，计算每个边缘像素点沿梯度方向距离另一边缘像素点的长度L，将该梯度方向上所有像素点的宽度均标记为L，将其余像素点的宽度均标记为0，以计算得到代表每个像素点的宽度的图像W；
[0024] 判断图像W中的每个像素点的宽度是否满足预先设定的阈值范围，若为是，则为字符笔画所在的像素点。
[0025] 进一步地，对增强的前景区域与背景区域融合后的边缘区域进行图像平滑处理，以实现前景区域与背景区域的边缘区域进行平滑过渡，达到感观自然的效果。
[0026] 本发明还提供了一种投影内容中字幕区域增强装置，该装置包括：预处理模
块、前景区域定位模块、前景区域亮度统计模块、前景区域亮度填充模块以及字幕融合模块；
[0027] 所述预处理模块用于对字幕区域作预处理以形成连通区域；
[0028] 所述前景区域定位模块用于通过连通区域提取前景区域和背景区域，定位前景区域中字符笔画所在的所有像素点；
[0029] 所述前景区域亮度统计模块用于统计所有像素点的亮度信息，提取亮度值相对较大的像素点并计算亮度均值；
[0030] 所述前景区域亮度填充模块用于通过亮度均值对所有像素点填充以生成增强的前景区域；
[0031] 所述字幕融合模块用于将增强的前景区域与背景区域融合。
[0032] 进一步地，所述预处理模块包括字幕区域去噪单元、边缘提取单元以及边缘处理单元；
[0033] 字幕区域去噪单元用于对字幕区域进行滤波处理以生成图像A；
[0034] 边缘提取单元用于计算图像A的边缘梯度并边缘强度图，对边缘强度图作二值化以生成图像B；
[0035] 边缘处理单元用于对图像B进行边缘去噪和边缘连接。
[0036] 本发明还提供了一种可读存储介质，所述可读存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现上述任一项所述的投影内容中字幕区域增强方法。
[0037] 本发明的有益效果为：
[0038] 1.采用本发明公开的投影内容中字幕区域增强方法、装置及可读存储介质，通过预处理获取连通区域，在连通区域中区分出前景区域和背景区域，以亮度均值对前景区域所在的所有像素点进行填充，以实现让字符笔画的亮度统一且边缘明显，同时，在对前景区域进行增强亮度之后，对前景区域和背景区域进行自然融合过渡，能够达到感观自然的效果，相较于传统的文字处理方法，本技术的增强方法效果更好；且仅需提取像素点，对像素点计算均值后进行所有像素点填充即可，其计算复杂度更低。
附图说明
[0039] 图1是本发明提供的投影内容中字幕区域增强方法的方法
流程图；
[0040] 图2是本发明提供的投影内容中字幕区域增强装置的架构图；
[0041] 图3是本发明提供的投影内容中字幕区域增强方法在实际应用中所呈现的效果图。
具体实施方式
[0042] 下面详细描述本
申请的
实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的模块或具有相同或类似功能的模块。下面通过参考附图描述的实施例是示例性的，仅用于解释本申请，而不能理解为对本申请的限制。相反，本申请的实施例包括落入所附加
权利要求书的精神和内涵范围内的所有变化、
修改和等同物。
[0043] 实施例1
[0044] 如图1所示，在本实施例中具体提供了一种投影内容中字幕区域增强方法，该方法主要是针对字幕区域进行增强，并自然过渡融入至原始图像中，该方法包括：
[0045] (1)字幕区域去噪：对字幕区域进行滤波处理以生成图像A，在本实施例中，使用3*3的窗口做中值滤波去噪，用中值
滤波器去除图像中的噪声是指：以当前像素点为中心，求窗口中所有像素点的灰度值的中值，以中值作为中心像素点的值。
[0046] (2)边缘提取：通过边缘梯度计算函数实现对图像A的边缘梯度计算，并通过canny边缘算法计算边缘强度，以得到边缘强度图且该边缘强度图中每一个像素点代表该像素点的边缘梯度值以及梯度方向，对边缘强度图作二值化以生成图像B，具体为：设定一个固定阈值Th，对边缘强度图中梯度值大于Th的像素点命为边缘像素点并标记为1，对边缘强度图中梯度值小于Th的像素点标记为0，以此生成图像B。其中，字符笔画的边缘就在标记为1的的像素点中。
[0047] (3)边缘处理：由于图像A中存在一些边缘强度高于文字边缘，造成图B中会有很多噪点，需要对噪点移除；因此，对图像B进行边缘去噪和边缘连接以形成连通区域；具体采用如下方法：
[0048] 1)筛选图像B中各个独立的单个像素点并对这些像素点进行移除；
[0049] 2)连接图像B中标记为非0的像素点以形成闭合的连通区域，连通区域是指图像中具有相同像素值且
位置相邻的
前景像素点组成的图像区域；
[0050] 3)对未形成闭合的连通区域的像素点移除。
[0051] (4)前景区域定位：通过连通区域提取前景区域和背景区域，前景区域即为文字笔画区域，背景区域即为视频的内容，定位前景区域中字符笔画所在的所有像素点并把位置记录，此处，字符笔画包括但不限于计算机中使用的字母、数字、字和符号。从连通区域的定义可以知道，一个连通区域是由具有相同像素值的相邻像素组成像素集合，因此，基于上述我们就可以通过连接具有相同标记的像素点以形成闭合的连通区域，对于找到的每个连通区域，我们赋予其一个唯一的标识(Label)，以区别其他连通区域。连通区域分析有基本的算法，也有其改进算法，在本实施例中采用Two-Pass法和Seed-Filling
种子填充法两种基本的算法进行区分前景区域和背景区域。
[0052] 在本实施例中，定位所述前景区域中字符笔画所在的所有像素点采用如下方法：
[0053] 根据图像B，计算每个边缘像素点沿梯度方向距离另一边缘像素点的长度L，将该梯度方向上所有像素点的宽度均标记为L，将其余像素点的宽度均标记为0，对所有的边缘像素点进行遍历计算；以计算得到代表每个像素点的宽度的图像W；
[0054] 判断图像W中的每个像素点的宽度是否满足预先设定的阈值范围，令阈值范围为[l1,l2]，其中，l1和l2是根据字幕区域图像A的范围大小所设定的，若为是，则为字符笔画所在的像素点；若为否，则不为字符笔画所在的像素点。
[0055] (5)前景区域亮度统计：统计所有像素点的亮度信息，根据所述亮度信息对亮度值进行重新排序或者比较，在亮度值超过预设阈值的像素点中提取部分或全部的像素点，并根据所提取的像素点计算亮度均值；在本实施例中，提取亮度值前1/3的像素点并计算亮度均值，以计算的亮度均值为G为例，当然，提取亮度值前1/3的像素点仅为本实施例的优选，也提取亮度值前1/4的像素点或者其他，主要是根据总的亮度信息进行适应性的选取。
[0056] (6)前景区域亮度填充：由于像素点是能被独立赋予
颜色和亮度的，通过亮度均值对所有像素点填充以生成增强的前景区域，即将所有像素点的亮度值均填充为G；以达到字幕增强效果，让字幕笔画的亮度统一和边缘明显，整个文字笔画区域的亮度一致且
对比度非常强。
[0057] (7)字幕融合：将增强的前景区域与背景区域融合，对增强的前景区域与背景区域融合后的边缘区域进行3*3的图像平滑处理，以实现边缘自然过渡。
[0058] 基于上述所提供的投影内容中字幕区域增强方法，在实际应用中的效果呈现如图3所示，在该效果图中，图片1所展示的为原图；图片2为执行“去噪”后，其噪点亮度变浅、
淡化的效果；图片3中展示的为边缘噪点的效果；图片4中展示的为边缘去噪并进行文字区域定位的效果；图片5展示的为对文字区域的像素点进行亮度填充的效果且文字区域的边缘与背景不平滑；图片6展示的为将填充后的文字区域与背景融合后并进行平滑过渡的效果。
[0059] 实施例2
[0060] 如图2所示，基于实施例1中所提供的投影内容中字幕区域增强方法，在本实施例中还提供了一种投影内容中字幕区域增强装置，该装置包括：预处理模块、前景区域定位模块、前景区域亮度统计模块、前景区域亮度填充模块以及字幕融合模块；
[0061] 所述预处理模块用于对字幕区域作预处理以形成连通区域；所述预处理模块包括字幕区域去噪单元、边缘提取单元以及边缘处理单元；
[0062] 字幕区域去噪单元用于对字幕区域进行滤波处理以生成图像A；
[0063] 边缘提取单元用于计算图像A的边缘梯度并边缘强度图，对边缘强度图作二值化以生成图像B，该边缘提取单元安装有canny边缘算法；
[0064] 边缘处理单元用于对图像B进行边缘去噪和边缘连接；
[0065] 所述前景区域定位用于通过连通区域提取前景区域和背景区域，定位前景区域中字符笔画所在的所有像素点；
[0066] 所述前景区域亮度统计模块用于统计所有像素点的亮度信息，提取亮度值相对较大的像素点并计算亮度均值，优选的，提取亮度值前1/3的像素点；
[0067] 所述前景区域亮度填充模块用于通过亮度均值对所有像素点填充以生成增强的前景区域；
[0068] 所述字幕融合模块用于将增强的前景区域与背景区域融合，字幕融合模块安装有图像平滑处理算法。
[0069] 实施例3
[0070] 本发明还提供了一种可读存储介质，所述可读存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现上述实施例1中所述的投影内容中字幕区域增强方法，以实现对文字增强处理。
[0071] 需要说明的是，在本申请的描述中，术语“第一”、“第二”等仅用于描述目的，而不能理解为指示或暗示相对重要性。此外，在本申请的描述中，除非另有说明，“多个”的含义是指至少两个。
[0072] 流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、
片段或部分，并且本申请的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本申请的实施例所属技术领域的技术人员所理解。
[0073] 应当理解，本申请的各部分可以用
硬件、
软件、
固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在
存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的
逻辑门电路的离散
逻辑电路，具有合适的组合
逻辑门电路的
专用集成电路，可编程门阵列(PGA)，
现场可编程门阵列(FPGA)等。
[0074] 本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。
[0075] 此外，在本申请各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。
[0076] 上述提到的存储介质可以是
只读存储器，磁盘或光盘等。
[0077] 在本
说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
[0078] 尽管上面已经示出和描述了本申请的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本申请的限制，本领域的普通技术人员在本申请的范围内可以对上述实施例进行变化、修改、替换和变型。
