一种基于生成对抗网络的视频光照增强方法及系统
专利汇可以提供一种基于生成对抗网络的视频光照增强方法及系统专利检索，专利查询，专利分析的服务。并且本 发明 公开了一种基于生成对抗网络的视频光照增强方法，包括：S1从原始视频数据中提取 指定 时间段的视频段，并对视频段中各 帧 图像顺次编号；S2对视频段进行分帧处理，获得独立的各帧图像；S3利用预训练的图像光照增强模型，对基帧进行光照增强；S4对基帧的后续帧进行光照增强；S5根据各帧图像编号顺序，将光照增强后的各帧图像合成视频，即实现视频段的光照增强。本发明可用于实时视频的光照增强，可提升视频光照度，获得更好的 可视化 效果，尤其适用光线较差情形；本发明技术可为夜视环境下的视频监控提供有 力 的技术 支撑 ，具有较强的现实意义与应用价值。，下面是一种基于生成对抗网络的视频光照增强方法及系统专利的具体信息内容。
1.一种基于生成对抗网络的视频光照增强方法，其特征是，包括：
S1 从原始视频数据中提取指定时间段的视频段，并对视频段中各帧图像顺次编号；
S2对视频段进行分帧处理，获得独立的各帧图像；
S3利用预训练的图像光照增强模型，对基帧进行光照增强，获得光照增强后的基帧，基帧为当前视频段的第一帧图像；所述图像光照增强模型基于生成对抗网络构建；
S4 对基帧的后续帧进行光照增强，本步骤具体为：
从基帧的第一帧后续帧开始，对各后续帧逐一进行如下处理：
S4.1 比较后续帧与基帧，确定后续帧中与基帧不同的图像块区域；
S4.2利用图像光照增强模型，对后续帧中与基帧不同的区域进行光照增强；
S4.3对后续帧中与基帧相同的区域，采用光照增强后的基帧中的对应区域进行替换；
S5 根据各帧图像编号顺序，将光照增强后的各帧图像合成视频，即实现视频段的光照增强。
2.如权利要求1所述的基于生成对抗网络的视频光照增强方法，其特征是：
当所提取的视频段中存在场景跳转，对所提取视频段进一步切割，保证所切割后的新视频段中画面的连续性。
3.如权利要求1或2所述的基于生成对抗网络的视频光照增强方法，其特征是：
步骤S2进一步包括：
从当前视频段的第一帧图像开始，对两两相邻帧逐一做如下处理：
S2.1逐一比较后一帧与前一帧中各像素的RGB值之差，当所有像素的RGB值之差均不大于预设的RGB阈值，则判断两帧图像相同，去掉后一帧；否则，继续执行子步骤S2.2；
S2.2 统计不同像素点的数量，当不同像素点占所有像素点的比例未超过预设的比例阈值时，判断两帧图像相同，去掉后一帧；否则，判断两帧图像为不同图像；其中，不同像素点指：后一帧与前一帧中RGB值之差大于RGB阈值的像素点；
所述RGB阈值和所述比例阈值根据经验设定。
4.如权利要求1所述的基于生成对抗网络的视频光照增强方法，其特征是：
步骤S3中，图像光照增强模型的构建过程为：
搭建生成对抗网络模型，生成对抗网络模型中的生成器利用U-net网络构建，判别器为马尔科夫判别器PatchGAN；以及对生成对抗网络模型进行训练。
5.如权利要求4所述的基于生成对抗网络的视频光照增强方法，其特征是：
对生成对抗网络模型进行训练，具体为：
采用摄像头采集一系列图像对，每对图像包括一低照度图像和一光照增强图像；
利用训练样本集对生成对抗网络模型进行反复迭代训练，直至判别器无法判断图像真假。
6.如权利要求1所述的基于生成对抗网络的视频光照增强方法，其特征是：
子步骤S4.1具体为：
S4.1a 将基帧与后续帧划分为相同的网格；
S4.1b 基于网格内像素点的RGB值，逐一判断基帧与后续帧中相对应的两网格是否相同；
对所有网格逐一执行子步骤 S4.1b，将后续帧中判断为不相同的网格保存，后续帧中所有与基帧不同的网格，构成与基帧不同的图像块区域。
7.如权利要求1所述的基于生成对抗网络的视频光照增强方法，其特征是：
当步骤S2采用权利要求3所记载方法实施时，步骤S5进一步包括：
S5.1 读取光照增强后各帧图像的编号；
S5.2 在空缺编号处，以前一帧图像复制补充至该空缺处，并采用该空缺编号标记；直至所有空缺编号处被复制补充图像；
S5.3 将所有帧图像按编号合成视频。
8.如权利要求1所述的基于生成对抗网络的视频光照增强方法，其特征是：
还包括：
加入动态缓存机制，即在对视频段进行光照增强时，将下一视频段加入缓存；当步骤S4完成后，直接对缓存中的下一视频段开始执行步骤S2；
同时，引入同步机制，所述同步机制为：当步骤S3和步骤S4两个步骤完成后，直接标识状态空闲，并将状态标识发送给计算机主程序；当步骤S1、步骤S2、以及步骤S5三个步骤完成后，同样标识状态空闲，并将状态空闲信息发送给计算机主程序；
在主程序中比较两者计算进度，当前者运行较快，后面采取更小的视频段处理方式；若后者运行较快，则采用较少生成对抗网络模型参数的方式。
9.一种基于生成对抗网络的视频光照增强系统，其特征是，包括：
视频预处理模块，用来从原始视频数据中提取指定时间段的视频段，并对视频段中各帧图像顺次编号；
视频分帧处理模块，用来对视频段进行分帧处理，获得独立的各帧图像；
视频基帧处理模块，用来利用预训练的图像光照增强模型，对基帧进行光照增强，获得光照增强后的基帧，基帧为当前视频段的第一帧图像；所述图像光照增强模型基于生成对抗网络构建；
视频后续帧处理模块，用来对基帧的后续帧进行光照增强；
视频段合成模块，用来根据各帧图像编号顺序，将光照增强后的各帧图像合成视频，即实现视频段的光照增强；
所述视频后续帧处理模块进一步包括：
比较子模块，用来比较后续帧与基帧，确定后续帧中与基帧不同的图像块区域；
光照增强子模块，用来利用图像光照增强模型，对后续帧中与基帧不同的区域进行光照增强；
替换模块，用来对后续帧中与基帧相同的区域，采用光照增强后的基帧中的对应区域进行替换。
10.如权利要求9所述的基于生成对抗网络的视频光照增强系统，其特征是：
还包括视频低延时输出模块，用来输出合成的视频段。
一种基于生成对抗网络的视频光照增强方法及系统
技术领域
背景技术
24张图片，若逐张处理图片，计算量较大，无法保证视频的实时传输；
（2）视频处理将占据更大的存储和运算空间；
（3）相同的硬件设备，由于无法类似拍照的长曝光功能，因此在某些应用场景下，视频质量低于图片质量；
（4）在视频监控领域，相较于图片，视频往往实时性要求更高。
发明内容
S2对视频段进行分帧处理，获得独立的各帧图像；
S3利用预训练的图像光照增强模型，对基帧进行光照增强，获得光照增强后的基帧，基帧为当前视频段的第一帧图像；所述图像光照增强模型基于生成对抗网络构建；
S4 对基帧的后续帧进行光照增强，本步骤具体为：
从基帧的第一帧后续帧开始，对各后续帧逐一进行如下处理：
S4.1 比较后续帧与基帧，确定后续帧中与基帧不同的区域；
S4.2利用图像光照增强模型，对后续帧中与基帧不同的区域进行光照增强；
S4.3对后续帧中与基帧相同的区域，采用光照增强后的基帧中的对应区域进行替换；
S5 根据各帧图像编号顺序，将光照增强后的各帧图像合成视频，即实现视频段的光照增强。
S2.1逐一比较后一帧与前一帧中各像素的RGB值之差，当所有像素的RGB值之差均不大于预设的RGB阈值，则判断两帧图像相同，去掉后一帧；否则，继续执行子步骤S2.2；
S2.2 统计不同像素点的数量，当不同像素点占所有像素点的比例未超过预设的比例阈值时，判断两帧图像相同，去掉后一帧；否则，判断两帧图像为不同图像；其中，不同像素点指：后一帧与前一帧中RGB值之差大于RGB阈值的像素点；
所述RGB阈值和所述比例阈值根据经验设定。
S4.1b 基于网格内像素点的RGB值，逐一判断基帧与后续帧中相对应的两网格是否相同；
对所有网格逐一执行子步骤 S4.1b，将后续帧中判断为不相同的网格保存，后续帧中所有与基帧不同的网格，构成与基帧不同的区域。
S5.2 在空缺编号处，以前一帧图像复制补充至该空缺处，并采用该空缺编号标记；直至所有空缺编号处被复制补充图像；
S5.3 将所有帧图像按编号合成视频。
同时，引入同步机制，所述同步机制为：当步骤S3和步骤S4两个步骤完成后，直接标识状态空闲，并将状态标识发送给计算机主程序；当步骤S1、步骤S2、以及步骤S5三个步骤完成后，同样标识状态空闲，并将状态空闲信息发送给计算机主程序；
在主程序中比较两者计算进度，当前者运行较快，后面采取更小的视频段处理方式；若后者运行较快，则采用较少生成对抗网络模型参数的方式。
视频分帧处理模块，用来对视频段进行分帧处理，获得独立的各帧图像；
视频基帧处理模块，用来利用预训练的图像光照增强模型，对基帧进行光照增强，获得光照增强后的基帧，基帧为当前视频段的第一帧图像；所述图像光照增强模型基于生成对抗网络构建；
视频后续帧处理模块，用来对基帧的后续帧进行光照增强；
视频段合成模块，用来根据各帧图像编号顺序，将光照增强后的各帧图像合成视频，即实现视频段的光照增强；
所述视频后续帧处理模块进一步包括：
比较子模块，用来比较后续帧与基帧，确定后续帧中与基帧不同的图像块区域；
光照增强子模块，用来利用图像光照增强模型，对后续帧中与基帧不同的区域进行光照增强；
替换模块，用来对后续帧中与基帧相同的区域，采用光照增强后的基帧中的对应区域进行替换。
具体实施方式
S2.1将相邻帧中后一帧与前一帧比较，即逐一比较后一帧与前一帧中各像素的RGB值之差，当所有像素的RGB值之差均不大于预设的RGB阈值，则判断两帧图像相同，去掉后一帧；否则，继续执行子步骤S2.2。
S4.1 比较后续帧与基帧，确定后续帧与基帧不同的图像块区域。具体的确定方法如下：
S4.1a 将基帧与后续帧划分为相同的网格，网格大小自定义。本实施例中，将基帧与后续帧划分为1600个网格，网格大小为20×15，单位：像素。
接着，再将网格中所有像素点的RGB值之和相加，即得网格的RGB和值。
S5.2 由于步骤S2中去掉了某些静态帧，合成视频时应补充去掉的静态帧，以使合成后的视频连贯。具体来说，若增强处理后的各帧图像编号依次为1，3，8，12，15，24，在空缺编号处，以前一帧图像复制补充至该空缺处。按上例，将第一帧图像复制至起皱的空缺出，并编号为2；将第三帧图像复制至其后的多处空缺处，并依次编号为4、5、6、7。直至最终得到1 24~
帧图像序列；
S5.3 将补充后的图像序列合成视频。
利用同步机制来确保整个视频增强流程的有序运行，所述同步机制可描述为：当步骤S3的基帧光照增强处理后和步骤S4的后续帧光照增强处理完成后，直接标识GPU状态空闲，并将状态标识发送给计算机主程序，状态标识用来表明哪段视频的处理完成，并开始新视频段的处理工作；
步骤S1的提取视频段、步骤S2的视频分帧处理、以及步骤S5的视频合成3个步骤完成后，同样将状态空闲信息发送给计算机主程序；
在主程序中比较两者计算进度，此处两者中前者指步骤S3的基帧光照增强处理后和步骤S4的后续帧光照增强处理两个步骤，后者指步骤S1的提取视频段、步骤S2的视频分帧处理、以及步骤S5的视频合成3个步骤；根据比较结果，提示用户优化程序，以最大化利用系统资源。如前者运行较快，则可采取更小的视频段处理方式，此处更小具体指视频段对应的时间段更短；若后者运行较快，则可采用较少生成对抗网络模型参数的方式，来轻量化模型，实现GPU计算速度的提升。
| 标题 | 发布/更新时间 | 阅读量 |
|---|---|---|
| 一种分布式跨节点视频同步方法及系统 | 2020-05-08 | 783 |
| 试样剪切线中试样状态监控方法、装置及系统 | 2020-05-08 | 97 |
| 一种可调叶片式仿生光伏发电装置 | 2020-05-11 | 990 |
| 灵活的卫星内信号通路 | 2020-05-08 | 705 |
| 一种上行同步方法、终端、以及基站 | 2020-05-08 | 186 |
| 毫米波/太赫兹网络大规模MIMO无线传输方法 | 2020-05-11 | 980 |
| 在支持免许可频带的无线通信系统中由基站发送下行链路信号的方法以及支持该方法的装置 | 2020-05-08 | 258 |
| 具有改善的线性度的放大设备 | 2020-05-11 | 864 |
| 在无线通信系统中由从另一终端接收信号的终端发送反馈的方法和设备 | 2020-05-08 | 161 |
| 一种DoS攻击下的目标跟踪方法 | 2020-05-08 | 476 |
高效检索全球专利专利汇是专利免费检索,专利查询,专利分析-国家发明专利查询检索分析平台，是提供专利分析，专利查询，专利检索等数据服务功能的知识产权数据服务商。
我们的产品包含105个国家的1.26亿组数据，免费查、免费专利分析。
专利汇分析报告产品可以对行业情报数据进行梳理分析，涉及维度包括行业专利基本状况分析、地域分析、技术分析、发明人分析、申请人分析、专利权人分析、失效分析、核心专利分析、法律分析、研发重点分析、企业专利处境分析、技术处境分析、专利寿命分析、企业定位分析、引证分析等超过60个分析角度，系统通过AI智能系统对图表进行解读，只需1分钟，一键生成行业专利分析报告。
