专利汇可以提供一种智能化制作短视频的方法专利检索,专利查询,专利分析的服务。并且本 发明 是一种智能化制作短视频的方法,该方法包括以下步骤:第一步:根据主题选择合适的视频素材;第二步:将所选视频素材合理的进行裁剪拼接,并在拼接处添加特效;第三步:为输出视频添加合适的背景音乐。本发明的优点:1)整个系统是全自动智能化系统,几乎不需要人工干预,节省了人 力 ;2)该方法适用范围广,适用于不同的视频类型和音乐类型,可通过调节 训练数据 集提高正确率;3)该方法扩展性好,可添加数据集通过不断训练更新,可满足用户更多的领域和专业的需求。,下面是一种智能化制作短视频的方法专利的具体信息内容。
1.一种智能化制作短视频的方法,其特征是该方法包括以下步骤:
第一步:根据主题选择合适的视频素材;
第二步:将所选视频素材合理的进行裁剪拼接,并在拼接处添加特效;
第三步:为输出视频添加合适的背景音乐。
2.如权利要求1所述的一种智能化制作短视频的方法,其特征是所述的第一步:根据主题选择合适的视频素材,
通过输入目标物+情感的方式描述主题,表达所需要创作的短视频的主题,在视频库里面寻找到符合要求的视频集,寻找策略如下:
首先,根据所属行业和专业领域,通过深度学习,训练一个视频特征提取模块,后面接用于实体检测和情感分类的完全连接层的模型,基于相关数据集,训练出一个视频情感预测模型和视频实体检测模型;以此模型预测创建视频库的实体标签数据库和情感标签数据库;
然后,根据输入的主题标签进行匹配寻找符合要求的前n个视频组成一个视频素材集,所述的视频数目n根据希望呈现的短视频类型不同而定。
3.如权利要求2所述的一种智能化制作短视频的方法,其特征是所述的实体标签数据库通过模型将视频数据库中的所有视频进行实体标签打标,按大于某个百分比的实体标签标注,所述的情感标签数据库为每个视频标定情感标签。
4.如权利要求1所述的一种智能化制作短视频的方法,其特征是所述的第二步:将所选视频素材合理的进行裁剪拼接,并在拼接处添加特效,
按照所寻找的视频素材集与主题的匹配度进行排序,并根据所需时长t,按照比例在每一个视频中截取所需时长t1、t2、t3、t4、t5,……,前一个视频时长不够则从后一个视频中补,最后时长不够则从未完全截取的最符合主题的视频中补,再对所有视频按照最相关的放中间、按相关性以此往外排的原则进行视频拼接并添加特效。
5.如权利要求4所述的一种智能化制作短视频的方法,其特征是所述的第二步通过ffmpeg完成,在每一个视频中截取所需时长时根据所需输出的视频总时长和需求而定。
6.如权利要求1所述的一种智能化制作短视频的方法,其特征是所述的第三步:为输出视频添加合适的背景音乐,
构建和训练一个基于视频内容的跨模态音乐检索模型,利用视频和音频基于情感主题配对的数据库,进行跨模态视频-音乐检索模型的训练,并根据第二步输出的短视频在自主准备的音乐库中搜索出符合该视频的音乐,根据视频时长剪切出合适的音乐片段。
7.如权利要求6所述的一种智能化制作短视频的方法,其特征是所述的第三步具体包括:
1)建立跨模态音乐检索模型的过程如下:通过在线众包注释平台为视频数据集和音频数据集,通过若干标注策略进行注释标注,得到足够的训练视频-音乐对和测试数据对,指的是训练数据集和测试数据集、非真实数据;基于以上音频数据集,通过深度学习,训练出一个音频情感预测模型,利用第一步所训练出的视频情感预测模型,根据所述的众包注释平台给出的视频-音乐训练数据集和测试数据集,进行联合训练,得到一个跨模态视频-音乐检索模型;
2)根据音乐时长T1·s和所需视频的时长T2·s剪切出合适的音乐时长策略如下,T1、T2的单位为s:
判断视频时长及音乐类型是纯音乐或歌曲,
音乐类型是纯音乐时,如果T1>T2,则检测符合条件的节拍起始点T3,然后输出[T3-5,T2]音乐片段,然后进行音乐开头和结尾各淡化处理2.5s,然后得出结论,音乐类型是纯音乐时,如果T1≤T2,则音乐不合适,
音乐类型是歌曲时,如果T1>120,则检测歌曲中副歌部分的节拍起始点T4,然后输出[T4-5,T2]音乐片段,然后进行音乐开头和结尾各淡化处理2.5s,然后得出结论,音乐类型是歌曲时,如果T1≤120,则按照音乐类型为纯音乐的处理逻辑处理。
8.如权利要求7所述的一种智能化制作短视频的方法,其特征是所述的在线众包注释平台为Figure-eight,所述的视频数据集为Cowen2017、27中情感标签,所述的音频数据集为AudioSet、7中情感标签,所述的标注策略包括是否表达同一种情感。
9.如权利要求7所述的一种智能化制作短视频的方法,其特征是所述的纯音乐的节拍起始点T3使用现有的库实现,检测歌曲中副歌部分的节拍起始点T4使用现有分析音乐结构的现有库;
输出的音乐片段比所需的时长多5s,用于进行音乐开头和结尾时淡化处理预留量;
当音乐不合适时,选择跨模态视频-音乐检索结果的次符合条件的音乐再次计算;
当出现T3或T4的位置到音乐结尾小于T2+5时,则选择音乐起始位置或者节拍节点位置的前面符合时长要求的节拍节点。
10.如权利要求9所述的一种智能化制作短视频的方法,其特征是所述的T3使用的现有的库为pyhub,所述的T4使用的现有库为pychorus。
标题 | 发布/更新时间 | 阅读量 |
---|---|---|
一种听写报读音频的生成方法、电子设备及存储介质 | 2020-05-08 | 583 |
一种基于领域对抗的语音情感识别方法及装置 | 2020-05-12 | 553 |
数据分析方法、设备及存储介质 | 2020-05-08 | 55 |
价值系统 | 2020-05-12 | 291 |
基于虚拟现实的孤独症早期筛查评估系统及方法 | 2020-05-08 | 174 |
评价数据处理方法、装置、介质和计算机设备 | 2020-05-11 | 780 |
基于情感词典的财经新闻中细粒度实体的情感分析方法 | 2020-05-11 | 543 |
一种基于情感识别的老人陪护机器人子系统 | 2020-05-08 | 589 |
在对话中生成响应 | 2020-05-12 | 298 |
基于多维相似度的推荐系统及其方法 | 2020-05-11 | 115 |
高效检索全球专利专利汇是专利免费检索,专利查询,专利分析-国家发明专利查询检索分析平台,是提供专利分析,专利查询,专利检索等数据服务功能的知识产权数据服务商。
我们的产品包含105个国家的1.26亿组数据,免费查、免费专利分析。
专利汇分析报告产品可以对行业情报数据进行梳理分析,涉及维度包括行业专利基本状况分析、地域分析、技术分析、发明人分析、申请人分析、专利权人分析、失效分析、核心专利分析、法律分析、研发重点分析、企业专利处境分析、技术处境分析、专利寿命分析、企业定位分析、引证分析等超过60个分析角度,系统通过AI智能系统对图表进行解读,只需1分钟,一键生成行业专利分析报告。