存储视频摘要的方法和显示相应于视频摘要的视频帧的系统
阅读：17发布：2020-05-14
专利汇可以提供存储视频摘要的方法和显示相应于视频摘要的视频帧的系统专利检索，专利查询，专利分析的服务。并且本公开涉及用于为用数字视频获取装置获取数字视频序列存储视频 摘要 的方法，其包含：用数字视频获取装置获取数字视频序列，其中数字视频序列包括多个 视频 帧 ；在处理器可存取 存储器 中存储数字视频序列；确定一个或更多关键视频片断，每个关键视频片断相应于来自存储数字视频序列的一组视频帧；组合关键视频片断从而形成视频摘要；和通过存储与存储数字视频序列关联的元数据在处理器可存取存储器中存储视频摘要，其中元数据提供相应于视频摘要的视频帧的指示。，下面是存储视频摘要的方法和显示相应于视频摘要的视频帧的系统专利的具体信息内容。
1.一种用于为用数字视频获取装置获取的数字视频序列存储视频摘要的方法，包含：
用所述数字视频获取装置获取数字视频序列，其中所述数字视频序列包括多个视频帧；
在处理器可存取存储器中存储所述数字视频序列；
确定一个或更多关键视频片断，其中每个关键视频片断相应于来自所存储的数字视频序列的一组视频帧；
将所述一个或更多关键视频片断组合，从而形成视频摘要；
将所述视频摘要表示为元数据，其中所述元数据包括提供所述数字视频序列中相应于所述视频摘要的视频帧的指示的帧确定元数据；和
在处理器可存取存储器中与所存储的数字视频序列关联地存储表示所述视频摘要的元数据，并且其中表示所述视频摘要的所存储的元数据包括提供当显示所述视频摘要时在所述一个或更多关键视频片断之间的边界处应用的视频过渡效应的指示的元数据。
2.根据权利要求1所述的方法，其中表示所述视频摘要的所存储的元数据也提供相应于所述视频摘要的声频采样的指示。
3.根据权利要求1所述的方法，其中，表示所述视频摘要的所存储的元数据提供在所述一个或更多关键视频片断之间的边界处应用的声频过渡效应的指示。
4.一种用于显示相应于视频摘要的视频帧的系统，包含：
软拷贝显示器，用于察看视频帧；和
处理器，用于实行下列步骤：
读取与所存储的数字视频序列关联的元数据，其中所述元数据存储视频摘要的表示，所述元数据包括提供所述数字视频序列中相应于视频摘要的所述视频帧的指示的帧确定元数据，并且其中表示所述视频摘要的所述元数据包括提供所述视频摘要的视频过渡效应的指示的元数据；
从所述存储的数字视频序列提取相应于所述视频摘要的所述视频帧；
在所述软拷贝显示器上显示相应于所述视频摘要的所述视频帧。
5.根据权利要求4所述的系统，其中表示所述视频摘要的所述元数据包括提供相应于所述视频摘要的声频采样的指示的元数据。
6.根据权利要求5所述的系统，其中所述处理器还执行从所存储的数字视频序列提取相应于所述视频摘要的所述声频采样的步骤。
7.根据权利要求5所述的系统，其中在所述软拷贝显示器上显示相应于所述视频摘要的所述视频帧的步骤进一步包括在显示之前将视频过渡效应应用到所述视频帧。
8.根据权利要求4所述的系统，其中表示所述视频摘要的所述元数据存储在与所存储的数字视频序列相同的文件中。
9.根据权利要求4所述的系统，其中表示所述视频摘要的所述元数据存储在与所存储的数字视频序列分离的文件中。
存储视频摘要的方法和显示相应于视频摘要的视频帧的系
统
技术领域
[0001] 本发明涉及数字视频处理的领域，并且更具体地涉及用于形成数字视频摘要的方法。
背景技术
[0002] 许多数字获取装置能够获取视频以及静止图像。然而，管理数字视频内容能够是困难的任务。视频通常在视觉上用视频第一帧的简略的图像表示。这可能无法提供对视频内容的更多了解。确定给定的视频中是否含有确定事件，通常需要察看整个视频。对于过长视频，用户可以优选能够得到快速的视频摘要，而不需要全面察看视频。
[0003] 从共享的角度，数字视频也能够出现实际问题。许多数字获取装置以高达1920x1080像素的空间分辨率每秒30或者60帧记录视频。即使当压缩时，所生成的数据的量也能够使得共享相对更短的视频不实际。
[0004] 视频编辑软件能够用于人工地将视频概述为较短的版本，该版本能够更容易共享。然而，人工视频编辑能够是过长的、繁重的过程，并且许多用户对人工编辑不感兴趣。自动视频摘要算法也存在。这些解决方案从将获取视频作为输入开始，并且分析视频从而确定视频摘要。然而，这些算法非常复杂，因为需要对该视频解码，从而实行确定视频摘要所要求的分析。因此，在数字获取装置上不可能立即察看相应于刚获取视频的视频摘要。这个缺点使得难以便于所获取视频的快速回顾和共享。
[0005] 因此，会期望提供用于在数字获取装置中计算视频摘要的系统和方法。尤其，会期望的是提供这样的解决方案，其允许视频摘要在视频获取完成以最小延迟在数字获取装置上生成。
发明内容
[0006] 本发明表示用于为用数字视频获取装置获取的数字视频序列存储视频摘要的方法，其包含：
[0007] 用数字视频获取装置获取数字视频序列，其中数字视频序列包括多个视频帧；
[0008] 在处理器可存取存储器中存储数字视频序列；
[0009] 确定一个或更多关键视频片断，每个关键视频片断相应于来自所存储的数字视频序列的一组视频帧；
[0010] 将该关键视频片断组合，从而形成视频摘要；和
[0011] 通过存储与所存储的数字视频序列关联的元数据，在处理器可存取存储器中存储视频摘要，其中该元数据提供相应于视频摘要的视频帧的指示。
[0012] 本发明具有这样的优点，在数字视频文件中使用元数据编码视频摘要，而不需要将视频摘要编码为分离文件。视频摘要方便地可用于用“智能”视频播放器察看，该“智能”视频播放器理解视频摘要元数据，而对于常规的播放器显而易见。
[0014] 图1是高层图表，其根据本发明的实施例示出用于形成视频摘要的系统的组件；
[0015] 图2是根据本发明的示例性的实施例用于创建视频摘要的方法的流程图；
[0016] 图3是根据本发明的示例性的实施例用于利用用户反馈创建视频摘要的方法的流程图；
[0017] 图4是根据本发明的实施例的用于创建视频摘要的方法的流程图，其中视频摘要被存储为元数据；和
[0018] 图5是根据本发明的示例性的实施例用于察看视频摘要的方法的流程图。
具体实施方式
[0019] 在下面描述中，会明确地描述本发明的优选实施例，其通常会执行为软件程序。本领域技术人员会容易认识到，这些软件的等价物也能够在硬件中构造。因为图像处理算法和系统众所周知，所以本描述会尤其针对形成按照本发明的部分系统和方法或者更直接与按照本发明的系统和方法结合的算法和系统。能够从本领域中已知的这些系统、算法、组件和元件中选择这些算法和系统的其他方面以及用于产生和另外处理涉及其的图像信号的这里未具体示出或描述的硬件软件。在下列材料中给出如根据本发明描述的系统，对本发明的执行有用的这里没有具体示出、提出或描述的软件是常规的并且在这些领域的普通技术内。
[0020] 更进一步，如这里所使用的，用于实行本发明的方法计算机程序能够存储在计算机可读存储媒体中，例如其能够包括：磁存储媒体，例如磁盘(例如硬盘驱动器或者软盘)或者磁带；光存储媒体，例如光盘、光带、或者机器可读条形码；固态电子存储装置，例如随机存取存储器(RAM)、或者只读存储器(ROM)；或者经采用从而存储计算机程序的任何其他物理装置或者媒体，该计算机程序具有用于控制一个或更多计算机实践根据本发明的方法的指令。
[0021] 本发明包含这里所述的实施例的组合。对“特定实施例”的参考等等涉及存在与本发明的至少一个实施例中的特征。对“实施例”或者“特定实施例”等的单独参考不需要涉及相同实施例或者实施例；然而，这些实施例不是互相排斥的，除非这样指示或者本领域技术人员容易显而易见的。在涉及“方法”或者“方法”等等中的单数或者复数的使用是不限制的。应该注意，除非背景另外明确记录或者需要，单词“或者”在本公开中以非排他性的意义使用。
[0022] 因为采用成像装置和用于信号获取和处理、显示的有关电路的数字照相机众所周知，所以本描述会尤其针对形成按照本发明的部分方法和仪器的元件，或者更直接地与按照本发明的方法和仪器结合的元件。在这里没有具体示出或描述的元件从本领域中已知的那些中选择。将描述的实施例的某些方面在软件中提供。在下列材料中给出如根据本发明所示和所述的系统，对本发明的执行有用的这里没有具体示出、提出或描述的软件是常规的并且在这些领域的普通技术内。
[0023] 数字照相机的下列描述会是本领域技术人员所熟悉的。显而易见的是，这个实施例存在许多变形，这些变形是可能的并且经选择从而减少成本、添加特征或者改进照相机的性能。
[0024] 图1按照本发明示出数字摄影系统的方框图，其包括能够获取视频图像的数字照相机10。优选地，数字照相机10是便携电池操作装置，其足够小，从而当获取和回顾图像时容易由用户手持。数字照相机10产生数字图像，这些图像使用图像存储器30被存储为数字图像文件。如这里所使用的短语“数字图像”或者“数字图像文件”涉及任何数字图像文件，例如数字静止图像或者数字视频文件。
[0025] 在一些实施例中，数字照相机10获取动态视频图像和静止图像两者。在其他实施例中，数字照相机10是数字视频照相机，其只获取动态视频图像。数字照相机10也能够包括其他功能，包括数字音乐播放器(例如MP3播放器)、移动电话、GPS接收器、或者可编程数字助理(PDA)的功能，但不限制于此。
[0026] 数字照相机10包括具有可调光圈的镜头4和可调快门6。在优选实施例中，镜头4是变焦镜头并且由变焦和聚焦电机驱动器8控制。该镜头4将来自景象(未示出)的光聚焦在图像传感器14之上，例如单个芯片颜色CCD或者CMOS图像传感器。该镜头4是用于在图像传感器14上形成景象的图像的一种类型的光学系统。在其他实施例中，光学系统可以使用具有可变聚焦或者固定聚焦的固定焦距镜头。
[0027] 图像传感器14的输出由模拟信号处理器(ASP)和模拟-数字(A/D)转换器16被转换为数字形式，并且暂时存储在缓冲存储器18中。在缓冲存储器18中存储的图像数据随后由处理器20使用存储在固件存储器28中的嵌入式软件程序(例如固件)操纵。在一些实施例中，软件程序被使用只读存储器(ROM)永久地存储在固件存储器28中。在其他实施例中，例如通过使用EPROM闪存能够改进固件存储器28。在这种实施例中，外部装置能够使用接线接口38或者无线调制解调器50更新存储在固件存储器28中的软件程序。在这种实施例中，固件存储器28也能够用来存储图像传感器校准数据、用户设定选择及照相机关闭时必须保存的其他数据。在一些实施例中，处理器20包括程序存储器(未示出)，并且存储在固件存储器28中的软件程序在由处理器20执行之前拷贝到程序存储器中。
[0028] 应当清楚，能够使用单个可编程处理器或者通过使用多个可编程处理器(其包括一个或更多数字信号处理器(DSP)装置)提供处理器20的功能。可替换地，处理器20能够由定制电路(例如，由为用于数字照相机具体设计的一个或更多定制集成电路(IC))或者由可编程处理器和定制电路的组合提供。应当清楚，来自图1所示的各种组件的一些或全部的处理器20之间的连接器能够使用公共数据总线制成。例如，在一些实施例中，能够使用公共数据总线进行处理器20、缓冲存储器18、图像存储器30和固件存储器28之间的连接。
[0029] 然后使用图像存储器30存储已处理图象。应当理解，图像存储器30能够是本领域技术人员已知的任何形式的存储器，其包括可移除闪存卡、内部闪存芯片、磁存储器、或者光存储器，但不限制于此。在一些实施例中，图像存储器30能够包括内部闪存芯片和到可移除闪存卡的标准接口两者，该闪存卡例如安全数字(SD)卡。可替换地，能够使用不同的存储卡格式，例如微型SD卡、标准闪存(CF)卡、多媒体卡(MMC)、xD卡或者存储棒。
[0030] 图像传感器14由时序发生器12控制，其产生各种时钟信号，从而选择行和像素并且同步ASP和A/D转换器16的操作。例如，图像传感器14能够具有12.4兆象素(4088x3040像素)，以便提供近似4000x3000像素的静止图像文件。为了提供彩色图像，图像传感器通常与颜色过滤阵列重叠，其提供具有包括不同颜色像素的像素阵列的图像传感器。不同颜色像素能够以许多不同图案设置。如一个实例，能够使用众所周知的拜耳公司颜色过滤阵列设置不同的颜色像素，该拜耳公司颜色过滤阵列如共同受让的拜耳公司的美国专利3971065“Color imaging array”中所述的，其全部内容合并于此以供参考。如第二实例，不同颜色像素能够如共同受让的Compton和Hamilton的2007年7月28日提交的标题为“Image sensor with improved light sensitivity”的美国专利申请公开2005/191729中所述的设置，其全部内容合并于此以供参考。这些实例不限制，并且可以使用许多其他颜色图形。
[0031] 应当理解，图像传感器14、时序发生器12、和ASP和A/D转换器16能够是分别构造的集成电路，或者因为通常需要CMOS图像传感器，这些能够被构造为单个集成电路。在一些实施例中，这个单个集成电路能够实行图1所示的一些其他功能，包括由处理器20提供的一些功能。
[0032] 当通过时序发生器12在第一模式中致动时，图像传感器14对提供较低分辨度传感器图像数据的运动序列是有效的，这当获取视频图像以及当预览将获取的静止图像时使用，以便组成图像。这个预览模式传感器图像数据能够被提供为HD分辨度图像数据，例如具有1280x720像素，或者被提供为VGA分辨度图像数据，例如具有640x480像素，或者使用与图像传感器分辨度相比具有显著较少的数据的列和行的其他分辨度。
[0033] 能够通过结合具有相同颜色的相邻像素的值，或者通过去除一些像素值，或者通过结合一些颜色像素值而去除其他颜色像素值，提供预览模式传感器图像数据。能够如共同受让的Parulski等人的标题为“Electronic camera for initiating capture of still images while previewing motion images”的美国专利6292218中所述的处理预览模式图像数据，该专利内容全部合并于此以供参考。
[0034] 当图像传感器14通过时序发生器12在第二模式中致动时，其对提供高分辨率静止图像数据也是有效的。这个最后模式传感器图像数据被提供为高分辨率输出图像数据，对于具有高照明水平的景象，输出图像数据包括图像传感器的全部像素，并且例如能够是具有4000x3000像素的12兆象素最后图像。在较低的照明水平下，能够通过在图像传感器上“重新分级”一些数目的类似颜色像素，以便增加信号水平，并因此增加传感器的“ISO速度”，以此提供最后传感器图像数据。
[0035] 变焦和聚焦电机驱动器8由处理器20供给的控制信号控制，从而提供适当的焦距调节并且将景象聚焦到图像传感器14上。图像传感器14的曝光水平通过控制可调光圈和可调快门6的f/数目和曝光时间、经由时序发生器12的图像传感器14的曝光期、和ASP和A/D转换器16的增益(即，ISO速度)设定控制。处理器20也控制能够照明景象的闪光灯2。
[0036] 如共同受让的Parulski等人的标题为“Electronic Camera with Rapid Automatic Focus of an Image upon a Progressive Scan Image Sensor”的美国专利5668597中所述的，数字照相机10的镜头4能够通过使用″通过镜头″自动聚焦在第一模式中聚焦，该专利全部内容合并于此以供参考。这通过以下方式来实现：使用变焦和聚焦电机驱动器8将镜头4的聚焦位置调整到近聚焦位置到无限远聚焦位置之间的许多位置，而处理器20确定最近的聚焦位置，其为图像传感器14获取的图像的中心位置提供峰值锐度值。接着，相应于最近聚焦位置的聚焦距离能够被用于几个目的，例如用于自动设定适当的景象模式，并且该聚焦距离能够与其他镜头和照相机设定一起被存储为图像文件中的元数据。
[0037] 处理器20产生菜单和低分辨率颜色图像，这些被暂时存储在显示存储器36上，并且在图像显示器32上显示。图像显示器32通常是有源矩阵颜色液晶显示器(LCD)，尽管也能够使用其他类型显示器，例如有机发光二极管(OLED)显示器。视频接口44从数字照相机10提供视频输出信号到视频显示器46，例如平板HDTV显示器。在预览模式中或者视频模式中，来自缓冲存储器18的数字图像数据由处理器20操纵，从而形成一系列的运动预览图像，这些图像通常在图像显示器32上被显示为彩色图像。在回顾模式中，使用来自图像存储器30中存储的数字图像文件的图像数据产生在图像显示器32上显示的图像。
[0038] 在图像显示器32上显示的图形用户界面响应于由用户控制34提供的用户输入控制。用户控制34用于选择各种照相机模式，比如视频获取模式、静止获取模式、和回顾模式，并且用于开始静止图像的获取和运动图像的记录。在一些实施例中，当用户部分地压下快门按钮时开始如上所述的第一模式(即静止预览模式)，快门按钮是用户控制34的一个，并且当用户完全地压下快门按钮时开始第二模式(即静止图像获取模式)。用户控制34也用于打开照相机、控制镜头4、并且开始图片接受处理。用户控制34通常包括按钮、提杆开关、操纵手柄、或者旋转盘的一些组合。在一些实施例中，一些用户控制34通过使用在图像显示器32上覆盖的触摸屏提供。在其他实施例中，能够使用额外的状态显示器或者图像显示器。
[0039] 能够使用用户控制34选择的照相机模式包括“定时器”模式。在处理器20开始静止图像的获取之前，当选择“定时器”模式时，在用户完全按下快门按钮之后发生短延期(例如，10秒)。
[0040] 连接到处理器20的声频编解码器22从扩音器24接收声频信号，并且将声频信号提供到扬声器26。这些组件能够与视频序列或者静止图像一起记录和回放音频磁迹。如果数字照相机10是多功能装置，例如照相机和移动电话的组合，那么扩音器24和扬声器26能够被用于电话交谈。
[0041] 在一些实施例中，扬声器26能够被用作用户接口的部分，例如用于提供指示已经压下用户可控制或者已经选择特定模式的各种可听信号。在一些实施例中，扩音器24、声频编解码器22、和处理器20能够用于提供声音识别，以便用户能够通过使用声音命令提供到处理器20的用户输入，而不是通过使用用户控制24。该扬声器26也能够用于通知用户进来的电话。这能够使用固件存储器28中存储的标准呼叫声完成，或者通过使用从无线网络58下载的和图像存储器30中存储的定制呼叫声完成。此外，振动装置(未示出)能够用于提供进来的电话的无声(例如，非可听见)通告。
[0043] 处理器20也提供来自图像传感器14的图像数据的额外处理，以便产生渲染的sRGB图像数据，该图像数据在图像存储器30中的“完成的”图像文件内压缩并存储，例如在众所周知的Exif-JPEG图像文件内。
[0044] 数字照相机10能够经由接线接口38连接到接口/充电器48，其连接到计算机40，该计算机能够是位于家里或者办公室的台式计算机或者便携式计算机。例如，接线接口38能够符合众所周知的USB2.0接口规格。接口/充电器48能够经由接线接口38提供电能给数字照相机10中的一组可再充电电池组(未示出)。
[0045] 数字照相机10能够包括无线调制解调器50，其在射频频带52与无线网络58接合。无线调制解调器50能够使用各种无线接口协议，例如众所周知的蓝牙无线接口或者众所周知的802.11无线接口。计算机40能够经由因特网70将图像上传到照片服务供应商72，例如Kodak EasyShare Gallery。其他装置(未示出)能够存取由照片服务供应商72存储的图像。
[0046] 在替换实施例中，无线调制解调器50经由射频(例如无线)链接与例如3GSM网络的移动电话网络(未示出)通信，该网络与因特网70连接，以便从数字照相机10上传数字图像文件。这些数字图像文件能够被提供到计算机40或者照片服务供应商72。
[0047] 现在将参考图2描述本发明。最初，例如数字照相机10的数字视频获取装置用于获取数字视频序列步骤210，从而获取数字视频序列，其中数字视频序列由多个视频帧组成。
[0048] 在获取数字视频序列时，在确定特征值步骤220中分析视频帧的至少一个子集合，从而确定一个或更多特征值。这些特征值表示与视频帧关联的各种属性，例如彩色特性或者在视频帧中任何面部的出现。特征值也能够表示基于运动的属性，例如连续的视频帧之间的总的运动值，或者连续帧的相应元素之间的局部运动值。总的运动值通常相应于获取装置的运动，而局部运动值涉及景象内物体的运动。本领域技术人员会认识到，先前描述的特征只是实例，并且能够根据视频帧的分析确定其他特征值。
[0049] 确定特征值步骤220也能够包括至少一个声频采样的分析，因为其在获取数字视频序列时通过扩音器24记录并且用声频编解码器22处理。声频特征值能够包括时间域以及相对于特定的频率范围中的属性，例如信号强度。
[0050] 确定特征值步骤220也能够包括在获取数字视频序列时的数字视频获取装置设定的分析。这些装置设定特征值能够包括用户控制34形式的用户输入，从而通过控制变焦和聚焦电机驱动器8调整变焦镜头4的变焦位置。数字变焦能够进一步增加图像的放大倍数，并且能够是另一个特征值。
[0051] 确定特征值步骤220也能够包括在获取数字视频序列时的来自加速计27的加速计数据的分析。加速计数据提供与数字照相机10的运动有关的测量，并且能够用于根据视频帧数据加强或代替运动计算。
[0052] 确定特征值步骤220也能够包括由处理器20应用的视频编码器生成的数据的分析。这种数据包括作为用于视频编码过程的运动估算步骤的部分生成的运动矢量信息。许多常见的视频编码处理习惯性地将这种运动矢量信息生成为其正常处理链的部分。
[0053] 对于每个视频帧，在已经确定特征值之后，压缩数字视频序列步骤230压缩视频帧。例如MPEG和H.263标准指定的视频压缩算法对本领域技术人员众所周知。压缩视频帧能够被包括在容器内，例如苹果QuickTime，其为视频文件提供文件格式包装(file format wrapper)。
[0054] 存储压缩的数字视频序列步骤240在处理器可存取存储器中存储压缩的数字视频序列，例如在图像存储器30中。存储的压缩数字视频序列能够含有视频和声频信息。
[0055] 在本发明的一个实施例中，确定特征值步骤220中确定的特征值被存储为与存储的压缩数字视频序列关联的元数据。例如，能够在用户数据基本单位(user data atoms)中存储元数据，用户数据基本单位在苹果QuickTime文件格式的说明书中定义。
[0056] 在本发明的另一个实施例中，确定特征值步骤220中确定的特征值被存储为与存储的压缩数字视频序列关联的分离文件。
[0057] 在本发明的还另一个实施例中，在确定特征值步骤220中确定的特征值不存储在任何形式的永久存储器中，并且在视频摘要形成算法完成时丢弃。
[0058] 在已经完成视频获取过程并且已经存储压缩数字视频序列之后，确定关键视频片断步骤250经实行从而为数字视频序列确定关键视频片断。确定关键视频片断步骤250使用处理器自动分析该特征值，而不需要解压所存储的压缩数字视频序列，从而确定一个或更多关键视频片断，每个关键视频片断相应于来自数字视频序列的一组视频帧。通常包含关键视频片断的视频帧是数字视频序列中的连续帧，并且关键视频片断能够由开始帧序号和结束帧序号或者指示关键视频片断的长度的值确定。
[0059] 在本领域中已知许多这样的方法，其用于根据与视频关联的特征值从视频确定关键视频片断。在这些方法中的一些，首先确定视频关键帧，然后通过选择围绕每个视频关键帧的视频序列的区段形成关键视频片断。Luo等人的美国专利申请公开2007/0183497公开了如由数字运动估算技术所计算的根据视频中的移动的特性选择视频关键帧的方法，其全部内容合并于此以供参考。Luo等人的美国专利申请公开2007/0182861公开了如由来自与视频获取装置关联的加速计的数据提供的根据视频中的运动的特性选择视频关键帧的方法，其全部内容也包括于此以供参考。这些方法的任何一种都能够按照本发明用于从确定的特征值确定关键视频片断。
[0060] 因为实施例哪里该特征值是存为一分离文件关联文件该商店压缩数字视频序列，该确定关键视频片断步骤250能够从分离文件读取特征值，从而为分析提供特征值信息。
[0061] 类似地，对于其中特征值被存储为与存储的压缩数字视频序列关联的元数据的实施例，确定关键视频片断步骤250能够从存储的压缩数字视频序列提取特征值，而不需要为存储的数字视频序列解压视频帧。应该理解，从存储的压缩数字视频序列提取特征值元数据不认为是解压存储的压缩数字视频序列。更确切地，解压存储的压缩数字视频序列涉及压缩比特流中的数据的解码，例如用于为压缩数字视频序列重建视频帧的序列的视频数据或者标题数据。
[0062] 本发明的优点是其允许关键视频片断被确定，而不需要解压存储的压缩数字视频序列。这允许关键视频片断被确定，并且随后形成视频摘要，在完成获取过程之后具有最小延时。现有技术中的方法依靠解压从存储的压缩数字视频序列提取单独的视频帧，这些方法由实行解压任务所要求的时间的量约束。
[0063] 在本发明的一些实施例中，根据在数字视频序列的获取时间确定的特征值的分析，全部确定关键视频片断。在本发明的其他实施例中，根据与从存储的压缩数字视频序列提取的额外信息一起的特征值的分析，确定关键视频片断。在这些情形中，可以需要至少部分地解压存储的压缩数字视频序列中的一些信息。
[0064] 例如，在本发明的一个实施例中，从存储的压缩数字视频序列提取声频信息，并且这些声频信息与特征值一起用于确定关键视频片断。声频数据通常包含全体压缩数字视频文件的小的百分比，并且能够相对于为视频帧解压像素数据能够被很快提取。在一些方案中，在获取的时间不可能生成声频特征值。处理器不可以具有计算循环，该计算循环可以用来确定声频特征值以及确定其他特征值和处理和编码获取的视频。在这些情形中，声频信息仍旧能够用于通过从存储的压缩数字视频序列提取声频信息确定关键视频片断。这表示速度和性能之间的兼顾。声频信息能够用于以确定关键视频片断要求的更长的总的处理时间为代价，改进确定关键视频片断步骤250的性能。
[0065] 类似地，在本发明的另一个实施例中，从存储的压缩数字视频序列提取视频帧信息，并且这些声频信息与特征值一起用于确定关键视频片断。
[0066] 解压整个视频序列去除了确定在获取时间的基于视频的特征值的大部分优点。因此，优选地，最多只从存储的压缩数字视频序列解码少量视频帧。本领域技术人员会认识到，当单独帧是独立代码帧时，单独帧能够从压缩数字视频序列有效地解码。而且，视频信息的利用表示速度和性能之间的兼顾。视频信息能够用于以确定关键视频片断要求的更长的总的处理时间为代价，改进确定关键视频片断步骤250的性能。
[0067] 在本发明的一些实施例中，该确定关键视频片断步骤250利用来自用户控制34的用户输入控制视频摘要的各种属性。用户输入能够包括指定视频摘要的长度、单独关键视频片断的最短时间、关键视频片断的总数，但不限制于此。
[0068] 在优选的实施例中，确定关键视频片断步骤250使用共同授权给Deever的标题为“Method for Determining Key Video Frames”的共同审理中美国专利申请12/786,471中所述的方法。这个方法首先分析数字视频序列，从而确定作为时间函数的重要值。该重要值能够是数字视频序列的特性的函数，其包括总体运动和局部运动。优选地，使用从确定特征值步骤220确定的特征值计算重要值。重要值用于为数字视频序列形成弯曲时间表示。弯曲时间(warped-time)表示给数字视频序列中的一些视频帧较大的瞬时加权，并且给其他的较少的瞬时加权。弯曲时间数字视频序列表示被分成一组相等的弯曲时态间隔。关键视频帧是通过分析每弯曲时态间隔内的视频帧从每个弯曲时态间隔中选择的。优选地，通过分析从确定特征值步骤220确定的特征值，为每个弯曲时态间隔选择与相应弯曲时态间隔中的视频帧关联的关键视频帧。这种规范能够包括选择在完成放大过程之后不久发生的关键视频帧，或者选择在视频帧的中心区域中具有适度水平的局部运动的关键视频帧。
[0069] 在一个实施例中，通过选择围绕每个关键视频帧的一组视频帧，形成关键视频帧片断。例如，关键视频片断能够通过选择关键视频帧前后两秒的视频帧形成，因此形成四秒长的关键视频片断。
[0070] 可替换地，关键视频帧能够被分级，并且能够只为相应于最高分级关键视频帧的关键视频帧的子集合形成关键视频片断。关键视频帧的分级能够包括分析数字视频序列从而确定照相机固定方式，并且包括相应于照相机固定方式分级关键视频帧。优选地，从确定特征值步骤220相应于总体运动确定的特征值能够提供总的运动轨迹，其只是贯穿数字视频序列照相机的固定区域。高度分级相应于高固定区域的视频帧，高固定区域即为了高比例的总体视频获取，照相机在其上固定的区域。分级过程能够重复实行，在每个步骤选择下一个最高分级关键视频帧，并且在每个步骤该过程能够提升关键视频帧，其表示已经被包括在分级过程中在表示固定区域的关键视频帧上方的未表示固定区域。一旦关键视频帧已经分级，那么最高级关键视频帧能够被选择从而包括在关键视频片断中。
[0071] 如先前所述的，通过选择围绕每个关键视频帧的一组视频帧能够形成关键视频片断。
[0072] 可替换地，通过设定例如视频摘要的总的持续时间和关键视频片断的最小容许的持续时间的规范，能够形成关键视频片断。然后，能够选择关键视频片断，以便满足设定规范，而最佳地响应额外规范。例如，能够选择关键视频片断，以便最小化关键视频片断在讲话片段中间开始或结束的可能性。
[0073] 在已经确定关键视频片断之后，形成视频摘要步骤260形成该视频摘要。视频摘要通过将单独关键视频片断组合为单个集合形成。在优选的实施例中，以相应于关键视频片断在数字视频序列中出现率的顺序的按时间顺序组合关键视频片断。
[0074] 视频摘要的表示在视频摘要步骤270的存储表示中被存储在处理器可存取存储器中。在本发明的一个实施例中，在处理器可存取存储器中存储视频摘要的表示包括存储帧确定元数据，其在相应于视频摘要的数字视频序列中提供视频帧的指示。该帧确定元数据能够关联存储的压缩数字视频序列存储。例如，视频摘要表示能够被存储为存储的压缩数字视频序列中的元数据，其只是一系列开始帧和结尾帧，这些帧相应于视频摘要中含有的关键视频片断。这允许视频摘要的表示被存储，而除了存储帧确定元数据所需的，不使用任何额外的物理存储器。
[0075] 在本发明的另一个实施例中，在处理器可存取存储器中存储视频摘要的表示包括提取相应于确定关键视频片断的存储的压缩数字视频序列的视频帧，并且将其合并，从而形成相应于视频摘要的新的合并视频序列。在一些情形中，这可以需要解压部分压缩数字视频序列，然后压缩合并的视频序列，从而形成压缩视频摘要。合并的视频序列通常会包括视频数据和相应声频数据两者，其也必须从压缩数字视频序列提取。
[0076] 压缩视频摘要能够因此存储在处理器可存取存储器。在这个实施例中，压缩视频摘要被存储为来自压缩数字视频序列的分离文件。在这个情形中，视频摘要表示是数字视频文件，其能够与原始压缩数字视频序列独立察看和共享。在优选的实施例中，存储的视频摘要的表示是适合于使用标准视频播放器播放的格式的数字视频文件。
[0077] 在本发明的一些实施例中，在在不同的空间分辨率压缩提取的视频帧从而形成压缩视频摘要之前，再采样相应于视频摘要所提取的视频帧，从而在不同的空间分辨率产生提取的视频帧。这个再采样尤其能够对共享在高空间分辨率获取的视频有利。以这种方法，压缩视频摘要会小于压缩数字视频序列，因为其含有较少的视频帧，而且因为该视频帧具有较低的空间分辨率。能够生成较低的空间分辨率，而不必须解压较高分辨度视频帧的整个集合。只需要解压生成视频摘要所需的视频帧。
[0078] 类似地，在在不同的时间分辨率压缩提取的视频帧从而形成压缩视频摘要之前，能够在时间维度中再采样相应于视频摘要所提取的视频帧，从而在不同的时间分辨率产生提取的视频帧。
[0079] 图3相应于本发明的另一个实施例，其中用户预览形成的视频摘要，并且能够要求使用调整的用户设定形成更新的视频摘要。在这个实施例中，获取数字视频序列步骤210、确定特征值步骤220、压缩数字视频序列步骤230、存储压缩数字视频序列步骤240、确定关键视频片断步骤250、形成视频摘要步骤260和存储视频摘要的表示步骤270全部如先前参考图2所述的实行。在存储由形成视频摘要步骤260形成的视频摘要之前，允许用户使用预览视频摘要步骤262预览该视频摘要。然后，促使用户使用用户满意测试264指示他或她对第一视频摘要的满意度。如果用户满意视频摘要，那么如参考图2所述的，继续执行存储视频摘要的表示步骤270。然而，如果用户不满意该视频摘要，那么调整用户设定步骤266用于允许用户调整一个或更多设定，然后形成新的视频摘要。这些用户的设定能够通过用户控制34输入，并且能够包括对于参数的设定，例如视频摘要的长度、关键视频片断的最小长度或者视频摘要中包括的关键视频片断的数目。在用户已经调整用户设定之后，确定关键视频片断步骤250和形成视频摘要步骤260用于响应于用户设定形成新的视频摘要。本领域技术人员会认识到，用户能够预览该视频摘要，并且更新用户设定多次，形成相应的视频摘要，直到用户满意得到的视频摘要。
[0080] 图4说明本发明的另一个实施例，其中视频摘要被存储为与存储的数字视频序列关联的元数据。获取数字视频序列步骤410用数字视频获取装置获取数字视频序列，其中数字视频序列包括多个视频帧。存储数字视频序列步骤420在处理器可存取存储器中存储数字视频序列。存储的数字视频序列可以包括或不包括使用图2的确定特征值步骤220确定的特征值。
[0081] 接着，确定关键视频片断步骤430确定相应于来自存储的数字视频序列的一个或更多组视频帧的一个或更多关键视频片断。在一些实施例中，确定关键视频片断步骤430能够如参考图2的确定关键视频片断步骤250所述的利用存储的特征值。在其他实施例中，确定关键视频片断步骤430使用视频分析算法直接分析存储的数字视频序列的帧。在这个情形中，该确定关键视频片断步骤430通常会需要解压数字视频序列，以便实行其分析。本领域中已知的任何方法能够用于确定关键视频片断，包括较早参考图2所述的。
[0082] 形成视频摘要步骤440组合确定的关键视频片断，从而以类似于图2的形成视频摘要步骤260的方式形成视频摘要。将视频摘要存储为元数据步骤450通过存储与所存储数字视频序列关联的元数据，在处理器可存取存储器中存储视频摘要，其中元数据提供相应于视频摘要的视频帧的指示。
[0083] 确定关键视频片断步骤430、形成视频摘要步骤440和将视频摘要存储为元数据步骤450不需要在同一数字视频获取装置上发生，或者使用相同处理器20作为获取数字视频序列步骤410和存储数字视频序列步骤420。例如，存储数字视频序列步骤420能够使得存储的数字视频序列被写入图像存储器30，例如该存储器能够是可移动存储卡。因此可移动的存储卡能够用于将存储的数字视频序列移动到另一个装置，在这个装置中能够应用确定关键视频片断步骤430、形成视频摘要步骤440和将视频摘要存储为元数据步骤450。在一些情形中，其他装置能够是另一个数字视频获取装置，例如图1中所示的。在其他实施例中，存储数字视频序列上传到另一个装置，例如计算机40(图1)或者视频编辑系统，在这里存储的数字视频序列能够经处理从而确定视频摘要。
[0084] 在优选的实施例中，确定关键视频片断步骤430涉及从存储的数字视频序列提取至少一个视频帧，并且分析所述视频帧，从而确定与视频帧关联的特征值。在优选的实施例中，确定关键视频片断步骤430进一步地涉及从存储的数字视频序列提取至少一个声频采样，并且分析所述声频采样，从而确定与声频采样关联的特征值。特征值能够经分析从而确定关键视频片断。
[0085] 在优选的实施例中，将视频摘要存储为元数据步骤450包括存储帧确定元数据，其提供了相应于视频摘要的数字视频序列中的视频帧的指示。以这样的方式将视频摘要存储为帧确定元数据具有下列优点，除了存储帧识别所需的最小量的存储器，存储该视频摘要而不使用任何额外的物理存储器。优选地，该帧确定元数据关联存储的压缩数字视频序列存储。例如，视频摘要表示能够被存储为存储的压缩数字视频序列中的元数据，其只是一系列开始帧和结尾帧，这些帧相应于视频摘要中含有的关键视频片断。在其他实施例中，帧确定元数据能够被存储在与存储的数字视频序列关联的分离文件中。
[0086] 在本发明的一些实施例中，将视频摘要存储为元数据步骤450进一步地包括存储元数据，其提供相应于包含视频摘要的关键视频片断的声频采样的指示。
[0087] 在本发明的一些实施例中，将视频摘要存储为元数据步骤450进一步地包括存储元数据，其提供将在确定关键视频片断之间的边界应用的视频过渡效应的指示。例如，视频过渡效应能够包括从一个关键视频片断淡化到下一个(即，交叉迭化)，和从关键视频片断淡化到白色(或者黑色)，然后淡化到下一个视频片断。其他类型过渡效应会包括特殊效应，例如交叉擦拭效应、增大或者缩短圆圈效应(growing circle effects)、水平或竖直百叶窗效应、和方格盘过渡效应(checkerboard transition effects)。本领域技术人员认识到，这些只是几个实例，并且能够按照本发明使用许多不同类型的过渡效应。使用视频过渡效应能够通过去除从数字视频序列的一个片段到另一个的突然过渡，改进视频摘要的总体视觉质量。
[0088] 在本发明的一些实施例中，将声频摘要存储为元数据步骤450进一步地包括存储元数据，其提供在确定关键声频片断之间的边界应用的声频过渡效应的指示。例如，声频过渡效应能够包括淡化到无声和相反。这些声频过渡效应能够通过去除从数字视频序列的一个声频片段到另一个的突然过渡，改进视频摘要的总体声频质量。
[0089] 图5示出按照本发明由视频回放系统用于显示视频摘要的过程的流程图。尤其，图5的方法适合于显示视频摘要，该视频摘要被存储为元数据而不是直接可播放的数字视频文件。
[0090] 首先，读取数据步骤510读取与所存储数字视频摘要关联的数据，其中该数据提供了相应于视频摘要的存储的数字视频序列的视频帧的指示。例如，提供视频帧的指示的数据能够从用于存储数字视频序列的数字视频文件中存储的元数据中提取，其中元数据指示哪些视频帧包括在视频摘要中。可替换地，该数据也能够从与所存储的数字视频序列关联的分离文件中提取。
[0091] 接着，提取视频帧步骤520提取相应于关键视频片断的视频帧，其包含来自所存储的数字视频序列的视频摘要。通常，存储的数字视频序列以压缩的形式存储。在这些情形中，提取视频帧步骤520包括解压所存储的数字视频序列。
[0092] 形成视频摘要步骤530用于从为关键视频片断提取的视频帧形成视频摘要。在最简单的情形中，形成视频摘要步骤530将所提取的视频帧简单地编辑为连续视频剪辑。
[0093] 一旦视频摘要已经形成，显示视频摘要步骤540用于在软拷贝显示器上显示视频摘要。例如，软拷贝显示器能够是数字视频获取装置上的回顾屏幕、与计算机关联的显示器或者电视屏幕。
[0094] 读取数据步骤510也能够提供相应于视频摘要的声频采样的指示。在这个情形中，提取视频帧步骤520能够进一步包括从相应于视频摘要的所存储的数字视频序列中提取适当的声频采样。
[0095] 在本发明的一些实施例中，读取数据步骤510进一步为视频摘要提供视频过渡效应的指示。类似地，读取数据步骤510能够为视频摘要提供声频过渡效应的指示。在读取数据步骤510提供视频过渡效应的指示的情形中，形成视频摘要步骤530按照指定的过渡效应改进所提取的视频帧，以便所编辑的视频摘要具有想要的过渡。因此，例如通过读取数据能够应用淡化到黑色视频过渡效应，其中该数据指示在视频摘要中含有的最后15帧的关键视频片断期间发生淡化。由于相应于淡化到黑色视频过渡的帧是从存储的数字视频序列中提取的，所以视频帧数据能够根据用于逐渐淡化到黑色的公式改进。在下一个关键视频片断的前15帧期间淡化到黑色能够反向，在此期间根据用于逐渐从黑色淡化回原始视频数据的公式改进提取帧。
[0096] 在软拷贝显示器也含有一个或更多用于传输声频的扬声器的情形中，声频过渡效应能够在经由扬声器传输声频之前类似地处理。例如，通过读取数据能够应用淡化到无声声频过渡效应，该数据指示在相应于关键视频片断的最后8000个声频采样期间发生声频过渡效应。由于相应于淡化到无声过渡的声频采样是从存储的数字视频序列中提取的，所以声频采样数据能够根据用于逐渐淡化到无声的公式改进。在相应于下一个关键视频片断的前8000声频采样期间淡化到无声能够反向，在此期间根据用于逐渐从无声淡化回原始声频数据的公式改进提取声频采样。
[0097] 在用于根据本发明形成视频摘要的一些方法中，在含有存储的数字视频序列的数字视频文件中存储相应于视频帧的视频摘要元数据或者视频摘要中含有的声频采样，以及视频或者声频过渡效应。同时，在根据本发明用于显示视频摘要的一些系统中，这个视频摘要元数据经读取从而提供需要从存储的数字视频序列中提取哪些相应于视频摘要的视频帧和声频采样的提示，和在在显示器上显示视频并且将声频传输到扬声器之前应该将什么视频和声频过渡效应应用到数据的指示。这些方法和系统有下列优点，能够表示并显示视频摘要，而不需要存储相应于视频摘要的额外的分离视频文件。
[0098] 在一些实施例中，视频显示装置能够给用户呈现察看原始视频或者视频摘要的选项。例如，单独播放按钮能够在数字视频摄录一体机上提供，用于播放原始视频序列或者视频摘要。在一些实施例中，视频摘要能够相应于激活“快速进带”按钮播放。这反映了视频摘要表示以加速的步速移动通过视频序列的替换的方式，而不是常规的快速进带方法，常规方法简单地提供在视频序列中帧的时间采样。播放视频摘要能够是对用户确定他们想察看的视频序列的期望部分的更有用的方法。
[0099] 在能够从存储的数字视频序列提取视频摘要元数据的意义上，参考图5所述的视频回放系统是“智能”视频播放器，并且处理视频摘要元数据从而理解怎样显示数字视频序列的视频摘要版本。“智能”视频播放器能够为观察者呈现全数字视频序列或者视频摘要版本的选项。正规视频播放器不会识别与视频摘要关联的视频摘要元数据。然而，正规视频播放器仍旧能够读取并显示原始存储的数字视频序列。在这个情形中，只是简单忽略存储的数字视频序列中含有的元数据，并且播放全数字视频序列。
[0100] 再次参考图1和图2，本发明的另一个实施例是数字视频获取系统(数字照相机10)，其用于获取数字视频序列并且用于产生相应视频摘要，该系统包含：图像传感器14，用于获取视频帧；光学系统(具有可调光圈和可调快门6的镜头4)，用于将景象成像到图像传感器上；处理器20，用于形成视频摘要并在处理器可存取存储器中存储视频摘要的表示；数字显示器32，用于察看数字视频序列；和装置，例如用户控制34，用于为用户提供在软拷贝显示器上察看所存储的数字视频序列或者视频摘要的存储表示的选项。例如，数字视频获取系统能够是数字视频照相机或者具有静止和视频两个获取模式的数字照相机。数字视频获取系统也能够采取其他形成，例如具有网络摄像机的膝上计算机或者台式计算机。
[0101] 数字视频获取系统中的处理器20具有实行图2所示的方法的步骤的软件。更具体地说，响应于命令要求，处理器20能够开始获取数字视频序列步骤210，该步骤获取包括多个视频帧的数字视频序列。在获取数字视频序列从而使用确定特征值步骤220确定一个或更多特征值的时候，处理器20至少自动地分析数字视频序列中的视频帧的子集合。然后，处理器20通过应用压缩数字视频序列步骤230压缩数字视频序列；并且通过应用存储压缩数字视频序列步骤240，在处理器可存取存储器中存储得到的压缩数字视频序列。然后处理器20应用确定关键视频片断步骤250自动分析该特征值，而不需要解压所存储的压缩数字视频序列，由此确定一个或更多关键视频片断，每个关键视频片断相应由此来自数字视频序列的一组视频帧。最终，处理器20应用形成视频摘要步骤260组合关键视频片断，从而形成视频摘要，并且使用存储视频摘要的表示步骤270将视频摘要的表示存储在处理器可存取存储器中。
[0102] 在获取数字视频序列从而确定一个或更多特征值的时候，数字视频获取系统中的处理器20能够进一步实行自动分析数字视频序列中至少一个声频采样的步骤。
[0103] 数字视频获取系统中的处理器20能够进一步实行这样的步骤，即将处理器可存取存储器中确定的特征值存储为与存储的压缩数字视频序列关联的元数据。
[0104] 数字视频获取系统中的处理器20能够进一步实行这样的步骤，即将处理器可存取存储器中确定的特征值存储为与存储的压缩数字视频序列关联的分离文件。
[0105] 数字视频获取系统中的处理器20能够进一步实行这样的步骤，即与用户输入一起自动分析特征值，从而确定一个或更多关键视频片断。用户输入能够来自用户控制34，并且能够包括对视频摘要的长度、视频摘要中含有的任何关键视频片断的最小长度、和视频摘要中包括的关键视频片断的数目的限制。
[0106] 数字视频获取系统中的处理器20能够进一步实行这样的步骤，即将视频摘要的表示存储在处理器可存取存储器中，其中提供相应于视频摘要的数字视频序列中视频帧的指示的元数据与存储的压缩数字视频序列关联生成并存储。
[0107] 用户能够激活数字视频获取系统上的用户控制34，从而察看软拷贝图像显示器32或外部视频显示器46上的视频摘要。在视频摘要被存储为提供相应于视频摘要的数字视频序列中视频帧的指示的元数据的情形中，视频摘要能够如图5所述提取并显示。尤其，数字视频获取系统也能够实行“智能”视频播放器的作用，并且能够根据元数据提取适当的视频和声频数据。
[0108] 在一些实施例中，用户界面能够经提供从而使得用户能够回顾视频摘要并且决定其是否是可接受的。如果用户确定该视频摘要不是需要的，那么数字视频获取系统能够通过用户控制34提供为用户呈现要求具有用户调节用户设定的选项的方法。例如，这些调整的用户设定能够包括视频摘要的长度、视频摘要中的关键视频片断的最小长度，或者包括在视频摘要中的关键视频片断的数目。在一些实施例中，系统能够使用确定关键视频片断步骤250的不同设定或不同变形自动形成一系列视频摘要。因此，用户能够有效在多个视频摘要版本之间选择，由此减少没有产生满意视频摘要的可能性，并且增加特征的整体成功。
[0109] 所述数字视频获取系统提供下列优点，能够很快生成并回顾一系列视频摘要，而不必须解压存储压缩数字视频序列，并且不必须将视频摘要编码为新文件。
[0110] 在跨网络或者用任何没有装备“智能”视频显示器的装置共享视频摘要的情形中，其中视频显示器能够解释压缩数字视频序列中含有的元数据并因此提取视频摘要，期望使用分离视频摘要文件存储视频摘要。在这个情形中，由数字视频获取系统的处理器20生成的存储的数字视频摘要的表示能够是以适合于使用标准视频播放器播放的格式存储的数字视频文件。在一些实施例中，视频摘要被始终存储为分离视频摘要文件。可替换地，用户控制34能够经提供从而允许用户选择用于存储视频摘要的优选方法。在一些实施例中，响应于用户开始用户界面上的“共享”按钮，视频摘要能够被存储为分离视频摘要文件。
[0111] 在数字视频获取系统将视频摘要存储为分离文件的实施例中，处理器20能够进一步实行这样的步骤，即将视频摘要的表示存储为处理器可存取存储器中数字视频文件。在这个情形中，处理器20具备软件，从而至少解压存储的压缩数字视频序列相应于视频摘要的部分，然后压缩所提取视频帧，从而形成压缩视频摘要，其能够存储在处理器可存取存储器中。进一步，数字视频获取系统中处理器20能够实行这样的步骤，即解压至少部分存储的压缩数字视频序列从而提取相应于视频摘要的声频采样、压缩提取的声频采样、并且在压缩视频摘要中包括压缩的提取声频采样。
[0112] 通过在共享前降低空间的或者时间分辨率或者原始视频序列，也便于视频文件跨计算机网络共享。数字视频获取系统中处理器20能够进一步再采样所提取的视频帧，从而产生不同的空间或者时间分辨率的提取的视频帧。本发明的优点在于，其允许形成较低分辨度的视频摘要文件，而不需要解压整个原始压缩数字视频序列。只需要解压与生成视频摘要有关的压缩数字视频数据。这允许从原始压缩数字视频序列到视频摘要的代码转换更快。
[0113] 通过增加用于减小压缩的数字视频序列的尺寸的压缩的积极性，也便于视频文件跨网络共享。数字视频获取系统中处理器20能够进一步以比存储的压缩数字视频序列更积极的压缩设定压缩提取的视频帧，从而产生高度压缩视频摘要。本发明的优点在于，其允许形成更高度压缩的视频摘要文件，而不需要解压整个原始压缩数字视频序列。
[0114] 数字视频获取系统的图像传感器14、光学系统(镜头4)、处理器20和软拷贝显示器(图像显示器32)全部能够是数字视频照相机的组件，并且数字视频照相机上的用户界面控制能够用于在数字视频照相机的软拷贝显示器上给用户提供察看存储的压缩数字视频序列或者存储的视频摘要的选项。在这个结构中，用户能够获取数字视频照相机上的视频，立即察看视频的摘要版本，如果需要要求修改，然后选择共享用户摘要，借此能够生成和共享分离用户摘要。
[0115] 数字视频照相机也能够连接到外部软拷贝显示器，以便用户能够在外部软拷贝显示器上察看存储的压缩数字视频序列或者存储视频摘要。
[0116] 软拷贝显示器也能够是独立视频察看系统的组件，其能够存取存储的数字视频序列和存储的视频摘要，并且数字照相机上的用户界面控制能够在软拷贝显示器上给用户提供察看存储的压缩数字视频序列或者存储的视频摘要的选项。
[0117] 当形成视频摘要时，数字视频获取系统的处理器20能够进一步提供在关键视频片断之间应用的视频过渡效应。在显示时能够计算视频过渡效应的结果。这对视频摘要被存储为与存储的压缩数字视频序列关联的元数据特别有利。
[0118] 在本发明的一些实施例中，通过分析关键视频片断，数字视频获取系统的处理器20从多个可利用的过渡效应中自动选择视频过渡效应。
[0119] 一些视频内容优选淡化到白色过渡，而其他视频内容优选淡化到黑色，并且对于额外的其他视频内容能够优选额外不同的视频过渡。关键视频片断的自动分析能够提供这样的信息，其指示哪个视频过渡效应在两个视频片断之间提供最佳视觉结果。
[0120] 以类似方式能够处理声频过渡效应。当形成视频摘要时，数字视频获取系统的处理器20能够进一步包括在关键视频片断之间应用的声频过渡效应。在显示时能够计算声频过渡效应的结果。
[0121] 在根据本发明的数字视频获取系统的另一个实施例中，处理器20应用确定关键视频片断步骤250的变形，其涉及与存储的压缩数字视频序列中含有的信息一起自动分析特征值，从而确定关键视频片断。在这个实施例中，损失速度交换了当确定包含视频摘要的关键视频片断时可利用的额外信息。在很多情形中，处理器20可能不具有可用于在获取时间计算全部想要特征值的计算循环。在这个情形中，能够部分解压存储的压缩数字视频序列，从而提取信息，用于计算关键视频片断。例如，在本发明的一些实施例中能够提取在存储的压缩数字视频序列中含有的声频信息。另外，在本发明的一些实施例中也能够提取在存储的压缩数字视频序列中含有的视频信息。
[0122] 本发明实现的另一特征是辅助人工修整特征。许多数字视频获取装置提供人工修整的编辑特征，其中用户可以回顾获取视频，并且选择从视频的开始和结尾修整。使用本发明，能够形成包含单个关键视频片断的视频摘要，并且视频摘要的开始和结尾点提供作为建议的人工修整点。
[0123] 注意，在获取时间确定特征值并且在获取之后使用所确定的特征值的过程能够对形成视频摘要以外的其他应用有用。其他选项包括使用特征值确定视频中的关键帧，这些选项被认为是在本发明的范围内。
[0124] 当编码视频时，许多数字视频序列压缩算法使用图片组。图片组包括独立代码的视频帧和额外的视频帧，其依靠来自至少一个其他视频帧的信息，以便被解码。图片组的一个通用的例示是具有独立编码帧(T帧)，后面是预言性的编码帧(“P”帧)，其中每个“P”帧都是从先前帧预测的。图片组结束，并且新的图片组从下一个T帧开始。在这种压缩方案中，T帧提供进入压缩数字视频序列的存取点，其中在T帧开始能够提取帧。尤其，整个图片组是从压缩数字视频序列中提取的，并且自动编码为视频摘要，这只需要解码包含图片组的指示压缩的字节的位置和数目的标题信息。因此，当形成视频摘要时期能够是有利的，从而利用每个关键视频片断的开始帧是开始图片组的T帧的限制，并且优选地关键视频片断含有精确数目的图片组。这个限制允许以原始压缩数字视频序列的最小解压产生分离视频摘要文件。
[0125] 计算机程序产品能够包括一个或更多存储媒体，例如：磁存储媒体，例如磁盘(例如软盘)或者磁带；光存储媒体，例如光盘、光带、或者机器可读条形码；固态电子存储装置，例如随机存取存储器(RAM)、或者只读存储器(ROM)；或者任何其他物理装置或媒体，经采用从而存储计算机程序，该计算机程序具有用于控制一个或更多计算机实践根据本发明的方法的指令。
[0126] 部件列表
[0127] 2 闪光灯
[0128] 4 镜头
[0129] 6 可调光圈和可调快门
[0130] 8 变焦和聚焦电机驱动器
[0131] 10 数字照相机
[0132] 12 时序发生器
[0133] 14 图像传感器
[0134] 16 ASP和A/D转换器
[0135] 18 缓冲存储器
[0136] 20 处理器
[0137] 22 声频编解码器
[0138] 24 扩音器
[0140] 26 扬声器
[0141] 27 加速计
[0142] 28 固件存储器
[0143] 30 图像存储器
[0144] 32 图像显示器
[0145] 34 用户控制
[0146] 36 显示存储器
[0147] 38 接线接口
[0148] 40 计算机
[0149] 42 倾斜传感器
[0150] 44 视频接口
[0151] 46 视频显示器
[0152] 48 接口/充电器
[0153] 50 无线调制解调器
[0154] 52 射频频带
[0155] 58 无线网络
[0156] 70 因特网
[0157] 72 照片服务供应商
[0158] 210 获取数字视频序列步骤
[0159] 220 确定特征值步骤
[0160] 230 压缩数字视频序列步骤
[0161] 240 存储压缩的数字视频序列步骤
[0162] 250 确定关键视频片断步骤
[0163] 260 形成视频摘要步骤
[0164] 262 预览视频摘要步骤
[0165] 264 用户满意测试
[0166] 266 调整用户设定步骤
[0167] 270 存储视频摘要的表示步骤
[0168] 410 获取数字视频序列步骤
[0169] 420 存储压缩的数字视频序列步骤
[0170] 430 确定关键视频片断步骤
[0171] 440 形成视频摘要步骤
[0172] 450 将视频摘要存储为元数据步骤
[0173] 510 读取数据步骤
[0174] 520 提取视频帧步骤
[0175] 530 形成视频摘要步骤
[0176] 540 显示视频摘要步骤
| 标题 | 发布/更新时间 | 阅读量 |
|---|---|---|
| 摘要提取方法以及摘要提取模块 | 2020-05-11 | 722 |
| 视频摘要提取 | 2020-05-11 | 343 |
| 处理消息摘要指令 | 2020-05-12 | 661 |
| 摘要评估装置和方法 | 2020-05-13 | 211 |
| 一种自动文本摘要方法 | 2020-05-13 | 461 |
| 摘要生成装置和摘要生成方法 | 2020-05-11 | 369 |
| 摘要生成方法及装置 | 2020-05-11 | 299 |
| 摘要数据自动填充 | 2020-05-12 | 833 |
| 影像摘要装置 | 2020-05-11 | 727 |
| 多功能摘要书籍 | 2020-05-11 | 632 |
高效检索全球专利专利汇是专利免费检索,专利查询,专利分析-国家发明专利查询检索分析平台，是提供专利分析，专利查询，专利检索等数据服务功能的知识产权数据服务商。
我们的产品包含105个国家的1.26亿组数据，免费查、免费专利分析。
分析报告
专利汇分析报告产品可以对行业情报数据进行梳理分析，涉及维度包括行业专利基本状况分析、地域分析、技术分析、发明人分析、申请人分析、专利权人分析、失效分析、核心专利分析、法律分析、研发重点分析、企业专利处境分析、技术处境分析、专利寿命分析、企业定位分析、引证分析等超过60个分析角度，系统通过AI智能系统对图表进行解读，只需1分钟，一键生成行业专利分析报告。
QQ群二维码
意见反馈
意见反馈