在便携式电子设备中记录超慢动作视频的方法和系统专利检索-运动冗余物理专利检索查询-专利查询网

在便携式 电子设备中记录超慢动作视频的方法和系统

阅读：714发布：2020-05-11

专利汇可以提供在便携式电子设备中记录超慢动作视频的方法和系统专利检索，专利查询，专利分析的服务。并且提供了一种用于在便携式电子设备中记录超慢动作(SSM)视频的方法和系统。SSM视频记录系统在由图像捕获设备捕获的图像帧中检测运动的存在。在检测到运动的存在时，SSM视频记录系统生成触发，随后，选择用于执行跳帧机制的第一和第四组图像帧以及用于执行插值机制的第二和第三组图像帧。通过执行跳帧机制和插值机制生成的具有期望帧率的图像帧被按顺序发送到编码器以进行编码并记录。该方法和系统即使在智能电话的中端和低端型号中也可以实现SSM，而无需昂贵的专用图像传感器。，下面是在便携式电子设备中记录超慢动作视频的方法和系统专利的具体信息内容。

权利要求

1.一种记录超慢动作SSM视频的方法，包括：
由与便携式电子设备相关联的SSM视频记录系统，从图像捕获设备接收由图像捕获设备以第一帧率捕获的原始图像帧；
由SSM视频记录系统发送通过将原始图像帧从第一帧率转换为第二帧率而生成的第二帧率的图像帧，其中第二帧率不同于第一帧率；
由SSM视频记录系统使用运动检测库在每个第二帧率的图像帧中检测是否存在运动；
响应于在至少一个第二帧率的图像帧中检测到运动，由SSM视频记录系统在当前时间生成触发；
由SSM视频记录系统在预定义缓冲深度的缓冲器中存储：
第一组图像帧，其中，第一组图像帧是在生成触发的当前时间之前的时间捕获的原始图像帧，以及
第二组图像帧，在生成触发时被选择用于执行插值机制，其中第二组图像帧是在检测到运动存在的当前时间之前捕获的、包括运动的原始图像帧；
由SSM视频记录系统通过基于插值机制将第二组图像帧和第三组图像帧的帧率从第一帧率转换为第三帧率，来生成第三帧率的图像帧，其中第三组图像帧是在生成触发时被选择用于执行插值机制的预定义数量的包括运动的原始图像帧；
由SSM视频记录系统通过将第一组图像帧的帧率从第一帧率转换为第四帧率，来生成第四帧率的图像帧；以及
由SSM视频记录系统将第四帧率的图像帧、第三帧率的图像帧和在当前时间之后的时间捕获的第四组图像帧按顺序发送到编码器以进行编码，其中，第四组图像帧的帧率在发送到编码器之前被转换为第四帧率。
2.根据权利要求1所述的方法，其中，基于跳帧机制，将每个原始图像帧的帧率降低到第四帧率，直到在至少一个第二帧率的图像帧中检测到运动为止。
3.根据权利要求1所述的方法，其中，所述插值机制包括：使用一种或多种帧预测技术，来预测第二组图像帧中每两个连续的图像帧和/或第三组图像帧中每两个连续的图像帧之间的中间图像帧。
4.根据权利要求1所述的方法，其中，由于与运动检测库相关联的系统的一个或多个条件而导致的运动检测MD延迟在使用动检测库检测是否存在运动时发生。
5.根据权利要求1所述的方法，其中，编码器对第三帧率的图像帧进行编码以在显示器上以第四帧率播放。
6.根据权利要求1所述的方法，其中，第二帧率和第四帧率低于第一帧率。
7.根据权利要求1所述的方法，其中，第三帧率高于第一帧率。
8.根据权利要求1所述的方法，其中，第一帧率、第二帧率、第三帧率和第四帧率是预定义的。
9.根据权利要求1所述的方法，其中，第二帧率的图像帧被显示在与便携式电子设备相关联的显示屏上。
10.根据权利要求1所述的方法，其中，基于跳帧机制，将第一组图像帧的帧率和第四组图像帧的帧率从第一帧率转换为第四帧率。
11.根据权利要求10所述的方法，其中，所述跳帧机制包括：从原始图像帧中丢弃多个冗余图像帧，直到将原始图像帧的帧率转换为期望的帧率为止。
12.一种超慢动作SSM视频记录系统，包括：
处理器；以及
通信地耦合到处理器的存储器，其中存储器存储程序代码，所述程序代码在执行时使处理器：
从图像捕获设备接收由图像捕获设备以第一帧率捕获的原始图像帧；
发送通过将原始图像帧从第一帧率转换为第二帧率而生成的第二帧率的图像帧以进行显示；
使用运动检测库在每个第二帧率的图像帧中检测是否存在运动，
响应于在至少一个第二帧率的图像帧中检测到运动，在当前时间生成触发；
在预定义缓冲深度的缓冲区中存储：
第一组图像帧，其中，第一组图像帧是在生成触发的当前时间之前的时间捕获的原始图像帧，以及
第二组图像帧，在生成触发时被选择用于执行插值机制，其中第二组图像帧是在检测到运动存在的当前时间之前捕获的、包括运动的原始图像帧；
通过基于插值机制，将第二组图像帧和第三组图像帧的帧率从第一帧率转换为第三帧率，来生成第三帧率的图像帧，其中第三组图像帧是在生成触发时被选择用于执行插值机制的预定义数量的包括运动的原始图像帧；
通过将第一组图像帧的帧率从第一帧率转换为第四帧率，来生成第四帧率的图像帧；
以及
将第四帧率的图像帧、第三帧率的图像帧和在当前时间之后的时间捕获的第四组图像帧按顺序发送到编码器以进行编码，其中，第四组图像帧的帧率在发送到编码器之前被转换为第四帧率。
13.根据权利要求12所述的SSM视频记录系统，其中，处理器基于跳帧机制将每个原始图像帧的帧率降低到第四帧率，直到在至少一个第二帧率的图像帧中检测到运动为止。
14.根据权利要求12所述的SSM视频记录系统，其中，所述插值机制包括：使用一种或多种帧预测技术，来预测第二组图像帧中每两个连续的图像帧和/或第三组图像帧中每两个连续的图像帧之间的中间图像帧。
15.根据权利要求12所述的SSM视频记录系统，其中，由于与运动检测库相关联的系统的一个或多个条件而导致的运动检测MD延迟在使用运动检测库检测是否存在运动时发生。

说明书全文

在便携式电子设备中记录超慢动作视频的方法和系统

技术领域

[0001] 本公开总体上涉及视频记录，并且更具体地但非排他地涉及一种用于在便携式电子设备中记录超慢动作(SSM)视频的方法和系统。

背景技术

[0002] 超慢动作是电影制作中的一种效果，在视频录制中，时间和动作似乎大大放慢了速度。通常，市售的图像传感器用在以30fps、60fps、120fps和240fps输出帧的相机中。这种图像传感器用在便携式电子设备如智能电话的中端型号中。然而，为了以更高帧率如480fps、960fps等获得图像帧，相关技术的智能电话配置有昂贵的专用图像传感器如快速读出传感器(FRS)。由于成本因素，在相关技术中，配置专用图像传感器仅在昂贵的智能电话高端型号中是可行的选项。但是，在智能电话的中端和低端型号中不考虑配置FRS，因为提供并配置FRS会增加成本。由于与专用图像传感器的成本有关的上述问题，超慢动作(SSM)记录功能仅在智能电话的高端型号中可用。显然，需要提供一种能够在智能电话的中端和低端型号中进行SSM记录的经济的方法和系统。

[0003] 相关技术提供了一种基于深度学习神经网络的方法，该方法可以有效地创建以常规帧率录制的视频的平滑高质量慢动作视频。然而，这种基于深度学习神经网络的技术涉及高处理复杂性，这使得不可能在中端和低端智能电话中配置和执行此类技术。这样的技术不能实时记录慢动作视频，而只能将预先记录的视频转换为慢动作视频。另一相关技术提供了一种以对显示设备的普通速度处理视频帧流并实现所选片段的慢动作的方法。在这种技术中，所选片段的每个原始帧被复制以生成与每个原始帧相邻的扩展流。当扩展流以普通速度提供给显示设备时，会产生慢动作效果。此技术通过复制原始帧将普通速度的视频转换为慢动作视频。原始帧的复制会重复在每个相邻帧中捕获的动作，从而导致质量较差的慢动作视频。发明内容

[0004] 根据本公开的一个方面，提供了一种记录超慢动作(SSM)视频的方法，该方法包括：由与便携式电子设备相关联的SSM视频记录系统，从图像捕获设备接收由图像捕获设备以第一帧率捕获的原始图像帧；由SSM视频记录系统发送通过将原始图像帧从第一帧率转换为第二帧率而生成的第二帧率的图像帧，其中第二帧率不同于第一帧率；由SSM视频记录系统使用运动检测库在每个第二帧率的图像帧中检测是否存在运动；响应于在至少一个第二帧率的图像帧中检测到运动，由SSM视频记录系统在当前时间生成触发；由SSM视频记录系统在预定义缓冲深度的缓冲器中存储：第一组图像帧，其中，第一组图像帧是在生成触发的当前时间之前的时间捕获的原始图像帧，以及第二组图像帧，在生成触发时被选择用于执行插值机制，其中第二组图像帧是在检测到运动存在的当前时间之前捕获的、包括运动的原始图像帧；由SSM视频记录系统通过基于插值机制将第二组图像帧和第三组图像帧的帧率从第一帧率转换为第三帧率，来生成第三帧率的图像帧，其中第三组图像帧是在生成触发时被选择用于执行插值机制的预定义数量的包括运动的原始图像帧；由SSM视频记录系统通过将第一组图像帧的帧率从第一帧率转换为第四帧率，来生成第四帧率的图像帧；以及由SSM视频记录系统将第四帧率的图像帧、第三帧率的图像帧和在当前时间之后的时间捕获的第四组图像帧按顺序发送到编码器以进行编码，其中，第四组图像帧的帧率在发送到编码器之前被转换为第四帧率。

[0005] 根据本公开的一个方面，提供了一种超慢动作(SSM)视频记录系统，包括处理器以及通信地耦合到处理器的存储器，其中存储器存储程序代码，所述程序代码在执行时使处理器：从图像捕获设备接收由图像捕获设备以第一帧率捕获的原始图像帧；发送通过将原始图像帧从第一帧率转换为第二帧率而生成的第二帧率的图像帧以进行显示；使用运动检测库检测每个第二帧率的图像帧中是否存在运动，响应于在至少一个第二帧率的图像帧中检测到运动，在当前时间生成触发；在预定义缓冲深度的缓冲区中存储：第一组图像帧，其中，第一组图像帧是在生成触发的当前时间之前的时间捕获的原始图像帧，以及第二组图像帧，在生成触发时被选择用于执行插值机制，其中第二组图像帧是在检测到运动存在的当前时间之前捕获的、包括运动的原始图像帧；通过基于插值机制，将第二组图像帧和第三组图像帧的帧率从第一帧率转换为第三帧率，来生成第三帧率的图像帧，其中第三组图像帧是在生成触发时被选择用于执行插值机制的预定义数量的包括运动的原始图像帧；通过将第一组图像帧的帧率从第一帧率转换为第四帧率，来生成第四帧率的图像帧；以及将第四帧率的图像帧、第三帧率的图像帧和在当前时间之后的时间捕获的第四组图像帧按顺序发送到编码器以进行编码，其中，第四组图像帧的帧率在发送到编码器之前被转换为第四帧率。

[0006] 根据本公开的一个方面，提供了一种方法，包括：由与便携式电子设备相关联的超慢动作(SSM)视频记录系统，从配置在便携式电子设备中的图像捕获设备接收原始图像帧，其中原始图像帧以第一帧率捕获；由SSM视频记录系统使用运动检测库在原始图像帧中检测运动的存在；由SSM视频记录系统通过将第二组图像帧和第三组图像帧的帧率从第一帧率转换为第三帧率，来生成第三帧率的图像帧，其中第三帧率高于第一帧率，其中第二组图像帧和第三组图像帧为预定义数量的包括运动的原始图像帧；由SSM视频记录系统通过将第一组图像帧的帧率从第一帧率转换为第四帧率，来生成第四帧率的图像帧，其中第四帧率低于第一帧率，其中第一组图像帧是在检测到运动存在的当前时间之前的时间捕获的原始图像帧；以及由SSM视频记录系统将第四帧率的图像帧和第三帧率的图像帧发送到与SSM视频记录系统相关联的编码器以便记录SSM视频。

[0007] 根据本公开的一个方面，提供了一种超慢动作(SSM)视频记录系统，包括处理器以及通信地耦合到处理器的存储器，其中存储器存储程序代码，所述程序代码在执行时使处理器：从配置在便携式电子设备中的图像捕获设备接收原始图像帧，其中所述原始图像帧以第一帧率捕获；使用运动检测库从原始图像帧中检测运动的存在；通过将第二组图像帧和第三组图像帧的帧率从第一帧率转换为第三帧率，来生成第三帧率的图像帧，其中第三帧率高于第一帧率，其中第二组图像帧和第三组图像帧是预定义数量的包括运动的原始图像帧；通过将第一组图像帧的帧率从第一帧率转换为第四帧率，来生成第四帧率的图像帧，其中第四帧率低于第一帧率，其中第一组图像帧是在检测到运动存在的当前时间之前的时间捕获的原始图像帧；以及将第四帧率的图像帧和第三帧率的图像帧发送到与SSM视频记录系统相关联的编码器以便记录SSM视频。

[0008] 附加方面部分地将在下面的描述中阐述，部分地将根据这些描述而清楚，或者可以通过实施所给出的实施例而获知。附图说明

[0009] 根据以下结合附图的详细描述，本公开一些实施例的上述和其他方面、特征和优点将更加清楚，在附图中：

[0010] 图1示出了根据实施例的用于在便携式电子设备中记录超慢动作(SSM)视频的示例性架构；

[0011] 图2示出了根据实施例的图1的示例性架构的SSM视频记录系统的详细框图；

[0012] 图3A和图3B示出了根据实施例的跳帧机制的示例性图示；

[0013] 图4示出了根据实施例的插值机制的示例性图示；

[0014] 图5示出了根据实施例的用于在便携式电子设备中记录超慢动作(SSM)视频的示例性场景；

[0015] 图6A和图6B分别示出了根据实施例的记录和回放示例性图像帧的示例性图示；

[0016] 图7示出了根据实施例的在便携式电子设备中记录SSM视频的方法的流程图；以及[0017] 图8是根据实施例的用于实现实施例的示例性计算机系统的框图。

具体实施方式

[0018] 在本文档中，词语“示例性”在本文中用来表示“用作示例、实例或说明”。本文中被描述为“示例性”的本主题的任何实施例或实现方式不必解释为比其他实施例优选或有利。

[0019] 本公开的具体实施例已经在附图中通过示例的方式示出并且将在下文中进行详细描述，但是本公开可修改成各种变形和替代形式。然而，应该理解，这并非旨在将本公开限制为所公开的形式，相反本公开应涵盖落入本公开范围内的所有修改、等同形式和替代形式。

[0020] 术语“包括”、“包括有”、“包含”或其任何其他变体旨在覆盖非排他性包含，从而包括组件或步骤列表的设置、设备或方法不仅仅包括这些组件或步骤，而且可以包括未明确列出或此类设置或设备或方法固有的其他组件或步骤。换言之，在没有更多限制的情况下，系统或装置中以“包括……”开头的一个或多个要素并不排除该系统或装置中存在其他要素或附加要素。

[0021] 本文公开了一种用于在便携式电子设备中记录超慢动作(SSM)视频的方法和系统。作为示例，便携式电子设备可以包括但不限于智能电话、平板电脑、膝上型计算机等。SSM视频记录系统可以被配置为克服背景技术部分中提到的一个或多个缺点。在一些实施例中，SSM视频记录系统基于运动检测来记录SSM视频，即，当在至少一个图像帧中检测到运动时，SSM视频记录系统开始SSM记录。在一些实施例中，SSM视频记录系统使图像帧经受跳帧机制，直到在至少一个图像帧中检测到运动为止。在一些实施例中，跳帧机制可以包括丢弃多个冗余图像帧，直到将图像帧的帧率转换为期望的帧率为止。在至少一个图像帧中检测到运动时，SSM视频记录系统选择捕获到运动的图像帧，以执行插值机制。在一些实施例中，选择图像帧用于插值机制，以减轻在检测图像帧中的运动时发生的运动检测延迟的影响。在一些实施例中，插值机制包括预测经受插值机制的每两个连续图像帧之间的中间图像帧。在执行插值机制时，SSM视频记录系统以预定义的帧率将插值后的图像帧和经过跳帧机制的一组选择的图像帧按顺序提供给与便携式电子设备相关联的编码器。编码器可以对接收到的图像帧进行编码，以在显示器上以预定义帧率播放，从而实现实时SSM视频记录。
在一些实施例中，除了运动检测之外，SSM视频记录系统还可以基于场景分析来记录SSM视频，即，当在至少一个图像帧中检测到人物表情变化时，SSM视频记录系统可以开始SSM记录。就运动检测来详细说明本公开。然而，本公开不应被解释为仅限于运动检测，因为在接下来的部分中使用附图针对运动检测而说明的相同处理也适用于场景分析。

[0022] 本公开提供了一种用于在不使用专用图像传感器的情况下实时记录SSM视频的方法和系统。专用图像传感器通常是用于以高帧率如480fps、960fps等捕获图像帧的传感器。与用于以普通帧率如30fps、60fps、120fps等捕获图像帧的普通市售图像传感器相比，这种专用图像传感器非常昂贵。如背景技术部分所述，专用图像传感器由于成本较高，通常用在智能电话的高端型号中以记录SSM视频。相反，由于在此公开的示例性实施例提供了一种在不使用专用传感器的情况下实时记录SSM视频的方法，因此在此公开的示例性实施例消除了与专用图像传感器相关的成本。因此，在此公开的示例性实施例不仅在智能电话的高端型号中而且在中端型号和低端型号中都能够实现实时SSM视频记录。此外，该方法是不同于基于神经网络的方法的轻量方法，因此，可以在任何型号的智能电话中容易地配置和执行而不影响智能电话的运行。此外，该方法基于插值机制生成高帧率的图像帧，插值机制预测两个图像帧之间的运动。因此，与使用复制机制来实现高帧率的图像帧的相关技术不同，在此公开的示例性实施例实现了改进的SSM视频记录。

[0023] 在以下描述中，对于其中多个组件彼此通信的实施例的描述并不意味需要所有这些组件。相反，描述了多种可选组件以说明多种可能实施例。

[0024] 在以下对本公开实施例的详细描述中，参考形成本公开一部分的附图，在附图中通过说明性方式示出可以实施本公开的具体实施例。以充分的细节来描述这些实施例，使得本领域技术人员能够实施本公开，并且应当理解，在不脱离本公开的范围的情况下，可以利用其他实施例并且可以进行改变。因此，以下描述不应被视为限制性的。

[0025] 图1示出了根据实施例的用于在便携式电子设备中记录超慢动作(SSM)视频的示例性架构。

[0026] 架构100包括便携式电子设备101、图像捕获设备103、SSM视频记录系统105和编码器107。在一些实施例中，便携式电子设备101可以是智能电话、膝上型计算机、平板电脑等。在一些实施例中，图像捕获设备103可以被配置为与便携式电子设备101通信以捕获图像。
作为示例，图像捕获设备103可以是包括市售普通图像传感器的相机。在一些实施例中，图像捕获设备103可以设置在便携式电子设备101中。在一些实施例中，普通图像传感器可以是能够以普通帧率如30fps、60fps、120fps、240fps等捕获图像帧的图像传感器。此外，SSM视频记录系统105可以经由通信网络与便携式电子设备101相关联，且因此可以通过通信网络与便携式电子设备101通信。通信网络可以是有线通信网络和无线通信网络中至少之一。
在一些实施例中，SSM视频记录系统105可以被配置在便携式电子设备101内。

[0027] SSM视频记录系统105可以包括处理器109、输入/输出(I/O)接口111和存储器113。处理器109可以是微处理器，并且在一些实施例中，可以包括多个微处理器。

[0028] I/O接口111实时地从图像捕获设备103接收原始图像帧。在一些实施例中，原始图像帧可以是以第一帧率捕获的图像帧。在一些实施例中，可以在SSM视频记录系统105中预先配置第一帧率。作为示例，第一帧率可以是240fps。

[0029] 处理器109可以将第一帧率的原始图像帧存储在队列中，同时，处理器109可以发送第二帧率的对应图像帧以进行显示。在一些实施例中，处理器109可以将第二帧率的对应图像帧发送到便携式电子设备101以在便携式电子设备101上显示。在一些实施例中，处理器109可以从原始图像帧生成第二帧率的图像帧，以进行显示。在一些实施例中，可以在SSM视频记录系统105中预先配置第二帧率。在一些实施例中，第二帧率的图像帧可以显示在便携式电子设备101的显示屏上。作为示例，第二帧率可以是60fps。在显示之前，处理器109可以使用预定义的运动检测库从每个第二帧率的图像帧中检测运动的存在。在一些其他实施例中，处理器109可以从每个第一帧率的原始图像帧中检测运动的存在。在一些实施例中，由于与预定义的运动检测库相关联的系统的一个或多个条件，在使用预定义的运动检测库检测运动的存在时可能发生运动检测(MD)延迟。作为示例，系统的一个或多个条件可以包括但不限于存储器利用率、中央处理单元(CPU)利用率等。在一些实施例中，可以基于跳帧机制将队列中存储的每个原始图像帧的帧率降低至第四帧率，直到在至少一个第二帧率的图像帧中检测到运动的存在为止。

[0030] 当在至少一个第二帧率的图像帧中检测到运动的存在时，处理器109可以在当前时间中生成触发。此外，处理器109可以在预定义缓冲深度的缓冲器中存储第一组图像帧。在一些实施例中，第一组图像帧是在生成触发的当前时间之前的时间捕获的原始图像帧。
此外，在生成触发时，处理器109还可以在预定义缓冲深度的缓冲器中存储被选择用于执行插值机制的第二组图像帧。在一些实施例中，第二组图像帧是在检测到运动存在的当前时间之前被捕获的、包括运动的原始图像帧，以减轻MD延迟。在一些实施例中，处理器109由于MD延迟的发生而可能不能够对第二组图像帧进行运动检测。与第二组图像帧一起，处理器
109还可以提供第三组图像帧用于插值机制。在一些实施例中，第三组图像帧是预定义数量的包括运动的原始图像帧，其由处理器109在生成触发时选择以执行插值机制。此外，处理器109可以基于插值机制，通过将第二组图像帧和第三组图像帧的帧率从第一帧率转换为第三帧率，来生成第三帧率的图像帧。在一些实施例中，可以在SSM视频记录系统105中预定义第三帧率。作为示例，第三帧率可以是480fps、960fps等。在生成第三帧率的图像帧时，处理器109可以基于跳帧机制，通过将第一组图像帧的帧率从第一帧率转换为第四帧率，来生成第四帧率的图像帧。在一些实施例中，可以在SSM视频记录系统105中预定义第四帧率。作为示例，第四帧率可以是30fps。在一些实施例中，第二帧率和第四帧率低于第一帧率。而第三帧率高于第一帧率。

[0031] 最后，处理器109可以将第四帧率的图像帧、第三帧率的图像帧和在当前时间之后的时间捕获的第四组图像帧按顺序发送到与SSM视频记录系统105相关联的编码器107进行编码。编码的图像帧被记录为SSM视频，或者作为SSM视频回放。在一些实施例中，在发送到编码器107之前，可以基于跳帧机制将第四组图像帧的帧率转换为第四帧率。在一些实施例中，编码器107可以对第三帧率的图像帧进行编码，以在显示屏上以第四帧率播放。

[0032] 图2示出了根据实施例的图1的示例性架构100的SSM视频记录系统的详细框图。

[0033] 在一些实施方式中，SSM视频记录系统105可以包括数据203和模块205。作为示例，数据203被存储在如图2所示的在SSM视频记录系统105中配置的存储器113中。在一个实施例中，数据203可以包括输入图像数据207、插值帧数据209、跳帧数据211和其他数据213。在所示的图2中，以下详细描述模块205。

[0034] 在一些实施例中，数据203可以以各种数据结构的形式存储在存储器113中。另外，可以使用诸如关系型或分层数据模型之类的数据模型来组织数据203。其他数据213可以存储由模块205生成的用于执行SSM视频记录系统105的各种功能的数据，包括临时数据和临时文件。

[0035] 在一些实施例中，存储器113中存储的数据203可以由SSM视频记录系统105的模块205处理。模块205可以存储在存储器113内。在示例实施例中，通信地耦合到在SSM视频记录系统105中配置的处理器109的模块205也可以如图2所示设置于存储器113的外部并且被实现为硬件。本文使用的术语“模块”是指专用集成电路(ASIC)、电子电路、执行一个或多个软件或固件程序的处理器(共享的、专用的、或者组)以及存储器、组合逻辑电路和/或提供所描述功能的其他合适组件。

[0036] 在一些实施例中，模块205可以包括例如接收模块221、预览模块223、运动检测模块225、跳帧模块227、帧选择模块229、插值模块231、发送模块233和其他模块234。其他模块234可以用于执行SSM视频记录系统105的各种其他功能。应理解，在一些实施例中，前述模块205可以表示为单个模块，或者在其他实施例中，可以表示为不同模块的组合。

[0037] 在一些实施例中，接收模块221可以初始从被配置到便携式电子设备101的图像捕获设备103实时地接收原始图像帧。在一些实施例中，原始图像帧可以是以第一帧率捕获的图像帧。可以在SSM视频记录系统105中预先配置第一帧率。作为示例，第一帧率可以是240fps。作为示例，图像捕获设备103可以是包括市售普通图像传感器的相机。在一些实施例中，普通图像传感器可以是能够以普通帧率如30fps、60fps、120fps、240fps等捕获图像帧的图像传感器。可以对原始图像帧进行预处理，预处理可以包括高速和高质量的降噪、自动曝光、自动聚焦、自动白平衡等。接收的原始图像帧可以被存储为输入图像数据207。

[0038] 此外，在一些实施例中，预览模块223可以向便携式电子设备101发送第二帧率的图像帧用于显示。在一些实施例中，可以从原始图像帧生成第二帧率的图像帧。在一些实施例中，可以在SSM视频记录系统105中预先配置第二帧率。作为示例，第二帧率可以是60fps。在一些实施例中，第二帧率的图像帧可以显示在便携式电子设备101的显示屏上。在一些实施例中，运动检测模块225可以在第二帧率的图像帧被发送以显示在显示屏上之前检测第二帧率的图像帧中运动的存在。

[0039] 在一些实施例中，运动检测模块225可以使用预定义的运动检测库从第二帧率的图像帧中检测运动的存在。在一些实施例中，运动检测模块225可以将每个第二帧率的图像帧与后续的第二帧率的图像帧进行比较，并将由此确定的比较结果与存储在预定义的运动检测库中的数据进行相关，以检测运动的存在。在一些实施例中，运动检测模块225可以将每个第二帧率的图像帧与紧接在该图像帧之后的下一第二帧率的图像帧进行比较。然而，由于与预定义的运动检测库相关联的系统的一个或多个条件，在使用预定义的运动检测库检测运动的存在时可能发生运动检测(MD)延迟。作为示例，系统的一个或多个条件可以包括但不限于存储器利用率、中央处理单元(CPU)利用率、处理延迟、存储器可用性等。由于这种MD延迟，运动检测模块225实际上可能错过检测到若干第二帧率的图像帧中运动的存在，尽管在这些第二帧率的图像帧中存在运动。因此，通常当运动检测模块225在至少一个第二帧率的图像帧中检测到运动的存在时，在检测到运动的当前时间之前捕获的若干第二帧率的图像帧也被认为是包括运动的图像帧。这是为了减轻在检测图像帧中运动的存在时的MD延迟。在一些实施例中，基于跳帧机制，将每个原始图像帧的帧率降低为第四帧率，直到运动检测模块225在至少一个第二帧率的图像帧中检测到运动的存在为止。在一些实施例中，可以在SSM视频记录系统105中预先配置第四帧率。作为示例，第四帧率可以是30fps。

[0040] 在一些实施例中，跳帧机制可以由跳帧模块227执行。跳帧机制可以包括从原始图像帧中丢弃多个冗余图像帧，直到原始图像帧的帧率被转换为期望的帧率为止。例如，考虑原始图像帧的帧率为240fps，而所期望的帧率为30fps。因此，通过使用跳帧机制，可以丢弃不包含任何运动的多个冗余帧，直到原始图像帧的帧率从240fps降低到30fps。下文参考图3A和图3B说明跳帧机制的过程。

[0041] 图3A和图3B示出了根据实施例的跳帧机制的示例性图示。如图3A所示，考虑在应用跳帧机制之前将原始图像帧存储在队列226中的示例。在一些实施例中，队列226可以包括在存储器113中。在一些实施例中，原始图像帧的输入速率小于原始图像帧的输出速率。因此，在使原始图像帧经受跳帧机制之前，引入队列以管理原始图像帧到跳帧模块227的传输。考虑原始图像帧的帧率为240fps，而所期望的帧率为30fps的示例。因此，为了实现
30fps的帧率，将图像帧的数量从每秒240个减少到每秒30个，这意味着选择每八个图像帧中的一个图像帧。因此，跳帧模块227可以按照从队列接收的顺序来考虑原始图像帧。如图
3A所示，跳帧模块227可以将一组8个原始图像帧中的一个原始图像帧标记为“OK”，并且可以将这组8个原始图像帧中的其余7个图像帧标记为“ERROR”或“IGNORE”等。因此，跳帧模块
227可以保留标记为“OK”的原始图像帧，并丢弃标记为“ERROR”的其余原始图像帧。跳帧模块227可以进一步对随后的8个一组的原始图像帧重复相同的过程，直到图像帧的数量从每秒240个图像帧减少到每秒30个图像帧。类似地，作为示例，考虑原始图像帧的帧率为
240fps，而所期望的帧率为60fps。因此，为了实现60fps的帧率，将图像帧的数量从每秒240个减少到每秒60个，这意味着选择每四个图像帧中的一个图像帧。因此，如图3B所示，跳帧模块227可以将一组4个原始图像帧中的一个图像帧标记为“OK”，并将其余3个原始图像帧标记为“ERROR”或“IGNORE”等。在一些实施例中，被标记为“OK”的一个原始图像帧可以是由跳帧模块227选择的8个一组的原始图像帧或4个一组的原始图像帧中的第一图像帧。在一些其他实施例中，被标记为“OK”的一个原始图像帧可以是由跳帧模块227选择的8个一组的原始图像帧或4个一组的原始图像帧中的任何图像帧。在其他实施例中，跳帧模块227可以基于一个或多个预定义的选择因素，从8个一组的原始图像帧或4个一组的原始图像帧中选择被标记为“OK”的一个原始图像帧。

[0042] 在一些实施例中，在至少一个第二帧率的图像帧中检测到运动时，在当前时间，运动检测模块225可以生成触发以指示运动的存在。此外，处理器109可以初始化预定义缓冲深度的缓冲器。在一些实施例中，缓冲器可以是环形缓冲器。在一些实施例中，可以使用下面的等式1来确定预定义缓冲深度。

[0043] 缓冲深度＝MD延迟帧的数量+所需的初始低fps帧...等式1

[0044] 在上面的等式1中，“缓冲深度”表示缓冲器的大小；“所需的初始低fps帧”(在本公开的后面部分中也称为第一组图像帧)表示为跳帧机制选择的不包含任何可检测运动的原始图像帧的数量；以及“MD延迟帧(在本公开的后面部分中也称为第二组图像帧)的数量”表示在运动检测期间实时通过的原始图像帧的数量。在这种情况下，实时通过的原始图像帧是由于发生MD延迟而无法进行运动检测的原始图像帧。

[0045] 在一些实施例中，可以使用下面的等式2来检测MD延迟帧即第二组图像帧的数量。

[0046] MD延迟帧的数量＝((估计的MD延迟(以ms为单位)/1000)×传感器fps)...等式2[0047] 在上面的等式2中，“估计的MD延迟”表示运动检测时预期的MD延迟，“传感器fps”表示在图像捕获设备103中使用的图像传感器捕获原始图像帧的帧率。在一些实施例中，估计的MD延迟对于便携式电子设备101的不同型号可以有所不同，因为系统参数和条件(例如，处理能力、速度、存储器可用性等)对于便携式电子设备101的每种型号是不同的。

[0048] 例如，考虑传感器fps为240fps，估计的MD延迟为28ms。通过将这些值代入上述等式2，处理器109确定MD延迟帧的数量为7。

[0049] 此外，考虑所需的初始低fps帧(即，第一组图像帧)是0.3秒的30fps图像帧。因此，应将0.3秒的240fps原始图像帧总数转换为0.3秒的30fps图像帧。0.3秒的240fps原始图像帧的数量为(240*0.3)，即72个原始图像帧。处理器109在稍后的阶段(下面在随后的段落中说明)将这72个原始图像帧提供给跳帧机制，以将72个原始图像帧的帧率从240fps转换为30fps。

[0050] 此外，处理器109通过在上述等式1中代入所需的初始低fps帧和使用等式2确定的MD延迟帧的数量，来确定缓冲深度。因此，在该示例中，缓冲深度是79，这是72个图像帧和7个MD延迟帧的总和。

[0051] 由于根据要求定义了MD延迟、图像传感器的帧率和所需的初始低fps帧的数量，因此在SSM视频记录系统105中预先定义了缓冲深度。

[0052] 回到运动检测模块225，当运动检测模块225生成触发时，帧选择模块229可以选择第一组图像帧和第二组图像帧并将其存储在缓冲器中。在一些实施例中，第一组图像帧是在生成触发的当前时间之前的时间捕获的原始图像帧。帧选择模块229选择第一组图像帧用于执行跳帧机制。在一些实施例中，第二组图像帧是在检测到运动存在的时间之前被捕获的包括运动的原始图像帧。第二组图像帧用于在检测图像帧中运动的存在时减轻/补偿MD延迟。帧选择模块229选择第二组图像帧用于执行插值机制。帧选择模块229还选择第三组图像帧用于执行插值机制。在一些实施例中，第三组图像帧是预定义数量的包括运动的原始图像帧，其在生成触发时被选择用于执行插值机制。第三组图像帧是在运动检测模块225检测到运动存在的第二帧率的图像帧之后捕获的图像帧。帧选择模块229可以将第二组图像帧和第三组图像帧提供给插值模块231，以执行插值机制。在一些实施例中，第二组图像帧和第三组图像帧的输入速率比由插值模块231生成的图像帧的输出速率快。因此，为了管理第二组图像帧和第三组图像帧到插值模块231的传输，引入队列以存储第二组图像帧和第三组图像帧。

[0053] 在一些实施例中，插值机制可以包括但不限于使用一种或多种预定义的帧预测技术来预测第二组图像帧中每两个连续的图像帧和/或第三组图像帧中每两个连续的图像帧之间的中间图像帧。插值机制的示例性图示如图4所示。

[0054] 图4示出了根据实施例的插值机制的示例性图示。在图4中，图像帧“n”和图像帧“n+1”是第二组图像帧或第三组图像帧中的两个示例性连续图像帧。当图像帧“n”和图像帧“n+1”被提供给插值模块231时，插值模块231可以在图像帧“n”和图像帧“n+1”之间插值新的图像帧。在一些实施例中，插值模块231可以通过预测图像帧“n”和图像帧“n+1”之间的图像帧，即通过预测图像帧“n”和图像帧“n+1”之间主要对象的运动，来生成新图像帧以进行插值，如图4所示。在图4所示的示例中，主要对象是球，其相对于图像帧“n”和图像帧“n+1”中球位置的位置变化已经预测并表示在新图像帧中。

[0055] 在一些实施例中，使用上述插值机制，插值模块231可以通过在第二组图像帧中每两个连续的图像帧和/或第三组图像帧中每两个连续的图像帧之间插值新的图像帧来生成第三帧率的图像帧。在一些实施例中，可以在SSM视频记录系统105中预先配置第三帧率。作为示例，第三帧率可以是480fps、960fps等。可以将经过插值机制的图像帧和使用插值机制生成的图像帧存储为插值帧数据209。

[0056] 与上述操作并行，跳帧模块227可以基于上述跳帧机制，通过将第一组图像帧的帧率从第一帧率转换为第四帧率，来生成第四帧率的图像帧。在一些实施例中，可以在SSM视频记录系统105中预先配置第四帧率。作为示例，第四帧率可以是30fps。例如，考虑第一帧率为240fps，第四帧率为30fps。在这样的场景中，跳帧模块227可以连续考虑每8个一组的图像帧，并从每组中选择一个图像帧，同时丢弃每组中的其余7个图像帧，直到240fps的图像帧被转换为30fps的图像帧，如以上参考图3A和图3B所述。在一些实施例中，第二帧率和第四帧率可以低于第一帧率。而第三帧率高于第一帧率。

[0057] 此外，帧选择模块229可以选择第四组图像用于执行跳帧机制。在一些实施例中，第四组图像帧可以是在当前时间之后的时间捕获的图像帧。换言之，第四组图像帧是在为插值机制选择的第三组图像帧之后捕获的图像帧。在一些实施例中，第四组图像可以包括或可以不包括运动的存在。帧选择模块229可以将第四组图像提供给跳帧模块227，以执行跳帧机制。在一些实施例中，跳帧模块227可以使用跳帧机制将第四组图像帧的帧率从第一帧率转换为第四帧率。在一些实施例中，经过跳帧机制的第四组图像帧可以被称为终止图像帧。可以将经过跳帧机制的图像帧和由于跳帧机制而生成的图像帧存储为跳帧数据211。

[0058] 此外，在一些实施例中，发送模块233可以将第四帧率的图像帧、第三帧率的图像帧和终止图像帧按顺序发送到编码器107，以进行编码。此外，在一些实施例中，可以引入至少一个队列以用于管理第四帧率的图像帧、第三帧率的图像帧和终止图像帧到编码器107的传输。也即，在一些实施例中，要发送的图像帧可以在发送到编码器107之前存储在至少一个队列中。在一些实施例中，编码器107可以与SSM视频记录系统105相关联。在一些实施例中，编码器107可以与SSM视频记录系统105通信。编码器107可以将由此接收的图像帧转换并存储为可以在便携式电子设备101的显示屏上显示/查看的数字格式。在一些实施例中，编码器107可以编码并存储第三帧率的图像帧，以便在显示屏上以第四帧率播放。

[0059] 在编码后，编码器107可以在显示屏上首先播放第四帧率的图像帧，然后以第四帧率播放第三帧率的图像帧，然后以第四帧率播放各终止图像帧。在一些实施例中，编码器107可以通信地耦合到便携式电子设备101，并可以将图像帧提供给便携式电子设备101以进行播放。在一些实施例中编码器107可以设置在便携式电子设备101中，且因此可以最初在便携式电子设备101的显示屏上播放图像帧。被编码为以第四帧率播放的第三帧率的图像帧使得SSM视频记录系统105能够实现超慢动作记录的效果。

[0060] 此后，借助于一个或多个示例来解释在便携式电子设备101中记录SSM视频的过程，以更好地理解本公开。然而，这一个或多个示例不应被视为对本公开的限制。

[0061] 图5示出了根据实施例的用于在便携式电子设备中记录超慢动作(SSM)视频的示例性场景。考虑如图5所示的示例性场景200，并考虑以下示例性细节，以解释在该示例性场景中在便携式电子设备中记录SSM视频的过程：

[0062] 便携式电子设备：智能电话

[0063] 图像捕获设备：相机

[0064] 图像传感器：普通市售传感器，帧率(FR)为240fps

[0065] 第一帧率：240fps

[0066] 第二帧率：60fps

[0067] 第三帧率：480fps

[0068] 第四帧率：30fps

[0069] 在图5的示例中，图像传感器235、图像信号处理器237、运动检测模块225、环形缓冲器239、跳帧模块227、显示屏241、插值模块231和编码器107可以设置在便携式电子设备101上。也即，图1将架构100示出为包括分离的组件。但是，在一些实施例中，架构100的组件可以包括在便携式电子设备101自身中。

[0070] 考虑配置在智能电话中的相机以240fps捕获原始图像帧。如图5所示，相机的图像信号处理器(ISP)237组件被配置为在捕获原始图像帧的同时处理从相机中配置的图像传感器235接收的一个或多个信号。ISP 237将该一个或多个信号处理成两个图像帧流。在一些实施例中，一个流包括帧率为240fps的原始图像帧，其经由队列2被发送以执行后期处理活动，而另一个流包括帧率为60fps的图像帧，其经由队列1被发送以便在智能电话的显示屏241上预览显示，如图5所示。然而，在60fps的图像帧在显示屏上显示之前，图像帧被发送到运动检测模块225以检测图像帧中运动的存在，即运动检测模块225检查60fps的图像帧中的主要对象是否包含任何形式的运动。使用跳帧机制将240fps的原始图像帧降低为30fps的图像帧，直到检测到运动存在为止。如图5所示，处理器109可以通过队列2管理
240fps的原始图像帧到跳帧模块227的传输，以执行跳帧机制。

[0071] 考虑以28ms的MD延迟在60fps的图像帧中检测到运动的存在。此外，考虑其中检测到运动的60fps图像帧对应于ISP 237提供的240fps图像帧“X”。由于MD延迟，在图像帧“X”之前捕获的若干图像帧可能没有经受运动检测。因此，帧选择模块229使用上述等式2，选择7个240fps的图像帧作为第二组图像帧(也称为MD延迟帧)以补偿28ms的MD延迟。7个240fps的MD延迟图像帧是紧接在60fps的图像帧中检测到运动的当前时间之前捕获的帧。换言之，当前时间是生成触发的时间。此外，考虑帧选择模块229选择在7个MD延迟图像帧之前捕获的0.3秒间隔的第一组240fps的图像帧。因此，帧选择模块229总共可以选择(240fps*0.3)即72个240fps的图像帧，作为第一组图像帧。第一组图像帧不包含任何运动，但用于确保SSM视频的连续性。现在，帧选择模块229将第一组图像帧和第二组图像帧存储在环形缓冲器239中，如图5所示。此外，考虑帧选择模块229选择在图像帧“X”之后捕获的第三组240fps的图像帧，使得7个MD延迟图像帧、图像帧“X”和第三组图像帧一起形成0.4秒的间隔。对于
0.4秒的间隔，帧选择模块229总共应该选择(240fps*0.4)即96个图像帧。然而，由于已经选择了7个MD延迟帧和图像帧“X”，因此帧选择模块229现在选择其余88个240fps的图像帧作为第三组图像帧。第三组图像帧包含运动，该运动是在图像帧“X”中检测到的运动的延续。
此外，考虑帧选择模块229选择在88个第三组图像帧之后捕获的0.3秒间隔的第四组240fps的图像帧。因此，帧选择模块229总共可以选择(240fps*0.3)即72个240fps的图像帧，作为第四组图像帧。第四组图像帧可以包含也可以不包含运动，但用于确保SSM视频的连续性。

[0072] 因此，在从运动检测模块225接收到指示运动存在的触发时，处理器109将72个240fps的第一组图像帧发送到跳帧模块227。并行地，如图5所示，处理器109通过队列3将7个240fps的第二组图像帧、图像帧“X”和88个第三组图像帧(总共96个图像帧)发送到插值模块231。跳帧模块227使用跳帧机制将72个240fps的第一组图像帧转换为9个30fps的图像帧。另一方面，插值模块231通过在每两个连续的图像帧之间插值新的图像帧，将96个
240fps的图像帧转换为192个480fps的图像帧。插值模块231基于在对应的两个连续图像帧中主要对象的运动，来预测每个新图像帧中主要对象的运动。

[0073] 在进行转换后，如图5所示，处理器109通过队列4将从72个240fps的第一组图像帧中获得的9个30fps的图像帧发送到编码器107。此后，如图5所示，处理器109通过队列5将从96个240fps的图像帧(7个MD延迟帧、图像帧“X”和88个第三组图像帧)获得的192个480fps的图像帧发送到编码器107。最后，如图5所示，处理器109将72个240fps的第四组图像帧发送到跳帧模块227，以获得9个30fps的图像帧(也称为终止图像帧)，然后通过队列4将9个
30fps的终止图像帧发送到编码器107。以上在本段中说明的在记录SSM视频时将示例性图像帧发送到编码器107的这种流程以图形方式表示在图6A中。

[0074] 图6A和图6B分别示出了根据实施例的记录和回放示例性图像帧的示例性图示。如图6A所示，0.3秒时间间隔的部分243包括从72个240fps的第一组图像帧中获得的9个30fps的图像帧。此外，0.4秒时间间隔的部分245包括从96个240fps的图像帧获得的192个480fps的图像帧。最后，0.3秒时间间隔的部分247包括9个30fps的终止图像帧。图6B示出了编码图像帧的回放，其中，最初在0.3秒的时间间隔内以30fps播放部分243的图像帧，然后以30fps播放帧率为480fps的部分245的图像帧，因此，0.4秒时间间隔的原始记录和编码图像帧以30fps在6.4秒时间间隔内显示为超慢动作。最后，以30fps播放部分247的图像帧。

[0075] 图7示出了根据实施例的在便携式电子设备中记录SSM视频的方法的流程图。

[0076] 如图7所示，方法300包括一个或多个方框，示出了在便携式电子设备101中记录超慢动作(SSM)视频的方法。可以在计算机可执行代码的一般上下文中描述方法300。通常，计算机可执行代码可以包括被加载到处理器上并被执行来执行功能或实现数据类型的指令、例程、程序、对象、组件、数据结构、过程、模块和函数。

[0077] 描述方法300的顺序并不应解释为限制，并且可以以任何顺序组合任意数量的所描述方法框以实现方法300。另外，在不脱离本文描述的主题的精神和范围的情况下，可以从方法300中删除各个框。此外，方法300可以以任何合适的硬件、软件、固件或其组合来实现。

[0078] 在框301处，方法300可以包括由配置在便携式电子设备101的SSM视频记录系统105中的处理器109，从配置在便携式电子设备101中的图像捕获设备103接收原始图像帧。
在一些实施例中，可以以第一帧率捕获原始图像帧。作为示例，第一帧率可以是240fps。

[0079] 在框303处，方法300可以包括由处理器109发送第二帧率的图像帧以进行显示。在一些实施例中，处理器109可以从原始图像帧生成第二帧率的图像帧。作为示例，第二帧率可以是60fps。

[0080] 在框305处，方法300可以包括由处理器109使用预定义的运动检测库从每个第二帧率的图像帧中检测运动的存在。

[0081] 在框307处，方法300可以包括当在至少一个第二帧率的图像帧中检测到运动的存在时，由处理器109在当前时间生成触发。

[0082] 在框309处，方法300可以包括由处理器109将第一组图像帧和第二组图像帧存储在预定义缓冲深度的缓冲器中。在一些实施例中，第一组图像帧是在生成触发的当前时间之前的时间捕获的原始图像帧。在一些实施例中，第二组图像帧是在检测到运动存在的当前时间之前被捕获的包括运动的原始图像帧，以便减轻运动检测(MD)延迟。在生成触发时，选择第一组图像帧用于执行跳帧机制，并选择第二组图像帧用于执行插值机制。在一些实施例中，跳帧机制可以包括从原始图像帧中丢弃多个冗余图像帧，直到原始图像帧的帧率被转换为期望的帧率为止。在一些实施例中，插值机制可以包括使用一种或多种预定义的帧预测技术来预测第二组图像帧中每两个连续的图像帧和/或第三组图像帧中每两个连续的图像帧之间的中间图像帧。

[0083] 在框311处，方法300可以包括由处理器109基于插值机制，通过将第二组图像帧和第三组图像帧的帧率从第一帧率转换为第三帧率来生成第三帧率的图像帧。在一些实施例中，第三组图像帧是预定义数量的包括运动的原始图像帧，在生成触发时被选择用于执行插值机制。第三组图像帧是在检测到运动存在的第二帧率的图像帧之后捕获的图像帧。

[0084] 在框313处，方法300可以包括由处理器109基于跳帧机制，通过将第一组图像帧的帧率从第一帧率转换为第四帧率，来生成第四帧率的图像帧。

[0085] 在框315处，方法300可以包括由处理器109将第四帧率的图像帧、第三帧率的图像帧和在当前时间之后的时间捕获的第四组图像帧按顺序发送到编码器107以进行编码。在一些实施例中，编码器107与SSM视频记录系统105相关联。处理器109可以在将第四组图像帧发送到编码器107之前，基于跳帧机制将第四组图像帧的帧率转换为第四帧率。

[0086] 图8是根据实施例的用于实现实施例的示例性计算机系统的框图。

[0087] 图8示出了用于实现本发明的实施例的示例性计算机系统400的框图。在一些实施例中，计算机系统400可以是用于在便携式电子设备101中记录超慢动作(SSM)视频的SSM视频记录系统105。计算机系统400可以包括中央处理单元(“CPU”或“处理器”)402。处理器402可以包括至少一个数据处理器，用于执行程序组件以执行用户或系统生成的业务流程。用户可以包括人，使用设备如本公开中所包括的设备的人，或者这样的设备本身。处理器402可以包括专用处理单元，例如集成系统(总线)控制器、内存管理控制单元、浮点单元、图形处理单元、数字信号处理单元等。

[0088] 处理器402可以被设置为经由I/O接口401与输入设备411和输出设备412通信。I/O接口401可以采用多种通信协议/方法，例如但不限于音频、模拟、数字、立体声、IEEE-1394、串行总线、通用串行总线(USB)、红外、PS/2、BNC、同轴、组件、复合、数字视频接口(DVI)、高清多媒体接口(HDMI)、射频(RF)天线、S视频、视频图形阵列(VGA)、IEEE 802.n/b/g/n/x、蓝牙、蜂窝(例如，码分多址(CDMA)、高速分组接入(HSPA+)、全球移动通信系统(GSM)、长期演进(LTE)、WiMax等)等。

[0089] 使用I/O接口401，计算机系统400可以与输入设备411和输出设备412通信。

[0090] 在一些实施例中，处理器402可以被设置为经由网络接口403与通信网络409通信。网络接口403可以与通信网络409通信。网络接口403可以采用多种连接协议，包括但不限于直接连接、以太网(例如，双绞线10/100/1000Base T)、传输控制协议/互联网协议(TCP/IP)、令牌环、IEEE 802.11a/b/g/n/x等。使用网络接口403和通信网络409，计算机系统400可以与便携式电子设备101和编码器107通信。通信网络409可被实现为组织内的不同类型网络如内联网或局域网(LAN)等之一。通信网络409可以是专用网络或共享网络，其表示使用各种协议例如超文本传输协议(HTTP)、传输控制协议/互联网协议(TCP/IP)、无线应用协议(WAP)等进行相互通信的不同类型网络的关联。此外，通信网络409可以包括各种网络设备，包括路由器、网桥、服务器、计算设备、存储设备等。便携式电子设备101可以包括但不限于智能电话、膝上型计算机、平板电脑等。在一些实施例中，处理器402可以被设置为经由存储接口404与存储器405(例如，图8中未示出的RAM、ROM等)通信。存储接口404可以使用多种连接协议如串行高级技术附件(SATA)、集成驱动电子设备(IDE)、IEEE-1394、通用串行总线(USB)、光纤通道、小型计算机系统接口(SCSI)等连接到存储器405，存储器405包括但不限于存储器驱动器、可移动磁盘驱动器等。存储器驱动器可以进一步包括磁鼓、磁盘驱动器、磁光驱动器、光盘驱动器、独立磁盘冗余阵列(RAID)、固态存储设备、固态驱动器等。

[0091] 存储器405可以存储程序或数据库组件的集合，包括但不限于用户界面406、操作系统407、网络浏览器408等。在一些实施例中，计算机系统400可以存储用户/应用程序数据，例如本发明中所述的数据、变量、记录等。这样的数据库可以实现为容错、关系型、可扩展、安全数据库，例如Oracle或Sybase。

[0092] 操作系统407可以帮助计算机系统400的资源管理和操作。操作系统的示例包括但不限于 OS UNIX类系统发行版(例如，BERKELEY SOFTWARE (BSD)、 OPENBSD
等)、发行版(例如，RED 等)、
( 10等) 、
GOOGLETMANDROIDTM、 OS等。用户界面406可以通过文
本或图形工具来帮助程序组件的显示、执行、交互、操纵或操作。例如，用户界面可以在可操作地连接到计算机系统400的显示系统上提供计算机交互界面元素，例如光标、图标、复选框、菜单、滚动条、窗口、小部件等。可以采用图形用户界面(GUI)，包括但不限于操作系统的
(例如Aero、Metro等)、Web界面库(例如， AJAX、HTML、
等)等。

[0093] 计算机系统400可以实现网络浏览器408存储的程序组件。网络浏览器408可以是超文本查看应用程序，例如 I NTE RN ETTM TM
GOOGLE CHROME 、等。可以使用安
全超文本传输协议(HTTPS)、安全套接字层(SSL)、传输层安全(TLS)等提供安全的网络浏览。网络浏览器408可以利用诸如AJAX、DHTML、
应用编程接口(API)等工具。计算机系统400可
以实现邮件服务器存储的程序组件。邮件服务器可以是互联网邮件服务器如Microsoft Exchange等。邮件服务器可以利用诸如ASP、 C++/C#、
.NET、CGI脚本、 PHP、
等工具。邮件服务器可以利用多种通信协议，例如互联
网消息访问协议(IMAP)、消息应用编程接口(MAPI)、 exchange、邮局协议
(POP)、简单邮件传输协议(SMTP)等。在一些实施例中，计算机系统400可以实现邮件客户端存储的程序组件。邮件客户端可以是邮件查看应用程序，例如 MAIL、
等

[0094] 此外，在实现本公开的实施例时可以利用一种或多种计算机可读存储介质。计算机可读存储介质是指可以存储处理器可读的信息或数据的任何类型物理存储器。因此，计算机可读存储介质可以存储用于由一个或多个处理器执行的计算机可执行代码，包括用于使处理器执行根据本文描述的实施例的步骤或阶段的计算机可执行代码。术语“计算机可读介质”应理解为包括有形物品，并且排除载波和瞬态信号，即非暂时性的。示例包括随机存取存储器(RAM)、只读存储器(ROM)、易失性存储器、非易失性存储器、硬盘驱动器、光盘(CD)ROM、数字视频盘(DVD)、闪存驱动器、磁盘以及任何其他已知的物理存储介质。

[0095] 对于其中多个组件彼此通信的实施例的描述并不意味需要所有这些组件。相反，描述了多种可选组件以说明本发明的多种可能实施例。当在本文中描述单个设备或物品时，显而易见的是，可以使用多个设备/物品(无论它们是否协作)来代替单个设备/物品。类似地，在本文描述了多个设备或物品(无论它们是否协作)的情况下，显而易见的是，可以使用单个设备/物品代替这多个设备或物品，或者可以使用不同数量的设备/物品来代替所示数量的设备或物品。一个设备的功能和/或特征可以替代地由一个或多个未明确描述为具有这种功能/特征的其他设备来体现。因此，本发明的其他实施例不需要包括该设备本身。

[0096] 本说明书描述了一种用于在便携式电子设备中记录超慢动作(SSM)视频的方法和系统。对所示步骤进行阐述以解释所示的示例性实施例，并且应当预料到，正在进行的技术发展将改变执行特定功能的方式。本文出于说明而非限制的目的给出这些示例。此外，为便于描述，本文任意定义了功能构建块的边界。可以定义替代的边界，只要所指定的功能及其关系被适当地执行。基于本文所包含的教导，替代物(包括本文描述的内容的等同物、扩展、变化、偏离等)对于相关领域的技术人员将是显而易见的。这样的替代物落入所公开的实施例的范围和精神内。此外，词语“包含”、“具有”、“包含有”和“包括”以及其它类似形式旨在在含义上是等同的并且是开放性的，跟在这些词语中任何一个之后的一个或多个项目并不意在作为这样的一个或多个项目的详尽列表，也并不意在仅限于所列出的一个或多个项目。还应注意，本文和所附权利要求书中所使用的单数形式“一”、“一个”和“该”包括复数指示物，除非上下文另有明确说明。

[0097] 最后，本说明书中使用的语言主要是出于可读性和指导性目的而选择的，而并非选择来界定或限制所公开的主题。因此，范围不应受具体描述的限制，而是应由基于本申请而发布的权利要求所限制。因此，实施例旨在说明而非限制本发明的范围，本发明的范围在所附权利要求中阐述。

[0098] 根据本公开的一个方面，提供了一种超慢动作视频记录系统，包括编码器对第三帧率的图像帧进行编码以在显示器上以第四帧率播放。

[0099] 根据本公开的一个方面，提供了一种超慢动作视频记录系统，包括第二帧率和第四帧率低于第一帧率。

[0100] 根据本公开的一个方面，提供了一种超慢动作视频记录系统，包括第三帧率高于第一帧率。

[0101] 根据本公开的一个方面，提供了一种超慢动作视频记录系统，包括第一帧率、第二帧率、第三帧率和第四帧率是预定义的。

[0102] 根据本公开的一个方面，提供了一种超慢动作视频记录系统，包括处理器在与便携式电子设备相关联的显示屏上显示第二帧率的图像帧。

[0103] 根据本公开的一个方面，提供了一种超慢动作视频记录系统，包括处理器基于跳帧机制将第一组图像帧的帧率和第四组图像帧的帧率从第一帧率转换为第四帧率。

[0104] 根据本公开的一个方面，提供了一种超慢动作视频记录系统，包括跳帧机制从原始图像帧中丢弃多个冗余图像帧，直到将原始图像帧的帧率转换为期望的帧率为止。

[0105] 根据本公开的一个方面，提供了一种方法，包括：由与便携式电子设备相关联的超慢动作(SSM)视频记录系统，从配置在便携式电子设备中的图像捕获设备接收原始图像帧，其中原始图像帧以第一帧率捕获；由SSM视频记录系统使用运动检测库在原始图像帧中检测运动的存在；由SSM视频记录系统通过将第二组图像帧和第三组图像帧的帧率从第一帧率转换为第三帧率，来生成第三帧率的图像帧，其中第三帧率高于第一帧率，其中第二组图像帧和第三组图像帧为预定义数量的包括运动的原始图像帧；由SSM视频记录系统通过将第一组图像帧的帧率从第一帧率转换为第四帧率，来生成第四帧率的图像帧，其中第四帧率低于第一帧率，其中第一组图像帧是在检测到运动存在的当前时间之前的时间捕获的原始图像帧；以及由SSM视频记录系统将第四帧率的图像帧和第三帧率的图像帧发送到与SSM视频记录系统相关联的编码器以便记录SSM视频。

[0106] 根据本公开的一个方面，提供了一种方法，包括基于插值机制生成第三帧率的图像帧。

[0107] 根据本公开的一个方面，提供了一种方法，包括基于跳帧机制来生成第四帧率的图像帧。

[0108] 根据本公开的一个方面，提供了一种方法，包括：由SSM视频记录系统将第四组图像帧的帧率从第一帧率转换为第四帧率，其中，第四组图像帧是在当前时间之后的时间捕获的图像帧；由SSM视频记录系统将第四组图像帧与第四帧率的图像帧和第三帧率的图像帧一起发送到编码器以进行编码。

[0109] 根据本公开的一个方面，提供了一种超慢动作视频记录系统，包括处理器以及通信地耦合到处理器的存储器，其中存储器存储程序代码，所述程序代码在执行时使处理器：从配置在便携式电子设备中的图像捕获设备接收原始图像帧，其中原始图像帧以第一帧率捕获；使用运动检测库从原始图像帧中检测运动的存在；通过将第二组图像帧和第三组图像帧的帧率从第一帧率转换为第三帧率，来生成第三帧率的图像帧，其中第三帧率高于第一帧率，其中第二组图像帧和第三组图像帧是预定义数量的包括运动的原始图像帧；通过将第一组图像帧的帧率从第一帧率转换为第四帧率，来生成第四帧率的图像帧，其中第四帧率低于第一帧率，其中第一组图像帧是在检测到运动存在的当前时间之前的时间捕获的原始图像帧；以及将第四帧率的图像帧和第三帧率的图像帧发送到与SSM视频记录系统相关联的编码器以便记录SSM视频。

[0110] 根据本公开的一个方面，提供了一种超慢动作视频记录系统，包括处理器基于插值机制来生成第三帧率的图像帧。

[0111] 根据本公开的一个方面，提供了一种超慢动作视频记录系统，包括处理器基于跳帧机制来生成第四帧率的图像帧。

[0112] 根据本公开的一个方面，提供了一种超慢动作视频记录系统，包括处理器将第四组图像帧的帧率从第一帧率转换为第四帧率，其中，第四组图像帧是在当前时间之后的时间捕获的图像帧；将第四组图像帧与第四帧率的图像帧和第三帧率的图像帧一起发送到编码器以进行编码。

标题	发布/更新时间	阅读量
一种水下冗余液压机械臂及其工作方法	2020-05-08	66
一种机械压力机滑块停上死点的控制方法	2020-05-11	684
一种机器人模态参数辨识与动态特性分析的方法	2020-05-11	261
一种新型复合滚转姿态控制系统及方法	2020-05-11	467
一种视频帧重构方法、装置及终端设备	2020-05-11	112
一种总线同步控制架构及控制方法	2020-05-11	699
图像筛选方法、系统、终端及计算机可读存储介质	2020-05-11	998
一种激光高速测量机及测量方法	2020-05-12	784
贴敷式泵	2020-05-12	830
一种目标区域内基站群的部署优化方法及存储介质	2020-05-11	243

在便携式电子设备中记录超慢动作视频的方法和系统

在便携式电子设备中记录超慢动作视频的方法和系统

技术领域

背景技术

具体实施方式

该功能需要专业版企业版VIP权限，您可以：