技术领域
[0001] 本
发明的
实施例涉及
电子技术领域，尤其涉及一种基于双目相机的连拍方法、拍照装置和终端设备。
背景技术
[0002] 目前业内，手机等终端产品在录像过程中同时具备拍照功能，通常的但是在录像过程中，每次只能拍摄一张照片。具体的，在录像过程中视频通道开启连续的采集图像数据流，当按下单拍快
门键进行快照拍摄时视频通道暂停，通过创建的快照通道采集一幅图像数据
帧，编码为JPEG等格式的照片，然后视频通道重新打开工作。然而，在录像过程中，并不能实现连续拍照功能，其原因是单摄像头的连拍功能是基于ZSL模式(Zero Shutter Lag，零秒快拍)，ZSL模式是拍照模式下独有一种模式，其原理是在内存中预存多幅图像数据帧，当用户触发连拍按键时，设备检测到连拍指令，则从内存中连续取出若干图像数据帧，并对图像数据帧编码形成多幅连拍照片。由于ZSL占用用内存大，并且需要预存多幅图像数据帧，在录像时，该模式无法启用，所以录像过程中无法实现连拍功能。
发明内容
[0003] 本发明的实施例提供一种基于双目相机的连拍方法、拍照装置和终端设备，能够在录像过程中实现连拍。
[0004] 第一方面，提供一种基于双目相机的连拍方法，所述双目相机包括第一图像
传感器和第二图像传感器，所述方法包括：根据录像模式开启指令开启录像模式，将所述第一图像传感器采集到的第一图像数据流输出至
视频编码器，以便所述视频
编码器对所述第一图像数据流进行编码生成录像视频；当接收到连拍模式开启指令时，将所述第二图像传感器采集的第二图像数据流缓存，其中所述第二图像数据流包含至少两个图像数据帧；当接收到连拍触发指令时，将在所述第二图像数据流中读取至少两个图像数据帧；对所述至少两个图像数据帧进行图像编码生成至少两幅照片。这样在对第一图像传感器采集到的第一图像数据流进行编码生成录像视频的同时，可以通过双目相机的第二图像传感器采集的第二图像数据流并缓存；当接收到连拍触发指令时，在第二图像数据流中读取至少两个图像数据帧；对至少两个图像数据帧进行图像编码生成至少两幅照片，从而在录像过程中实现连拍。
[0005] 第二方面，提供一种基于双目相机的拍照装置，所述双目相机包括第一图像传感器和第二图像传感器，所述拍照装置包括：
[0006] 处理单元，用于根据录像模式开启指令开启录像模式，将所述第一图像传感器采集到的第一图像数据流输出至视频编码器，以便所述视频编码器对所述第一图像数据流进行编码生成录像视频；
[0007] 缓存单元，用于当接收到连拍模式开启指令时，将所述第二图像传感器采集的第二图像数据流缓存，其中所述第二图像数据流包含至少两个图像数据帧；
[0008] 所述处理单元，还用于当接收到连拍触发指令时，将在所述第二图像数据流中读取至少两个图像数据帧；
[0009] 所述处理单元，还用于对所述至少两个图像数据帧进行图像编码生成至少两幅照片。
[0010] 第三方面，提供一种基于双目相机的拍照装置，包括通信
接口、处理器、
存储器、总线；所述存储器用于存储计算机执行指令，所述处理器与所述存储器通过所述总线连接，当所述基于双目相机的拍照装置运行时，所述处理器执行所述存储器存储的计算机执行指令，以使所述基于双目相机的拍照装置执行上述的基于双目相机的连拍方法。
[0011] 第四方面，提供一种计算机存储介质，包括指令，当所述指令在计算机上运行时，使得所述计算机执行第一方面所述的基于双目相机的拍照方法。
[0012] 第五方面，提供一种终端设备，包括如第二方面、第三方面所述的基于双目相机的拍照装置。
[0013] 可以理解地，上述提供的任一种终端设备、基于双目相机的拍照装置或计算机存储介质均用于执行上文所提供的第一方面对应的方法，因此，其所能达到的有益效果可参考上文第一方面的方法以及下文具体实施方式中对应的方案的有益效果，此处不再赘述。
附图说明
[0014] 为了更清楚地说明本发明实施例的技术方案，下面将对实施例或
现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0015] 图1为本发明的实施例提供的一种终端设备的结构示意图；
[0016] 图2为本发明的实施例提供的一种基于双目相机的连拍方法示意图；
[0017] 图3为本发明的实施例提供的一种基于双目相机的拍照装置的结构示意图。
具体实施方式
[0018] 下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0019] 目前，目前业内，手机等终端产品在录像过程中同时具备拍照功能，通常的但是在录像过程中，每次只能拍摄一张照片。具体的，在录像过程中视频通道开启连续的采集图像数据流，当按下单拍快门键进行快照拍摄时视频通道暂停，通过创建的快照通道采集一幅图像数据帧，编码为JPEG等格式的照片，然后视频通道重新打开工作。然而，在录像过程中，并不能实现连续拍照功能，其原因是单摄像头的连拍功能是基于ZSL模式(Zero Shutter Lag，零秒快拍)，ZSL模式是拍照模式下独有一种模式，其原理是在内存中预存多幅图像数据帧，当用户触发连拍按键时，设备检测到连拍指令，则从内存中连续取出若干图像数据帧，并对图像数据帧编码形成多幅连拍照片。由于ZSL占用用内存大，并且需要预存多幅图像数据帧，在录像时，该模式无法启用，所以录像过程中无法实现连拍功能。
[0020] 为解决上述问题，在如下实施例中提供一种终端设备，例如可以是手机、智能相机、摄像机或者
平板电脑等设备。以手机100作为上述终端设备举例，手机100具体可以包括：处理器101、存储器102、
触摸屏103、
通信接口104、按键装置105、双目相机106等部件。这些部件可通过通信总线或
信号线(图1中107)进行通信。本领域技术人员可以理解，图1中示出的
硬件结构并不构成对手机的限定，手机还可以包括比图示更多或更少的部件，或者不同的部件布置。例如：还可以包括射频RF
电路、蓝牙装置、传感器、无线保真Wi-Fi装置、
定位装置、音频电路以及电源装置等等。
[0021] 其中，处理器101是手机100的控制中心，利用各种接口和线路连接手机100的各个部分部件，通过运行或执行存储在存储器102内的应用程序，以及调用存储在存储器102内的数据，执行手机100的各种功能和处理数据。在一些实施例中，处理器101可包括一个或多个处理单元。在本
申请实施例一些实施例中，上述处理器101可以通过处理通过按键装置106或触控屏103输入的指令，例如：录像模式开启指令、连拍模式开启指令、连拍触发指令、单拍触发指令等，实现
人机交互过程；上述处理器101可以包括视频编码器，用于双目相机采集的第一图像数据流进行编码生成录像视频，上述处理器101可以通过运行存储器中的程序实现一个
软件编码器以对第二图像数据流中读取的至少两个图像数据帧进行编码。存储器102用于存储应用程序以及数据，处理器101通过运行存储在存储器102的应用程序以及数据，执行手机100的各种功能以及
数据处理。存储器102主要包括存储程序区以及存储数据区，其中，存储程序区可存储
操作系统、至少一个功能所需的应用程序；存储数据区可以存储根据使用手机101时所创建的数据。此外，存储器102可以包括高速
随机存取存储器(RAM)，还可以包括非易失存储器。存储器102可以存储各种操作系统，例如，iOS操作系统，Android操作系统等。上述存储器102可以是独立的，通过上述通信总线与处理器101相连接。触摸屏103具体可以包括触控板103-1和显示器103-2。其中，触控板103-1可采集手机
101的用户在其上的触摸事件，并将采集到的触摸信息发送至其他器件(例如处理器101)。
显示器(也称为显示屏)103-2可用于显示由用户输入的信息或提供给用户的信息以及手机
100的各种菜单。在本申请中可以是录像模式选择界面、拍照模式选择界面等。当用户通过触控板触发显示器上的菜单选项时，可以触发开启录像模式或者连拍模式或者单拍模式的选择。通信接口104，用于为外部的输入/输出设备提供各种接口。例如通过通用
串行总线USB接口与
鼠标连接，通过用户识别模
块卡卡槽上的金属触点与电信运营商提供的用户识别模块卡SIM卡进行连接。按键装置105，例如手机或者智能相机上的硬件按键，其可以是电源键、音量控制键或者快门键，在本申请中可以通过快门键触发连拍模式以及单拍模式的进入、以及触发连拍触发指令或者单拍触发指令。当然也可以通过触控板上的虚拟按键实现该功能。双目相机106，包括第一图像传感器和第二图像传感器，其中当两部图像传感器上电并开启时可以采集图像数据流。
[0022] 基于上述的硬件结构，本发明的实施例提供一种基于双目相机的连拍方法，双目相机包括第一图像传感器和第二图像传感器，参照图2所示，包括如下步骤：
[0023] 201、根据录像模式开启指令开启录像模式，将第一图像传感器采集到的第一图像数据流输出至视频编码器，以便视频编码器对所述第一图像数据流进行编码生成录像视频。
[0024] 通常的，具有双目相机在设备通常具备两个图像传感器(也叫主摄像头和副摄像头)。录像模式下，具有双目相机的设备仅通过主摄像头(第一图像传感器)实现录像功能，仅为主摄像头创建视频(preview)通道，并对主摄像头采集的第一图像数据流进行视频编码生成录像视频。而副摄像头(第二图像传感器)虽然处于上电状态但并不对副摄像头采集的第二图像数据流进行处理，因此可以将副摄像头暂时关闭，但是让其处于上电状态可以在后续设备控制其输出第二图像数据流时，减少响应时间。其中，录像模式开启指令可以为手机根据用户的触发生成的open camera(开启录像)命令，具体的在开启录像模式后还包括对第一图像传感器上电，并开启第一图像传感器采集第一图像数据流；对第二图像传感器上电，并关闭第二图像传感器，以使得第二图像传感器不输出数据流。
[0025] 202、当接收到连拍模式开启指令时，将第二图像传感器采集的第二图像数据流缓存，其中第二图像数据流包含至少两个图像数据帧。
[0026] 具体的，该连拍模式开启指令可以是用户通过触摸屏输入的信号触发，或者通过长按拍照按键触发，例如，连拍模式开启指令可以为手机根据用户的触发(例如长按快门键)生成的enable longshot(连拍使能)命令，当接收到连拍模式开启指令时，开启第二图像传感器采集第二图像数据流，并且在内存中为第二图像数据流分配相应的缓存空间缓存该数据流，例如，可以是采用ZSL模式，为连拍程序在内存中建立一个专用的快照通道，并通过双模相机的HAL(硬件抽象层)层将第二图相数据流传输至内存并存储。
[0027] 此外，当在单拍模式下接收到单拍触发指令时，通过所述第一图像传感器采集一幅图像数据帧，并将一幅图像数据帧输视频编码器，以便所述视频编码器对所述一幅图像数据帧进行编码生成照片。例如，在录像模式下，用户单击拍照按钮(可以是快门键或者触控板上虚拟的功能按钮)生成的命令，此时通过snapshot number(快拍数量)变量设置拍照张数为1，从而启动单拍模式；当接收到单拍触发指令，例如触发快门键生成的snapshot(快拍)命令后在录像过程中实现单拍功能。具体的，在单拍模式下，用户点击快门键，第一图像传感器暂停录像功能关闭视频通道，并为单拍程序创建快照通道采集一幅图像数据帧，编码为JPEG等格式的照片，然后视频通道重新打开工作。
[0028] 203、当接收到连拍触发指令时，将在第二图像数据流中读取至少两个图像数据帧。
[0029] 具体的，由于第二图像数据流缓存于内存中，因此当收到连拍触发指令时，例如在连拍模式下按压快门按键，将从第二图像数据流中以一定速率(例如40ms)读取至少两个图像数据帧。
[0030] 204、对至少两个图像数据帧进行图像编码生成至少两幅照片。
[0031] 其中，与此同时由于双目相机的第一图像传感器处于录像模式，即第一图像数据流持续传输给视频编码器进行录像视频编码，因此录像
进程将占用DSP(Digital Signal Processing，
数字信号处理)处理能
力，因此在步骤204中无法使用DSP对图像数据帧进行编码处理，需要手机运行软件编码器对图像数据帧进行编码；最终在编码完成后形成预定格式(例如jpeg)的照片，并通过callback(回传)功能传递给手机上运行的APP(应用程序)，以进行显示。
[0032] 这样，在对第一图像传感器采集到的第一图像数据流进行编码生成录像视频的同时，可以通过双目相机的第二图像传感器采集的第二图像数据流并缓存；当接收到连拍触发指令时，在第二图像数据流中读取至少两个图像数据帧；对至少两个图像数据帧进行图像编码生成至少两幅照片，从而在录像过程中实现连拍。
[0033] 参照图3所示提供一种基于双目相机的拍照装置，应用于上述的终端设备或终端设备中的芯片，所述双目相机包括第一图像传感器和第二图像传感器，所述拍照装置包括：
[0034] 处理单元31，用于根据录像模式开启指令开启录像模式，将所述第一图像传感器采集到的第一图像数据流输出至视频编码器，以便所述视频编码器对所述第一图像数据流进行编码生成录像视频；
[0035] 缓存单元32，用于当接收到连拍模式开启指令时，将所述第二图像传感器采集的第二图像数据流缓存，其中所述第二图像数据流包含至少两个图像数据帧；
[0036] 所述处理单元31，还用于当接收到连拍触发指令时，将在所述第二图像数据流中读取至少两个图像数据帧；
[0037] 所述处理单元31，还用于对所述至少两个图像数据帧进行图像编码生成至少两幅照片。
[0038] 可选的，所述处理单元31，还用于对所述第一图像传感器上电，并开启所述第一图像传感器采集所述第一图像数据流；对所述第二图像传感器上电，并关闭所述第二图像传感器，以使得所述第二图像传感器不输出数据流；当接收到连拍模式开启指令时，开启所述第二图像传感器采集所述第二图像数据流。
[0039] 可选的，所述处理单元31，还用于当当在单拍模式下接收到单拍触发指令时，通过所述第一图像传感器采集一幅图像数据帧，并将所述一幅图像数据帧输出至所述视频编码器，以便所述视频编码器对所述一幅图像数据帧进行编码生成照片。
[0040] 其中，上述方法实施例涉及的各步骤的所有相关内容均可以援引到对应功能模块的功能描述，其作用在此不再赘述。基于双目相机的拍照装置应用于上述的终端设备或终端设备中的芯片时，上述处理单元31可以是图1中的处理器101；缓存单元32可以为图1中的存储器102。
[0041] 本发明的实施例提供一种终端设备，包括上述的基于双目相机的拍照装置。此外，还提供一种计算存储媒体(或介质)，包括在被执行时进行上述实施例中的方法的操作的指令。另外，还提供一种
计算机程序产品，包括上述计算存储媒体(或介质)。
[0042] 应理解，在本发明的各种实施例中，上述各过程的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。
[0043] 本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及
算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
[0044] 所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
[0045] 在本申请所提供的几个实施例中，应该理解到，所揭露的系统、设备和方法，可以通过其它的方式实现。例如，以上所描述的设备实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，设备或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
[0046] 所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
[0047] 另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
[0048] 所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，
服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动
硬盘、
只读存储器(英文全称:read-only memory，英文简称：ROM)、随机存取存储器(英文全称：random access memory，英文简称：RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
[0049] 以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉
本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述
权利要求的保护范围为准。
