全景视频处理方法及系统
阅读：405发布：2020-05-08
专利汇可以提供全景视频处理方法及系统专利检索，专利查询，专利分析的服务。并且本 发明 公开了全景视频处理方法及系统。涉及视频处理领域，其中，方法通过获取全景 视频流 ，并将全景视频流分解得到每一 帧 全景图片和音频帧，根据输出参数结合每一帧全景图片生成对应每一帧的平面图片，对平面图片进行 视频编码 得到对应的编码视频，将编码视频和音频帧进行混合编码得到平面视频流。能够将全景视频转换成不同视 角 的平面视频作为平面视频流，平面视频流可以直接接入现有的平面视频处理系统中进行不同场景应用，扩展全景视频的应用场景。，下面是全景视频处理方法及系统专利的具体信息内容。
1.一种全景视频处理方法，其特征在于，包括：
获取全景视频流，并将所述全景视频流分解得到每一帧全景图片和音频帧；
根据输出参数结合每一帧所述全景图片生成对应每一帧的平面图片；
对所述平面图片进行视频编码得到对应的编码视频；
将所述编码视频和所述音频帧进行混合编码得到平面视频流。
2.根据权利要求1所述的一种全景视频处理方法，其特征在于，还包括：连接媒体服务器，根据所述媒体服务器的流媒体协议发送所述平面视频流到所述媒体服务器。
3.根据权利要求1或2任一项所述的一种全景视频处理方法，其特征在于，所述输出参数包括：输出俯仰角、输出偏航角、输出翻滚角、输出水平视角。
4.一种全景视频处理系统，其特征在于，包括：
多媒体视频源：用于获取全景视频流；
处理模块：与所述多媒体视频源连接，用于接收所述全景视频流，根据如权利要求1至3任一项所述的全景视频处理方法进行处理得到平面视频流；
媒体服务器：与所述处理模块连接，用于接收所述平面视频流。
5.根据权利要求4所述的一种全景视频处理系统，其特征在于，所述多媒体视频源通过无线方式与所述处理模块连接，通过视频推流发送所述全景视频流至所述处理模块。
6.根据权利要求4所述的一种全景视频处理系统，其特征在于，所述多媒体视频源通过第一网络交换机510或第一集线器520与所述处理模块无线或有线连接。
7.根据权利要求4所述的一种全景视频处理系统，其特征在于，所述媒体服务器与所述处理模块通过第二网络交换机410或第二集线器420连接。
8.根据权利要求7所述的一种全景视频处理系统，其特征在于，所述多媒体视频源通过所述第二网络交换机410或第二集线器420与所述处理模块连接。
9.根据权利要求5所述的一种全景视频处理系统，其特征在于，当以视频推流方式发送所述全景视频流至所述处理模块时，所述处理模块还包括内嵌媒体服务器，用于利用如权利要求1至3任一项所述的全景视频处理方法进行处理得到平面视频流。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机可执行指令，所述计算机可执行指令用于使计算机执行如权利要求1至3任一项所述的方法。
全景视频处理方法及系统
技术领域
[0001] 本发明涉及视频处理领域，尤其是涉及一种全景视频处理方法及系统。
背景技术
[0002] 传统的安防摄像头大多采用平面摄像头，有一定视角，如果要覆盖360度全视角的话，需要安装至少4个摄像头，成本比较高，或者选择安装全景摄像头，利用一个全景摄像头覆盖360度全视角，但是全景摄像头输出的视频是360度的，直接在平面播放器观看的话，部分区域的内容扭曲的，因此需要采用VR眼镜来观看全景摄像头拍摄的360度视频，不太适合类似挂墙显示的应用场景。又比如做人脸识别的应用场景中，由于全景图是360度的，部分区域图片扭曲严重，也不太合适直接接入人脸识别应用系统，需要专门针对全景视频做视频抽帧，进行基于全景图片做人脸识别等一系列算法的开发，开发成本较高。
[0003] 因此需要提出一种能够将全景视频转换成不同视角的平面视频，并将平面视频直接接入现有的基于平面视频应用系统中的全景视频处理方法，扩展全景视频的应用场景。
发明内容
[0004] 本发明旨在至少解决现有技术中存在的技术问题之一。为此，本发明提出一种全景视频处理方法及系统，能够将全景视频转换成不同视角的平面视频，并将平面视频直接接入现有的基于平面视频应用系统中，扩展全景视频的应用场景。
[0005] 第一方面，本发明的一个实施例提供了A：一种全景视频处理方法，包括：
[0006] 获取全景视频流，并将所述全景视频流分解得到每一帧全景图片和音频帧；
[0007] 根据输出参数结合每一帧所述全景图片生成对应每一帧的平面图片；
[0008] 对所述平面图片进行视频编码得到对应的编码视频；
[0009] 将所述编码视频和所述音频帧进行混合编码得到平面视频流。
[0010] 进一步地，还包括：连接媒体服务器，根据所述媒体服务器的流媒体协议发送所述平面视频流到所述媒体服务器。
[0012] 第二方面，本发明的一个实施例提供了B：一种全景视频处理系统，包括：
[0013] 多媒体视频源：用于获取全景视频流；
[0014] 处理模块：与所述多媒体视频源连接，用于接收所述全景视频流，根据如第一方面任一项所述的全景视频处理方法进行处理得到平面视频流；
[0015] 媒体服务器：与所述处理模块连接，用于接收所述平面视频流。
[0016] 进一步地，所述多媒体视频源通过无线方式与所述处理模块连接，通过视频推流发送所述全景视频流至所述处理模块。
[0017] 进一步地，所述多媒体视频源通过第一网络交换机510或第一集线器520与所述处理模块无线或有线连接。
[0018] 进一步地，所述媒体服务器与所述处理模块通过第二网络交换机410或第二集线器420连接。
[0019] 进一步地，所述多媒体视频源通过所述第二网络交换机410或第二集线器420与所述处理模块连接。
[0020] 进一步地，当以视频推流方式发送所述全景视频流至所述处理模块时，所述处理模块还包括内嵌媒体服务器，用于利用如第一方面任一项所述的全景视频处理方法进行处理得到平面视频流。
[0021] 第三方面，本发明提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机可执行指令，所述计算机可执行指令用于使计算机执行如第一方面任一项所述的方法。
[0022] 本发明的有益效果是：
[0023] 本发明通过获取全景视频流，并将全景视频流分解得到每一帧全景图片和音频帧，根据输出参数结合每一帧全景图片生成对应每一帧的平面图片，对平面图片进行视频编码得到对应的编码视频，将编码视频和音频帧进行混合编码得到平面视频流。能够将全景视频转换成不同视角的平面视频作为平面视频流，平面视频流可以直接接入现有的平面视频处理系统中进行不同场景应用，扩展全景视频的应用场景。可广泛应用于摄像头领域，例如应用于安防、人脸考勤、监控等方面。附图说明
[0024] 图1是本发明实施例中全景视频处理方法的一具体实施例实现流程图；
[0025] 图2是本发明实施例中全景视频处理方法的一具体实施例示意图；
[0026] 图3是本发明实施例中全景视频处理系统的一具体实施例结构框图；
[0027] 图4是本发明实施例中全景视频处理系统的一具体实施例一种连接方式示意图；
[0028] 图5是本发明实施例中全景视频处理系统的一具体实施例又一种连接方式示意图；
[0029] 图6是本发明实施例中全景视频处理系统的一具体实施例又一种连接方式示意图；
[0030] 图7是本发明实施例中全景视频处理系统的一具体实施例又一种连接方式示意图。
具体实施方式
[0031] 为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对照附图说明本发明的具体实施方式。显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图，并获得其他的实施方式。
[0032] 除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本文中在本发明的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本发明。
[0033] 实施例一：
[0034] 本发明实施例提供一种全景视频处理方法，本实施例中采用的全景视频流通过OMAF技术得到。其中，OMAF定义了实现全景媒体应用的媒体格式，也称为MPEG-I-part2标准，专注于360度视频、图像和音频，以及关联的定时文本。OMAF中规定的内容包括：(1)由单位球和三个坐标轴组成的坐标系，三个坐标轴即X(从后到前)轴、Y(横向，左至右)轴和Z(纵向，向上)轴；(2)投影和矩形区域智能封装方法，可以分别用于将球形视频序列或图像转换为二维矩形视频序列或图像；(3)使用ISO基本媒体文件格式(ISOBMFF)存储全景媒体和关联元数据；(4)对媒体流系统中的全景媒体进行封装、信令处理和流传输，例如，通过HTTP的动态自适应流传输(DASH)或MPEG媒体传输(MMT)；以及(5)为媒体编解码器提供可互操作并具有适应性的媒体包和演示包，以及可用于对全景媒体内容进行压缩、流传输和播放的媒体编码和封装配置。
[0035] 图1为本发明实施例提供的一种全景视频处理方法的实现流程图，如图1所示，该方法包括以下步骤：
[0036] S101：获取全景视频流，并将全景视频流分解得到每一帧全景图片和音频帧。
[0037] 本步骤通过解码OMAF格式的全景视频流得到全景视频流中每一帧的全景图片以及对应时间轴的音频帧，将360度曲面的视频转化为平面的视频。
[0038] 获取全景视频流的方法包括：视频推流和视频拉流，其中视频推流指把采集阶段封包好的内容传输到服务器的过程，视频拉流指播放从服务器拉取资源进行资源播放的过程。
[0039] S102：根据输出参数结合每一帧全景图片生成对应每一帧的平面图片。
[0040] 其中，输出参数包括：输出俯仰角、输出偏航角、输出翻滚角、输出水平视角等，以及需要输出的路数，例如可以输出1至6路平面视频，根据输出参数可以确定要输出的视角，根据视角确定对应视角的平面图片。
[0041] 本实施例的全景视频流是基于OMAF协议得到的，根据OMAF协议将平面图片拟合得到360度的全景图片，因此根据OMAF协议进行解码可以从每一帧的全景图片中得到对应的每一帧平面图片。
[0042] S103：对平面图片进行视频编码得到对应的编码视频。
[0043] 具体的，可以采用H264\H265编解码协议进行视频编码得到对应的编码视频，其中H264\H265编解码协议是现有的编解码协议，因此其编解码过程在此不做限定。
[0044] S104：将编码视频和音频帧进行混合编码得到平面视频流。
[0045] 具体的，将编码视频和对应时间轴的音频帧进行混合编码得到包含画面和声音的平面视频流，用于不同的应用场景。
[0046] S105：连接媒体服务器，根据媒体服务器的流媒体协议发送平面视频流到媒体服务器。
[0047] 具体的，本实施例中全景视频流的流媒体协议可选的包括：RTMP、RTSP协议，具体的，RTMP(Real Time Messaging Protocol)协议基于TCP，是一个协议族，包括RTMP基本协议及RTMPT/RTMPS/RTMPE等多种变种，是一种设计用来进行实时数据通信的网络协议，主要用来在Flash/AIR平台和支持RTMP协议的流媒体/交互服务器之间进行音视频和数据通信。RTSP(Real Time Streaming Protocol)协议是一种实时流传输协议，是TCP/IP协议体系中的一个应用层协议。
[0048] 对应的媒体服务器包括：RTMP媒体服务器、RTSP媒体服务器，即将生成的平面视频流按照不同的流媒体协议发送到不同的媒体服务器中进行相关场景应用。
[0049] 可选的，可以在步骤S101之前就连接媒体服务器，连接成功后将平面视频流利用对应的推流器推送到相关的媒体服务器，例如判断需要输出至RTMP媒体服务器，则利用RTMP推流器将平面视频流进行推送，否则判断需要输出至RTSP媒体服务器，则利用RTSP推流器将平面视频流进行推送。
[0050] 如图2所示，为本发明实施例提供的一种实施场景中全景视频处理方法具体流程示意图。
[0051] 首先读取每一路的输出参数，然后连接每路平面视频流的媒体服务器，获取全景视频流，并将全景视频流分解得到每一帧全景图片和音频帧，根据输出参数结合每一帧全景图片生成对应每一帧的平面图片，对平面图片进行视频编码得到对应的编码视频，将编码视频和音频帧进行混合编码得到平面视频流，判断是否需要输出至RTMP媒体服务器，是则利用RTMP推流器将平面视频流进行推送，否则判断是否需要输出至RTSP媒体服务器，是则利用RTSP推流器将平面视频流进行推送，否则丢弃平面视频流。
[0052] 可以理解的是，不同视频的输出参数可以不同也可以相互重叠，可根据实际需要进行调整。
[0053] 本发明实施例公开的全景视频处理方法能够将全景视频转换成不同视角的平面视频作为平面视频流，平面视频流可以直接接入现有的平面视频处理系统中进行不同场景应用，扩展全景视频的应用场景。
[0054] 实施例二：
[0055] 本发明实施例提供另一种全景视频处理系统，如图3所示，为本实施例的全景视频处理系统结构框图，包括：
[0056] 多媒体视频源100：用于获取全景视频流；
[0057] 处理模块200：与多媒体视频源100连接，用于接收全景视频流，根据如上述的全景视频处理方法进行处理得到平面视频流；
[0058] 媒体服务器300：与处理模块200连接，用于接收平面视频流。
[0059] 下面详细描述本实施例的全景视频处理系统的几种连接方式。
[0060] 如图4所示，为本实施例的全景视频处理系统的一种连接方式示意图，结合图4可知，多媒体视频源100通过无线方式与处理模块200连接，通过视频推流发送全景视频流至处理模块200，同时媒体服务器300与处理模块200通过第二网络交换机410或第二集线器420连接，接收多路平面视频流。
[0061] 进一步地，处理模块200还包括内嵌媒体服务器210，用于利用如实施例一任一项所述的全景视频处理方法进行处理得到平面视频流。
[0062] 具体的，无线方式可选的为WIFI连接方式，多媒体视频源100可以是全景视频摄像头，即全景视频摄像头通过WIFI连接到处理模块200，处理模块200包含一个网卡，用于实现与第二网络交换机410或第二集线器420的连接，可工作AP模式，即Access Point模式，提供无线接入服务，允许其它无线设备接入，提供数据访问，一般的无线路由/网桥工作在该模式下，同时AP和AP之间允许相互连接。
[0063] 结合图4，当处理模块200工作在AP模式时，全景摄像头以WIFI连接的方式连接处理模块200，通过RTMP或RTSP协议以推流方式将全景视频流推送到处理模块200的内嵌媒体服务器210上，进行处理全景视频流得到平面视频流，最终通过与第二网络交换机410或第二集线器420有线连接的方式推送到媒体服务器300。
[0064] 其处理流程具体为：根据需要输出的平面视角视频数量，从内嵌媒体服务器210将全景视频流按需要的输出视角进行全景视频流解码，根据输出参数提取平面图片，并编码输出相应的平面视频流，判断是否连接到媒体服务器300，如果连接则发送平面化后的平面视频流到媒体服务器300，进行后续不同的场景应用。可以理解的是，可选的在内嵌媒体服务器210获取全景视频流之后首先进行判断是否连接到媒体服务器300，如果没有连接，则直接丢弃全景视频流，避免进行多余运算，提高编码效率。
[0065] 如图5所示，为本实施例的全景视频处理系统的另一种连接方式示意图，从图5中可以看出，多媒体视频源100通过第一网络交换机510或第一集线器520与处理模块200无线连接，通过视频拉流发送全景视频流至处理模块200，同时媒体服务器300与处理模块200通过第二网络交换机410或第二集线器420连接，接收多路平面视频流。
[0066] 具体的，无线方式可选的为WIFI连接方式，多媒体视频源100可以是全景视频摄像头，即全景视频摄像头通过WIFI连接到处理模块200，处理模块200包含一个网卡，用于实现与第二网络交换机410或第二集线器420的连接，处理模块200可工作Station模式，类似于无线终端，Station本身并不接受无线的接入，它可以连接到AP，一般无线网卡即工作在该模式。
[0067] 结合图5，当处理模块200工作在Station模式时，处理模块200连接到两个子网，一个子网包含多媒体视频源100(如全景摄像头)，另一个子网包含媒体服务器300，处理模块200通过WIFI连接到包含全景摄像头或多媒体视频源100的子网里的WiFi AP，以视频拉流的方式从全景摄像头或者多媒体视频源100拉取全景视频流，然后处理全景视频流得到平面视频流，最终通过与第二网络交换机410或第二集线器420有线连接的方式推送到媒体服务器300。
[0068] 其处理流程具体为：根据需要输出的平面视角视频数量，拉取全景视频流并按需要的输出视角进行全景视频流解码，根据输出参数提取平面图片，并编码输出相应的平面视频流，判断是否连接到媒体服务器300，如果连接则发送平面化后的平面视频流到媒体服务器300，进行后续不同的场景应用。可以理解的是，可选的在拉取全景视频流之后首先进行判断是否连接到媒体服务器300，如果没有连接，则直接丢弃全景视频流，避免进行多余运算，提高编码效率。
[0069] 如图6所示，为本实施例的全景视频处理系统的另一种连接方式示意图，从图6中可以看出，多媒体视频源100通过第一网络交换机510或第一集线器520与处理模块200有线连接，通过视频拉流发送全景视频流至处理模块200，同时媒体服务器300与处理模块200通过第二网络交换机410或第二集线器420连接，接收多路平面视频流。
[0070] 其中为了实现有线连接，处理模块200包含两个网卡，其中一个用于接收全景视频流，另一个用于输出平面视频流。当以视频拉流的方式获取全景视频流时，其工作流程与图5所示的全景视频处理系统相同，当以视频推流方式获取全景视频时，处理模块200还包括内嵌媒体服务器210，其工作流程与图4所示的全景视频处理系统相同。
[0071] 如图7所示，为本实施例的全景视频处理系统的另一种连接方式示意图，媒体服务器300与处理模块200通过第二网络交换机410或第二集线器420连接，同时，多媒体视频源100通过第二网络交换机410或第二集线器420与处理模块200连接。处理模块200包含一个网卡，用于实现与第二网络交换机410或第二集线器420连接。
[0072] 其中，由于多媒体视频源100与媒体服务器300共用一个网卡进行连接，因此该连接方式只适用于多媒体视频源100与媒体服务器300位于同一子网的情形，当以视频拉流的方式获取全景视频流时，其工作流程与图5所示的全景视频处理系统相同，当以视频推流方式获取全景视频时，处理模块200还包括内嵌媒体服务器210，其工作流程与图4所示的全景视频处理系统相同。
[0073] 进一步地，本实施例还可以开发相应的WEB UI管理界面，用于管理WIFI连接、多媒体视频源接入、媒体服务器管理等。
[0074] 本实施例中处理模块的具体细节已经在实施例一对应的全景视频处理方法中进行了详细的描述，因此此处不再赘述。
[0075] 通过本实施例的全景视频处理系统，能够将全景视频转换成多路不同视角的平面视频，并将平面视频通过媒体服务器直接接入现有的基于平面视频应用系统中，扩展全景视频的应用场景。
[0076] 另外，本发明还提供一种计算机可读存储介质，计算机可读存储介质存储有计算机可执行指令，其中计算机可执行指令用于使计算机执行如实施例一所述的方法。
[0077] 本发明通过获取全景视频流，并将全景视频流分解得到每一帧全景图片和音频帧，根据输出参数结合每一帧全景图片生成对应每一帧的平面图片，对平面图片进行视频编码得到对应的编码视频，将编码视频和音频帧进行混合编码得到平面视频流。同时通过全景视频处理系统的多种连接方式，实现在不同网络环境下将全景视频转换成不同视角的平面视频作为平面视频流，利用媒体服务器直接接入现有的平面视频处理系统中进行不同场景应用，扩展了全景视频的应用场景。可广泛应用于摄像头领域，例如应用于安防、人脸考勤、监控等方面。
| 标题 | 发布/更新时间 | 阅读量 |
|---|---|---|
| 控制显示设备的方法及便携设备 | 2020-05-08 | 138 |
| 一种四旋翼无人机轨迹跟踪控制方法 | 2020-05-08 | 270 |
| 一种风力发电机组塔顶位移实时测量方法 | 2020-05-11 | 271 |
| 车辆远光控制系统、方法及车辆 | 2020-05-08 | 744 |
| 全景视频处理方法及系统 | 2020-05-08 | 405 |
| 一种无人艇高性能航行前馈控制系统及其控制方法 | 2020-05-08 | 21 |
| 用于控制竖直起飞航空器的偏航角和滚转角的控制方法 | 2020-05-08 | 888 |
| 基于强化学习的波动鳍推进水下作业机器人追踪控制方法 | 2020-05-08 | 620 |
| 用于风电机组单叶片吊装的控制装置及其风电机组 | 2020-05-08 | 686 |
| 机舱和风力发电机组 | 2020-05-08 | 685 |
高效检索全球专利专利汇是专利免费检索,专利查询,专利分析-国家发明专利查询检索分析平台，是提供专利分析，专利查询，专利检索等数据服务功能的知识产权数据服务商。
我们的产品包含105个国家的1.26亿组数据，免费查、免费专利分析。
分析报告
专利汇分析报告产品可以对行业情报数据进行梳理分析，涉及维度包括行业专利基本状况分析、地域分析、技术分析、发明人分析、申请人分析、专利权人分析、失效分析、核心专利分析、法律分析、研发重点分析、企业专利处境分析、技术处境分析、专利寿命分析、企业定位分析、引证分析等超过60个分析角度，系统通过AI智能系统对图表进行解读，只需1分钟，一键生成行业专利分析报告。
QQ群二维码
意见反馈
意见反馈