技术领域
[0001] 本
发明实施例涉及计算机技术领域，特别涉及一种视频终端设备及图像合成方法。
背景技术
[0002] 随着数字化时代的到来，人类认知事物的深度和广度进一步增加，对迅速获取大信息量的需求也随之加大，而随着视频业务的发展，为使得各类视频节目能够直观地同时显示，产生了多画面拼接技术，单台视频终端甚至能够支持128路甚至更多路数的视频的同显输出。
[0003] 在实现本发明实施例过程中，
发明人发现以上相关技术中至少存在如下问题：为满足多路视频需求，通常的做法是，采用DSP芯片接收多路视频，对视频进行解码并将解码视频拼成一个画面后，通过PCIe总线传输给Android系统显示，采用此类做法DSP芯片需要额外做图像合成处理的工作，会降低其视频编解码性能。
发明内容
[0004] 针对
现有技术的上述
缺陷，本发明实施例的目的是提供一种高性能的视频终端设备及图像合成方法。
[0005] 本发明实施例的目的是通过如下技术方案实现的：
[0006] 为解决上述技术问题，第一方面，本发明实施例中提供了一种视频终端设备，包括：
[0007] 主控模
块，用于输出系统界面图像、视频拼接指令和画面合成指令；
[0008] 数字
信号处理模块，与所述主控模块通信连接，用于接收及解码至少两路
视频流，并根据所述视频拼接指令拼接解码后的至少两路视频流，得到拼接视频图像；
[0009]
图像处理模块，分别与所述主控模块和所述
数字信号处理模块通信连接，用于接收所述拼接视频图像，并根据所述画面合成指令将所述系统界面图像和所述拼接视频图像进行画面合成，得到合成图像；
[0010] 显示模块，与所述图像处理模块通信连接，用于显示所述合成图像。
[0011] 在一些实施例中，所述设备还包括：两条控制总线，所述主控模块分别通过所述两条控制总线与所述数字
信号处理模块和所述图像处理模块通信连接，用于分别发送所述视频拼接指令和所述画面合成指令至所述数字信号处理模块和所述图像处理模块。
[0012] 在一些实施例中，所述设备还包括：两条高清晰多媒体
接口线，所述图像处理模块分别通过所述两条高清器多媒体接口线与所述主控模块和所述数字信号处理模块通信连接，用于获取所述系统界面图像和所述拼接视频图像。
[0013] 在一些实施例中，所述数字信号处理模块包括至少两种视频
解码器，用于解码所述至少两路视频流。
[0014] 在一些实施例中，所述主控模块运行控制系统。
[0015] 在一些实施例中，所述图像处理模块采用显示矩阵芯片或现场可编程
逻辑门阵列。
[0016] 在一些实施例中，所述数字信号处理模块运行视频处理系统。
[0017] 在一些实施例中，所述设备还包括：网络模块，所述网络模块与所述数字信号处理模块连接，所述网络模块用于从网络上接收所述至少两路视频流。
[0018] 在一些实施例中，所述设备还包括：存储模块，所述存储模块与所述数字信号处理模块连接，用于存储所述至少两路视频流。
[0019] 在一些实施例中，所述设备还包括：电源模块，所述电源模块分别与所述主控模块、所述数字信号处理模块、所述图像处理模块、所述显示模块、所述网络模块和所述存储模块连接，用于为所述主控模块、所述数字信号处理模块、所述图像处理模块、所述显示模块、所述网络模块和所述存储模块供电。
[0020] 为解决上述技术问题，第二方面，本发明实施例中提供了一种图像合成方法，应用于视频设备终端，所述方法包括：
[0021] 通过主控模块输出系统界面图像、视频拼接指令和画面合成指令；
[0022] 通过数字信号处理模块接收及解码至少两路视频流，并根据所述视频拼接指令拼接解码后的至少两路视频流，得到拼接视频图像；
[0023] 通过图像处理模块接收所述拼接视频图像，并根据所述画面合成指令将所述系统界面图像和所述拼接视频图像进行画面合成，得到合成图像；
[0024] 通过显示模块显示所述合成图像。
[0025] 在一些实施例中，所述方法还包括：所述主控模块通过两条控制总线分别发送所述视频拼接指令和所述画面合成指令至所述数字信号处理模块和所述图像处理模块。
[0026] 在一些实施例中，所述方法还包括：所述图像处理模块通过两条高清晰多媒体接口线分别从所述主控模块和所述数字信号处理模块获取所述系统界面图像和所述拼接视频图像。
[0027] 在一些实施例中，所述数字信号处理模块通过至少两种视频解码器解码所述至少两路视频流。
[0028] 在一些实施例中，所述主控模块运行控制系统。
[0029] 在一些实施例中，所述图像处理模块采用显示矩阵芯片或现场可编程
逻辑门阵列。
[0030] 在一些实施例中，所述数字信号处理模块运行视频处理系统。
[0031] 在一些实施例中，所述方法还包括：所述数字信号处理模块通过网络模块从网络上接收所述至少两路视频流。
[0032] 在一些实施例中，所述方法还包括：所述数字信号处理模块通过所述存储模块存储所述至少两路视频流。
[0033] 在一些实施例中，所述方法还包括：通过所述电源模块为所述主控模块、所述数字信号处理模块、所述图像处理模块、所述显示模块、所述网络模块和所述存储模块供电。
[0034] 为解决上述技术问题，第三方面，本发明实施例提供了一种搬运
机器人，包括：
[0035] 至少一个处理器；以及，
[0036] 与所述至少一个处理器通信连接的
存储器；其中，
[0037] 所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如上第二方面所述的方法。
[0038] 为解决上述技术问题，第四方面，本发明实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机可执行指令，所述计算机可执行指令用于使计算机执行如上第二方面所述的方法。
[0039] 与现有技术相比，本发明的有益效果是：区别于现有技术的情况，本发明实施例中提供了一种视频终端设备及图像合成方法，该设备包括主控模块、数字信号处理模块、图像处理模块和显示模块，数字信号处理模块与主控模块连接，能够解码至少两路视频流并根据主控模块输出的视频拼接指令得到拼接图像，图像处理模块分别与数字信号处理模块和主控模块连接，能够将拼接图像和主控模块输出的系统界面图像合成，并将合成图像输出至显示模块进行显示，本发明实施例提供了一种高性能的视频终端设备，能够将不同异构系统的画面输出到单一显示器。
附图说明
[0040] 一个或多个实施例中通过与之对应的附图中的图片进行示例性说明，这些示例性说明并不构成对实施例的限定，附图中具有相同参考数字标号的元件/模块和步骤表示为类似的元件/模块和步骤，除非有特别申明，附图中的图不构成比例限制。
[0041] 图1是本发明实施例一提供的一种视频终端设备的结构示意图；
[0042] 图2是本发明实施例一提供的另一种视频终端设备的结构示意图；
[0043] 图3是图2所示设备合成图像的原理示例图；
[0044] 图4是本发明实施例二提供的一种图像合成方法的
流程图；
[0045] 图5是本发明实施例二提供的一种视频终端设备的结构示意图。
具体实施方式
[0046] 下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干
变形和改进。这些都属于本发明的保护范围。
[0047] 为了使本
申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本申请，并不用于限定本申请。
[0048] 需要说明的是，如果不冲突，本发明实施例中的各个特征可以相互结合，均在本申请的保护范围之内。另外，虽然在装置示意图中进行了功能模块划分，但是在某些情况下，可以以不同于装置中的模块划分。
[0049] 除非另有定义，本
说明书所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本说明书中在本发明的说明书中所使用的术语只是为了描述具体的实施方式的目的，不是用于限制本发明。本说明书所使用的术语“和/或”包括一个或多个相关的所列项目的任意的和所有的组合。
[0050] 此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。
[0051] 具体地，下面结合附图，对本发明实施例作进一步阐述。
[0052] 实施例一
[0053] 请参见图1，其示出了本发明实施例提供的一种视频终端设备的结构示意图，所述视频终端设备100包括：主控模块110、数字信号处理模块120、图像处理模块130和显示模块140。
[0054] 所述主控模块110用于输出系统界面图像、视频拼接指令和画面合成指令。
[0055] 所述数字信号处理模块120与所述主控模块110通信连接，用于接收及解码至少两路视频流，并根据所述视频拼接指令拼接解码后的至少两路视频流，得到拼接视频图像。
[0056] 所述图像处理模块130分别与所述主控模块110和所述数字信号处理模块120通信连接，用于接收所述拼接视频图像，并根据所述画面合成指令将所述系统界面图像和所述拼接视频图像进行画面合成，得到合成图像。
[0057] 所述显示模块140与所述图像处理模块130通信连接，用于显示所述合成图像。
[0058] 本发明实施例中提供了一种视频终端设备100，该设备包括主控模块110、数字信号处理模块120、图像处理模块130和显示模块140，数字信号处理模块120与主控模块110连接，能够解码至少两路视频流并根据主控模块110输出的视频拼接指令得到拼接图像，图像处理模块130 分别与数字信号处理模块120和主控模块110连接，能够将拼接图像和主控模块110输出的系统界面图像合成，并将合成图像输出至显示模块 140进行显示，本发明实施例提供了一种高性能的视频终端设备100，能够进行多画面同时显示。
[0059] 请一并参见图2，其示出了本发明实施例提供的另一种视频终端设备的结构示意图，基于图1所示的视频终端设备100，所述视频终端设备100还包括：两条控制总线I2C和两条高清晰多媒体接口线HDMI。
[0060] 所述主控模块110分别通过所述两条控制总线I2C与所述数字信号处理模块120和所述图像处理模块130通信连接，用于分别发送所述视频拼接指令和所述画面合成指令至所述数字信号处理模块120和所述图像处理模块130。所述控制总线I2C为一种简单、双向二线制同步
串行总线，其通过两根线(串行数据线和串行时钟线)即可在连接于总线上的器件之间传输数据，所述控制总线I2C通过将数据和
时钟信号分离传输，避免了因时差诱发的失真。
[0061] 所述图像处理模块130分别通过所述两条高清器多媒体接口线HDMI 与所述主控模块110和所述数字信号处理模块120通信连接，用于获取所述系统界面图像和所述拼接视频图像。高清器多媒体接口(High Definition Multimedia Interface，HDMI)是一种兼具高清晰数字视频和数字音频传输能
力的接口标准，是适合影像传输的专用型数字化接口，其可同时传送音频和影像信号，最高数据传输速度为18Gbps。所述两条高清器多媒体接口线HDMI为一种能够高品质地传输未经压缩的高清视频和多声道音频数据的全数字位化影像与声音的传输线，可以用来传送无进行任何压缩的
音频信号及
视频信号。
[0062] 需要说明的是，所述控制总线和所述高清晰多媒体接口线也可采用其他的能够用于传输控制指令的控制总线和能够用于传输视频数据的多媒体接口线，不需要拘泥于本发明实施例的限定。
[0063] 请继续参见图2,所述设备还包括：网络模块150、存储模块160和电源模块170。所述网络模块150与所述数字信号处理模块120连接，所述网络模块150用于从网络上接收所述至少两路视频流。所述网络模块150中包含有至少两个网络端口，所述两个网络端口用于分别接收所述两路视频流。所述存储模块160与所述数字信号处理模块120连接，用于存储所述至少两路视频流。所述电源模块170分别与所述主控模块 110、所述数字信号处理模块120、所述图像处理模块130、所述显示模块140、所述网络模块150和所述存储模块160连接，用于为所述主控模块110、所述数字信号处理模块120、所述图像处理模块130、所述显示模块140、所述网络模块150和所述存储模块160供电。
[0064] 可选地，在本发明实施例中，所述主控模块110运行控制系统，所述控制系统包括但不限于：Android系统、Linux系统或Windows系统等。所述数字信号处理模块120包括至少两种视频解码器，用于解码所述至少两路视频流。所述数字信号处理模块还包括至少两个网络接口，所述至少两个网络接口用于接收所述至少两路视频流。例如，可以是 IRD2600解码器(用于解码专业视频的一种MPEG-2/DVB标准的综合接收解码器)、real解码器(用于解码rm或rmvb格式文件)等。所述数字信号处理模块120可以采用DSP芯片(DSP：Digital Signal Processing，数字信号处理技术；DSP芯片：能够实现数字信号处理技术的芯片)，运行视频处理系统，例如，Linux系统等。所述图像处理模块130采用显示矩阵芯片或现场可编程逻辑门阵列FPGA(Field Programmable Gate Array)。
[0065] 优选的，在本发明实施例中，采用Android系统作为主控模块110，以定义输出到所述显示模块140上的画面。采用海思Hi3531D芯片(针对多路D1和多路高清DVR、NVR产品应用开发的一款专业高端SOC芯片)作为所述数字信号处理模块120，以对合成画面并将画面输出至显示模块140。采用现场可编程逻辑门阵列作为所述图像处理模块130，以实现多路视频流的解码和布局。所述显示模块140为任意能够用于显示所述图像处理模块130输出的合成图像的显示器或显示屏，例如，可以是
液晶显示器等。
[0066] 具体地，请一并参见图3，其示出了所述视频终端设备100合成图像的原理示例图，Android系统在其所输出的系统界面图像A1上留出一定区域S用于显示所述数字信号处理模块120输出的拼接视频图像。可选的，可以采用特定的标识标志所述区域S，例如，采用特定的
颜色标记。所述系统界面图像A1的剩余区域用于显示Android系统界面，例如，文字、图像、链接等。可选的，可以将所述系统界面图像A1除区域S以外的剩余区域分割为多个子区域，如图中的Item1、Item2、Item3 和Item4，分别用于显示不同的内容。生成所述系统界面图像A1后，所述主控模块110通过高清器多媒体接口线HDMI将所述系统界面图像A1 输出到所述图像处理模块130。
[0067] 在设定好系统界面图像A1并留出区域S后，Android系统还通过所述控制总线I2C输出视频拼接指令，控制所述数字信号处理模块120对输出的拼接视频图像A2的布局，所述拼接视频图像A2与系统界面图像 A1预留的区域S布局一致，进一步地，还可以根据输入的视频流的数量控制每一视频流所在画面的
位置，例如图3中的V1、V2……V6在拼接视频图像A2中的布局、大小和位置。所述数字信号处理模块120从网络中接收至少两路视频流后，解码每路视频流并根据接收到的视频拼接指令布局拼接视频图像的显示画面，然后通过高清器多媒体接口线HDMI 将拼接视频图像A2输出到所述图像处理模块130。
[0068] 所述图像处理模块130通过两路高清器多媒体接口线HDMI获取到所述系统界面图像A1和所述拼接视频图像A2的同时，接收Android系统通过所述控制总线I2C向所述图像处理模块130输出画面合成指令，并根据画面合成指令所携带的设置所述图像处理模块130合成所述拼接视频图像和所述系统界面图像的输出方式及参数，合成所述系统界面图像A1和所述拼接视频图像A2，得到合成图像A3。具体地，所述图像处理模块130对输入的所述系统界面图像A1和所述拼接视频图像A2进行缩放、裁剪等图像处理后，按特定的标记将区域S和进行图像处理后的所述拼接视频图像A2进行
叠加，处理后的所述拼接视频图像A2叠加在所述区域S的上方，从而最终得到所述合成图像A3。最后，将所述合成图像A3输出至显示模块140，使得所述显示模块140能够显示所述合成图像A3。
[0069] 实施例二
[0070] 请参见他图4，其示出了本发明实施例提供的一种图像合成方法的流程图，该方法应用于视频设备终端，所述方法包括但不限于以下步骤：
[0071] 步骤210：通过主控模块输出系统界面图像、视频拼接指令和画面合成指令；
[0072] 步骤220：通过数字信号处理模块接收及解码至少两路视频流，并根据所述视频拼接指令拼接解码后的至少两路视频流，得到拼接视频图像；
[0073] 步骤230：通过图像处理模块接收所述拼接视频图像，并根据所述画面合成指令将所述系统界面图像和所述拼接视频图像进行画面合成，得到合成图像；
[0074] 步骤240：通过显示模块显示所述合成图像。
[0075] 在一些实施例中，所述方法还包括：所述主控模块通过两条控制总线分别发送所述视频拼接指令和所述画面合成指令至所述数字信号处理模块和所述图像处理模块。
[0076] 在一些实施例中，所述方法还包括：所述图像处理模块通过两条高清晰多媒体接口线分别从所述主控模块和所述数字信号处理模块获取所述系统界面图像和所述拼接视频图像。
[0077] 在一些实施例中，所述数字信号处理模块通过至少两种视频解码器解码所述至少两路视频流。
[0078] 在一些实施例中，所述主控模块运行控制系统。
[0079] 在一些实施例中，所述图像处理模块采用显示矩阵芯片或现场可编程逻辑门阵列。
[0080] 在一些实施例中，所述数字信号处理模块运行视频处理系统。
[0081] 在一些实施例中，所述方法还包括：所述数字信号处理模块通过网络模块从网络上接收所述至少两路视频流。
[0082] 在一些实施例中，所述方法还包括：所述数字信号处理模块通过所述存储模块存储所述至少两路视频流。
[0083] 在一些实施例中，所述方法还包括：通过所述电源模块为所述主控模块、所述数字信号处理模块、所述图像处理模块、所述显示模块、所述网络模块和所述存储模块供电。
[0084] 本发明实施例还提供了一种视频终端设备，请参见图5，其示出了能够执行图4所述图像合成方法的视频终端设备的
硬件结构。所述视频终端设备100可以是图1或图2所示的视频终端设备100。
[0085] 视频终端设备100包括：至少一个处理器11；以及，与所述至少一个处理器11通信连接的存储器12，图5中以其以一个处理器11为例。所述存储器12存储有可被所述至少一个处理器11执行的指令，所述指令被所述至少一个处理器11执行，以使所述至少一个处理器11能够执行上述图4所述的图像合成方法。所述处理器11和所述存储器12可以通过总线或者其他方式连接，图5中以通过总线连接为例。
[0086] 存储器12作为一种非易失性计算机可读存储介质，可用于存储非易失性
软件程序、非易失性计算机可执行程序以及模块，如本申请实施例中的图像合成方法对应的程序指令/模块，例如，附图1和附图2所示的各个模块。处理器11通过运行存储在存储器12中的非易失性软件程序、指令以及模块，从而执行
服务器的各种功能应用以及
数据处理，即实现上述方法实施例图像合成方法。
[0087] 存储器12可以包括存储程序区和存储数据区，其中，存储程序区可存储
操作系统、至少一个功能所需要的应用程序；存储数据区可存储根据图像合成装置的使用所创建的数据等。此外，存储器12可以包括高速
随机存取存储器，还可以包括
非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实施例中，存储器12可选包括相对于处理器11远程设置的存储器，这些远程存储器可以通过网络连接至图像合成装置。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
[0088] 所述一个或者多个模块存储在所述存储器12中，当被所述一个或者多个处理器11执行时，执行上述任意方法实施例中的图像合成方法，例如，执行以上描述的图4的方法步骤，实现图1至图2中的各模块和各单元的功能。
[0089] 上述产品可执行本申请实施例所提供的方法，具备执行方法相应的功能模块和有益效果。未在本实施例中详尽描述的技术细节，可参见本申请实施例所提供的方法。
[0090] 本申请实施例还提供了一种非易失性计算机可读存储介质，所述计算机可读存储介质存储有计算机可执行指令，该计算机可执行指令被一个或多个处理器执行，例如，执行以上描述的图4的方法步骤，实现图1至图2中的各模块的功能。
[0091] 本申请实施例还提供了一种
计算机程序产品，包括存储在非易失性计算机可读存储介质上的计算程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时时，使所述计算机执行上述任意方法实施例中的图像合成方法，例如，执行以上描述的图4的方法步骤，实现图1至图2中的各模块的功能。
[0092] 本发明实施例中提供了一种视频终端设备及图像合成方法，该设备包括主控模块、数字信号处理模块、图像处理模块和显示模块，数字信号处理模块与主控模块连接，能够解码至少两路视频流并根据主控模块输出的视频拼接指令得到拼接图像，图像处理模块分别与数字信号处理模块和主控模块连接，能够将拼接图像和主控模块输出的系统界面图像合成，并将合成图像输出至显示模块进行显示，本发明实施例提供了一种高性能的视频终端设备，能够进行多画面同时显示。
[0093] 需要说明的是，以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
[0094] 通过以上的实施方式的描述，本领域普通技术人员可以清楚地了解到各实施方式可借助软件加通用硬件平台的方式来实现，当然也可以通过硬件。本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory,ROM)或随机存储记忆体(Random Access Memory,RAM)等。
[0095] 最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；在本发明的思路下，以上实施例或者不同实施例中的技术特征之间也可以进行组合，步骤可以以任意顺序实现，并存在如上所述的本发明的不同方面的许多其它变化，为了简明，它们没有在细节中提供；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行
修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。
