技术领域
本发明涉及在网络上实时传输视频信息的技术,特别涉及实现实时视频 信息共享的系统及方法。
背景技术
目前,作为第四媒体的网络正在带给人们的是各种各样的信息,不再只 是单纯文本、图像和简单的声音文件,而是包含音、视频的多媒体技术,包 括广播电视、新闻剪辑电台、电影、监控视频等。想要使用这些多媒体信息, 就必须实现视频、音频信息在网络上的传输,但随着上网人数的趋增,而网 络
硬件设备的本身局限性,使得媒体文件的大小成为网络传输一个不可忽视 的参数。一方面,人们希望能在网络上看到生动清晰、活泼精彩的媒体演示, 另一方面人们又不得不去面对媒体文件传输所需的大量时间。
为了解决这种矛盾,一种新的媒体技术应运而生,这就是流媒体(Stream Media)技术,流媒体又叫流式媒体。所谓流媒体是指采用
流式传输的方式 在IP网络中播放的媒体格式,如音频、视频或多媒体文件。流媒体在播放 前并不下载整个文件,只将开始部分内容存入内存,在计算机或手机中对数 据包进行缓存并使媒体数据正确的输出。流媒体的数据流随时传送随时播 放,只是在开始时有一些延迟。
流媒体实现的关键技术就是流式传输,流式传输主要指将整个音频和视 频等多媒体文件经过特定的压缩方式解析成一个个压缩包,由流媒体
服务器 向用户计算机顺序传送。
在采用流式传输方式的系统中,用户不必像采用下载方式那样等到整个 文件全部下载完毕,而是只需经过几秒或几十秒的启动延时即可在用户的计 算机上利用硬件或
软件解压设备对压缩的音频和视频等多媒体文件解压后 进行播放和观看。此时多媒体文件的剩余部分将在后台继续下载。
与单纯的下载方式相比,这种对多媒体文件边下载边播放的流式传输方 式不仅使启动延时大幅度地缩短,而且对系统缓存容量的需求也大大降低, 极大减少用户的等待时间。
采用流媒体技术可以实现视频信息的实时传输,目前主要用于视频监控 系统,参见图1,图1为
现有技术视频
监控系统结构示意图。其中,流媒体 服务器102连接了多个摄像装置101,通过摄像装置获得视频信息,生成实 时
视频流媒体数据。流媒体服务器102可以由计算机来实现,其可以通过非 对称数字用户线(Asymmetrical Digital Subscriber Line,ADSL)103等方式 接入因特网110,远程监视终端105根据流媒体服务器102的地址,经因特 网110
访问流媒体服务器102实时获取视频信息,实现视频监控。
虽然视频监控已经广泛应用,但是目前各种实时视频资源基本都是不开 放的,封闭的,当然这也是由于目前视频监控系统主要是应用于安全和私有 场所,不允许其公开决定的。但随着网络娱乐化生活化的趋势,实时视频将 不仅仅主要用于安防监控,而且还可以满足人们的娱乐生活需求,如商店超 市、公园景点,甚至是个人都可以将安置的摄像头共享出来,而任何人都可 以通过网络观看到各地共享摄像头传送的实时视频,如此将足够多的各种实 时视频资源共享集中在一起,就可以实现用户足不出户即可看到任何有共享 摄像头的地点的实时视频了。但现在还没有提供一种统一开放的系统和方法 集中共享各种可用的实时视频资源,来实现以上的新需求。
发明内容
有鉴于此,本发明的主要目的在于提供两种实现实时视频信息共享的系 统,应用该系统能使更多用户接收实时视频信息。
本发明的另一个主要目的在于提供两种实现实时视频信息共享的方法, 使得更多的用户能够接收实时视频信息。
为达到上述目的的一个方面,本发明提供了两种实现实时视频信息共享的 系统,其中第一种系统至少包含:摄像装置、流媒体服务器和客户终端,所述 流媒体服务器与一个或多个摄像装置相连;且该系统还包含视频资源索引服务 器;
所述流媒体服务器将包含该流媒体服务器地址的实时视频资源信息存储到 视频资源索引服务器;并在接收到实时视频
请求后,将从摄像装置接收的视频 信息生成实时视频流媒体数据,并将该实时视频流媒体数据播放给客户终端;
所述视频资源索引服务器与一个或多个流媒体服务器分别相连,存储从各 个流媒体服务器接收的实时视频资源信息;接收客户终端的视频资源请求,并 根据用户需要,将包含流媒体服务器地址的实时视频资源信息,返回给客户终 端;
所述客户终端根据用户需要向视频资源索引服务器发送视频资源请求,接 收视频资源索引服务器返回的实时视频资源信息,根据该实时视频资源信息中 的地址信息向流媒体服务器发送实时视频请求,并接收流媒体服务器播放的实 时视频流媒体数据。
其中,所述的流媒体服务器可以通过因特网或局域网接收客户终端发送的 实时视频请求,并通过所述因特网或局域网将实时视频流媒体数据播放给客户 终端;
所述的视频资源索引服务器通过因特网或局域网接收客户终端发送的视频 资源请求,并通过所述因特网或局域网将包含流媒体服务器地址的实时视频资 源信息返回给客户终端。
所述的客户终端可以包含即时状态客户端单元;
所述的流媒体服务器进一步将实时视频资源的状态信息实时更新到视频资 源索引服务器;流媒体服务器向客户终端中的即时状态客户端单元播放实时视 频流媒体数据;
所述的即时状态客户端单元记录各个实时视频资源状态的即时状态业务标 识信息,并到视频资源索引服务器上订阅该标识信息对应的实时视频资源的状 态信息;根据实时视频资源的状态信息向流媒体服务器发送实时视频请求;
所述视频资源索引服务器进一步接收客户终端的即时状态客户端单元的订 阅请求,根据该请求,将客户终端订阅的实时视频资源的状态信息返回给客户 终端中的即时状态客户端单元。
该系统还可以进一步包含即时状态服务器;所述的视频资源索引服务器和 客户终端分别包含即时状态客户端单元;
所述的流媒体服务器进一步将实时视频资源的状态信息实时更新到视频资 源索引服务器;流媒体服务器向客户终端中的即时状态客户端单元播放实时视 频流媒体数据;
所述视频资源索引服务器中的即时状态客户端单元在即时状态服务器上注 册存储每个实时视频资源信息,并接受即时状态服务器分配的即时状态业务标 识信息,且视频资源索引服务器不断将每个实时视频资源的状态信息更新到即 时状态服务器上;
所述客户终端中的即时状态客户端单元记录各个实时视频资源状态的即时 状态业务标识信息,到即时状态服务器订阅该标识信息对应的实时视频资源的 状态信息;
所述的即时状态服务器接收客户终端中即时状态客户端单元的订阅请求, 根据该请求,将客户终端订阅的实时视频资源的状态信息返回给客户终端中的 即时状态客户端单元。
该系统还可以进一步包含一个或多个存储视频广告数据的广告视频服务 器;各个广告视频服务器与所述视频资源索引服务器相连,且视频资源索引服 务器存储各个广告视频服务器的地址信息;
所述的视频资源索引服务器接收到客户终端发送的视频资源请求后,将该 请求和实时视频资源信息转发给一个广告视频服务器,并将广告视频服务器的 地址信息发送给客户终端;
所述客户终端到所述广告视频服务器下载视频广告数据,并接收广告视频 服务器在视频广告数据下载后发送的实时视频资源信息;根据该实时视频资源 信息向流媒体服务器发送实时视频请求。
该系统还可以进一步包含:带摄像头的
移动通信终端;
所述带摄像头的移动通信终端与流媒体服务器经由
移动通信网络中的 WAP网关建立流媒体数据传输通道,并将摄像头拍摄的实时视频数据通过该数 据传输通道,上传到流媒体服务器。
本发明提供的第二种实现实时视频信息共享的系统,至少包含摄像装置、 流媒体服务器和客户终端,所述流媒体服务器与一个或多个摄像装置相连;且 该系统还包含视频资源索引服务器;
所述流媒体服务器将包含该流媒体服务器地址的实时视频资源信息存储到 视频资源索引服务器;并在接收到实时视频请求后,将从摄像装置接收的视频 信息生成实时视频流媒体数据,并将该实时视频流媒体数据通过视频资源服务 器播放给客户终端;
所述视频资源索引服务器与一个或多个流媒体服务器分别相连,存储从各 个流媒体服务器接收的实时视频资源信息;接收客户终端发送的实时视频请求, 根据用户需要获得实时视频资源信息,并根据该实时视频资源信息中的地址信 息将该请求转发给对应的流媒体服务器,并从流媒体服务器接收实时视频流媒 体数据转发给客户终端;
所述客户终端根据用户需要直接向视频资源索引服务器发送实时视频请 求,并接收视频资源索引服务器转发的实时视频流媒体数据。
其中,所述的客户终端可以为移动通信终端;
所述的流媒体服务器通过移动通信网接收视频资源索引服务器转发的实时 视频请求,并通过所述视频资源索引服务器将实时视频流媒体数据通过移动通 信网发送给移动通信终端;
所述的视频资源索引服务器通过TCP/IP协议或SIP协议接收移动通信终端 发送的实时视频请求,并将从流媒体服务器接收的实时视频流媒体数据通过移 动通信网发送给移动通信终端。
所述的移动通信终端可以通过移动通信网络中的短消息中心向视频资源索 引服务器发送实时视频请求;所述视频资源索引服务器将从流媒体服务器接收 的实时视频流媒体数据通过移动通信网络中的多媒体消息中心发送给移动通信 终端;
所述的短消息中心接收到移动通信终端发送的实时视频请求短消息,将该 短消息转换为视频资源索引服务器能够接收的数据,转发给视频资源索引服务 器;
所述的多媒体消息中心接收流媒体服务器发送的实时视频流媒体数据,转 换为多媒体消息,发送给移动通信终端。
该系统可以进一步包含一个或多个存储视频广告数据的广告视频服务器; 各个广告视频服务器与所述视频资源索引服务器相连,且视频资源索引服务器 存储各个广告视频服务器的地址信息;
所述的视频资源索引服务器接收到客户终端发送的视频请求后,将该请求 转发给一个广告视频服务器;并在接收到广告视频服务器发送完广告数据的通 知后,根据用户需要获得实时视频资源信息,并根据该实时视频资源信息中的 地址信息将该请求转发给对应的流媒体服务器;
所述广告视频服务器向客户终端发送视频广告数据,并在视频广告数据发 送完后,通知视频资源索引服务器;
所述客户终端接收广告视频服务器发送的视频广告数据后,接收流媒体服 务器播放的实时视频流媒体数据。
该系统还可以进一步包含:带摄像头的移动通信终端;
所述带摄像头的移动通信终端与流媒体服务器之间通过移动通信网络中的 WAP网关建立流媒体数据传输通道,且移动通信终端将摄像头拍摄的实时视频 数据通过该数据传输通道,上传到流媒体服务器。
为达到上述目的的另一个方面,本发明提供了两种实现实时视频信息共 享的方法,其中第一种方法采用上述第一种实时视频信息共享系统,预先将 包含流媒体服务器地址信息的实时视频资源信息存储到了视频资源索引服 务器,客户终端获得实时视频信息的过程包括以下步骤:
A、客户终端向视频资源索引服务器发送视频资源请求;
B、视频资源索引服务器接收到视频资源请求,获得包含流媒体服务器地址 信息的实时视频资源信息,并将该实时视频资源信息返回给客户终端;
C、客户终端根据该实时视频资源信息中的地址信息向流媒体服务器发送实 时视频请求;
D、流媒体服务器根据实时视频请求,将从摄像装置接收的视频信息生成 实时视频流媒体数据播放给客户终端。
其中,所述步骤A中,客户终端可以通过因特网或局域网向视频资源索引 服务器发送视频资源请求;
所述步骤B中,视频资源索引服务器通过所述因特网或局域网将包含流媒 体服务器地址的实时视频资源信息返回给客户终端;
所述步骤C中,客户终端通过因特网或局域网向流媒体服务器发送的实时 视频请求;
所述步骤D中,流媒体服务器通过所述因特网或局域网将实时视频流媒体 数据播放给客户终端。
所述视频资源索引服务器可以运行WWW服务以网页显示实时视频资源信 息;所述客户终端使用WEB浏览器通过因特网访问视频资源索引服务器;
视频资源索引服务器通过TCP/IP协议或SIP协议与流媒体服务器通信。
所述的实时视频资源信息可以进一步包含:实时视频资源的状态信息、实 时视频资源
位置信息、实时视频资源类别信息、实时视频资源操控信息中的一 种或多种。
所述实时视频资源信息包含实时视频资源的状态信息时:所述的流媒体服 务器可以进一步将实时视频资源的状态信息实时更新到视频资源索引服务器; 所述步骤C中,客户终端根据该实时视频资源信息中的地址信息和状态信息向 流媒体服务器发送实时视频请求;
所述的实时视频资源信息包括实时视频资源位置信息时:视频资源索引服 务器按实时视频资源位置信息进行索引,并按所述位置信息,将实时视频资源 与地图上的位置对应起来,并将在对应位置标注了实时视频资源的地图包含在 实时视频资源信息中发送给客户终端;
所述的实时视频资源信息包括实时视频资源类别信息时:视频资源索引服 务器按实时视频资源类别信息进行索引,生成实时视频资源索引目录,将该目 录包含在实时视频资源信息中发送给客户终端;
所述的实时视频资源信息包括实时视频资源操控信息时:所述步骤B中, 视频资源索引服务器对可操控状态的实时视频资源,向客户终端发送视频操控 界面,接收用户输入的操控指令,并将操控指令传送给流媒体服务器,流媒体 服务器根据该操控指令对实时视频资源对应的摄像装置进行相应的操控。
所述流媒体服务器将实时视频资源的状态信息存储到视频资源索引服务器 的方法可以为:
所述流媒体服务器接收视频资源索引服务器按预先设定的时间间隔发送的 状态信息请求,按照该请求向视频资源索引服务器返回状态信息;视频资源索 引服务器用接收的状态信息进行更新;
或当实时视频资源的状态信息发生变化时,所述流媒体服务器向视频资源 索引服务器更新最新的实时视频资源状态信息。
所述实时视频资源状态信息可以包含资源是否可用、该实时视频资源当前 访问人数或负荷信息、以及该实时视频资源的实时
摘要图片;
所述步骤B中,视频资源索引服务器接收到实时视频资源的请求时,先检 测该实时视频资源的访问人数或负荷;当检测到访问人数或负荷达到预先设定 的上限时,按一定时间间隔向流媒体服务器请求实时摘要图片;并在接收到流 媒体服务器返回的实时摘要图片后,将其加入实时视频资源状态信息发送给用 户终端;
当检测到访问人数或负荷降到低于预先设定的上限时,视频资源索引服务 器通知客户终端到流媒体服务器获取实时视频流媒体数据。
所述步骤B中,在视频资源索引服务器按一定时间间隔向流媒体服务器请 求实时摘要图片之前,视频资源索引服务器可以将当前存储的该实时视频资源 的最新一张或多张图片、显示图片对应的时间发送给用户终端。
所述实时视频资源状态信息还可以包含资源是否可用及该实时视频资源当 前访问人数或负荷信息;
当所述流媒体服务器检测到访问人数或负荷达到预先设定的上限时,或在 播放流媒体数据一定时间后,改为按一定时间间隔向客户终端发送实时图片。
所述的客户终端可以包含即时状态客户端单元;
所述的即时状态客户端单元记录各个实时视频资源状态的即时状态业务标 识信息,并到视频资源索引服务器上订阅该标识信息对应的实时视频资源的状 态信息;根据实时视频资源的状态信息向流媒体服务器发送实时视频请求;
所述视频资源索引服务器进一步接收客户终端的即时状态客户端单元的订 阅请求,根据该请求,将客户终端订阅的实时视频资源的状态信息返回给客户 终端中的即时状态客户端单元;
所述步骤D中,流媒体服务器向客户终端中的即时状态客户端单元播放实 时视频流媒体数据。
该系统还可以进一步包含即时状态服务器;所述的视频资源索引服务器和 客户终端分别包含即时状态客户端单元;
所述视频资源索引服务器中的即时状态客户端单元预先在即时状态服务器 上注册存储每个实时视频资源信息,并接受即时状态服务器分配的即时状态业 务标识信息,且视频资源索引服务器不断将每个实时视频资源的状态信息更新 到即时状态服务器上;
所述客户终端中的即时状态客户端单元预先记录各个实时视频资源状态的 即时状态业务标识信息,到即时状态服务器订阅该标识信息对应的实时视频资 源的状态信息;
所述的即时状态服务器在接收客户终端中即时状态客户端单元的订阅请求 后,根据该请求,将客户终端订阅的实时视频资源的状态信息返回给客户终端 中的即时状态客户端单元;
所述步骤D中,流媒体服务器向客户终端中的即时状态客户端单元播放实 时视频流媒体数据。
该方法还可以进一步包括:当一个实时视频资源正在被操控时,视频资源 索引服务器将该实时视频资源的操控信息设置为
锁定状态,拒绝其他客户终端 发送的操控指令。
所述的摄像装置可以包含轨道及可在轨道上运行的摄像头,所述的操控指 令还包括在轨道上运行的操控指令;
所述流媒体服务器根据该操控指令对实时视频资源对应的摄像装置的摄像 头进行轨道上运行操控。
所述的视频资源索引服务器可以进一步存储一个或多个视频广告数据;
所述步骤B中,实时视频资源索引服务器在向客户终端返回实时视频资源 信息时,通知客户终端先到实时视频资源索引服务器下载一个视频广告数据;
所述步骤C中,客户终端根据通知向实时视频资源索引服务器下载视频广 告数据,在播放视频广告数据同时或播放后,根据实时视频资源信息向流媒体 服务器发送实时视频请求。
所述实时视频资源信息中还可以包括实时视频资源的类型信息,所述存储 的每个视频广告数据与至少一个所述类型相关;
所述步骤B中,实时视频资源索引服务器从客户终端请求的实时视频资源 的类型相关的视频广告数据中选取一个,通知客户终端下载该视频广告数据。
可以进一步在系统中设置一个或多个存储视频广告数据的广告视频服务 器;各个广告视频服务器与所述视频资源索引服务器相连,且视频资源索引服 务器存储各个广告视频服务器的地址信息;
所述步骤B中,视频资源索引服务器接收到客户终端发送的视频资源请求 后,将该请求和实时视频资源信息转发给一个广告视频服务器,并将广告视频 服务器的地址信息发送给客户终端;
所述步骤B还包括:客户终端根据广告视频服务器的地址信息到所述广告 视频服务器下载视频广告数据,并接收广告视频服务器在视频广告数据下载后 发送的实时视频资源信息;
所述步骤C中,客户终端根据从广告视频服务器接收的实时视频资源信息 向流媒体服务器发送实时视频请求。
可以进一步在系统中包含:带摄像头的移动通信终端;
所述带摄像头的移动通信终端与流媒体服务器经由移动通信网络中的 WAP网关建立流媒体数据传输通道,并将摄像头拍摄的实时视频数据通过该数 据传输通道,上传到流媒体服务器。
所述客户终端发送的实时视频请求中可以包含客户终端的地址信息;
所述步骤D为:流媒体服务器根据实时视频请求中的地址信息,将从摄像 装置接收的视频信息压缩编码为流媒体格式,如果摄像装置包括
拾音器,则流 媒体服务器还将音频进行一起压缩编码,生成实时视频流媒体数据播放给客户 终端。
所述步骤D可以包括:
D1、流媒体服务器从摄像装置获取视频信息;
D2、流媒体服务器与客户终端建立信令通道,并将播放地址及端口号发送 给客户终端;
D3、客户终端与流媒体服务器建立数据通道;
D4、流媒体服务器将视频信息生成视频流媒体数据后,将其通过该数据通 道发送给客户终端;
D5、客户终端接收流媒体数据进行显示播放。
所述步骤D2中,流媒体服务器可以将组播地址及端口号发送给客户终端;
所述步骤D4中,流媒体服务器将实时视频流媒体数据发送给因特网或局 域网中的路由器;路由器以组播方式将从单台流媒体服务器接收的实时视频流 媒体数据同时向多个客户端连续发送。
所述步骤A中,客户终端向实时视频资源索引服务器发送视频资源请求前, 可以先执行鉴权的步骤,鉴权通过后,记录账号,实时视频资源索引服务器对 该账号开始进行计费,生成CDR话单记录。
可以根据不同的计费策略生成CDR话单;如果采用按时间流量计费的方 式,则由流媒体服务器在结束向客户终发送实时视频流媒体数据时,向视频资 源索引服务器上报该客户端播放实时视频的时间和流量信息,视频资源索引服 务器据此生成CDR话单记录。
本发明提供的第二种实现实时视频信息共享的方法,采用上述第二种实 时视频信息共享系统,预先将包含流媒体服务器地址信息的实时视频资源信 息存储到了视频资源索引服务器,客户终端获得实时视频信息的过程包括以 下步骤:
A、客户终端向视频资源索引服务器发送实时视频请求;
B、视频资源索引服务器接收到实时视频请求,获得包含流媒体服务器地址 信息的实时视频资源信息,并根据该实时视频资源信息向流媒体服务器发送实 时视频请求;
C、流媒体服务器根据实时视频请求,将从摄像装置接收的视频信息生成实 时视频流媒体数据播放给客户终端。
其中,所述的客户终端可以为移动通信终端;
所述步骤A中,移动通信终端通过移动通信网向视频资源索引服务器发送 实时视频请求;
所述步骤B中,视频资源索引服务器通过TCP/IP协议或SIP协议向流媒体 服务器转发实时视频请求;
所述步骤C中,流媒体服务器通过视频资源索引服务器将实时视频流媒体 数据通过移动通信网发送给移动通信终端。
所述步骤A中,移动通信终端可以向移动通信网络中的短消息中心发送实 时视频请求短消息,短消息中心将该短消息转换为视频资源索引服务器能够接 收的数据,转发给视频资源索引服务器;
所述步骤C中,视频资源索引服务器将从流媒体服务器接收的实时视频流 媒体数据发送给移动通信网络中的多媒体消息中心,多媒体消息中心将实时视 频流媒体数据转换为多媒体消息,发送给移动通信终端。
所述的视频资源索引服务器可以进一步存储一个或多个视频广告数据;
所述步骤B中,实时视频资源索引服务器先向客户终端返回一个视频广告 数据,在播放视频广告数据同时或播放后,根据实时视频资源信息向流媒体服 务器转发实时视频请求。
所述实时视频资源信息中还可以包括实时视频资源的类型信息,所述存储 的每个视频广告数据与至少一个所述类型相关;
所述步骤B中,实时视频资源索引服务器从客户终端请求的实时视频资源 的类型相关的视频广告数据中选取一个发送给客户终端。
可以进一步在系统中设置一个或多个存储视频广告数据的广告视频服务 器;各个广告视频服务器与所述视频资源索引服务器相连,且视频资源索引服 务器存储各个广告视频服务器的地址信息;
所述步骤B中,视频资源索引服务器接收到客户终端发送的视频资源请求 后,根据广告视频服务器的地址信息将该请求转发给一个广告视频服务器,广 告视频服务器通过视频资源索引服务器将一个视频广播数据发送给客户终端; 并在播放视频广告数据同时或播放后,获得实时视频资源信息,根据该实时视 频资源信息向流媒体服务器转发实时视频请求。
可以进一步在系统中包含带摄像头的移动通信终端;
所述带摄像头的移动通信终端与流媒体服务器经由移动通信网络中的 WAP网关建立流媒体数据传输通道,并将摄像头拍摄的实时视频数据通过该数 据传输通道,上传到流媒体服务器。
由上述的技术方案可见,本发明的第一种实现实时视频信息共享的系统 及方法,在系统中设置一个视频资源索引服务器,其与各个生成实时视频信 息的流媒体服务器相连,接收并存储流媒体服务器发送的实时视频资源信 息,各个客户终端通过访问实时视频资源索引服务器,来获取实时视频资源 信息,并根据该实时视频资源信息到相应的流媒体服务器下载并播放实时视 频信息,实现了各种实时视频信息的集中共享。
本发明的第二种
实现实时视频信息共享的系统及方法,也在系统中设置 一个视频资源索引服务器,其与各个生成实时视频信息的流媒体服务器相 连,接收并存储流媒体服务器发送的实时视频资源信息,各个客户终端向实 时视频资源索引服务器请求实时视频,视频资源索引服务器根据实时视频资 源信息到流媒体服务器获得实时视频转发给各个客户终端,实现了各种实时 视频信息的集中共享。
附图说明
图1为现有技术视频监控系统结构示意图;
图2为本发明第一较佳
实施例的实时视频共享系统结构示意图;
图3为图2所示实施例中,未包含广告视频服务器情况下的实现实时视 频共享的处理流程;
图4为图2所示实施例中,包含广告视频服务器情况下的实现实时视频 共享的处理流程;
图5为图2所示实施例中,客户终端到流媒体服务器下载实时视频数据 的具体处理流程;
图6为本发明第二较佳实施例的实时视频共享系统结构示意图;
图7为图6所示实施例中,客户终端订阅实时视频状态信息的处理流程;
图8为本发明第三较佳实施例的实时视频共享系统结构示意图;
图9为本发明第四较佳实施例的实时视频共享系统结构示意图;
图10为图9所示实施例中,实现实时视频共享的处理流程。
具体实施方式
为使本发明的目的技术方案及优点更加清楚明白,以下参照附图并举实 施例,对本发明进一步详细说明。本发明所说实时视频中的“实时”是广义 的,不仅仅是绝对实时的,还包括准实时的,实时视频在应用中都是存在一 定延时的,但是在一定范围内,如几秒或者几分钟的延迟都是可以允许的, 以下对本发明提供的两种实现实时视频信息共享的系统和方法,分别进行说 明。
本发明的第一种实现实时视频信息共享的系统及方法,在系统中设置一 个视频资源索引服务器,接收并存储流媒体服务器发送的实时视频资源信 息,各个客户终端通过访问实时视频资源索引服务器,来获取实时视频资源 信息,并根据该实时视频资源信息到相应的流媒体服务器下载并播放实时视 频信息,实现了各种实时视频信息的集中共享。
本发明的第二种实现实时视频信息共享的系统及方法,也在系统中设置 一个视频资源索引服务器,接收并存储流媒体服务器发送的实时视频资源信 息,各个客户终端向实时视频资源索引服务器请求实时视频,视频资源索引 服务器根据实时视频资源信息到流媒体服务器获得实时视频转发给各个客 户终端,实现了各种实时视频信息的集中共享。
首先,举三个较佳实施例对第一种实现实时视频信息共享的系统及方法 进行详细说明。
参见图2,图2为本发明第一较佳实施例的实时视频共享系统结构示意图。 该系统包含:摄像装置201、流媒体服务器202、视频资源索引服务器203、客 户终端204和可选的广告视频服务器205。
流媒体服务器202与一个或多个摄像装置202相连,将包含该流媒体服务 器地址的实时视频资源信息存储到视频资源索引服务器203;并在接收到实时 视频请求后,将从摄像装置201接收的视频信息生成实时视频流媒体数据,并 将该实时视频流媒体数据通过因特网210播放给客户终端204。
视频资源索引服务器203与一个或多个流媒体服务器202分别相连,存储 从各个流媒体服务器接收的实时视频资源信息;接收客户终端204通过因特网 210发送的视频资源请求,并根据用户需要,将包含流媒体服务器地址的实时 视频资源信息,通过因特网210返回给客户终端204。
客户终端204根据用户需要通过因特网210向视频资源索引服务器203发 送视频资源请求,接收视频资源索引服务器203返回的实时视频资源信息,根 据该实时视频资源信息中的地址信息向流媒体服务器202发送实时视频请求, 并接收流媒体服务器202播放的实时视频流媒体数据。
本实施例中的广告视频服务器205是可选设备,系统中可以有也可以没有, 可以有一个也可以有多个。当系统中包含广告视频服务器205时,各个广告视 频服务器205与所述视频资源索引服务器203相连,且视频资源索引服务器203 存储各个广告视频服务器的地址信息。这种情况下:
视频资源索引服务器203在接收到客户终端204发送的视频资源请求后, 将该请求和实时视频资源信息转发给一个广告视频服务器205,并将广告视频 服务器的地址信息发送给客户终端204。
客户终端204先通过因特网210到所述广告视频服务器205下载视频广告 数据,并通过因特网210接收广告视频服务器205在视频广告数据下载后发送 的实时视频资源信息;根据该实时视频资源信息向流媒体服务器202发送实时 视频请求。
本实施例中,客户终端204是通过因特网210与视频资源索引服务器 203和流媒体服务器202进行通信,实际应用中,还可以通过局域网或其他 网络进行通信。本实施例中的流媒体服务器202和视频资源索引服务器203 及广告视频服务器205之间都可以通过TCP/IP协议或SIP协议等网络通信 协议进行通信。
参见图3,图3为图2所示实施例中,未包含广告视频服务器情况下的 实现实时视频共享的处理流程。该流程包括以下步骤:
步骤301,客户终端向视频资源索引服务器发送视频资源请求。
步骤302,视频资源索引服务器接收到视频资源请求,获得包含流媒体 服务器地址信息的实时视频资源信息,并将该实时视频资源信息返回给客户 终端。
步骤303,客户终端根据该实时视频资源信息中的地址信息向流媒体服 务器发送实时视频请求。
步骤304,流媒体服务器根据实时视频请求,从摄像装置采集视频信息, 并将视频信息生成实时视频流媒体数据。
本步骤中,流媒体服务器可以将从摄像装置接收的视频信息压缩编码为 流媒体格式,如果摄像装置包括拾音器,则流媒体服务器还将音频进行一起 压缩编码,生成实时视频流媒体数据。
步骤305,流媒体服务器向客户终端播放实时视频流媒体数据。
本实施例中客户终端发送的实时视频请求中可以包含客户终端的地址 信息,本步骤可以为:流媒体服务器根据实时视频请求中的地址信息,将时 视频流媒体数据播放给客户终端。
本实施例中,视频资源索引服务器存储和发送给客户终端的实时视频资 源信息除了包含所述的流媒体服务器地址信息外,还可以包含:实时视频资 源状态信息、实时视频资源位置信息、实时视频资源类别信息、实时视频资 源操控信息中的一种或多种。
当实时视频资源信息包含实时视频资源的状态信息时:所述的流媒体服务 器进一步将实时视频资源的状态信息实时更新到视频资源索引服务器;上述步 骤303中,客户终端根据该实时视频资源信息中的地址信息和状态信息向流媒 体服务器发送实时视频请求。
其中,流媒体服务器将实时视频资源的状态信息存储到视频资源索引服务 器的方法可以为:流媒体服务器接收视频资源索引服务器按预先设定的时间间 隔发送的状态信息请求,按照该请求向视频资源索引服务器返回状态信息;视 频资源索引服务器用接收的状态信息进行更新。或者,当实时视频资源的状态 信息发生变化时,所述流媒体服务器向视频资源索引服务器更新最新的实时视 频资源状态信息。
本实施例中,实时视频资源状态信息可以包含资源是否可用、该实时视频 资源当前访问人数或负荷信息、以及该实时视频资源的实时摘要图片,在上述 步骤302中,视频资源索引服务器接收到实时视频资源的请求时,先检测该实 时视频资源的访问人数或负荷;当检测到访问人数或负荷达到预先设定的上限 时,按一定时间间隔向流媒体服务器请求实时摘要图片;并在接收到流媒体服 务器返回的实时摘要图片后,将其加入实时视频资源状态信息发送给用户终端; 当访问人数或负荷降到低于预先设定的上限时,视频资源索引服务器通知客户 终端到流媒体服务器获取实时视频流媒体数据。
在实际应用中,在视频资源索引服务器按一定时间间隔向流媒体服务器请 求实时摘要图片之前,视频资源索引服务器可以将当前存储的该实时视频资源 的最新一张或多张图片、显示图片对应的时间发送给用户终端。
本实施例中,实时视频资源状态信息可以只包含资源是否可用及该实时视 频资源当前访问人数或负荷信息;当所述流媒体服务器检测到访问人数或负荷 达到预先设定的上限时,或在播放流媒体数据一定时间后,改为按一定时间间 隔向客户终端发送实时图片。
当实时视频资源信息包括实时视频资源位置信息时:视频资源索引服务器 按实时视频资源位置信息进行索引,并按所述位置信息,将实时视频资源与地 图上的位置对应起来,并在上述步骤302中,将在对应位置标注了实时视频资 源的地图包含在实时视频资源信息中发送给客户终端;
当实时视频资源信息包括实时视频资源类别信息时:视频资源索引服务器 按实时视频资源类别信息进行索引,生成实时视频资源索引目录,并在上述步 骤302中,将该目录包含在实时视频资源信息中发送给客户终端;
当实时视频资源信息包括实时视频资源操控信息时:上述步骤302中,视 频资源索引服务器还对可操控状态的实时视频资源,向客户终端发送视频操控 界面,接收用户输入的操控指令,并将操控指令传送给流媒体服务器,流媒体 服务器根据该操控指令对实时视频资源对应的摄像装置进行相应的操控。
例如:摄像装置包含轨道及可在轨道上运行的摄像头,则所述的操控指令 包括在轨道上运行的操控指令,流媒体服务器根据该操控指令对实时视频资源 对应的摄像装置的摄像头进行轨道上运行操控。
另外,当一个实时视频资源正在被操控时,视频资源索引服务器可以将该 实时视频资源的操控信息设置为锁定状态,拒绝其他客户终端发送的操控指令。
本实施例中,在不包含广告视频服务器的情况下,可以由视频资源服务 器来实现先播放视频广告数据,再请求实时视频。
具体来说,可以在视频资源索引服务器存储一个或多个视频广告数据。 在上述步骤302中,实时视频资源索引服务器在向客户终端返回实时视频资 源信息时,通知客户终端先到实时视频资源索引服务器下载一个视频广告数 据。在上述步骤302后,步骤303之前,客户终端先根据通知向实时视频资 源索引服务器下载视频广告数据,在播放视频广告数据同时或播放后,再执 行步骤303。
如果实时视频资源信息中还包括了实时视频资源的类型信息,则可以将存 储的每个视频广告数据与至少一个类型相关,这样上述步骤302中,实时视频 资源索引服务器就可以从客户终端请求的实时视频资源的类型相关的视频广告 数据中选取一个,通知客户终端下载该视频广告数据。
再有,本实施例中还可以实现对使用视频共享服务的用户进行计费。具体 方法为:
在上述步骤301中,客户终端向实时视频资源索引服务器发送视频资源请 求前,可以先执行鉴权的步骤:客户终端先向视频资源索引服务器发送账号密 码,视频资源索引服务器将之与保存的账号密码信息核对鉴权,鉴权通过后, 记录账号,对该账号开始进行计费,生成CDR话单记录。本实施例中可以根据 不同的计费策略生成CDR话单,计费的策略有多种,比如可以包月计费,或按 次计费,或按时间流量计费等。如果采用按时间流量计费的方式,则由流媒体 服务器在结束向客户终发送实时视频流媒体数据,也就是在客户终端关闭实时 视频连接时,向视频资源索引服务器上报该客户端播放实时视频的时间和流量 信息,视频资源索引服务器据此生成CDR话单记录。当然,对不同的实时视频 资源还可以设置不同的计费策略。
参见图4,图4为图2所示实施例中,包含广告视频服务器情况下的实 现实时视频共享的处理流程。该流程包括以下步骤:
步骤401,客户终端向视频资源索引服务器发送视频资源请求。
步骤402,视频资源索引服务器接收到视频资源请求,获得包含流媒体 服务器地址信息的实时视频资源信息,并将该请求和实时视频资源信息转发 给一个广告视频服务器。
步骤403,视频资源索引服务器将广告视频服务器的地址信息发送给客 户终端。
步骤404,客户终端根据广告视频服务器的地址信息到广告视频服务器下 载视频广告数据,并接收广告视频服务器在视频广告数据下载后发送的实时视 频资源信息。
步骤405,客户终端根据从广告视频服务器接收的实时视频资源信息中的 流媒体服务器地址信息向流媒体服务器发送实时视频请求。
步骤406,流媒体服务器根据实时视频请求,从摄像装置采集视频信息, 并将视频信息生成实时视频流媒体数据。
步骤407,流媒体服务器向客户终端播放实时视频流媒体数据。
本实施例中,流媒体的播放采用组播方式,网络中的路由器可以一次将 数据包复制到多个通道上,实现单台服务器能够对多个客户终端同时连续发 送数据流。流媒体服务器只需要发送一个信息包,而不是多个,所有发出请 求的客户终端共享同一信息包。流媒体数据可以发送到任意地址的客户终 端,能够减少网络上传输的信息包的总量。因此,网络利用效率能够大大提 高,成本大为下降。而且多个客户终端请求的都是实时视频,即使客户终端 不是同时访问流媒体服务器的,流媒体服务器也可以播放相同的内容给各客 户终端,这个特点使实时视频业务很适合组播。
具体方法参见图5,图5为图2所示实施例中,客户终端到流媒体服务 器下载实时视频数据的具体处理流程。该流程包括以下步骤:
步骤501,流媒体服务器启动视频线程对视频信息进行采集。
本实施例中,流媒体服务器可以同时启动视频、音频两个线程分别对视 频及音频进行采集,放入视(音)频缓冲区。
步骤502,流媒体服务器收到客户终端发送的连接请求,建立TCP连接 信令通道。
步骤503,流媒体服务器通过信令通道,向客户终端发送组播地址及端 口号。
本实施例中,如果即有视频也有音频,则发送二组组播地址及端口号, 分别对应视频及音频两个线程。
步骤504,客户终端在接收到组播地址及端口号后,启动视频接
收线程。
如果即有视频也有音频,启动视频和音频两个接收线程。
步骤505,客户终端与流媒体服务器建立UDP数据通道。
步骤506,流媒体服务器将视(音)频进行压缩编码后通过建立的UDP 数据通道组播发送给客户终端。
步骤507,客户终端接收压缩视频包并解码显示播放。
当然,实际应用中也可以采用单播方式来播放流媒体数据,具体过程与 图5所示基本相同,本领域技术人员很容易实现,这里不再赘述。
本实施例可以采用互联网WEB方式实现,视频资源索引服务器运行 WWW服务以网页显示实时视频资源信息,用户在客户终端上使用WEB浏 览器通过互联网访问视频资源索引服务器。另外,每个实时视频资源还可以 对应一个BBS论坛,视频资源索引服务器显示实时视频资源信息时,同时 显示该实时视频资源对应BBS论坛的信息,如用户的留言记录。
本发明的第一种实现实时视频信息共享的系统及方法还可以采用即时 状态业务集成的方式来实现,具体可以有两种方式来实现,第一种实现方式 参见图6,图6为本发明第二较佳实施例的实时视频共享系统结构示意图。 本实施例是在图2所示第一较佳实施例的
基础上,进行了改进。该系统结构 与图2所述系统结构和功能基本相同,区别在于:在系统中设置了与视频资 源索引服务器203相连的即时状态服务器606,并在视频资源索引服务器203 设置了即时状态客户端单元607,在各个客户终端204中设置了即时状态客 户端单元600。
本实施例中的流媒体服务器202,除了具有第一实施例中的功能外,还进 一步将实时视频资源的状态信息实时更新到视频资源索引服务器203;流媒体 服务器202是向客户终端204中的即时状态客户端单元600播放实时视频流媒 体数据。
本实施例中的视频资源索引服务器203,除了具有第一实施例中的功能外, 其中的即时状态客户端单元607在即时状态服务器606上注册存储了每个实时 视频资源的名称、地理位置等信息,并接受即时状态服务器606分配的即时状 态业务标识信息,且视频资源索引服务器203通过即时状态客户端单元607不 断将每个实时视频资源的状态信息更新到即时状态服务器606上。这里的即时 状态业务标识信息可以是即时状态业务号码或统一资源标识URI,例如:SIP: video8@abcd.com。
客户终端204中的即时状态客户端单元600记录各个实时视频资源状态的 即时状态业务标识信息,例如:将对应实时视频资源的即时状态业务号码或统 一资源标识URI加入到联系人列表,到即时状态服务器606订阅该标识信息对 应的实时视频资源的状态信息,客户终端204根据该业务标识信息请求视频资 源。
即时状态服务器606接收客户终端204中即时状态客户端单元600的订阅 请求,根据该请求,将客户终端600订阅的实时视频资源的状态信息返回给客 户终端204中的即时状态客户端单元600。
本实施例中的其他装置的工作原理和实现方法与图2所示实施例完全 相同,这里不再重复说明。以下仅对客户终端订阅实时视频状态信息的方法 进行说明:
参见图7,图7为图6所示实施例中,客户终端订阅实时视频状态信息 的处理流程。该流程包括以下步骤:
步骤700,视频资源索引服务器从流媒体服务器实时获得视频资源状态 信息。
步骤701,视频资源索引服务器将获得的视频资源状态信息实时发送给 即时状态服务器。
步骤702,即时状态服务器更新并存储各个实时视频资源的状态信息。
步骤703,客户终端中的即时状态客户端单元向即时状态服务器发送订 阅实时视频状态信息请求。
步骤704,即时状态服务器按订阅方式向客户终端中的即时状态客户端 单元返回实时视频状态信息。例如:可以定时返回,也可以在状态信息有变 化时返回。
第二种采用即时状态业务集成的实现方式可以参考图6,该方式与图6 所示的区别在于:系统中不包含即时状态服务器606,由视频资源索引服务 器203实现即时状态服务器606的功能。具体来说:
客户终端204中的即时状态客户端单元600记录各个实时视频资源状态的 即时状态业务标识信息,并到视频资源索引服务器203上订阅该标识信息对应 的实时视频资源的状态信息;根据实时视频资源的状态信息向流媒体服务器 202发送实时视频请求。
视频资源索引服务器203进一步接收客户终端204的即时状态客户端单元 600的订阅请求,根据该请求,将客户终端204订阅的实时视频资源的状态信 息返回给客户终端204中的即时状态客户端单元600。
流媒体服务器202向客户终端204中的即时状态客户端单元600播放实时 视频流媒体数据。
参见图8,图8为本发明第三较佳实施例的实时视频共享系统结构示意 图。本实施例也是在图2所示第一较佳实施例的基础上,进行了改进。该系 统结构与图2所述系统结构和功能基本相同,区别在于:该系统还包含带有 摄像头801的移动通信终端802。
该带摄像头801的移动通信终端802与流媒体服务器202之间通过移动 通信网络中的WAP网关803建立流媒体数据传输通道,且移动通信终端802 将摄像头801拍摄的实时视频数据通过该数据传输通道,上传到流媒体服务 器202。
移动通信终端802在向流媒体服务器202发送流媒体开始时,发送实时 视频的标题和说明等信息,流媒体服务器202将接收到的流媒体与移动通信 终端号码以及上述实时视频的标题和说明等信息建立关联并保存,将上述移 动通信终端号码等信息作为实时视频资源信息存储到视频资源索引服务器 203中。
本实施例中的其他装置的工作原理和实现方法与图2所示实施例完全 相同,这里不再重复说明。
然后,举一个较佳实施例对第二种实现实时视频信息共享的系统及方法 进行详细说明。
本实施例是通过多媒体消息(MMS)提供实时视频业务。参见图9,图 9为本发明第四较佳实施例的实时视频共享系统结构示意图。该系统包含摄 像装置201、流媒体服务器202、视频资源索引服务器203、客户终端204 和可选的广告视频服务器205,流媒体服务器202与一个或多个摄像装置201 相连,视频资源索引服务器203通过移动通信网络中的短消息中心901和多 媒体消息中心902与移动通信终端204相连。
其中,流媒体服务器202将包含该流媒体服务器地址的实时视频资源信息 存储到视频资源索引服务器203;并在接收到实时视频请求后,将从摄像装置 201接收的视频信息生成实时视频流媒体数据,并将该实时视频流媒体数据通 过视频资源服务器203发送给移动通信网络中的多媒体消息中心902,
视频资源索引服务器203与一个或多个流媒体服务器202分别相连,存储 从各个流媒体服务器202接收的实时视频资源信息;接收短消息中心901转发 的实时视频请求,根据用户需要获得实时视频资源信息,并根据该实时视频资 源信息中的地址信息转发给对应的流媒体服务器202,并从流媒体服务器202 接收实时视频流媒体数据转发给移动通信网络中的多媒体消息中心902;
短消息中心901接收到移动通信终端204发送的实时视频请求短消息,将 该短消息转换为视频资源索引服务器203能够接收的数据,转发给视频资源索 引服务器203。
多媒体消息中心902接收流媒体服务器202发送的实时视频流媒体数据, 转换为多媒体消息,发送给移动通信终端204。
移动通信终端204根据用户需要直接通过短消息中心901向视频资源索引 服务器203发送实时视频请求,并接收视频资源索引服务器203通过多媒体消 息中心902转发的实时视频流媒体数据。
与上述图2、图6、图8所示实施例相同,本实施例中的广告视频服务器 205也是可选设备,系统中可以有也可以没有,可以有一个也可以有多个。当 系统中包含广告视频服务器205时,各个广告视频服务器205与所述视频资源 索引服务器203相连,且视频资源索引服务器203存储各个广告视频服务器的 地址信息。这种情况下:
视频资源索引服务器203接收到移动通信终端204通过短消息中心901发 送的实时视频请求后,将该请求转发给一个广告视频服务器205;并在接收到 广告视频服务器205发送完广告数据的通知后,根据用户需要获得实时视频资 源信息,并根据该实时视频资源信息中的地址信息将该实时视频请求转发给对 应的流媒体服务器202。
广告视频服务器205通过视频资源索引服务器203、多媒体消息中心902 向移动通信终端204发送视频广告数据,并在视频广告数据发送完后,通知视 频资源索引服务器203。
移动通信终端204通过多媒体消息中心902接收广告视频服务器205发送 的视频广告数据后,接收流媒体服务器202通过多媒体消息中心902播放的实 时视频流媒体数据。
本实施例中,客户终端204是通过移动通信网络与视频资源索引服务器 203和流媒体服务器202进行通信,实际应用中,还可以通过其他网络进行 通信。本实施例中的流媒体服务器202和视频资源索引服务器203及广告视 频服务器205之间也都可以通过TCP/IP协议或SIP协议等网络通信协议进 行通信
同样,本实施例的系统中,还可以包含带有摄像头的移动通信终端(图 9中未示出)。该移动通信终端向流媒体服务器上传实时视频数据的方法与 图8所示实施例完全相同,这里不再重复。
参见图10,图10为图9所示实施例中,实现实时视频共享的处理流程。 该流程是在系统不包含广告视频服务器情况下的处理流程,具体包括以下步 骤:
步骤10,移动通信终端向移动通信网络中的短消息中心发送实时视频 请求短消息。
步骤11,短消息中心将该实时视频请求短消息转换为视频资源索引服 务器能够接收的数据,转发给视频资源索引服务器。
步骤12,视频资源索引服务器获得包含流媒体服务器地址信息的实时 视频资源信息,并根据该实时视频资源信息向流媒体服务器发送实时视频请 求。
步骤13,流媒体服务器流媒体服务器根据实时视频请求,将从摄像装 置接收的视频信息生成实时视频流媒体数据返回给视频资源索引服务器。
步骤14,视频资源索引服务器通过MM7
接口向多媒体消息中心返回实 时视频流媒体数据。
步骤15,多媒体消息中心将实时视频流媒体数据转换为多媒体消息, 发送给移动通信终端。
同样,本实施例中,在系统不包含广告视频服务器的情况下,也可以由视 频资源索引服务器实现播放视频广告。具体方法为:
由视频资源索引服务器进一步存储一个或多个视频广告数据。在上述步骤 12中,实时视频资源索引服务器先通过多媒体消息中心向移动通信终端返回一 个视频广告数据,在播放视频广告数据同时或播放后,根据实时视频资源信息 向流媒体服务器转发实时视频请求。
这种情况下,还可以在实时视频资源信息中包括实时视频资源的类型信息, 并将存储的每个视频广告数据与至少一个类型相关;上述步骤12中,实时视频 资源索引服务器从移动通信终端请求的实时视频资源的类型相关的视频广告数 据中选取一个发送给客户终端。
由上述的实施例可见,本发明的这两种实现实时视频信息共享的系统及 方法,实现了各种实时视频信息的集中共享,能够应用于各种环境中,满足 用户对多种实时视频信息的需求。