接收设备、接收方法、流传输设备、手术室系统以及车辆控制系统
阅读：812发布：2020-05-14
专利汇可以提供接收设备、接收方法、流传输设备、手术室系统以及车辆控制系统专利检索，专利查询，专利分析的服务。并且接收设备和接收方法与接收主流传输同时接收子流传输。流传输设备与发送主流传输同时发送子流传输。一种 手术室 系统，包括：获取图像数据的摄像机，以及视听 控制器 ，其与从摄像机之一接收主流传输同时从摄像机接收子流传输。一种车辆控制系统，包括：安装在车辆上的摄像机；以及集成单元，其与从摄像机之一接收主流传输同时从摄像机接收子流传输。，下面是接收设备、接收方法、流传输设备、手术室系统以及车辆控制系统专利的具体信息内容。
1.一种接收设备，包括：
通信电路，被配置为向第一流传输设备发送第一开始请求，第一开始请求是命令第一流传输设备开始发送第一主流传输的指令；
其中，所述通信电路被配置为与从第一流传输设备接收第一子流传输同时从第一流传输设备接收第一主流传输。
2.根据权利要求1所述的接收设备，其中，所述通信电路被配置为在接收到第一子流传输之后发送第一开始请求。
3.根据权利要求1所述的接收设备，其中，所述通信电路被配置为向第一流传输设备发送停止请求，所述停止请求是命令第一流传输设备停止发送第一主流传输的指令。
4.根据权利要求1所述的接收设备，其中，第一子流传输和第一主流传输是从由第一流传输设备获取的图像生成的，第一主流传输具有比子流传输的比特率更高的比特率。
5.根据权利要求1所述的接收设备，其中，所述通信电路被配置为从第二流传输设备接收第二子流传输，第二子流传输是从由第二流传输设备获取的图像生成的。
6.根据权利要求5所述的接收设备，其中，所述通信电路被配置为以命令第二流传输设备开始发送第二主流传输的方式向第二流传输设备发送第二开始请求，第二主流传输是从由第二流传输设备获取的图像生成的，并且具有比第二子流传输的比特率更高的比特率。
7.根据权利要求6所述的接收设备，其中，所述通信电路被配置为向第一流传输设备发送停止请求，所述停止请求是在从通信电路发送第二开始请求之前指示第一流传输设备停止发送第一主流传输的指令。
8.根据权利要求5所述的接收设备，其中，所述通信电路被配置为向第二流传输设备发送指定请求，所述指定请求是命令第二流传输设备开始输出第二主流传输并且将关于第二子流传输的图像数据指定为要输出的主图像的指令。
9.根据权利要求8所述的接收设备，其中，所述通信电路被配置为在将第一主流传输切换到第二主流传输之后，向第一流传输设备发送停止请求，所述停止请求是指示第一流传输设备停止发送第一主流传输的指令。
10.根据权利要求1所述的接收设备，还包括：
显示输出电路，被配置为使屏幕在屏幕的一部分上显示第一子视频，同时在屏幕的不同部分上显示第一主视频，所述显示输出电路被配置为从第一子流传输生成第一子视频并从第一主流传输生成第一主视频。
11.一种接收方法，包括：
通过通信电路，从第一流传输设备接收第一子流传输，并且此后；
从所述通信电路向第一流传输设备发送命令第一流传输设备开始发送第一主流传输的开始请求。
12.根据权利要求11所述的接收方法，还包括：
在所述通信电路从第一流传输设备接收到第一主流传输之后，从所述通信电路发送指定请求，所述指定请求是将来自第二流传输设备的图像数据指定为要输出的主图像，并且指示第二流传输设备开始发送第二主流传输的指令，
其中，第一流传输设备和第二流传输设备来自多个流传输设备。
13.根据权利要求12所述的接收方法，还包括：
在从第一主流传输切换到第二主流传输作为主图像之后，从所述通信电路发送停止请求，所述停止请求是命令第一流传输设备停止发送第一主流传输的指令。
14.一种流传输设备，包括：
通信电路，被配置为与将主流传输发送到接收设备同时将子流传输发送到接收设备。
15.根据权利要求14所述的流传输设备，其中，所述流传输设备被配置为作为从所述接收设备接收到开始请求的结果，将所述主流传输发送到所述接收设备。
16.根据权利要求15所述的流传输设备，其中，所述流传输设备被配置为禁止将所述主流传输发送到所述接收设备，直到所述流传输设备从所述接收设备接收到所述开始请求为止。
17.一种手术室系统，包括：
摄像机，被配置为获取图像数据；以及
视听控制器，被配置为：
从摄像机接收多个子流传输；
发送开始请求，所述请求是命令摄像机之一开始输出主流传输的指令；以及与接收所述多个子流传输同时接收主流传输，
其中，主流传输具有比所述多个子流传输中的每个子流传输的比特率更高的比特率。
18.根据权利要求17所述的手术室系统，其中，所述视听控制器被配置为使用患者的感测信息作为选择被发送开始请求的摄像机之一的基础。
19.一种车辆控制系统，包括：
摄像机，被安装在车辆上；
集成单元，被配置为：
从摄像机接收多个子流传输；
发送开始请求，所述请求是命令摄像机之一开始输出主流传输的指令；以及与接收所述多个子流传输同时接收主流传输，
其中，主流传输具有比所述多个子流传输中的每个子流传输的比特率更高的比特率。
20.根据权利要求19所述的车辆控制系统，还包括：
传感器，被配置为检测关于车辆相对于车辆外部的物体的相对位置的信息，所述集成单元被配置为使用所述信息作为选择被发送开始请求的摄像机之一的基础。
接收设备、接收方法、流传输设备、手术室系统以及车辆控制
系统
[0001] 相关申请的交叉引用
技术领域
[0003] 本公开涉及显示控制设备、显示控制方法和视频输出设备。
背景技术
[0004] 诸如监视系统和广播系统的各种系统广泛地执行用于流传输包括视频和声音的内容的通信。
[0005] 例如，专利文献1公开了一种监视系统，该监视系统包括监视摄像机，该监视摄像机从通过进行成像而得到的视频数据生成低图像质量的视频数据和高图像质量的视频数据，通常发送低图像质量的视频数据的流，并且响应于来自外部的请求，发送高图像质量的视频数据流。
[0006] 引文列表
[0007] 专利文献
[0008] PTL 1：JP 2008-263370A发明内容
[0009] 技术问题
[0010] 然而，PTL1中描述的监视系统选择性地显示低图像质量的视频数据或高图像质量的视频数据。因此，PTL1中描述的监视系统难以允许用户同时检查比特率不同的低图像质量的视频数据和高图像质量的视频数据。可选地，在显示低图像质量的视频数据的低图像质量的显示设备与显示高图像质量的视频数据的高图像质量的显示设备不同的情况下，在高图像质量的显示设备正在显示高图像质量的视频数据时，低图像质量的显示设备不显示低图像质量的视频数据。因此，用户难以从低图像质量的显示设备充分地获得信息。
[0011] 本公开于是提出了一种新颖且改进的显示控制设备、显示控制方法和视频输出设备，其能够同时显示质量不同的多条视频数据。
[0012] 问题的解决方案
[0013] 根据本发明的实施例，接收设备和接收方法与接收主流传输同时接收子流传输。流传输设备与发送主流传输同时发送子流传输。
[0014] 另外，根据本发明的实施例，手术室系统包括：摄像机，其获取图像数据；以及视听控制器，其与从摄像机之一接收主流传输同时从摄像机接收子流传输。
[0015] 同样根据本发明的实施例，车辆控制系统包括：安装在车辆上的摄像机；以及集成单元，其与从摄像机之一接收主流传输同时从摄像机接收子流传输。
[0016] 发明的有益效果
[0017] 根据上述本公开的实施例，可以同时显示质量不同的多条视频数据。注意，上述效果不一定是限制性的。具有或代替上述效果，可以实现本说明书中描述的效果中的任何一个或者可以从本说明书中理解的其他效果。附图说明
[0018] [图1]图1是示出根据本公开的实施例的显示控制系统的配置的说明图。
[0019] [图2]图2是示出显示部的显示屏幕的具体例的说明图。
[0020] [图3]图3是示出根据比较示例的流传输的发送的说明图。
[0021] [图4]图4是示出根据本公开的实施例的流传输的发送的说明图。
[0022] [图5]图5是示出根据本公开的实施例的流传输发送设备的配置的说明图。
[0023] [图6]图6是示出根据本公开的实施例的流传输接收设备的配置的说明图。
[0024] [图7]图7是示出流传输发送设备的第一操作示例的流程图。
[0025] [图8]图8是示出流传输接收设备的第一操作示例的流程图。
[0027] [图10]图10是示出显示控制系统的第一操作示例的说明图。
[0028] [图11]图11是示出显示控制系统的第一操作示例的说明图。
[0029] [图12]图12是示出根据比较示例的视频的显示示例的说明图。
[0030] [图13]图13是示出根据本公开的实施例的视频的显示示例的说明图。
[0031] [图14]图14是示出根据第一操作示例的流传输的发送的说明图。
[0032] [图15]图15是示出流传输发送设备的第二操作示例的流程图。
[0033] [图16]图16是示出NEXT功能的说明图。
[0034] [图17]图17是示出根据第三操作示例的流传输的发送的说明图。
[0035] [图18]图18是示出显示控制系统的第三操作示例的说明图。
[0037] [图20]图20是示意性示出手术室系统的整体配置的图。
[0038] [图21]图21是示出集成操作面板中的操作画面的显示示例的图。
[0039] [图22]图22是示出应用了手术室系统的手术的示例的图。
[0040] [图23]图23是示出图22所示的摄像机头和CCU的功能部件的示例的框图。
[0041] [图24]图24是示出车辆控制系统的示意性配置的示例的框图。
[0042] [图25]图25是示出车辆外部信息检测部和成像部的安装位置的示例的说明图。
具体实施方式
[0043] 以下，将参照附图详细描述本公开的(a)优选实施例。注意，在本说明书和附图中，具有基本相同的功能和结构的结构元件用相同的附图标记表示，并且省略对这些结构元件的重复说明。
[0044] 此外，在本说明书和附图中，有时通过在相同的附图标记之后添加不同的字母来区分具有基本相同的功能和结构的部件。例如，必要时，具有基本相同的功能部件或逻辑意义的多个部件被区分为类似流传输发送设备20A、20B和20C。然而，在不需要特别地将具有基本相同的功能和结构的部件彼此区分的情况下，仅将相同的附图标记分配给多个部件中的每一个。例如，在不需要特别地将流传输发送设备20A、20B和20C彼此区分的情况下，每个流传输发送设备被简称为流传输发送设备20。
[0045] 另外，将以以下顺序描述本公开。
[0046] 1.显示控制系统的配置
[0047] 2.流传输发送设备的配置
[0048] 3.流传输接收设备的配置
[0049] 4.操作示例
[0050] 4-1.第一操作示例
[0051] 4-2.第二操作示例
[0052] 4-3.第三操作示例
[0053] 5.硬件配置
[0054] 6.应用示例
[0055] 6-1.第一应用示例
[0056] 6-2.第二应用示例
[0057] 7.结论
[0058] <<1.显示控制系统的配置>
[0059] 本公开的实施例涉及一种执行使用从多个流传输发送设备发送的流传输的显示控制的显示控制系统。下面描述根据本公开的实施例的显示控制系统的配置。
[0060] 图1是示出根据本公开的实施例的显示控制系统的配置的说明图。如图1所示，根据本公开的实施例的显示控制系统包括多个流传输发送设备20、流传输接收设备30和显示设备40。多个流传输发送设备20经由集线器12连接到流传输接收设备30。
[0061] 流传输发送设备20是具有获取包括视频数据的视频信号的功能和发送视频信号的流传输的功能的视频输出设备的示例。从每个流传输发送设备20发送的流传输经由集线器12被流传输接收设备30接收。注意，视频数据至少包括图像数据。视频数据还可以包括声音数据。
[0062] 注意，尽管在图1所示的示例中，每个流传输发送设备20经由集线器12连接到流传输接收设备30，但是流传输发送设备20也可以直接连接到流传输接收设备30，或者流传输发送设备20可以无线连接到流传输接收设备30。另外，图1中示出的示例示出了多个流传输发送设备20连接到流传输接收设备30的示例。然而，一个流传输发送设备20可以单独连接到流传输接收设备30。另外，可以组合多个网络接口，并且可以使用用于一个通信的绑定。
[0063] 流传输接收设备30从每个流传输发送设备20接收流传输(视频数据)，并且使显示设备40基于流传输输出视频。也就是说，流传输接收设备30具有控制由显示设备40执行的显示控制设备的功能。另外，流传输接收设备30可以具有基于上述流传输控制由显示设备40进行的声音输出的声音输出控制设备的功能。
[0064] 显示设备40根据从流传输接收设备30施加的控制来输出视频和声音。例如，显示设备40包括显示从流传输接收设备30提供的视频的显示部42。这里，参考图2，将描述显示部42的显示屏幕的具体示例。
[0065] 图2是示出显示部42的显示屏幕的具体示例的说明图。在图2所示的示例中，显示部42的显示屏幕包括一个主视频MVA和多个子视频SVA到SVD。包括在措辞主视频MVA中的MV对应于主视频，而包括在措辞子视频SVA中的SV对应于子视频。另外，附加到主视频MVA和子视频SVA到SVD的末端的字母A到D表示用作与视频对应的流传输的发送源的流传输发送设备20。例如，主视频MVA和子视频SVA是基于从流传输发送设备20A发送的流传输的视频。子视频SVB是基于从流传输发送设备20B发送的流传输的视频。子视频SVC是基于从流传输发送设备20C发送的流传输的视频。子视频SVD是基于从流传输发送设备20D发送的流传输的视频。
[0066] 这里，主视频在视频质量上不同于子视频。主视频的质量高于子视频的质量。也就是说，主视频对应于高质量视频，而子视频对应于低质量视频。显示设备40的用户例如从多个子视频SVA到SVD中选择用户希望详细观看的子视频，然后可以使显示部42显示以高质量表示所选择的子视频的主视频MV。注意，视频的质量与视频的分辨率、帧速率、色差信息等有关。由于诸如视频的分辨率、帧速率或色差信息的上述因素，高质量视频的比特率高于低质量视频的比特率。
[0067] 注意，图1示出了其中显示设备40被配置为与流传输接收设备30不同的实体的示例，但是显示设备40的功能可以包括在流传输接收设备30中。另外，图1示出了流传输接收设备30控制一个显示设备40的示例，但是流传输接收设备30可以控制两个或更多个显示设备40。
[0068] 作为用于获得图2中所示的显示部42的显示屏幕的方法，可以想到一种方法，其中如图3中所示，流传输发送设备20A至20D以对应于主视频MVA至MVD的高比特率发送主流传输MSA至主流传输MSD。在该方法中，在显示部42上显示与任何主流传输MS相对应的主视频MV以及通过调整与主流传输MSA至主流传输MSD相对应的主视频MVA至MVD大小而获得的子视频SVA至SVD。然而，在该方法中，所有的流传输发送设备20以比特率发送主流传输MS，从而消耗的网络频带的量大。另外，流传输接收设备30侧承担用于调整视频大小的负担。
[0069] 相反，在根据本公开的实施例的显示控制系统中，如图4所示，连接到流传输接收设备30的流传输发送设备20A至20D发送子流传输SSA至子流传输SSD，并且一个指定的流传输发送设备20(图4所示的示例中的流传输发送设备20A)发送主流传输MS。这种配置使得可以抑制消耗的网络频带的量。另外，流传输接收设备30可以在不进行调整大小的情况下从子流传输SSA至子流传输SSD接收子视频SVA至SVD。注意，从流传输发送设备20A至20D发送的主流传输MS的比特率可以相同或不同。类似地，从流传输发送设备20A至20D发送的子流传输SSA至子流传输SSD的比特率可以相同或不同。下面逐个详细地描述根据本公开的实施例的这种显示控制系统中的流传输发送设备20和流传输接收设备30的配置。
[0070] <<2.流传输设备的配置>>
[0071] 图5是示出根据本公开的实施例的流传输发送设备20的配置的说明图。如图5所示，根据本公开的实施例的流传输发送设备20包括信号获取部220、低质量数据生成部224、子流传输生成部228、高质量数据生成部232、主流传输生成部236、发送控制部240和通信部244。
[0072] (内容获取部)
[0073] 信号获取部220获取包括视频数据的视频信号。例如，视频数据包括图像数据，并且图像数据可以由用作成像部的信号获取部220获取。另外，视频数据可以包括声音数据，并且声音数据可以由用作声音拾取部的信号获取部分220获取。
[0074] (低质量数据生成部和子流传输生成部)
[0075] 低质量数据生成部224和子流传输生成部228是生成视频数据的子流传输的生成部的示例。具体地，低质量数据生成部224对由信号获取部220获取的视频数据进行压缩和编码，以生成低质量视频数据。然后，子流传输生成部228对由低质量数据生成部224生成的低质量视频数据进行分组，并且生成具有低比特率(第一比特率)的子流传输(低质量视频数据的流传输)。
[0076] (高质量数据生成部和主流传输生成部)
[0077] 高质量数据生成部232和主流传输生成部236是生成视频数据的子流传输的生成部的示例。具体地，高质量数据生成部232对由信号获取部220获取的视频数据进行压缩和编码，以生成高质量视频数据。然后，主流传输生成部236对由高质量数据生成部232生成的高质量视频数据进行分组，并且生成具有高比特率(第二比特率)的主流传输(高质量视频数据的流传输)。
[0078] (发送控制部)
[0079] 发送控制部240具有控制由主流传输生成部236生成的主流传输的发送开始和发送停止的功能。例如，基于从流传输接收设备30接收到主流传输发送开始请求，发送控制部240可以使高质量数据生成部232和主流传输生成部236开始生成主流传输，并且将生成的主流传输提供给通信部244。注意，高质量数据生成部232和主流传输生成部236可以在接收主流传输发送开始请求之前生成主流传输。
[0080] (通信部)
[0081] 通信部244是流传输发送设备20和流传输接收设备30之间的接口，并且具有发送部和接收部的功能。例如，通信部244将从子流传输生成部228提供的子流传输发送到流传输接收设备30。另外，通信部244从流传输接收设备30接收主流传输发送开始请求，并且在接收到主流传输发送开始请求之后，开始将从发送控制部240提供的主流传输发送到流传输接收设备30。
[0082] <<3.流接收设备的配置>>
[0083] 以上参照图5描述了流传输发送设备20的配置。接下来，参照图6，将描述根据本公开的实施例的流传输接收设备30的配置。
[0084] 图6是示出根据本公开的实施例的流传输接收设备30的配置的说明图。如图6所示，根据本公开实施例的流传输接收设备30包括输出控制部320、低质量数据解码部324、子流传输解码部328、高质量数据解码部332、主流传输解码部336、操作部352和主流传输请求部356。
[0085] (通信部)
[0086] 通信部344是多个流传输发送设备20和流传输接收设备30之间的接口，并且具有发送部和接收部的功能。例如，通信部344从多个流传输发送设备20接收子流传输。另外，通信部344基于来自主流传输请求部356的指令，向指定的流传输发送设备20发送主流传输发送开始请求，然后开始从流传输发送设备20接收主流传输。
[0087] (低质量数据解码部和子流传输解码部)
[0088] 低质量数据解码部324和子流传输解码部328是用于从流传输发送设备20接收到的子流传输获得解码的低质量数据的解码部的示例。具体地，子流传输解码部328从接收自流传输发送设备20的子流传输中提取低质量视频数据。然后，低质量数据解码部324解码由子流传输解码部328提取的低质量视频数据，以获得解码的低质量数据。注意，存在与连接到流传输接收设备30的流传输发送设备20一样多的低质量数据解码部324和子流传输解码部328对。
[0089] (高质量数据解码部和主流传输解码部)
[0090] 高质量数据解码部332和主流传输解码部336是用于从流传输发送设备20接收的子流传输获得解码的高质量数据的解码部的示例。具体地，主流传输解码部336从接收自流传输发送设备20的主流传输中提取高质量视频数据。然后，高质量数据解码部332对由主流传输解码部336提取的高分辨率数据进行解码，以获得解码的高质量数据。注意，存在与连接到流传输接收设备30的流传输发送设备20一样多的高质量数据解码部332和主流传输解码部336对，或者存在与可以同时发送主流传输的流传输发送设备20一样多的高质量数据解码部332和主流传输解码部336对。
[0091] (输出控制单元)
[0092] 输出控制部320具有将显示在显示设备40上的视频输出到显示设备40的显示输出部的功能，以及将从显示设备40输出的声音输出到显示设备40的声音输出部的功能。例如，输出控制部320基于由低质量数据解码部324获得的解码的低质量数据生成子视频，基于由高质量数据解码部332获得的解码的高质量数据生成主视频，并使显示设备40显示包含子视频和主视频的显示屏幕。在解码的低质量数据或解码的高质量数据包括声音的情况下，输出控制部320从解码数据生成声音，并使显示设备40输出该声音。
[0093] (操作部)
[0094] 操作部352是由用户操作以将指令或信息输入到流传输接收设备30中的部件。例如，用户可以在操作部352上执行主流传输发送开始操作，以请求特定的流传输发送设备20开始发送主流传输。
[0095] (主流传输请求部)
[0096] 主流传输请求部356基于操作部352上的主流传输发送开始操作，请求由用户指定的流传输发送设备20开始主流传输。具体地，主流传输请求部356向通信部344提供指定流传输发送设备20的主流传输发送开始请求(请求信号)，并且通信部344向指定的流传输发送设备20发送主流传输发送开始请求。
[0097] 注意，用于主流传输请求部356将主流传输发送开始请求提供给通信部344的触发不限于用户进行的操作。例如，主流传输请求部356可以向通信部344提供其中规则地指定不同流传输发送设备20的主流传输发送开始请求，或者向通信部344提供其中指定与子视频的分析结果相对应的流传输发送设备20的主流传输发送开始请求。作为子视频的分析结果，包括对象分析的结果、运动分析的结果等。对象分析的结果可以是例如从面部识别得到的人物信息、基于视频颜色信息识别的人物、物质或背景、或者声压的感测结果。
[0098] <<4.操作示例>>
[0099] 以上描述了根据本公开的实施例的流传输发送设备20和流传输接收设备30的配置。接下来，将逐一详细描述根据本公开实施例的流传输发送设备20和流传输接收设备30的一些操作示例。
[0100] <4-1.第一操作示例>
[0101] (流传输发送设备的操作)
[0102] 图7是示出流传输发送设备20的第一操作示例的流程图。如图7所示，在流传输接收设备30的IP地址或主机名还没有被设置的情况下(S410/否)，流传输发送设备20等待IP地址或主机名被设置(S412)。在设置了IP地址或主机名之后(S410/是)，流传输发送设备20然后开始向流传输接收设备30发送子流传输(S414)。
[0103] 然后，流传输发送设备20等待从流传输接收设备30接收主流传输发送开始请求(S416/否，以及S418)。一旦流传输发送设备20从流传输接收设备30接收到主流传输发送开始请求(S416/是)，高质量数据生成部232和主流传输生成部236开始操作，并且通信部244开始发送主流传输(S420)。
[0104] 然后，流传输发送设备20等待从流传输接收设备30接收主流传输发送停止请求(S422/否，以及S424)。一旦流传输发送设备20从流传输接收设备30接收到主流传输发送停止请求(S422/是)，高质量数据生成部232和主流传输生成部236停止操作，并且通信部244停止向流传输接收设备30发送主流传输(S426)。然后，流传输发送设备20重复从S418开始的处理。
[0105] (流传输接收设备的操作)
[0106] 图8是示出流传输接收设备30的第一操作示例的流程图。如图8所示，流传输接收设备30等待流传输发送设备20发送子流传输(S510/否，以及S512)。一旦流传输发送设备20发送子流传输，通信部344就接收子流传输，子流传输解码部328和低质量数据解码部324开始操作，并且输出控制部320开始输出子视频(S514)。
[0107] 然后，流传输接收设备30等待用户执行主流传输发送开始操作(S516/否，以及S518)。在用户随后执行主流传输发送开始操作的情况下(S516/是)，流传输接收设备30确定是否从除了根据主流传输发送开始操作指定的流传输发送设备20之外的流传输发送设备20接收到其他主流传输(S520)。在没有接收到其他主流传输的情况下(S520/否)，流传输接收设备30进行到S526中的处理。
[0108] 相反，在流传输接收设备30接收到其他主流传输的情况下，通信部344停止其他主流传输的接收，主流传输解码部336和高质量数据解码部332停止其他主流传输的操作，并且输出控制部320停止输出与其他主流传输相对应的主视频(S522)。此外，通信部344向发送其他主流传输的流传输发送设备20发送主流传输发送停止请求(S524)。
[0109] 然后，通信部344将主流传输发送开始请求发送到在S516中指定的流传输发送设备20(S526)。一旦通信部344从在S516中指定的流传输发送设备20接收到主流传输(S528/是)，主流传输解码部336和高质量数据解码部332就开始主流传输的操作，并且输出控制部320开始输出与主流传输相对应的主视频(S530)。然后，流传输接收设备30重复从S518开始的处理。
[0110] 注意，已经描述了一个示例，其中，流传输接收设备30在S524中发送图8中的用于其他主流传输的主流传输发送停止请求，然后将主流传输发送开始请求发送到在S526中新指定的流传输发送设备20，但是发送主流传输发送开始请求的定时不限于图8中所示的示例。参考图9，下面描述发送主流传输发送开始请求的定时的修改示例。
[0111] 图9是示出根据修改示例的流传输接收设备30的操作的流程图。在修改的示例中，如图9所示，在确定是否接收到其他主流传输(S520)到发送用于其他主流传输的主流传输发送停止请求(S524)之前，将主流传输发送开始请求发送到新指定的流传输发送设备20(S526)。
[0112] 根据这种修改示例，可以减少从用户的主流传输发送开始操作指定新的流传输发送设备20到基于从新的流传输发送设备20发送的主流传输显示的主图像所引起的延迟量。
[0113] (系统操作)
[0114] 接下来，参照图10和11，将总结显示控制系统的整体操作。
[0115] 图10和11是各自示出显示控制系统的第一操作示例的说明图。如图10所示，一旦流传输发送设备20A开始将子流传输发送到流传输接收设备30(S610)，流传输接收设备30就开始接收并解码从流传输发送设备20A发送的子流传输，并开始输出子视频(S612)。类似地，一旦流传输发送设备20B开始将子流传输发送到流传输接收设备30(S614)，流传输接收设备30就开始接收并解码从流传输发送设备20B发送的子流传输，并开始输出子视频(S616)。
[0116] 此后，一旦用户指定流传输发送设备20A执行主流传输发送开始操作(S618)，流传输接收设备30就将主流传输发送开始请求发送到流传输发送设备20A(S620)。流传输发送设备20A基于主流传输发送开始请求的接收，开始将主流传输发送到流传输接收设备30(S622)。流传输接收设备30开始接收并解码从流传输发送设备20A发送的主流传输，并开始输出主视频(S624)。
[0117] 然后，一旦用户指定流传输发送设备20B执行主流传输发送开始操作(S626)，流传输接收设备30就停止接收和解码从流传输发送设备20A发送的主流传输，并停止输出主视频(S628)。此外，流传输接收设备30将用于主流传输的发送停止请求发送到流传输发送设备20A(S630)，并且流传输发送设备20A停止将主流传输发送到流传输接收设备30(S632)。
[0118] 然后，流传输接收设备30将主流传输发送开始请求发送到流传输发送设备20B(S634)。流传输发送设备20B基于主流传输发送开始请求的接收开始将主流传输发送到流传输接收设备30(S636)。流传输接收设备30开始接收并解码从流传输发送设备20B发送的主流传输，并开始输出主视频(S638)。
[0119] (效果)
[0120] 根据如上所述的第一操作示例，每个流传输发送设备20发送子流传输，并且接收主流传输发送开始请求的流传输发送设备20还发送主流传输。与所有流传输发送设备20发送主流传输的情况相比，该配置使得可以抑制消耗的网络频带的量。另外，流传输接收设备30可以在不进行调整大小的情况下从子流传输中获得子视频，从而还可以减少流传输接收设备30上的处理负荷。
[0121] 另外，根据第一操作示例，接收主流传输发送开始请求的流传输发送设备20同时发送主流传输和子流传输。因此，流传输接收设备30可以显示基于从接收主流传输发送开始请求的流传输发送设备20发送的主流传输的主视频，并且并行地显示基于子流传输的子视频。也就是说，可以同时显示与相同视频数据相对应的主视频和子视频。下面描述同时显示与相同视频数据相对应的主视频和子视频的含义。
[0122] 考虑比较示例，其中用于显示主视频的第一显示设备和用于显示多个子视频的第二显示设备作为不同的实体存在，并且与在第一显示设备上显示的主视频相对应的子视频不在第二显示设备上显示。在该比较示例中，观看第二显示设备的用户难以获得关于在第一显示设备上显示的主视频的信息。
[0123] 例如，如图12所示，在存在显示主视频MVA的显示设备40A和显示子视频SVB至SVD的显示设备40B的情况下，观看显示设备40B的用户难以获得关于主视频MVA的信息。相反，根据第一操作示例，显示设备40B显示与主视频MVA相对应的子视频SVA，从而观看显示设备40B的用户也可以获得关于在显示设备40A上显示的主视频MVA的信息。
[0124] 另外，即使在同一显示设备40显示主视频和多个子视频的情况下，也用于同时显示从同一流传输发送设备20发送的基于主流传输的主视频和基于子流传输的子视频。例如，在广播系统中，如图13所示，作为主视频MVA，有时显示实况编辑的视频，其上叠加了标识46、显示时间47、字幕(telop)48等。此外，在视频数据属于体育的情况下，可以叠加记分板。即使在这种情况下，将原始视频显示为子视频SVA允许用户检查还没有被编辑的主视频MVA的状态。
[0125] (补充信息)
[0126] 这里，将给出关于如何进一步抑制要消耗的网络频带的补充信息。
[0127] 例如，当由流传输发送设备20发送的主流传输包括声音数据时，由流传输发送设备20发送的子流传输不必包括声音数据。例如，如图14所示，尽管主流传输MSA包括声音数据49，但子流传输SSA至子流传输SSD不必包括声音数据49。这种配置使得可以抑制子流传输SSA至子流传输SSD的通信所消耗的网络频带。另外，还可以减少流传输发送设备20和流传输接收设备30上的处理声音数据的负荷。
[0128] 可选地，由流传输发送设备20发送的子流传输中的色差信息量与亮度信息量的比例可以低于主流传输中的色差信息量与亮度信息量的比例。例如，子流传输不必包括色差信息。在这种情况下，可以抑制用于发送子流传输的消耗的网络频带的量。流传输接收设备30可以跳过关于色差的处理。另外，流传输发送设备20可以发送其中色差信息被抽取的子流传输。例如，在抽取之前亮度(Y)和色差(U和V)的比例是4:4的情况下，抽取之后亮度(Y)和色差(U和V)的比例可以是4:2或4:2:0。抽取还可以抑制用于发送子流传输的消耗的网络频带的量。
[0129] <4-2.第二操作示例>
[0130] 以上描述了第一操作示例。接下来，将描述第二操作示例。第二操作示例与第一操作示例的不同之处主要在于流传输发送设备20的操作。因此，下面描述流传输发送设备20的操作。
[0131] 图15是示出流传输发送设备20的第二操作示例的流程图。如图15所示，在流传输接收设备30的IP地址或主机名还没有被设置的情况下(S710/否)，流传输发送设备20等待IP地址或主机名被设置(S712)。在设置了IP地址或主机名之后(S710/是)，流传输发送设备20随后开始向流传输接收设备30发送子流传输(S714)。
[0132] 接下来，高质量数据生成部232和主流传输生成部236开始操作，并且主流传输生成部236开始输出主流传输，但是发送控制部240丢弃主流传输(S716)。
[0133] 然后，流传输发送设备20等待从流传输接收设备30接收主流传输发送开始请求(S718/否，以及S720)。一旦从流传输接收设备30接收到主流传输发送开始请求(S718/是)，发送控制部240就开始向通信部244提供主流传输，并且通信部244开始发送主流传输(S722)。
[0134] 然后，流传输发送设备20等待从流传输接收设备30接收主流传输发送停止请求(S724/否，以及S726)。一旦流传输发送设备20从流传输接收设备30接收到主流传输发送停止请求(S724/是)，发送控制部240就停止向通信部244提供主流传输，并且通信部244停止向流传输接收设备30提供主流传输(S728)。然后，流传输发送设备20重复从S720开始的处理。
[0135] 如上所述，在根据第二操作示例的流传输发送设备20中，高质量数据生成部232和主流传输生成部236在接收到主流传输发送开始请求之前开始操作。因此，可以抑制从接收到主流传输发送开始请求到开始发送主流传输所引起的延迟。
[0136] 注意，上面描述了在接收到主流传输发送开始请求之前，高质量视频数据生成部232和主流传输生成部236开始操作的示例，但是在高质量数据生成部232和主流传输生成部236中，高质量数据生成部232可以单独地开始操作。这种配置还使得可以抑制不是一点点延迟。另外，可以减少主流传输生成部236的资源，该资源被消耗用于生成实际上没有被发送的主流传输。
[0137] 另外，在强调抑制由切换主视频引起的延迟(切换延迟)的情况下，流传输发送设备20也用于继续发送子流传输和主流传输两者。在这种情况下，流传输接收设备30可以保持主流传输解码部336和高质量数据解码部332处于操作中，并且获取或丢弃由高质量数据解码部332获取的解码的高质量数据。这种配置使得可以显著地抑制由切换主流传输引起的延迟。
[0138] <4-3.第三操作示例>
[0139] 以上描述了第二操作示例。接下来，将描述第三操作示例。第三操作示例使用指定接下来显示的主视频的NEXT(下一)功能，并且抑制主视频的切换延迟。首先，参照图16，将描述NEXT功能。
[0140] 在一些情况下，与显示的主视频相对应的主流传输的发送源的流传输发送设备20被称为PGM。相反，与接下来显示的主视频相对应的流传输发送设备20可被称为NEXT。在图16所示的示例中，显示主视频MVA，并且将与主视频MVA相对应的主流传输MSA的发送源的流传输发送设备20A指定为PGM。此外，在图16中，子视频SVB具有NEXT，并且与子视频SVB相对应的子流传输SSB的发送源的流传输发送设备20B被指定为NEXT。
[0141] 用户可以通过操作操作部352来指定NEXT。例如，用户可以通过选择多个显示的子视频中的任何一个来指定NEXT。用户将特定流传输发送设备20指定为NEXT，然后将流传输发送设备20指定为PGM，以开始显示基于从流传输发送设备20发送的主流传输的主视频。
[0142] 在第三操作示例中，上述NEXT功能被用于抑制主视频的切换延迟。具体地，当特定流传输发送设备20被指定为NEXT时，流传输接收设备30将主流传输发送开始请求发送到流传输发送设备20。
[0143] 例如，如图16所示，在流传输发送设备20A被指定为PGM且流传输发送设备20B被指定为NEXT的情况下，流传输接收设备30将主流传输发送开始请求发送给流传输发送设备20B，作为指定下一显示的指定信号。结果，如图17所示，流传输发送设备20A发送主流传输MSA，并且流传输发送设备20B发送主流传输MSB。流传输接收设备30的主流传输解码部336和高质量数据解码部332在后台执行主流传输MSB的处理。然后，在流传输发送设备20B被指定为PGM之后，输出控制部320使显示设备40开始显示基于主流传输MSB的主视频MVB。这种配置使得可以抑制从流传输发送设备20B被指定为PGM到基于主流传输MSB的主视频MVB正被显示所引起的切换延迟。
[0144] 参照图18，下面总结上述第三操作示例。
[0145] 图18是示出显示控制系统的第三操作示例的说明图。图18示出了图13所示的处理之后的处理。也就是说，图18示出了在流传输接收设备30输出基于从流传输发送设备20A发送的主流传输的主视频之后执行的处理。
[0146] 一旦用户将流传输发送设备20B指定为NEXT(S642)，流传输接收设备30就将主流传输发送开始请求发送到流传输发送设备20B(S644)。流传输发送设备20B基于主流传输发送开始请求的接收，开始将主流传输发送到流传输接收设备30(S646)。流传输接收设备30开始接收并解码从流传输发送设备20B发送的主流传输，但是此时不输出主视频(S648)。
[0147] 一旦用户根据GUI上的预定操作、操作键等将流传输发送设备20B指定为PGM以后(S650)，流传输接收设备30就开始输出基于从流传输发送设备20B发送的主流传输的主视频(S652)。接下来，流传输接收设备30停止接收和解码从流传输发送设备20A发送的主流传输，并停止输出主视频(S654)。然后，流传输接收设备30将用于主流传输的发送停止请求发送到流传输发送设备20A(S656)，并且流传输发送设备20A停止将主流传输发送到流传输接收设备30(S658)。注意，PGM不是基于用户执行的操作来指定的，而是可以基于从NEXT被指定开始的预定逝去时间，或者传感器输入等满足预先设置的条件的事实来指定。
[0148] 根据如上所述的第三操作示例，在S650中流传输发送设备20B被指定为PGM之前，接收并解码从流传输发送设备20B发送的主流传输。因此，在S650中流传输发送设备20B被指定为PGM之后，可以以较少的延迟将主视频切换到基于从流传输发送设备20B发送的主流传输的主视频。
[0149] <<5.硬件配置>>
[0151] 图19是示出流传输接收设备30的硬件配置的框图。流传输接收设备30包括中央处理单元(CPU)301、只读存储器(ROM)302、随机存取存储器(RAM)303和主机总线304。另外，流传输接收设备30包括桥接器(bridge)305、外部总线306、接口307、输入设备308、输出设备310、存储设备(HDD)311、驱动器312和通信设备315。
[0152] CPU301起操作处理设备和控制设备的作用，并且根据各种程序控制流传输接收设备30的整体操作。此外，CPU301还可以是微处理器。ROM302存储CPU301使用的程序、操作参数等。RAM303临时存储在CPU301的执行中使用的程序以及在执行期间适当改变的参数等。这些通过包括CPU总线的主机总线304彼此连接。这些CPU301、ROM302和RAM303与软件的协作可以执行参照图6描述的输出控制部320、主流传输请求部356等的功能。
[0153] 主机总线304通过桥接器305连接到外部总线306，诸如外围部件互连/接口(PCI)总线。注意，主机总线304、桥接器305和外部总线306不一定被配置为不同的实体，而是其功能可以在一条总线中实现。
[0154] 输入设备308包括诸如鼠标、键盘、触摸面板、按钮、麦克风、开关和控制杆的输入机构，用于用户输入信息；以及输入控制电路，其基于来自用户的输入生成输入信号，并将输入信号输出到CPU301。流传输接收设备30的用户可以将各种数据输入到流传输接收设备30，并且通过操作输入设备308来指示流传输接收设备30执行处理操作。
[0155] 输出设备310包括例如显示设备，诸如阴极射线管(CRT)显示设备、液晶显示(LCD)设备、有机发光二极管(OLED)设备和灯。输出设备310还包括诸如扬声器和头戴式耳机的声音输出设备。输出设备310输出例如再现的内容。具体地，显示设备以文本或图像的形式显示诸如再现的视频数据的各种信息。同时，声音输出设备将再现的声音数据等转换成声音，并输出该声音。输出设备310的示例包括个人计算机(PC)或诸如平板设备的电子设备。然而，输出设备310可以是另一设备。
[0156] 存储设备311是被配置为根据本实施例的流传输接收设备30的存储部的示例的数据存储设备。存储设备311可以包括记录介质、在记录介质中记录数据的记录设备、从记录介质读出数据的读出设备、删除记录在记录介质中的数据的删除设备等。存储设备311包括例如硬盘驱动器(HDD)。该存储设备311驱动硬盘，并且存储由CPU301执行的程序和各种数据。
[0157] 驱动器312是用于存储介质的读取器/写入器，并且内置或外部附接到流传输接收设备30。驱动器312读出记录在诸如安装的磁盘、光盘、磁光盘和半导体存储器的可移动存储介质24上的信息，并将读出的信息输出到RAM303。另外，驱动器312还可以将信息写入可移除存储介质24。
[0158] 通信设备315例如是包括用于连接到外部设备的通信设备等的通信接口。另外，通信设备315还可以是支持无线局域网(LAN)的通信设备、支持长期演进(LTE)的通信设备或执行有线通信的有线通信设备。
[0159] 注意，上面参考图19描述了流传输接收设备30的硬件配置，但是流传输发送设备20的硬件可以以与流传输接收设备30的硬件基本相同的方式配置。因此，将不描述流传输发送设备20的硬件。
[0160] <<6.应用示例>
[0161] <6-1.第一应用示例>
[0162] 根据本公开的实施例的技术可应用于各种产品。例如，根据本公开的实施例的技术可以应用于手术室系统。
[0163] 图20是示意性地示出了根据本公开的技术可以应用于的手术室系统5100的整体配置的图。参照图20，手术室系统5100被配置为使得安装在手术室中的一组设备经由视听控制器(AV控制器)5107和手术室控制设备5109彼此协作地连接。
[0164] 各种设备可以安装在手术室中。作为示例，图20示出了用于内窥镜手术的各种设备的组5101、安装在手术室的天花板上并对外科医生的手进行成像的天花板摄像机5187、安装在手术室的天花板上并对整个手术室的状态进行成像的手术室摄像机5189、多个显示设备5103A至5103D、记录器5105、病床5183和照明设备5191。
[0165] 在此，这些设备中的设备组5101属于后述的内窥镜手术系统5113，包括内窥镜、显示由内窥镜捕获的图像的显示设备等。属于内窥镜手术系统5113的每个设备也被称为医疗设备。另一方面，显示设备5103A至5103D、记录器5105、病床5183和照明设备5191是与例如手术室中的内窥镜手术系统5113分开安装的设备。不属于内窥镜手术系统5113的每个设备也称为非医疗设备。视听控制器5107和/或手术室控制设备5109相互协作地控制医疗设备和非医疗设备的操作。
[0166] 视听控制部5107通常控制与医疗设备和非医疗设备的图像显示相关的处理。具体而言，手术室系统5100所包含的设备组5101、天花板摄像机5187、手术室摄像机5189也可以是具有发送手术期间显示的信息(以下也称为显示信息)的功能的设备(以下也称为发送源设备)。此外，显示设备5103A至5103D可以是从其输出显示信息的设备(以下也称为输出目的地设备)。此外，记录器5105也可以是与发送源设备和输出目的地设备两者对应的设备。视听控制部5107具有控制发送源设备和输出目的地设备的操作、从发送源设备获取显示信息、并将该显示信息发送到输出目的地设备以显示或记录该显示信息的功能。此外，显示信息包括在手术期间捕获的各种图像、与手术有关的各种信息(例如，患者的身体信息、先前检查结果、与手术形式有关的信息等)等。
[0167] 具体地，由内窥镜成像的患者体腔内的手术部位的图像的信息可以作为显示信息从设备组5101发送到视听控制器5107。另外，由天花板摄像机5187捕获的外科医生的手的图像的信息可以作为显示信息从天花板摄像机5187发送。此外，可以从手术室摄像机5189发送用于示出由手术室摄像机5189捕获的整个手术室的状态的图像的信息作为显示信息。此外，在手术室系统5100中存在具有成像功能的另一设备的情况下，视听控制器5107可以从另一设备获取由另一设备捕获的图像的信息作为显示信息。
[0168] 视听控制器5107使所获取的显示信息(即，在手术期间捕获的图像或与手术相关的各种信息)显示在作为输出目的地设备的显示设备5103A至5103D中的至少一个上。在所示的示例中，显示设备5103A是通过将其悬挂在手术室的天花板上而安装的显示设备，显示设备5103B是安装在手术室的墙壁表面上的显示设备，显示设备5103C是安装在手术室中的桌子上的显示设备，并且显示设备5103D是具有显示功能的移动设备(例如，平板个人计算机(PC))。
[0169] 此外，尽管在图20中未示出，手术室系统5100可以包括手术室外部的设备。手术室外的外部设备可以是例如连接到在医院内部或外部构建的网络的服务器、医务人员使用的PC、安装在医院的会议室中的投影仪等。在外部设备安装在医院外的情况下，视听控制器5107也可以经由远程会议系统等在其他医院的显示设备上显示信息，以用于远程医疗服务。
[0170] 手术室控制设备5109通常控制非医疗设备中的与图像显示相关的处理以外的处理。例如，手术室控制设备5109控制病床5183、天花板摄像机5187、手术室摄像机5189和照明设备5191的驱动。
[0171] 在手术室系统5100中安装有集中操作面板5111，并且用户可以经由集中操作面板5111向视听控制器5107给出用于图像显示的指令，并且向手术室控制设备5109给出用于非医疗设备的操作的指令。集中操作面板5111被配置为使得触摸面板被安装在显示设备的显示表面上。
[0172] 图21是示出集中操作面板5111的操作画面的显示例的图。作为示例，在图21中示出了与在手术室系统5100中安装两个显示设备作为输出目的地设备的情况相对应的操作画面。参照图21，操作画面5193包括发送源选择区域5195、预览区域5197和控制区域5201。
[0173] 在发送源选择区域5195中，安装在手术室系统5100中的发送源设备和指示存储在发送源设备中的显示信息的缩略图画面被彼此相关联地显示。用户可以从在发送源选择区域5195中显示的发送源设备的任一个中选择她或他期望在显示设备上显示的显示信息。
[0174] 在预览区域5197中，显示在作为输出目的地设备的两个显示设备(监视器1和监视器2)上显示的画面的预览。在所示的示例中，在一个显示设备上以PinP(画中画)形式显示四个图像。四个图像对应于从在发送源选择区域5195中选择的发送源设备发送的显示信息。四个图像中的一个以相对大的尺寸显示为主图像，而其余三个图像以相对小的尺寸显示为子图像。用户可以通过适当地选择显示四个图像的区域来执行主图像和子图像之间的切换。此外，在显示四个图像的区域的下方设置状态显示区域5199，并且可以在该区域中适当地显示与手术有关的状态(例如，手术的经过时间、患者的身体信息等)。
[0175] 在控制区域5201中设置显示用于对发送源设备进行操作的图形用户界面(GUI)部的发送源操作区域5203和显示用于对输出目的地设备进行操作的GUI部的输出目的地操作区域5205。在所示示例中，在发送源操作区域5203中设置用于对具有成像功能的发送源设备中的摄像机执行各种操作(摇摄、倾斜和变焦)的GUI部。用户可以通过适当地选择GUI部来操作发送源设备中的摄像机的操作。此外，尽管未示出，但是在发送源选择区域5195中选择的发送源设备是记录器的情况下(即，在预览区域5197中显示先前记录在记录器中的图像的情况下)，可以在发送源操作区域5203中设置用于执行诸如图像再现、再现停止、倒带、快进等操作的GUI部。
[0176] 此外，在输出目的地操作区域5205中设置用于执行关于作为输出目的地设备的显示设备中的显示的各种操作(交换、翻转、颜色调节、对比度调节、以及在2D显示和3D显示之间的切换)的GUI部。用户可以通过适当地选择这些GUI部来操作显示设备中的显示。
[0177] 注意，集中操作面板5111上显示的操作画面不限于所示示例，并且用户能够输入对安装在手术室系统5100中并且能够通过集中操作面板5111由视听控制器5107和手术室控制设备5109控制的每个设备的操作。
[0178] 图22是示出应用了上述手术室系统的手术状态的示例的图。天花板摄像机5187和手术室摄像机5189安装在手术室的天花板上，并且能够对在病床5183上的患者5185的患病部位上执行治疗的外科医生(内科医生)5181的手和整个手术室的状态进行成像。可以在天花板摄像机5187和手术室摄像机5189中设置倍率调节功能、焦距调节功能、成像方向调节功能等。照明设备5191安装在手术室的天花板上并且至少照亮外科医生5181的手。照明设备5191能够适当地调节照射光量、照射光的波长(颜色)、光照射方向等。
[0179] 如图20所示，内窥镜手术系统5113、病床5183、天花板摄像机5187、手术室摄像机5189和照明设备5191通过视听控制器5107和手术室控制设备5109(图22中未示出)相互协作地连接。集中操作面板5111安装在手术室中，并且如上所述，用户可以通过集中操作面板
5111适当地操作安装在手术室中的这些设备。
5111适当地操作安装在手术室中的这些设备。
[0180] 以下，将对内窥镜手术系统5113的配置进行详细说明。如图所示，内窥镜手术系统5113具有内窥镜5115、其他手术器械5131、支撑内窥镜5115的支撑臂设备5141、以及设置有各种内窥镜手术用设备的推车5151。
[0181] 在内窥镜手术中，不是通过切开腹壁来打开腹部，而是使用被称为套管针5139a至5139d的管状开孔器具在多个位置穿刺腹壁。随后，将内窥镜5115的透镜管5117和其他手术器械5131从套管针5139a-5139d插入患者5185的体腔。在所示的示例中，气腹管5133、能量治疗器具5135和镊子5137作为其他手术器械5131插入患者5185的体腔。能量治疗器具5135是通过高频电流或超声波振动来切开和消融、或封闭血管等的治疗器具。然而，图中所示的手术器械5131仅仅是示例，并且例如通常用于内窥镜手术的各种类型的手术器械中的任一种(诸如镊子和牵开器)也可以用作手术器械5131。
[0182] 由内窥镜5115拍摄的患者5185的体腔内的手术部位的图像被显示在显示设备5155上。外科医生5181例如在实时观察显示在显示设备5155上的手术部位的图像的同时，使用能量治疗器具5135和钳子5137来执行治疗，诸如切除患病区域。注意，尽管从图中省略，但是气腹管5133、能量治疗器具5135和钳子5137在手术期间由诸如外科医生5181或助手的人支撑。
[0183] (支撑臂设备)
[0184] 支撑臂设备5141设置有从基部5143延伸的臂部5145。在图示的示例中，臂部5145包括接合部5147a、5147b、5147c、以及连杆5149a和5149b，并且通过来自臂控制设备5159的控制指令而被驱动。内窥镜5115由臂部5145支撑，从而控制位置和姿态。利用这种布置，可以实现将内窥镜5115锁定在稳定位置。
[0185] (内窥镜)
[0186] 内窥镜5115包括具有从插入患者5185的体腔中的前端开始的一定长度区域的透镜管5117，以及连接到透镜管5117的基端的摄像机头5119。在图示的示例中，示出了具有刚性的透镜管5117的、作为所谓的刚性镜配置的内窥镜5115，但也可以将内窥镜5115配置为具有柔性的透镜管5117的、所谓的柔性镜。
[0187] 在透镜管5117的前端，设置有开口，物镜被装配到该开口中。光源设备5157与内窥镜5115连接。由光源设备5157生成的光通过在透镜管5117内延伸的导光件被引导到透镜管5117的前端，并通过物镜向患者5185的体腔内的观察目标照射。另外，内窥镜5115可以是前方观察镜、斜视观察镜或侧方观察镜。
[0188] 在摄像机头5119内部设置光学系统和图像传感器，并且来自观察目标的反射光(观察光)通过光学系统被会聚到图像传感器上。观察光由图像传感器进行光电转换，并且生成与观察光相对应的电信号，或者换句话说，生成与观察图像相对应的图像信号。图像信号作为RAW数据被发送到摄像机控制单元(CCU)5153。注意，摄像机头5119设置有通过适当地驱动光学系统来调节倍率和焦距的功能。
[0189] 注意，为了支持立体视觉(3D显示)等，例如，摄像机头5119也可以设置有多个图像传感器。在这种情况下，在透镜管5117内部设置多个中继光学子系统，以将观察光引导到多个图像传感器中的每一个。
[0190] (设在推车上的各种装置)
[0191] CCU5153包括诸如中央处理单元(CPU)和图形处理单元(GPU)的部件，并且集中控制内窥镜5115和显示设备5155的操作。具体地，例如，CCU5153对从摄像机头5119接收的图像信号进行用户基于图像信号显示图像的各种类型的图像处理，诸如显影处理(去马赛克处理)。CCU5153将经过了这种图像处理的图像信号提供给显示设备5155。此外，图20中所示的视听控制器5107连接到CCU5153。CCU5153还将经过图像处理的图像信号提供给视听控制器5107。此外，CCU5153将控制信号发送到摄像机头5119以控制其驱动。控制信号可以包括与成像参数相关的信息，诸如倍率和焦距。与成像参数相关的信息可以经由输入设备5161输入，或者可以经由集中操作面板5111输入。
[0192] 显示设备5155在CCU5153的控制下，基于经过CCU5153的图像处理的图像信号来显示图像。例如，在内窥镜5115支持诸如4K(3840水平像素×2160垂直像素)或8K(7680水平像素×4320垂直像素)的高分辨率成像，和/或支持3D显示的情况下，作为显示设备5155，可以使用各自兼容并且能够高分辨率显示和/或3D显示的设备。在支持诸如4K或8K的高分辨率成像的情况下，具有55英寸或更大尺寸的设备可以用作显示设备5155，从而获得更深的沉浸感。此外，根据应用，还可以提供不同分辨率和尺寸的多个显示设备5155。
[0194] 臂控制设备5159例如包括诸如CPU的处理器，并且通过按照特定的程序进行操作，按照特定的控制方法控制支承臂设备5141的臂部5145的驱动。
[0195] 输入设备5161是相对于内窥镜手术系统5113的输入接口。通过输入设备5161，用户能够将各种信息和指令输入到内窥镜手术系统5113中。例如，通过输入设备5161，用户输入与手术有关的各种信息，诸如关于患者的身体信息和关于手术过程的信息。作为另一示例，通过输入设备5161，用户输入驱动臂部5145的指令、改变内窥镜5115成像的成像参数(诸如照射光的类型、倍率和焦距)的指令、驱动能量治疗器具5135的指令等。
[0196] 输入设备5161的类型不受限制，并且输入设备5161可以是各种已知类型的输入设备中的任何一种。例如，诸如鼠标、键盘、触摸面板、开关、脚踏开关5171和/或控制杆的设备可以用作输入设备5161。在触摸面板用作输入设备5161的情况下，触摸面板可以设置在显示设备5155的显示屏幕上。
[0197] 可选地，输入设备5161例如是用户穿戴的设备(诸如眼镜型可穿戴设备或头戴式显示器(HMD))，并且根据这些设备检测到的用户的姿势或凝视来执行各种输入。此外，输入设备5161包括能够检测用户的移动的摄像机，并且根据从摄像机所捕获的视频中检测到的用户的姿势或凝视来进行各种输入。此外，输入设备5161包括能够拾取用户的语音的麦克风，并且经由麦克风通过语音执行各种输入。以这种方式，通过将输入设备5161配置为能够以非接触方式接受各种信息的输入，尤其是属于清洁区域的用户(例如，外科医生5181)能够以非接触方式操作属于不清洁区域的设备。此外，由于用户能够在不将手从用户所握持的器具上拿开的情况下操作设备，因此提高了用户的便利性。
[0198] 治疗器具控制设备5163控制能量治疗器具5135的驱动，以烧灼或切开组织、封闭血管等。气腹设备5165通过气腹管5133将气体输送到体腔内，以使患者5185的体腔膨胀，从而确保内窥镜5115的视场并确保外科医生的工作空间。记录器5167是能够记录与手术有关的各种类型的信息的设备。打印机5169是能够以各种格式(诸如文本、图像或图形)打印出与手术有关的各种类型的信息的设备。
[0199] 下面，对内窥镜手术系统5113的具体的特征配置进行详细说明。
[0200] (支臂设备)
[0201] 支撑臂设备5141包括用作基部的基部部分5143和从基部部分5143延伸的臂部5145。在图示的示例中，臂部5145具有多个接合部5147a、5147b、5147c以及通过接合部
5147b接合的多个连杆5149a和5149b，但在图22中，为了简化，臂部5145的配置被简化示出。
实际上，可以适当地设定诸如接合部5147a-5147c和连杆5149a和5149b的形状、数量和布置以及接合部5147a-5147c的旋转轴的方向的因素，从而使得臂部5145具有期望的自由度。例如，臂部5145优选地可以被配置成具有六个或更多个自由度。通过该配置，可以在臂部5145的可动范围内自由地移动内窥镜5115，并且因此可以将内窥镜5115的透镜管5117从期望的方向插入患者5185的体腔内。
5147b接合的多个连杆5149a和5149b，但在图22中，为了简化，臂部5145的配置被简化示出。
实际上，可以适当地设定诸如接合部5147a-5147c和连杆5149a和5149b的形状、数量和布置以及接合部5147a-5147c的旋转轴的方向的因素，从而使得臂部5145具有期望的自由度。例如，臂部5145优选地可以被配置成具有六个或更多个自由度。通过该配置，可以在臂部5145的可动范围内自由地移动内窥镜5115，并且因此可以将内窥镜5115的透镜管5117从期望的方向插入患者5185的体腔内。
[0202] 接合部5147a至5147c包括致动器，并且接合部5147a至5147c被配置成能够根据致动器的驱动而绕特定的旋转轴旋转。通过用臂控制设备5159控制致动器的驱动，控制接合部5147a至5147c中的每一个的旋转角度，并且控制臂部5145的驱动。利用这种布置，可以实现对内窥镜5115的位置和姿态的控制。此时，臂控制设备5159能够利用各种已知类型的控制方法(诸如力控制或位置控制)中的任一种来控制臂部5145的驱动。
[0203] 例如，通过使外科医生5181经由输入设备5161(包括脚踏开关5171)执行适当的操作输入，臂部5145的驱动可以根据操作输入由臂控制设备5159适当地控制，并且内窥镜5115的位置和姿态可以被控制。通过这样的控制，在将臂部5145的前端的内窥镜5115从任意位置移动到任意位置之后，内窥镜5115能够被牢固地支撑在新的位置。注意，臂部5145也可以通过所谓的主从方法来操作。在这种情况下，臂部5145可以由用户经由安装在远离手术室的位置的输入设备5161远程地操作。
[0204] 此外，在施加力控制的情况下，臂控制设备5159可以接收来自用户的外力，并且驱动接合部5147a至5147c中的每一个的致动器，使得臂部5145响应于也被称为动力辅助控制的外力而平滑地移动。利用这种布置，当用户在直接触摸臂部5145的同时移动臂部5145时，可以利用相对轻的力移动臂部5145。因此，可以更直观地用更简单的操作移动内窥镜5115，并且可以提高用户便利性。
[0205] 在此，在内窥镜手术中，通常内窥镜5115由被称为内窥镜师(scopist)的医生支撑。相反，通过使用支撑臂设备5141，可以在没有手动工作的情况下更可靠地保持内窥镜5115的位置固定，并且因此可以一致地获得手术部位的图像，使得可以顺利地执行手术。
[0206] 注意，臂控制设备5159不必必须设置在推车5151上。此外，臂控制设备5159不必是一个设备。例如，也可以在支撑臂设备5141的臂部5145的接合部5147a至5147c的每一个中分别设置臂控制设备5159，并且多个臂控制设备5159可以彼此协作以实现臂部5145的驱动控制。
[0207] (光源设备)
[0208] 在对手术部位进行成像时，光源设备5157向内窥镜5115供给照射光。光源设备5157包括例如由LED、激光光源或两者的组合配置的白色光源。此时，在通过RGB激光光源的组合来配置白色光源的情况下，可以以高精度控制每种颜色(每个波长)的输出强度和输出定时，并且因此可以利用光源设备5157来调整所捕获的图像的白平衡。此外，在这种情况下，通过以时分方式用来自RGB激光源中的每一个的激光照射观察目标，并且与照射定时同步地控制摄像机头5119的图像传感器的驱动，还可以以时分方式分别捕获与R、G和B对应的图像。根据这种方法，可以在不为图像传感器提供滤色器的情况下获得彩色图像。
[0209] 另外，也可以控制光源设备5157的驱动，以便每当经过一定量的时间时改变要输出的光的强度。通过以时分方式与改变光强度的定时同步地控制摄像机头5119的图像传感器的驱动来获取图像，并且将这些图像合成在一起，可以生成高动态范围图像，而没有所谓的黑色破碎(crushed black)和白色溢出(blown-out white)。
[0210] 另外，光源设备5157也可以被配置为能够以与特殊成像相对应的特定波长带提供光。对于特殊成像，例如利用生物体组织的光吸收的波长依存性，与正常观察期间的照射光(即白色光)相比，以窄频带照射光，由此对诸如粘膜的表层部分中的血管的特定组织进行高对比度的成像，也称为窄频带成像(NBI)。可选地，对于特殊成像，也可以进行通过照射激发光利用荧光获得图像的荧光观察。对于荧光观察，可以用激发光照射身体组织并观察来自身体组织的荧光(自发荧光观察)，或者将诸如吲哚菁绿(ICG)的试剂局部注射到身体组织中，同时还用与试剂的荧光波长相对应的激发光照射该身体组织以获得荧光图像等。光源设备5157可以被配置为能够提供与这种特殊成像相对应的窄带光和/或激发光。
[0211] (摄像机头和CCU)
[0212] 下面将参照图23更详细地描述内窥镜5115的摄像机头5119和CCU5153的功能。图23是示出图22所示的摄像机头5119和CCU5153的功能部件的示例的框图。
[0213] 参照图23，功能上，摄像机头5119包括透镜单元5121、成像部5123、驱动部5125、通信部5127和摄像机头控制部5129。另外，在功能上，CCU5153包括通信部5173、图像处理部5175和控制部5177。摄像机头5119和CCU5153通过传输线缆5179双向通信连接。
[0214] 首先，将描述摄像机头5119的功能部件。透镜单元5121是设置在连接到透镜管5117的部分中的光学系统。从透镜管5117前端引入的观察光被引导到摄像机头5119，并入射到透镜单元5121上。透镜单元5121包括多个透镜的组合，包括变焦透镜和聚焦透镜。调整透镜单元5121的光学特性，以将观察光会聚到成像部5123中的图像传感器的感光面上。此外，变焦透镜和聚焦透镜被配置为能够在光轴上移动位置，以调节捕获图像的倍率和焦点。
[0215] 成像部5123包括图像传感器，并且设置在透镜单元5121的下游。通过透镜单元5121的观察光被会聚到图像传感器的感光面上，并且通过光电转换，生成与观察图像相对应的图像信号。由成像部5123生成的图像信号被提供给通信部5127。
[0216] 对于包括在成像部5123中的图像传感器，例如使用具有Bayer(拜耳)阵列以使得能够进行彩色成像的互补金属氧化物半导体(CMOS)型图像传感器。注意，例如，能够捕获4K或更大的高分辨率图像的传感器可以用作图像传感器。通过获得手术部位的高分辨率图像，外科医生5181能够更详细地掌握手术部位的状态，并且更顺利地进行手术。
[0217] 此外，包括在成像部5123中的图像传感器包括一对图像传感器，用于分别获取对应于3D显示的右眼和左眼的图像信号。通过呈现3D显示，外科医生5181能够更精确地掌握在手术部位的生物组织的深度。注意，如果成像部5123具有多芯片配置，则透镜单元5121同样设置有与每个图像传感器对应的多个子系统。
[0218] 此外，成像部5123不必设置在摄像机头5119中。例如，成像部5123也可以设置在透镜管5117内部，直接在物镜后面。
[0219] 驱动部5125包括致动器，并且在来自摄像机头控制部5129的控制下，使透镜单元5121的变焦透镜和聚焦透镜沿着光轴移动一定距离。利用这种布置，可以适当地调整由成像部5123捕获的图像的倍率和焦点。
[0220] 通信部5127包括用于向CCU5153发送和从其接收各种信息的通信设备。通信部5127通过传输线缆5179将从成像部5123获得的图像信号作为RAW数据发送到CCU5153。此时，为了以低延迟显示手术部位的捕获图像，优选地通过光通信来发送图像信号。这是因为在手术中，外科医生5181在经由捕获图像观察患病区域的状态的同时进行手术，因此为了更安全和更可靠的手术，需要尽可能接近实时地显示手术部位的运动图像。在进行光通信的情况下，通信部5127设置有将电信号转换成光信号的光电转换模块。图像信号通过光电转换模块转换为光信号，然后通过传输线缆5179发送到CCU5153。
[0221] 而且，通信部5127从CCU5153接收用于控制摄像机头5119的驱动的控制信号。例如，控制信号包括与成像参数有关的信息，诸如指定捕获图像的帧速率的信息、指定成像期间的曝光值的信息和/或指定捕获图像的倍率和焦点的信息。通信部5127将接收的控制信号提供给摄像机头控制部5129。注意，来自CCU5153的控制信号也可以通过光通信来发送。在这种情况下，通信部5127设有将光信号转换成电信号的光电转换模块，由此控制信号被光电转换模块转换成电信号，然后被提供给摄像机头控制部5129。
[0222] 另外，上述诸如帧速率、曝光值、倍率、焦点的成像参数是由CCU5153的控制部5177基于获取的图像信号自动设定的。换句话说，在内窥镜5115中设置所谓的自动曝光(AE)功能、自动聚焦(AF)功能和自动白平衡(AWB)功能。
[0223] 摄像机头控制部5129基于经由通信部5127接收的来自CCU5153的控制信号来控制摄像机头5119的驱动。例如，摄像机头控制部5129基于指定捕获图像的帧速率的信息和/或指定成像期间的曝光的信息，控制成像部5123的图像传感器的驱动。作为其他示例，摄像机头控制部5129基于指定捕获图像的倍率和焦点的信息，通过驱动部5125适当移动透镜单元5121的变焦透镜和聚焦透镜。另外，摄像机头控制部5129还可以设置有存储用于识别透镜管5117和摄像机头5119的信息的功能。
[0224] 注意，通过以高度气密和防水密封结构设置诸如透镜单元5121和成像部5123的部件的部分，摄像机头5119可以被制成耐受高压灭菌处理。
[0225] 接下来，将描述CCU5153的功能部件。通信部5173包括用于向和从摄像机头5119发送和接收各种信息的通信设备。通信部5173通过传输线缆5179接收从摄像机头5119发送的图像信号。此时，如前所述，优选地，可以通过光通信来发送图像信号。在这种情况下，为了支持光通信，通信部5173设置有将光信号转换成电信号的光电转换模块。通信部5173将被转换成电信号的图像信号提供给图像处理部5175。
[0226] 此外，通信部5173将用于控制摄像机头5119的驱动的控制信号发送到摄像机头5119。控制信号也可以通过光通信来发送。
[0227] 图像处理部5175对从摄像机头5119发送的包括RAW数据的图像信号执行各种类型的图像处理。例如，图像处理包括各种类型的已建立的信号处理，诸如显影处理、图像质量改善处理(诸如频带增强处理、超分辨率处理、降噪(NR)处理和/或抖动校正处理)和/或放大处理(数字变焦处理)。此外，图像处理部5175对图像信号进行波检测处理以进行AE、AF和AWB。
[0228] 图像处理部5175包括诸如CPU或GPU的处理器，并且通过使该处理器按照特定的程序进行操作，能够进行上述的图像处理和波形检测处理。注意，在图像处理部5175包括多个GPU的情况下，图像处理部5175适当地划分与图像信号相关的信息，并与多个GPU并行地进行图像处理。
[0229] 控制部5177进行与内窥镜5115对手术部位进行摄像以及显示捕获图像有关的各种控制。例如，控制部5177生成用于控制摄像机头5119的驱动的控制信号。此时，在由用户输入成像参数的情况下，控制部5177基于用户输入而生成控制信号。可选地，在内窥镜5115设置有AE功能、AF功能、AWB功能的情况下，控制部5177根据图像处理部5175的波形检测处理的结果，适当地计算最佳曝光值、焦距和白平衡，并生成控制信号。
[0230] 另外，控制部5177使显示设备5155基于由图像处理部5175进行图像处理的图像信号来显示手术部位的图像。此时，控制部5177使用各种图像识别技术中的任一种来识别手术部位图像中的各种物体。例如，通过检测包括在手术部位图像中的物体的诸如边缘形状和颜色的特征，控制部5177能够识别诸如镊子的手术器械、身体的特定部位、出血、在使用能量治疗器具5135期间的雾等。当使显示设备5155显示手术部位的图像时，控制部5177使用识别结果将各种手术辅助信息叠加到手术部位的图像上。通过将手术辅助信息叠加地提供给外科医生5181，能够更安全且可靠地进行手术。
[0231] 连接摄像机头5119和CCU5153的传输线缆5179是支持电信号通信的电信号线缆、支持光通信的光纤、或上述的复合线缆。
[0232] 此时，在示出的示例中，使用传输线缆5179以有线方式进行通信，但是也可以无线地进行摄像机头5119和CCU5153之间的通信。在两者之间的通信以无线方式进行的情况下，不再需要将传输缆线5179铺设在手术室内，因此可以解决医疗人员在手术室内的移动被传输缆线5179阻碍的情况。
[0233] 以上已经描述了根据本公开的实施例的技术可以应用到的手术室系统5100的示例。此外，在此作为示例描述了应用手术室系统5100的医疗系统是内窥镜手术系统5113的情况，但是手术室系统5100的配置不限于该示例。例如，手术室系统5100可以应用于用于检查的柔性内窥镜系统或显微手术系统，而不是内窥镜手术系统5113。
[0234] 根据本公开的实施例的技术涉及上述手术室系统，并且可以被应用来掌握手术室的状况。具体地，手术室摄像机5189对应于流传输发送设备20。显示设备5103对应于显示设备40。视听控制器5107或手术室控制设备5109对应于流传输接收设备30。在这种情况下，用户可以选择显示为缩略图画面的子视频来发送主流传输发送开始请求。可选地，可以根据患者的感测信息将主流传输发送开始请求发送到手术室摄像机5189中的任一个。例如，在患者的心电图显示异常的情况下，主流传输发送开始请求可以被发送到对与心电图相关的部位进行成像的手术室摄像机5189。
[0235] <6-2.第二应用示例>
[0236] 另外，根据本公开的实施例的技术被实现为安装在任何类型的移动体(诸如汽车、电动车辆、混合电动车辆、摩托车、自行车、个人移动设备、飞机、无人机、船舶、机器人、建筑机械和农业机械(拖拉机))上的设备。
[0237] 图24是示出作为能够应用根据本公开的实施例的技术的移动体控制系统的示例的车辆控制系统7000的示意性配置示例的框图。车辆控制系统7000包括经由通信网络7010连接的多个电子控制单元。在图24所示的示例中，车辆控制系统7000包括驱动线路控制单元7100、车身系统控制单元7200、电池控制单元7300、车辆外部信息检测单元7400、车辆内部信息检测单元7500和集成控制单元7600。连接这些控制单元的通信网络7010可以是车载通信网络，诸如控制器局域网(CAN)、局域互连网络(LIN)、局域网(LAN)或符合任何标准的FlexRay(注册商标)。
[0238] 每个控制单元包括根据各种程序执行操作处理的微型计算机、存储由微型计算机执行的程序、用于各种操作的参数等的存储部、以及驱动经受各种控制的设备的驱动电路。每个控制单元包括用于经由通信网络7010与其他控制单元通信的网络I/F，以及用于通过有线通信或无线通信与车辆外部和内部的设备、传感器等通信的通信I/F。图24示出了作为集成控制单元7600的功能部件的微型计算机7610、通用通信I/F7620、专用通信I/F7630、定位部7640、信标接收部7650、车载设备I/F7660、声音和图像输出部7670、车载网络I/F7680和存储部7690。每个其他控制单元类似地包括微型计算机、通信I/F、存储部等。
[0239] 驱动线路控制单元7100根据各种程序控制与车辆的驱动线相关的设备的操作。例如，驱动线路控制单元7100起用于生成车辆的驱动力的驱动力生成设备(诸如内燃机或驱动马达)、将驱动力传递到车轮的驱动力传递机构、调节车辆转向角的转向机构、生成车辆的制动力的制动设备等的控制设备的作用。驱动线路控制单元7100可具有用于防抱死制动系统(ABS)或电子稳定性控制(ESC)的控制设备的功能。
[0240] 驱动线路控制单元7100连接到车辆状态检测部7110。例如，车辆状态检测部7110包括诸如检测车身的轴向旋转运动的角速度的陀螺仪传感器、检测车辆的加速度的加速度传感器、或者检测加速器踏板的操作量、制动踏板的操作量、方向盘的方向盘角度、发动机速度、车轮旋转速度等的传感器的传感器中的至少一个。驱动线路控制单元7100使用从车辆状态检测部7110输入的信号来执行操作处理，并控制内燃机、驱动马达、电动助力转向设备、制动设备等。
[0241] 车身系统控制单元7200根据各种程序控制附接到车身的各种设备的操作。例如，车身系统控制单元7200起无钥匙进入系统、智能钥匙系统、电动窗设备或诸如前灯、倒车灯、刹车灯、闪光信号灯或雾灯的各种灯的控制设备的作用。在这种情况下，车身系统控制单元7200可以接收从代替钥匙的便携式设备发送的无线电波或各种开关的信号。车身系统控制单元7200接收这些无线电波或信号，并且控制车辆门锁设备、电动窗设备、灯等。
[0242] 电池控制单元7300根据各种程序控制二次电池7310。二次电池7310用作驱动马达的电源。例如，电池控制单元7300从包括二次电池7310的电池设备接收诸如电池温度、电池输出电压或剩余电池容量的信息。电池控制单元7300使用这些信号来执行操作处理，并且对二次电池7310执行温度调节控制或者控制电池设备中包括的冷却设备等。
[0243] 车辆外部信息检测单元7400检测关于包括车辆控制系统7000的车辆外部的信息。例如，车辆外部信息检测单元7400连接到成像部7410和车辆外部信息检测部7420中的至少一个。成像部7410包括飞行时间(ToF)摄像机、立体摄像机、单目摄像机、红外摄像机和其他摄像机中的至少一个。车辆外部信息检测部7420包括例如检测当前天气的环境传感器和检测包括车辆控制系统7000的车辆周围的其他车辆、障碍物、行人等的周围信息检测传感器中的至少一个。
[0244] 环境传感器可以是例如检测下雨天气的雨滴传感器、检测雾的雾传感器、检测日照程度的日照传感器、检测降雪的雪传感器中的至少一个。周围信息检测传感器可以是超声波传感器、雷达设备以及光检测和测距/激光成像检测和测距(LIDAR)设备中的至少一个。这些成像部7410和车辆外部信息检测部7420既可以作为独立的传感器或设备安装，也可以作为传感器和设备一体化的设备安装。
[0245] 图25是示出成像部7410和车辆外部信息检测部7420的安装位置的示例的图。成像部7910、7912、7914、7916和7918位于例如车辆7900的前鼻、侧视镜、后保险杠、后门和车厢内的挡风玻璃上部中的至少一个。附接到前鼻的成像部7910和附接到车厢内的挡风玻璃上部的成像部7918主要获取车辆7900前方的区域的图像。附接到侧视镜的成像部7912和7914主要获取车辆7900的侧方的区域的图像。附接到后保险杠或后门的成像部7916主要获取车辆7900后方的区域的图像。附接到车厢内的挡风玻璃上部的成像部7918主要用于检测前方车辆、行人、障碍物、信号灯、交通标识、车道等。
[0246] 注意，图25示出了成像部7910、7912、7914和7916的各个成像范围的示例。成像范围a表示附接到前鼻的成像部7910的成像范围。成像范围b和c分别表示附接到侧视镜的成像部7912和7914的成像范围。成像范围d表示附接到后保险杠或后门的成像部7916的成像范围。例如，叠加由成像部7910、7912、7914和7916捕获的图像数据提供俯视车辆7900的俯瞰图像。
[0247] 在车辆7900的前方、后方、侧方、角部、车厢内的挡风玻璃上部附接的车辆外部信息检测部7920、7922、7924、7926、7928、7930例如可以是超声波传感器或雷达设备。附接到车辆7900的前鼻、后保险杠、后门、车厢内的挡风玻璃的上部的车辆外部信息检测部7920、7926和7930例如可以是LIDAR设备。这些车辆外部信息检测部7920至7930主要用于检测前方车辆、行人、障碍物等。
[0248] 将再次参考图24继续描述。车辆外部信息检测单元7400使成像部7410捕获车辆外部的图像，并接收该捕获图像数据。另外，车辆外部信息检测单元7400从连接的车辆外部信息检测部7420接收检测信息。在车辆外部信息检测部7420是超声波传感器、雷达设备或LIDAR设备的情况下，车辆外部信息检测单元7400发送超声波、无线电波等，并接收接收到的反射波的信息。车辆外部信息检测单元7400可以执行检测诸人、汽车、障碍物、交通标识、道路上的文字等物体的处理，或基于接收到的信息检测距离的处理。车辆外部信息检测单元7400也可以执行基于接收到的信息识别降雨、雾、道路状况等的环境识别处理。车辆外部信息检测单元7400可以基于接收到的信息，计算与车辆外部的物体之间的距离。
[0249] 另外，车辆外部信息检测单元7400可以执行识别人、汽车、障碍物、交通标识、道路上的文字等的图像识别处理，或者基于接收到的图像数据检测距离的处理。车辆外部信息检测单元7400可以对接收到的图像数据执行失真校正处理、定位处理等，并将由不同的成像部7410捕获到的图像数据组合，以生成俯瞰图像或全景图像。车辆外部信息检测单元7400可以使用由另一成像部7410捕获的图像数据来执行视点转换处理。
[0250] 车辆内部信息检测单元7500检测关于车辆内部的信息。车辆内部信息检测单元7500例如与检测驾驶员的状态的驾驶员状态检测部7510连接。驾驶员状态检测部7510可以包括对驾驶员进行成像的摄像机、检测驾驶员的生物信息的生物传感器、拾取车厢内的声音的麦克风等。生物传感器例如被附接到就座面、方向盘等，并且检测就座在座椅上的乘客或抓握方向盘的驾驶员的生物信息。车辆内信息检测单元7500可以基于从驾驶员状态检测部7510输入的检测信息，计算驾驶员的疲劳度或集中程度，或者判断驾驶员是否处于瞌睡状态。车辆内部信息检测单元7500可以对拾取的音频信号执行诸如噪声消除处理的处理。
[0251] 集成控制单元7600根据各种程序控制车辆控制系统7000内部的整体操作。集成控制单元7600连接到输入部7800。输入部7800被实现为乘客可以在其上执行输入操作的诸如触摸面板、按钮、麦克风、开关或控制杆的设备。集成控制单元7600可以接收通过识别经由麦克风输入的声音而获得的数据。输入部7800可以是例如使用红外光或其他无线电波的远程控制设备，或者是与车辆控制系统7000的操作对应的外部连接设备，诸如移动电话或个人数字助理(PDA)。输入部7800可以是例如摄像机。在这种情况下，乘客可以通过手势输入信息。可选地，可以输入通过检测由乘客穿戴的可穿戴设备的移动而获得的数据。此外，输入部7800可以包括输入控制电路等，其例如基于乘客等使用上述输入部7800输入的信息生成输入信号，并将生成的输入信号输出到集成控制单元7600。乘客等操作该输入部7800，从而将各种数据输入到车辆控制系统7000或向车辆控制系统7000指示处理操作。
[0252] 存储部7690可以包括存储由微型计算机执行的各种程序的只读存储器(ROM)和存储各种参数、操作结果、传感器值等的随机存取存储器(RAM)。此外，存储部7690可以被实现为诸如硬盘驱动器(HDD)的磁存储装置、半导体存储装置、光存储装置、磁光存储装置等。
[0253] 通用通信I/F7620是在外部环境7750中的各种设备之间的通信中进行调解的通用通信I/F。通用通信I/F7620可以实现蜂窝通信协议，诸如全球移动通信系统(GSM(注册商标))、WiMAX(注册商标)、长期演进(LTE(注册商标))或高级LTE(LTE-A)，或者其他无线通信协议，诸如无线LAN(也称为Wi-Fi(注册商标))或蓝牙(注册商标)。通用通信I/F7620可以例如经由基站或接入点连接到外部网络(诸如因特网、云网络或服务提供商专用的网络)上的设备(诸如应用服务器或控制服务器)。此外，通用通信I/F7620可以例如使用对等(P2P)技术连接到车辆附近的终端(诸如驾驶员、行人或商店的终端，或者机器类型通信(MTC)终端)。
[0254] 专用通信I/F7630是支持为了车辆使用目的而定义的通信协议的通信I/F。专用通信I/F7630可以实现标准协议，诸如作为用于下层的IEEE802.11p和用于上层的IEEE1609的组合的车辆环境中的无线接入(WAVE)、专用短程通信(DSRC)、或蜂窝通信协议。专用通信I/F7630通常执行V2X通信。V2X通信是包括车辆与车辆间通信、车辆与基础设施间通信、车辆与家庭间通信和车辆与行人间通信中的一个或多个的概念。
[0255] 定位部7640例如从GNSS卫星接收全球导航卫星系统(GNSS)信号(诸如来自GPS卫星的全球定位系统(GPS)信号)以用于定位，并且生成包括车辆的纬度、经度和高程的位置信息。另外，定位部7640还可以通过与无线接入点交换信号来识别当前位置，或者从诸如移动电话、PHS或者具有定位功能的智能电话的终端获取位置信息。
[0256] 信标接收部7650例如从安装在道路上的无线站等接收无线电波或电磁波，并获取诸如当前位置、交通堵塞、封闭道路或必要时间的信息。另外，信标接收部7650的功能可以包括在上述专用通信I/F7630中。
[0257] 车载设备I/F7660是在微型计算机7610和车辆中的各种车载设备7760之间的连接中进行调解的通信接口。车载设备I/F7660可以使用无线通信协议(诸如无线LAN、蓝牙(注册商标)、近场通信(NFC)或无线USB(WUSB))来建立无线连接。此外，车载设备I/F7660还可以经由连接端子(未示出)(以及必要时的线缆)建立诸如通用串行总线(USB)、高清晰多媒体接口(HDMI(注册商标))或移动高清晰度链路(MHL)的有线连接。车载设备7760可以包括例如乘客的移动设备、乘客的可穿戴设备以及携带到车辆中或附接到车辆的信息设备中的至少一个。此外，车载设备7760还可以包括搜索到任何目的地的路线的导航设备。车载设备I/F7660与这些车载设备7760交换控制信号或数据信号。
[0258] 车载网络I/F7680是在微型计算机7610与通信网络7010之间的通信中进行调节的接口。车载网络I/F7680按照通信网络7010所支持的预定协议来发送和接收信号等。
[0259] 集成控制单元7600的微型计算机7610基于经由通用通信I/F7620、专用通信I/F7630、定位部7640、信标接收部7650、车载设备I/F7660和车载网络I/F7680中的至少一个获取的信息，根据各种程序来控制车辆控制系统7000。例如，微型计算机7610可以基于所获取的关于车辆内部和外部的信息来计算驱动力生成设备、转向机构或制动设备的控制目标值，并且将控制指令输出到驱动线路控制单元7100。例如，为了执行包括避免车辆碰撞或减少冲击、基于车间距离的跟随驾驶、恒定车速驾驶、车辆碰撞警告、车辆车道偏离警告等的高级驾驶员辅助系统(ADAS)的功能的目的，微型计算机7610可以执行协作控制。此外，微型计算机7610可以基于所获取的关于车辆周围区域的信息来控制驱动力生成设备、转向机构、制动设备等，从而为了允许车辆自主行驶而与驾驶员的任何操作无关的自动驾驶等的目的而执行协作控制。
[0260] 微型计算机7610可以基于经由通用通信I/F7620、专用通信I/F7630、定位部7640、信标接收部7650、车载设备I/F7660和车载网络I/F7680中的至少一个获取的信息，来生成关于车辆与诸如附近结构或人的对象之间的距离的三维距离信息，并且创建包括关于车辆的当前位置的周围信息的本地地图信息。此外，微型计算机7610可以基于所获取的信息预测诸如车辆碰撞、接近行人等或者进入封闭道路的危险，并且生成警告信号。警告信号可以例如是用于生成警告声音或接通警告灯的信号。
[0261] 声音和图像输出部7670将声音和图像中的至少一个的输出信号传输到能够在视觉上或听觉上向车辆的乘客或车辆的外部通知信息的输出设备。在图24的示例中，作为输出设备，例示了音频扬声器7710、显示部7720和仪表板7730。例如，显示部7720可以包括车载显示器和平视显示器中的至少一个。显示部7720可以具有增强现实(AR)显示功能。输出设备也可以是除了这些设备之外的设备，如头戴式耳机、诸如乘客穿戴的眼镜型显示器的可穿戴设备、投影仪或灯。在输出设备是显示设备的情况下，显示设备以诸如文本、图像、表格或图形的各种形式可视地显示通过微型计算机7610执行各种处理获得的结果或从另一控制单元接收的信息。此外，在输出设备是声音输出设备的情况下，声音输出设备将包括再现声音数据、声学数据等的音频信号转换为模拟信号，并可听地输出模拟信号。
[0262] 注意，在图24所示的示例中，经由通信网络7010连接的至少两个控制单元可以被集成到一个控制单元中。可选地，各个控制单元可以被配置为多个控制单元。此外，车辆控制系统7000还可以包括未示出的另一控制单元。此外，在以上描述中，由控制单元中的任何一个执行的功能的一部分或全部可以由其他控制单元执行。也就是说，只要经由通信网络7010发送和接收信息，就可以由任何控制单元执行预定的操作处理。类似地，连接到控制单元中的任何一个的传感器或设备可以连接到其他控制单元，并且控制单元可以经由通信网络7010向彼此发送检测信息和从彼此接收检测信息。
[0263] 注意，用于实现参考图6描述的根据本实施例的流传输接收设备30的每个功能的计算机程序可以在任何控制单元等中实现。另外，还可以提供一种其中存储有这种计算机程序的计算机可读记录介质。记录介质的示例包括磁盘、光盘、磁光盘、闪存等。另外，计算机程序也可以经由网络分发，例如，不使用记录介质。
[0264] 在上述车辆控制系统7000中，参考图6描述的根据本实施例的流传输接收设备30可以应用于根据图24中示出的应用示例的集成控制单元7600。例如，成像部7410可以对应于流传输发送设备20。显示部7720或电子镜可以对应于显示设备40。集成控制单元7600可以具有流传输接收设备30的功能。在这种情况下，可以将主流传输发送开始请求发送到由用户指定的成像部7410。或者，可以与感测信息相对应地将主流传输发送开始请求发送到成像部7410。例如，可以将主流传输发送开始请求发送到对接近传感器检测到与其他对象接近的地点进行成像的成像部7410。或者，根据车辆的档位状态，例如，在档位被设定在后退档位的情况下，主流传输发送开始请求可以被发送到对车辆后方的区域进行成像的成像部7410。
[0265] 另外，参照图6描述的流传输接收设备30的至少一些部件可以被实现为用于图24中示出的集成控制单元7600的模块(例如，包括一个管芯的集成电路模块)。可选地，参照图6描述的流传输接收设备30可以被实现为图24中所示的车辆控制系统7000的多个控制单元。
[0266] <<7.结论>>
[0267] 根据如上所述的本公开的实施例，每个流传输发送设备20发送子流传输，并且接收主流传输发送开始请求的流传输发送设备20还发送主流传输。与所有流传输发送设备20发送主流传输的情况相比，该配置使得可以抑制消耗的网络频带的量。另外，流传输接收设备30可以在不进行调整大小的情况下从子流传输中获得子视频，从而还可以减少流传输接收设备30上的处理负荷。
[0268] 另外，根据本公开的实施例，接收主流传输发送开始请求的流传输发送设备20同时发送主流传输和子流传输。因此，流传输接收设备30可以并行地显示基于从接收主流传输发送开始请求的流传输发送设备20发送的主流传输的主视频，并显示基于子流传输的子视频。
[0270] 例如，本说明书中的流传输发送设备20和流传输接收设备30的处理的各个步骤不必按序列图或流程图中描述的顺序按时间顺序处理。例如，可以以与流程图中描述的顺序不同的顺序执行，或者可以并行地执行由流传输发送设备20和流传输接收设备30执行的处理中的各个步骤。
[0271] 另外，还可以制造允许在流传输发送设备20和流传输接收设备30中内置的诸如CPU、ROM和RAM的硬件执行与上述流传输发送设备20和流传输接收设备30的各个部件的功能等同的功能的计算机程序。还提供了一种其中存储有计算机程序的存储介质。
[0272] 此外，本说明书中描述的效果仅仅是说明性或示例性的效果，而不是限制性的。也就是说，具有或代替上述效果，根据本公开的技术可以实现本领域技术人员从本说明书的描述中清楚的其他效果。
[0273] 另外，本技术还可以如下配置。
[0274] (1)一种接收设备，包括：
[0275] 通信电路，被配置为向第一流传输设备发送第一开始请求，第一开始请求是命令第一流传输设备开始发送第一主流传输的指令；
[0276] 其中，所述通信电路被配置为与从第一流传输设备接收第一子流传输同时从第一流传输设备接收第一主流传输。
[0277] (2)根据(1)所述的接收设备，其中，所述通信电路被配置为在接收到第一子流传输之后发送第一开始请求。
[0278] (3)根据(1)所述的接收设备，其中，所述通信电路被配置为向第一流传输设备发送停止请求，所述停止请求是命令第一流传输设备停止发送第一主流传输的指令。
[0279] (4)根据(1)所述的接收设备，其中，第一子流传输和第一主流传输是从由第一流传输设备获取的图像生成的，第一主流传输具有比子流传输的比特率更高的比特率。
[0280] (5)根据(1)所述的接收设备，其中，所述通信电路被配置为从第二流传输设备接收第二子流传输，第二子流传输是从由第二流传输设备获取的图像生成的。
[0281] (6)根据(5)所述的接收设备，其中，所述通信电路被配置为以命令第二流传输设备开始发送第二主流传输的方式向第二流传输设备发送第二开始请求，第二主流传输是从由第二流传输设备获取的图像生成的，并且具有比第二子流传输的比特率更高的比特率。
[0282] (7)根据(6)所述的接收设备，其中，所述通信电路被配置为向第一流传输设备发送停止请求，所述停止请求是在从通信电路发送第二开始请求之前指示第一流传输设备停止发送第一主流传输的指令。
[0283] (8)根据(5)所述的接收设备，其中，所述通信电路被配置为向第二流传输设备发送指定请求，所述指定请求是命令第二流传输设备开始输出第二主流传输并且将关于第二子流传输的图像数据指定为要输出的主图像的指令。
[0284] (9)根据(8)所述的接收设备，其中，所述通信电路被配置为在将第一主流传输切换到第二主流传输之后，向第一流传输设备发送停止请求，所述停止请求是指示第一流传输设备停止发送第一主流传输的指令。
[0285] (10)根据(1)所述的接收设备，还包括：
[0286] 显示输出电路，被配置为使屏幕在屏幕的一部分上显示第一子视频，同时在屏幕的不同部分上显示第一主视频，所述显示输出电路被配置为从第一子流传输生成第一子视频并从第一主流传输生成第一主视频。
[0287] (11)一种接收方法，包括：
[0288] 通过通信电路，从第一流传输设备接收第一子流传输，并且此后；
[0289] 从所述通信电路向第一流传输设备发送命令第一流传输设备开始发送第一主流传输的开始请求。
[0290] (12)根据(11)所述的接收方法，还包括：
[0291] 在所述通信电路从第一流传输设备接收到第一主流传输之后，从所述通信电路发送指定请求，所述指定请求是将来自第二流传输设备的图像数据指定为要输出的主图像，并且指示第二流传输设备开始发送第二主流传输的指令，
[0292] 其中，第一流传输设备和第二流传输设备来自多个流传输设备。
[0293] (13)根据(12)所述的接收方法，还包括：
[0294] 在从第一主流传输切换到第二主流传输作为主图像之后，从所述通信电路发送停止请求，所述停止请求是命令第一流传输设备停止发送第一主流传输的指令。
[0295] (14)一种流传输设备，包括：
[0296] 通信电路，被配置为与将主流传输发送到接收设备同时将子流传输发送到接收设备。
[0297] (15)根据(14)所述的流传输设备，其中，所述流传输设备被配置为作为从所述接收设备接收到开始请求的结果，将所述主流传输发送到所述接收设备。
[0298] (16)根据(15)所述的流传输设备，其中，所述流传输设备被配置为禁止将所述主流传输发送到所述接收设备，直到所述流传输设备从所述接收设备接收到所述开始请求为止。
[0299] (17)一种手术室系统，包括：
[0300] 摄像机，被配置为获取图像数据；以及
[0301] 视听控制器，被配置为：
[0302] 从摄像机接收多个子流传输；
[0303] 发送开始请求，所述请求是命令摄像机之一开始输出主流传输的指令；以及[0304] 与接收所述多个子流传输同时接收主流传输，
[0305] 其中，主流传输具有比所述多个子流传输中的每个子流传输的比特率更高的比特率。
[0306] (18)根据(17)所述的手术室系统，其中，所述视听控制器被配置为使用患者的感测信息作为选择被发送开始请求的摄像机之一的基础。
[0307] (19)一种车辆控制系统，包括：
[0308] 摄像机，被安装在车辆上；
[0309] 集成单元，被配置为：
[0310] 从摄像机接收多个子流传输；
[0311] 发送开始请求，所述请求是命令摄像机之一开始输出主流传输的指令；以及[0312] 与接收所述多个子流传输同时接收主流传输，
[0313] 其中，主流传输具有比所述多个子流传输中的每个子流传输的比特率更高的比特率。
[0314] (20)根据(19)所述的车辆控制系统，还包括：
[0315] 传感器，被配置为检测关于车辆相对于车辆外部的物体的相对位置的信息，所述集成单元被配置为使用所述信息作为选择被发送开始请求的摄像机之一的基础。
[0316] 附图标记列表
[0317] 12 集线器
[0318] 20 流传输发送设备
[0319] 30 流传输接收设备
[0320] 40 显示设备
[0321] 42 显示部
[0322] 220 信号获取部
[0323] 224 低质量数据生成部
[0324] 228 子流传输生成部
[0325] 232 高质量数据生成部
[0326] 236 主流传输生成部
[0327] 240 发送控制部
[0328] 244 通信部
[0329] 320 输出控制部
[0330] 324 低质量数据解码部
[0331] 328 子流传输解码部
[0332] 332 高质量数据解码部
[0333] 336 主流传输解码部
[0334] 344 通信部
[0335] 352 操作部
[0336] 356 主流传输请求部
| 标题 | 发布/更新时间 | 阅读量 |
|---|---|---|
| 包括电磁干扰滤波器的感应灶具 | 2020-05-11 | 815 |
| 用于无线通信中的覆盖增强的公共搜索空间设计 | 2020-05-12 | 712 |
| 用于无线通信系统中的同步和测量的方法和装置 | 2020-05-13 | 547 |
| 非连续接收的方法、终端设备和网络设备 | 2020-05-13 | 928 |
| 一种通信方法和装置 | 2020-05-12 | 515 |
| 具有低热阻的电绝缘热连接器 | 2020-05-11 | 441 |
| 加热装置 | 2020-05-11 | 770 |
| 解调参考信号的附加数据以及控制区域中的数据复用的有效信令的改进 | 2020-05-12 | 652 |
| 无线通信系统及用于处理无线通信增强切换的方法 | 2020-05-13 | 609 |
| 电路基板 | 2020-05-11 | 407 |
高效检索全球专利专利汇是专利免费检索,专利查询,专利分析-国家发明专利查询检索分析平台，是提供专利分析，专利查询，专利检索等数据服务功能的知识产权数据服务商。
我们的产品包含105个国家的1.26亿组数据，免费查、免费专利分析。
分析报告
专利汇分析报告产品可以对行业情报数据进行梳理分析，涉及维度包括行业专利基本状况分析、地域分析、技术分析、发明人分析、申请人分析、专利权人分析、失效分析、核心专利分析、法律分析、研发重点分析、企业专利处境分析、技术处境分析、专利寿命分析、企业定位分析、引证分析等超过60个分析角度，系统通过AI智能系统对图表进行解读，只需1分钟，一键生成行业专利分析报告。
QQ群二维码
意见反馈
意见反馈