手术支援机器人的远程支援方法以及远程支援系统专利检索-远程手术手术专利检索查询-专利查询网

手术支援 机器人的远程支援方法以及远程支援系统

阅读：812发布：2020-05-17

专利汇可以提供手术支援机器人的远程支援方法以及远程支援系统专利检索，专利查询，专利分析的服务。并且本公开涉及手术支援机器人的远程支援方法以及远程支援系统。针对进行使用手术支援机器人的手术等的现场，能够在短时间内掌握故障的详情并且迅速地进行适合的远程支援。通过用于进行手术支援机器人(20)的远程支援业务的服务器装置(40)接收与手术支援机器人(20)的工作有关的工作信息，在检测到预定的事件时，从服务器装置(40)针对手术支援机器人(20)以及终端装置(25)的至少1个配送声音、图像以及文本的至少1个。，下面是手术支援机器人的远程支援方法以及远程支援系统专利的具体信息内容。

权利要求

1.一种手术支援机器人的远程支援方法，其中，
通过用于进行手术支援机器人的远程支援业务的服务器装置接收与所述手术支援机器人的工作有关的工作信息的至少1个，
在检测到预定的事件时，从所述服务器装置针对所述手术支援机器人以及终端装置的至少1个，配送声音、图像以及文本的至少1个。
2.根据权利要求1所述的手术支援机器人的远程支援方法，其中，
接收包括所述手术支援机器人摄影的图像的所述工作信息。
3.根据权利要求1或者2所述的手术支援机器人的远程支援方法，其中，通过所述服务器装置还接收对设置有所述手术支援机器人的房间内进行摄影的照相机摄影的图像。
4.根据权利要求2或者3所述的手术支援机器人的远程支援方法，其中，通过所述服务器装置接收与接收到的所述图像重叠显示的数据。
5.根据权利要求4所述的手术支援机器人的远程支援方法，其中，
在检测到所述预定的事件之后，从所述服务器装置针对所述手术支援机器人以及所述终端装置的至少1个，配送重叠显示了所述数据的图像。
6.根据权利要求1至5中的任意一项所述的手术支援机器人的远程支援方法，其中，通过所述服务器装置接收通过用户的操作从所述手术支援机器人以及所述终端装置的至少1个发送的、要求双向通信的请求，从而检测所述预定的事件。
7.根据权利要求1至6中的任意一项所述的手术支援机器人的远程支援方法，其中，根据所述工作信息来检测所述预定的事件。
8.根据权利要求2至6中的任意一项所述的手术支援机器人的远程支援方法，其中，根据接收到的所述图像来检测所述预定的事件。
9.一种手术支援机器人的远程支援方法，其中，
调整对手术支援机器人以及设置有所述手术支援机器人的房间内进行摄影的照相机的至少1个摄影而得到的图像的帧率，
将帧率调整后的所述图像发送到用于进行所述手术支援机器人的远程支援业务的服务器装置。
10.一种手术支援机器人的远程支援方法，其中，
针对对手术支援机器人以及设置有所述手术支援机器人的房间内进行摄影的照相机的至少1个摄影而得到的图像，实施使能够确定人物的确定信息在视觉上不清晰的图像处理，
将实施所述图像处理后的图像发送到用于进行所述手术支援机器人的远程支援业务的服务器装置。
11.一种远程支援系统，具备：
服务器装置，用于进行手术支援机器人的远程支援业务；以及
通信控制装置，为了将与所述手术支援机器人的工作有关的工作信息发送到所述服务器装置、并且接收来自所述服务器装置的信息，与所述服务器装置进行通信，所述服务器装置在检测到预定的事件时，进行在所述手术支援机器人以及设置有所述手术支援机器人的设施中使用的第1终端装置的至少一个、与用于进行所述手术支援机器人的远程支援业务的第2终端装置之间确立双向通信的处理。
12.根据权利要求11所述的远程支援系统，其中，
所述服务器装置与多个所述手术支援机器人通信连接。
13.根据权利要求11或者12所述的远程支援系统，其中，
所述手术支援机器人具备：
患者侧装置，具有安装有内窥镜的第1机械手和安装有手术器具的第2机械手；以及远程操作装置，对所述第1机械手和所述第2机械手进行远程操作，
所述患者侧装置以及所述远程操作装置的至少1个与所述通信控制装置以能够通信的方式连接。
14.根据权利要求11或者12所述的远程支援系统，其中，
所述手术支援机器人具备：
第1患者侧装置，具有安装有内窥镜的第1机械手；
第2患者侧装置，具有安装有手术器具的第2机械手；以及
远程操作装置，对所述第1机械手和所述第2机械手进行远程操作，
所述第1患者侧装置、所述第2患者侧装置以及所述远程操作装置的至少1个与所述通信控制装置以能够通信的方式连接。
15.根据权利要求13或者14所述的远程支援系统，其中，
所述手术支援机器人还具备对所述内窥镜摄影而得到的图像实施图像处理的图像处理装置，
所述图像处理装置与所述服务器装置以能够通信的方式连接，
进行在所述第2终端装置与所述图像处理装置之间确立双向通信的处理。
16.根据权利要求11或者12所述的远程支援系统，其中，
所述手术支援机器人具备：
机器人手术台，具有载置患者的顶板和用于使所述顶板移动的机械手；以及操作装置，用于操作所述机器人手术台，
所述机器人手术台、所述操作装置以及所述第1终端装置的至少1个与所述服务器装置以能够通信的方式连接，
进行在所述第2终端装置与所述机器人手术台、所述操作装置及所述第1终端装置的至少1个之间确立双向通信的处理。
17.根据权利要求11至16中的任意一项所述的远程支援系统，其中，
所述预定的事件是所述服务器装置从所述第1终端装置或者所述手术支援机器人接收到要求双向通信的请求。
18.根据权利要求17所述的远程支援系统，其中，
所述手术支援机器人以针对与所述手术支援机器人以能够通信的方式连接的操作部、或者设置于所述手术支援机器人的操作部的预定操作为契机，将所述请求发送到所述服务器装置。
19.根据权利要求11至16中的任意一项所述的远程支援系统，其中，
所述预定的事件是所述服务器装置从所述第2终端装置接收到要求双向通信的请求。
20.根据权利要求17至19中的任意一项所述的远程支援系统，其中，
所述服务器装置构成为将通过确立了双向通信的所述手术支援机器人及所述第1终端装置的至少1个和所述第2终端装置的任意一方输入并发送到所述服务器装置的声音、图像以及文本的至少1个配送给另一方。
21.根据权利要求11至20中的任意一项所述的远程支援系统，其中，
所述服务器装置构成为接收由对设置有所述手术支援机器人的房间的状况进行摄影的摄影装置摄影而得到的图像，在确立了双向通信时，将接收到的所述图像至少配送给所述第2终端装置。
22.根据权利要求21所述的远程支援系统，其中，
所述远程支援系统具备将由所述摄影装置摄影而得到的图像发送到所述服务器装置的通信控制装置，
所述通信控制装置构成为检查在该图像中是否拍摄到能够确定人物的可确定信息，在拍摄到所述可确定信息的情况下，将针对所述图像实施使所述可确定信息在视觉上不清晰的图像处理后的图像发送到所述服务器装置。
23.根据权利要求21所述的远程支援系统，其中，
所述远程支援系统与通信网络以能够通信的方式连接，具备将由所述摄影装置摄影而得到的图像发送到所述服务器装置的通信控制装置，
所述通信控制装置构成为监视所述通信网络的通信负荷，根据所述通信负荷调整所述图像的帧率。
24.根据权利要求11或者12所述的远程支援系统，其中，
所述服务器装置接收由安装于所述手术支援机器人的内窥镜摄影而得到的图像，在确立了双向通信时，将接收到的所述图像至少配送给所述第2终端装置。
25.根据权利要求11至20中的任意一项所述的远程支援系统，其中，
所述服务器装置构成为在确立了双向通信时，将由对设置有所述手术支援机器人的房间的状况进行摄影的照相机摄影而得到的图像、以及由安装于所述手术支援机器人的内窥镜摄影而得到的图像这两方至少配送给所述第2终端装置。
26.根据权利要求25所述的远程支援系统，其中，
所述第2终端装置将从所述服务器装置配送的所述图像的两方同时显示于监视器。
27.根据权利要求21至26中的任意一项所述的远程支援系统，其中，
所述服务器装置在向确立了双向通信的所述第2终端装置配送所述图像的情况下，在通过该第2终端装置输入了与该图像重叠显示的数据时，将该数据配送给所述手术支援机器人以及所述第1终端装置的至少1个。
28.根据权利要求11至27中的任意一项所述的远程支援系统，其中，
所述服务器装置具备将所述工作信息储存到存储装置的数据储存部，
具备数据提供部，在该数据提供部中，作为针对来自所述第1终端装置或者所述第2终端装置的要求的响应，将根据该要求从所述存储装置读出的所述工作信息发送到要求源。
29.根据权利要求28所述的远程支援系统，其中，
所述数据提供部在所述读出的所述工作信息中包括错误的情况下，将与该错误有关的通知发送到所述要求源。
30.根据权利要求11至29中的任意一项所述的远程支援系统，其中，
所述第1终端装置以及所述第2终端装置是个人计算机、平板终端以及智能手机中的任意装置。

说明书全文

手术支援机器人的远程支援方法以及远程支援系统

技术领域

[0001] 本发明涉及手术支援机器人的远程支援方法等。

背景技术

[0002] 近年来，在腹腔镜等的手术中使用手术支援机器人，进行针对手术支援机器人的细致的支持的必要性增加。在专利文献1中，公开了为了预防保养而监视医疗用机器人的方法。

[0003] 现有技术文献

[0004] 专利文献1：美国专利申请公开第2012/0330613号说明书

发明内容

[0005] 在利用包括专利文献1公开的方法的以往手法的针对手术支援机器人的远程支援中，通过远端服务器收集并解析与手术支援机器人的工作状况有关的日志数据(文本数据)。在手术支援机器人中发生故障的情况下，客服中心(call center)的担当人员从医疗机构接到电话联络，一边观察手术支援机器人的日志数据的解析结果一边掌握故障的详情。然而，有无法掌握故障的详情的情况，在该情况下，服务人员S有时必须去到现场(例如设置有手术支援机器人的手术室)。在该情况下，从故障的发生至消除为止需要时间，所以在迅速性的观点方面存在问题。

[0006] 本发明是鉴于上述问题而完成的，其目的在于提供一种远程支援方法以及远程支援系统，针对进行使用手术支援机器人的手术等的现场，能够在短时间内掌握故障的详情，并且能够迅速地进行适合的远程支援。

[0007] 在本发明的一个方案所涉及的手术支援机器人的远程支援方法中，通过用于进行手术支援机器人(20)的远程支援业务的服务器装置(40)，接收与手术支援机器人(20)的工作有关的工作信息，在检测到预定的事件时，从服务器装置(40)针对手术支援机器人(20)以及终端装置(25)的至少1个，配送声音、图像以及文本的至少1个。

[0008] 另外，在本发明的其他方案所涉及的手术支援机器人的远程支援方法中，调整对手术支援机器人(20)以及设置有手术支援机器人(20)的房间内进行摄影的照相机(24)的至少1个摄影的图像的帧率，将帧率调整后的所述图像发送到用于进行手术支援机器人(20)的远程支援业务的服务器装置(40)。

[0009] 另外，在本发明的其他方案所涉及的手术支援机器人的远程支援方法中，针对对手术支援机器人(20)以及设置有手术支援机器人(20)的房间内进行摄影的照相机(24)的至少1个摄影的图像，实施使能够确定人物的确定信息在视觉上不清晰的图像处理，将实施所述图像处理后的图像发送到用于进行手术支援机器人(20)的远程支援业务的服务器装置(40)。

[0010] 另外，本发明的其他方案所涉及的远程支援系统具备：服务器装置(40)，用于进行手术支援机器人(20)的远程支援业务；以及通信控制装置(261)，为了将与手术支援机器人(20)的工作有关的工作信息发送到服务器装置(40)并且接收来自服务器装置(40)的信息，与服务器装置(40)进行通信，服务器装置(40)在检测到所述预定的事件时，进行在手术支援机器人(20)以及设置有手术支援机器人(20)的设施中使用的第1终端装置(25)的至少一个、与用于进行手术支援机器人(20)的远程支援业务的第2终端装置(42)之间确立双向通信的处理。

[0011] 根据本发明，针对进行使用手术支援机器人的手术等的现场，能够在短时间内掌握故障的详情，并且能够迅速地进行适合的远程支援。附图说明

[0012] 图1是示出包括实现实施方式1所涉及的远程支援方法的远程支援系统的结构的图。

[0013] 图2是示出在实施方式1所涉及的远程支援方法中直至能够进行双向通信的处理的流程的概要的图。

[0014] 图3是示出构成手术支援机器人的患者侧装置、远程操作装置、图像处理装置以及系统协作装置的概略的图。

[0015] 图4是示出通信控制装置的概略结构的图。

[0016] 图5是示出数据取得部进行的处理的概要的图。

[0017] 图6是示出数据加工部进行的处理的概要的图。

[0018] 图7是示出数据发送部进行的处理的概要的图。

[0019] 图8是示出服务器装置的概略结构的图。

[0020] 图9是示出数据储存部进行的处理的概要的图。

[0021] 图10是示出通信控制部所实施的双向通信的确立处理的概要的图。

[0022] 图11是示出通过由在由网络照相机摄影的图像中检测到异常事态而确立了双向通信的终端装置输入的数据被配送的处理的流程的一个例子的图。

[0023] 图12是示出在终端装置之间确立了双向通信的状态下进行图像的配送的处理的流程的一个例子的图。

[0024] 图13是示出数据提供部进行的处理的概要的图。

[0025] 图14是示出数据解析部进行的处理的概要的图。

[0026] 图15是示出客服中心的终端装置的显示画面的一个例子的示意图。

[0027] 图16是示出医疗关联设施的终端装置的显示画面的一个例子的示意图。

[0028] 图17是示出在图15以及图16所示的显示画面上重叠显示数据的状态的一个例子的示意图。

[0029] 图18是示出实现实施方式2所涉及的远程支援方法的构成要素的概略结构的图。

[0030] 图19是示出实施方式3所涉及的手术支援机器人的概略的图。

[0031] 图20是示出实施方式4所涉及的手术支援机器人的概略的图。

[0032] (符号说明)

[0033] 2：医疗关联设施；3：外部网络；4：客服中心；20、20b、20c：手术支援机器人；21：患者侧装置；22：远程操作装置；23：图像处理装置；24：网络照相机(照相机)；25：终端装置(第1终端装置)；27：系统协作装置；40：服务器装置；41：存储装置；42：终端装置(第2终端装置)；201：手术机械手(第1机械手、第2机械手)；201b：内窥镜；206：控制器；211：第1患者侧装置；212：第2患者侧装置；223：顶板；224：机械手；225：机器人手术台；226：操作装置；261：
通信控制装置；401：数据储存部；402：通信控制部；403：数据提供部；404：数据解析部。

具体实施方式

[0034] 〔实施方式1〕

[0035] 在根据图1～图10说明本发明的一个实施方式时，如以下所述。

[0036] 参照图1以及图2，说明本实施方式。针对作为进行使用手术支援机器人20的手术或训练的医院或者医疗研究机构等的医疗关联设施2进行远程支援业务的客服中心4的业务员(以下称为“服务人员S”)对医疗关联设施2的医生、医疗从事者(以下称为“医疗工作人员M”)迅速并且适合地进行远程支援。

[0037] 客服中心4设想进行针对多个医疗关联设施2的远程支援业务，在图1中，将多个医疗关联设施2的各个记载为医疗关联设施2A、医疗关联设施2B、…。在不区分医疗关联设施2A、医疗关联设施2B、…时，简称为医疗关联设施2。

[0038] 本实施方式的主要的特征在于，在通常时，仅进行将医疗关联设施2的手术支援机器人20的工作信息(后述)以及网络照相机24摄影的图像的至少1个发送给客服中心4的服务器装置40这样的单向的通信，但在发生预定的事件(后述)时，能够在客服中心4的终端装置25与医疗关联设施2的装置(手术支援机器人20、终端装置25、网络照相机24的至少1个)之间进行双向通信。

[0039] 参照图2，说明直至能够进行双向通信的处理的流程。首先，在通常时，将手术支援机器人20的工作信息经由通信控制装置261发送到服务器装置40，储存到存储装置41(S11～S13)。同样地，网络照相机24摄影的图像经由通信控制装置261发送到服务器装置40，储存到存储装置41(S14～S16)。

[0040] 接下来，作为事件的一个例子，在由手术支援机器人20从医疗工作人员M受理到要求双向通信的操作时(S17)，将要求双向通信的确立的请求从手术支援机器人20经由通信控制装置261发送到服务器装置40(S18～S19)。在由服务器装置40接收到请求时(S20)，从服务器装置40针对客服中心4的终端装置42发送关于可否双向通信的询问(S21)。在终端装置42中，将接收到的询问输出到监视器(S22)。在从使用终端装置42的服务人员S被输入针对询问的响应时，终端装置42向服务器装置40发送响应(S23～S24)。在是许可双向通信的响应的情况下(在S25中“是”)，服务器装置40针对发送了请求的手术支援机器人20发送双向通信被许可的意思的通知(以下称为“许可通知”)(S26～S28)。这样，在发送要求双向通信的确立的请求(S18)，作为其响应接收到许可通知的阶段中(S28)，双向通信被确立。

[0041] 在双向通信确立以后，将通过终端装置42输入并发送到服务器装置40的数据(例如声音、图像、以及文本的至少1个)，经由服务器装置40以及通信控制装置261发送到手术支援机器人20(S29～S32)。另外，将在双向通信确立了的期间服务器装置40接收到的数据作为双向通信时的日志被储存到存储装置41(S33)。

[0042] 此外，在图2中，示出由手术支援机器人20受理要求双向通信的操作，其结果，在手术支援机器人20与终端装置42之间确立双向通信的例子，但在由终端装置25受理到要求双向通信的操作的情况下，经由同样的处理，在终端装置25与终端装置42之间确立双向通信。

[0043] 接下来，参照图1、图3～图14，说明实现本实施方式所涉及的远程支援方法的各个构成要素。

[0044] 〔医疗关联设施2〕

[0045] 在医疗关联设施2内配设有LAN(Local Area Network，局域网)(以下称为“设施内LAN”)。设施内LAN与外部网络3以能够通信的方式连接。对设施内LAN以能够通信的方式连接手术支援机器人20、终端装置25、网络照相机24、以及通信控制装置261。此外，通信控制装置261是构成网络服务系统26的主要装置。

[0046] 〔手术支援机器人20〕

[0047] 手术支援机器人20设置于医疗关联设施2的手术室(房间)内。手术支援机器人20具备安装有医疗器具的患者侧装置21、对安装于患者侧装置21的医疗器具进行远程操作的远程操作装置22、以及处理作为医疗器具之一的内窥镜201b摄影的图像的图像处理装置23，并且具备中介患者侧装置21、远程操作装置22以及图像处理装置23、和通信控制装置
261之间的通信的系统协作装置27。

[0048] 在由医疗工作人员M向远程操作装置22输入应由患者侧装置21执行的动作指令时，远程操作装置22向患者侧装置21的控制器206发送动作指令。控制器206是进行患者侧装置21的动作控制的计算机。而且，患者侧装置21响应于从远程操作装置22发送的动作指令，操作被多个手术机械手201分别夹持的手术器具以及内窥镜等医疗器具。由此，进行微创手术。

[0049] 患者侧装置21配置于患者P横躺的手术台300的旁边。患者侧装置21具有的手术机械手201中的1个(第1机械手)夹持内窥镜201b，其他手术机械手201(第2机械手)夹持作为手术器具的仪器201a。夹持仪器201a的手术机械手201作为仪器臂201A发挥功能，夹持内窥镜201b的手术机械手201作为照相机臂201B发挥功能。各仪器臂201A以及照相机臂201B被平台203支撑。多个手术机械手201具有多个关节，在各个关节中设置有包括伺服马达的驱动部、和编码器等位置检测器。手术机械手201构成为以通过经由控制器206提供的驱动信号使安装于手术机械手201的医疗器具进行期望的动作的方式被控制。平台203被支撑于在设置手术支援机器人20的房间(典型地是手术室)的地面上载置的定位器202。定位器202构成为在针对患者P横躺的手术台300定位之后，使平台203以及多个手术机械手201移动到进行手术准备的位置。通过从设置于患者侧装置21的触摸面板207输入，进行定位器202、平台203以及手术机械手201的移动。

[0050] 在仪器臂201A上，在其前端部可装卸地安装仪器201a。仪器201a具备安装于仪器臂201A的壳体和设置于细长形状的杆轴的前端部的末端执行器。作为末端执行器，例如，可以举出夹持钳子、剪刀、钩子、高频刀、纱布、夹钳、切割吻合器，但不限于这些，能够应用各种处置器具。仪器臂201A经由留置于患者P的体表的穿刺套管被导入到患者P的体内，仪器201a的末端执行器配置于手术部位的附近。

[0051] 在照相机臂201B上，在其前端部可装卸地安装内窥镜201b。照相机臂201B经由留置于患者P的体表的穿刺套管被导入到患者P的体内，由此内窥镜201b配置于手术部位的附近，对患者P的体腔内进行摄影。针对内窥镜201b摄影的图像，在通过图像处理装置23实施图像处理之后，显示于远程操作装置22的监视器221。医疗工作人员M一边观察显示于监视器221的图像，一边将动作指令输入到远程操作装置22。

[0052] 另外，针对内窥镜201b摄影的图像，在通过图像处理装置23实施图像处理之后，从系统协作装置27经由通信控制装置261发送到服务器装置40。如后所述，在发送到服务器装置40时，根据个人信息保护的观点，优选通过通信控制装置261实施遮盖图像区域的一部分的图像处理等，能够根据需要限制发送。

[0053] 另外，也可以针对内窥镜201b摄影的图像，在通过图像处理装置23实施图像处理之后，显示于与图像处理装置23连接的监视器231。由此，未操作远程操作装置22的医疗工作人员M也能够观察内窥镜201b摄影的图像。

[0054] 远程操作装置22是用于医疗工作人员M操作安装于手术机械手201的医疗器具的装置。远程操作装置22设置有操作手柄233、操作踏板部234、以及监视器221。操作手柄233是为了医疗工作人员M对手术机械手201支撑的医疗器具进行远程操作而设置的。操作手柄233由用医疗工作人员M的右手操作的右手用手柄以及用左手操作的左手用手柄构成。例如，能够用右手用手柄操作仪器臂201A的仪器201a，用左手用手柄操作其他仪器臂201A的仪器201a。对操作踏板部234设置有多个操作踏板，设置有执行用右手手柄操作的仪器201a的功能的操作踏板、执行用左手手柄操作的仪器201a的功能的操作踏板、用于用操作手柄操作照相机臂201B的操作踏板等。即，远程操作装置22构成为能够将由医疗工作人员M使用操作手柄233以及操作踏板部234输入的、应由仪器201a以及内窥镜201b执行的动作指令发送到患者侧装置21的控制器206。

[0055] 系统协作装置27是计算机，具备计算机通常具有的功能。系统协作装置27与设施内LAN以能够通信的方式连接。系统协作装置27中介患者侧装置21、远程操作装置22以及图像处理装置23、和通信控制装置261之间的通信。系统协作装置27搭载有API(application program interface，应用程序接口)，通过使用该API，根据来自通信控制装置261的要求，从患者侧装置21、远程操作装置22、以及图像处理装置23取得与手术支援机器人20的工作有关的信息(以下称为“工作信息”)，并且将取得的工作信息发送到通信控制装置261。关于系统协作装置27将工作信息发送到通信控制装置261的定时，既可以在取得后立即(实时)发送，也可以在积蓄某种程度的数据量之后发送。在接下来的(1)～(13)中示出工作信息的典型例。

[0056] (1)与发生的错误有关的信息(错误代码、发生部位、发生日期时间等)

[0057] (2)与输入到远程操作装置22的动作指令有关的信息

[0058] (3)安装于远程操作装置22的各种传感器的输出值

[0059] (4)安装于患者侧装置21的各种传感器的输出值

[0060] (5)患者侧装置21的各驱动部的轴值以及电流值

[0061] (6)由内窥镜201b摄影的图像

[0062] (7)由图像处理装置23处理后的图像

[0063] (8)在系统起动时进行的动作检查的结果

[0064] (9)搭载的软件的版本信息

[0065] (10)手术模式(手术方式/部位)

[0066] (11)表示状态的信息(发光部的点亮状况)

[0067] (12)与消耗品有关的信息及其动作次数

[0068] (13)与用于使患者侧装置21以及远程操作装置22移动的电动辅助设备的充电有关的信息

[0069] 上述(1)～(13)是例示，工作信息不限于这些。

[0070] 此外，在服务器装置40未检测到预定的事件的阶段中，从手术支援机器人20向服务器装置40发送工作信息时，在手术支援机器人20与服务器装置40之间确立单向通信。

[0071] 〔网络服务系统26〕

[0072] 网络服务系统26针对医疗关联设施2内的装置提供各种网络服务。为此，在网络服务系统26中准备有各种API。

[0073] 网络服务系统26具备通信控制装置261。通信控制装置261是计算机，具备计算机通常具有的功能。如图4所示，通信控制装置261具备作为CPU(Central Processing Unit，中央处理单元)的控制部262，作为通过在控制部262中动作的软件实现的功能，包括数据取得部263、数据加工部264、以及数据发送部265。

[0074] 数据取得部263取得手术支援机器人20的工作信息。该功能通过调用搭载于系统协作装置27的API而实现。另外，数据取得部263取得网络照相机24摄影的图像。

[0075] 参照图5，说明数据取得部263进行的处理的概要。数据取得部263每当经过预定时间时(在S111中“是”)，调用搭载于系统协作装置27的数据取得用API(S112)。经由该API，数据取得部263取得手术支援机器人20的工作信息(S113)。

[0076] 数据加工部264具有如下所示的功能。

[0077] (功能1)个人信息的遮盖

[0078] 在经由通信控制装置261配送网络照相机24摄影的图像、内窥镜201b摄影的图像的情况下，在拍摄到能够确定人物的信息(人物的脸等)(以下称为“可确定信息”)的情况下，根据个人信息保护的观点，最好实施遮盖可确定信息的图像处理(通过附加马赛克等而使得在视觉上不清晰的处理)。因此，数据加工部264检查在配送的图像中是否拍摄到可确定信息，在拍摄到可确定信息的情况下，针对图像实施遮盖可确定信息的图像处理。

[0079] (功能2)帧率的调整

[0080] 经由通信控制装置261配送给服务器装置40的影像的数据尺寸相对设施内LAN的线路速度越大，在影像配送中越需要时间，成为延迟的原因。因此，数据加工部264以减小配送的影像的秒间帧数(帧率)的方式进行调整(即对帧进行间除)。具体而言，将秒间帧数设为6帧。此外，数据加工部264也可以监视设施内LAN以及外部网络3的通信负荷，以根据通信负荷减小影像的秒间帧数的方式进行调整。

[0081] (功能3)影像的解析以及解析结果的配送

[0082] 在将网络照相机24摄影的影像经由通信控制装置261配送到服务器装置40的情况下，在对设施内LAN施加通信负荷时，有可能对与设施内LAN连接的各种医疗系统的动作造成影响。因此，数据加工部264解析在配送的影像中拍摄的人的活动。然后，由数据发送部265向服务器装置40发送的对象成为仅作为解析结果得到的文本数据。由此，相比于配送影像的情况，能够减轻设施内LAN的通信负荷。在此，“人的活动的解析”是指，例如，搭载于通信控制装置261的AI(artificial intelligence，人工智能)将拍摄于作为解析对象的影像的人的活动置换为骨格(棒状的模型)，对其关节的活动进行数值化等。

[0083] (功能4)各种传感器的输出值等文本数据的加工(汇集)

[0084] 数据加工部264例如也可以将从手术支援机器人20以1秒间隔取得的各种传感器的输出值等文本数据，汇集为1小时单位的平均值、1日单位的平均值等。由此，在由数据发送部265向服务器装置40的发送中，每1次的发送量以及发送频度被降低，所以能够减轻外部网络3的通信负荷。

[0085] 参照图6，说明数据加工部264进行的处理的概要。在向服务器装置40配送影像的情况下(在S211中“是”)，数据加工部264调整配送的影像的帧率(S212)。接下来，数据加工部264在配送的图像中拍摄到可确定信息的情况下(在S213中“是”)，针对图像实施使可确定信息不清晰的图像处理(S214)。接下来，数据加工部264在配送的图像中拍摄有人的情况下(在S215中“是”)，解析人的活动(S216)。接下来，数据加工部264在被设定汇集发送对象的数据的情况下(在S217中“是”)，汇集发送对象的数据(S218)。

[0086] 数据发送部265将由数据取得部263取得的数据、以及由数据加工部264加工的数据发送到服务器装置40。进而，数据发送部265也可以构成为能够限制数据的发送。具体而言，仅不发送包含于影像的声音、或者不发送影像以及声音这两方。由此，能够避免不必要的数据发送。

[0087] 参照图7，说明数据发送部265进行的处理的概要。在由数据取得部263取得数据、或者由数据加工部264加工数据时(在S311中“是”)，如果该数据并非发送限制的对象(在S312中“否”)，则原样地发送数据(S313)。另一方面，如果该数据是发送限制的对象(在S312中“是”)，则限制数据的发送(S314)。

[0088] 〔终端装置25〕

[0089] 终端装置25是医疗工作人员M在设置有手术支援机器人20的房间中使用的计算机终端。终端装置25的典型例是个人计算机(Personal Computer)、平板终端、智能手机等。终端装置25具有与其他装置的通信功能、键盘等的数据输入功能、监视器等的数据显示功能、麦克风等的声音输入功能、扬声器等的声音输出功能等计算机终端通常具备的功能。

[0090] 终端装置25与设施内LAN以能够通信的方式连接，经由Web应用访问网络服务系统26。例如，终端装置25经由通信控制装置261取得储存于客服中心4的存储装置41的数据(例如手术支援机器人20的工作信息)，将取得的数据显示于监视器。

[0091] 终端装置25能够从医疗工作人员M受理要求与终端装置42的双向通信的操作。终端装置25将与该操作对应的请求发送到服务器装置40。该操作的一个例子是显示于监视器的按钮的点击、向麦克风的声音输入，但不限于这些。

[0092] 终端装置25能够执行用于在与确立与服务器装置40的双向通信的终端装置42之间进行双向通讯(例如声音通话、视频通话、聊天等)的各种功能。即，终端装置25针对为了进行双向通讯而输入的数据(以下称为“通讯数据”)，为了在与终端装置42之间共享而经由通信控制装置261发送到服务器装置40，另一方面，从服务器装置40经由通信控制装置261接收并输出输入到终端装置42的通讯数据。关于通讯数据的一个例子，在进行声音通话的情况下是声音，在进行视频通话的情况下是带声音的影像，在进行聊天的情况下是文本数据，在进行使用白板功能的数据共享的情况下是通过绘图工具描绘的图形等，但不限于这些。

[0093] 〔网络照相机24〕

[0094] 网络照相机24是设置于设置手术支援机器人20的房间并以影像或者静止图像对房间的状况进行摄影的摄影装置。影像优选为带声音。摄影对象既可以是房间内整体，也可以是患者侧装置21，还可以是特定的医疗工作人员M。网络照相机24优选能够依照来自外部的指示任意地调整倾斜以及缩放。

[0095] 网络照相机24摄影的图像经由通信控制装置261被发送到服务器装置40。如上所述，在向服务器装置40发送图像时，根据个人信息保护的观点，优选通过通信控制装置261实施遮盖图像区域的一部分(例如患者P的脸)等图像处理等，能够根据需要限制发送。另外，也可以在将网络照相机24摄影的影像发送到服务器装置40时，通过通信控制装置261调整影像的帧率。

[0096] 〔客服中心4〕

[0097] 客服中心4是与医疗关联设施2不同的设施，是用于进行针对医疗关联设施2的远程支援业务的设施。在客服中心4内配设有LAN(以下称为“客服中心内LAN”)。客服中心内LAN与外部网络3以能够通信的方式连接。对客服中心内LAN以能够通信的方式连接服务器装置40、存储装置41、以及终端装置42。

[0098] 〔服务器装置40〕

[0099] 服务器装置40是计算机，具备计算机通常具有的功能。服务器装置40与客服中心内LAN以能够通信的方式连接。如图8所示，服务器装置40具备作为CPU的控制部400，作为通过在控制部400中动作的软件实现的功能，包括数据储存部401、通信控制部402、数据提供部403、以及数据解析部404。

[0100] 〔数据储存部401〕

[0101] 数据储存部401将从手术支援机器人20、网络照相机24、终端装置25、以及终端装置42发送到服务器装置40的数据储存到存储装置41。数据储存部401储存到存储装置41的数据的典型例是接下来的(1)～(5)。

[0102] (1)手术支援机器人20的工作信息

[0103] (2)内窥镜201b摄影的图像

[0104] (3)网络照相机24摄影的图像

[0105] (4)从终端装置25接收到的数据(声音、图像、文本、以及图形等各种数据)[0106] (5)从终端装置42接收到的数据(声音、图像、文本、以及图形等各种数据)[0107] 另外，数据储存部401在双向通信确立的期间，将从双向通信确立的装置发送到服务器装置40的数据作为双向通信的日志储存到存储装置41。

[0108] 参照图9，说明数据储存部401进行的处理的概要。在由服务器装置40接收到数据时(在S411中“是”)，数据储存部401将接收到的数据储存到存储装置41(S412)。另外，如果是双向通信确立的期间(在S413中“是”)，则作为双向通信的日志储存到存储装置41(S414)。

[0109] 〔通信控制部402〕

[0110] (通信确立处理)

[0111] 通信控制部402控制服务器装置40、和与服务器装置40以能够通信的方式连接的装置之间的通信，进行确立单向通信以及双向通信的处理。

[0112] 参照图10，说明由通信控制部402实施的双向通信的确立处理的概要。由通信控制部402实施的双向通信的确立处理通过接收到要求双向通信的请求而开始。在接收到请求时(在S511中“是”)，向双向通信的要求目的地发送询问(S512)。在针对该询问有许可双向通信的响应的情况下(在S513中“是”)，向要求源发送许可通知(S514)。由此，双向通信确立。另一方面，在针对询问有拒绝双向通信的响应的情况下(在S513中“否”)，将双向通信被拒绝的意思的通知(以下称为“拒绝通知”)发送到要求源(S515)。在该情况下，双向通信未确立。此外，在双向通信的确立处理中使用公知技术，所以关于详情，省略记载。另外，为了能够实现实时的数据共享，双向通信优选为全双工通信。

[0113] 此外，通信控制部402能够并行地确立多个双向通信。具体而言，能够在相同的医疗关联设施2内设置的多个手术支援机器人20与终端装置42之间确立双向通信。另外，还能够在设置于不同的医疗关联设施2的多个手术支援机器人20与终端装置42之间确立双向通信。

[0114] 通信控制部402进行确立双向通信的处理的触发是检测到预定的事件。在接下来的(事件例1)～(事件例5)中示出预定的事件的典型例。

[0115] (事件例1)由服务器装置40从手术支援机器人20或者终端装置25接收通过进行了要求双向通信的操作而发送的请求。

[0116] 该请求从由医疗工作人员M进行了要求双向通信的操作的手术支援机器人20或者终端装置25被发送到服务器装置40。在手术支援机器人20中发生某种故障、错误等异常的情况下，医疗工作人员M需要服务人员S的支援的可能性高。因此，在服务器装置40与手术支援机器人20以及终端装置25的至少1个之间、以及在服务器装置40与终端装置42之间确立双向通信是有用的。

[0117] 医疗工作人员M进行的操作的一个例子是针对与手术支援机器人20以能够通信的方式连接的操作部、或者设置于手术支援机器人20的操作部的操作。例如，是设置于远程操作装置22的附近(例如操作远程操作装置22的医疗工作人员M的身边)的开关222的按下、或者显示于设置于患者侧装置21的触摸面板207的按钮的触摸。前者主要由操作远程操作装置22的医疗工作人员M进行，后者主要由处于患者侧装置21的附近的医疗工作人员M进行。以该操作为契机，手术支援机器人20的控制器206将要求双向通信的请求发送到服务器装置40。检测到请求的通信控制部402进行(1)在服务器装置40与发送请求的手术支援机器人
20以及终端装置25的至少1个之间、以及(2)在服务器装置40与终端装置42之间确立双向通信的处理。

[0118] 医疗工作人员M进行的操作的另一例子是显示于终端装置25的监视器的按钮的点击。该情况下的请求从终端装置25被发送到服务器装置40。检测到请求的通信控制部402进行(1)在服务器装置40与发送请求的终端装置25以及手术支援机器人20的至少1个之间、以及(2)在服务器装置40与终端装置42之间确立双向通信的处理。

[0119] 医疗工作人员M进行的操作的又一例子是向手术支援机器人20或者终端装置25的要求双向通信的确立的声音的输入。

[0120] (事件例2)由服务器装置40从终端装置42接收通过进行了要求双向通信的操作而发送的请求。

[0121] 该请求从由服务人员S进行了要求双向通信的操作的终端装置42被发送到服务器装置40。该操作在探测到手术支援机器人20的异常等的服务人员S判断为应支援医疗工作人员M时进行。例如，在手术支援机器人20的工作信息中包括表示错误、故障等的异常值的情况下，医疗工作人员M有需要服务人员S的支援的可能性。因此，在服务器装置40与终端装置42之间、以及在服务器装置40与手术支援机器人20以及终端装置25的至少1个之间确立双向通信是有用的。

[0122] 包含于工作信息的异常值的典型例是推测是仪器臂201A以及照相机臂201B相互干扰而无法活动的状态的轴值以及电流值、表示需要手术支援机器人20的再起动的错误代码等。

[0123] 服务人员S进行的操作的一个例子是在终端装置42中应远程操作的手术支援机器人20的指定。请求从终端装置42被发送到服务器装置40。检测到请求的通信控制部402进行(1)在服务器装置40与发送请求的终端装置42之间、以及(2)在服务器装置40与指定的手术支援机器人20以及终端装置25的至少1个之间确立双向通信的处理。

[0124] 服务人员S进行的操作的另一例子是在终端装置42中应支援的医疗工作人员M的终端装置25的指定。在该情况下，请求也从终端装置42被发送到服务器装置40。检测到请求的通信控制部402进行(1)在服务器装置40与发送请求的终端装置42之间、以及(2)在服务器装置40与指定的终端装置25以及手术支援机器人20的至少1个之间确立双向通信的处理。

[0125] (事件例3)包含于工作信息的异常值的检测。

[0126] 包含于工作信息的异常值的典型例如上所述是推测是仪器臂201A以及照相机臂201B相互干扰而无法活动的状态的轴值以及电流值、表示需要手术支援机器人20的再起动的错误代码等。在该情况下，医疗工作人员M有需要服务人员S的支援的可能性。因此，服务人员S优选能够迅速地进行与医疗工作人员M的数据共享、或者手术支援机器人20的远程操作。

[0127] 在该情况下，通信控制部402进行(1)在服务器装置40、与配置于与网络照相机24相同的医疗关联设施2的终端装置25以及手术支援机器人20的至少1个之间、以及(2)在服务器装置40与终端装置42之间确立双向通信的处理。

[0128] (事件例4)基于由网络照相机24摄影的影像的图像解析的异常事态的检测(具体而言，医疗工作人员M的紧急行动的检测)。

[0129] 紧急行动是指，例如，与通常时不同的行动(突然慌张地到处活动等)、操作紧急设备的行动(例如操作特定电话机的行动等)。在该情况下，医疗工作人员M有需要服务人员S的支援的可能性。因此，服务人员S优选能够迅速地进行与医疗工作人员M的数据共享、或者手术支援机器人20的远程操作。

[0130] 在该情况下，通信控制部402进行(1)在服务器装置40、与配置于与网络照相机24相同的医疗关联设施2的终端装置25以及手术支援机器人20的至少1个之间、以及(2)在服务器装置40与终端装置42之间确立双向通信的处理。

[0131] (事件例5)基于由网络照相机24摄影的影像的声音解析的异常事态的检测(具体而言，特定的词组或者超过阈值的音量、频率的检测)。

[0132] 在检测到对客服中心4请求帮助的词组、或者检测到超过阈值的音量、频率的情况下，起因于发生了某种问题而说话的可能性高，且医疗工作人员M需要服务人员S的支援的可能性高。因此，服务人员S优选能够迅速地进行与医疗工作人员M的数据共享、或者手术支援机器人20的远程操作。

[0133] 在该情况下，通信控制部402进行(1)在服务器装置40、与配置于与网络照相机24相同的医疗关联设施2的终端装置25以及手术支援机器人20的至少1个之间、以及(2)在服务器装置40与终端装置42之间确立双向通信的处理。

[0134] (数据配送处理)

[0135] 通信控制部402针对双向通信确立的对方目的地的装置，配送从双向通信确立的装置发送到服务器装置40的各种数据。在接下来的(配送例1)～(配送例7)中示出配送例。

[0136] (配送例1)通信控制部402将通过双向通信确立了的手术支援机器人20以及终端装置25的至少1个、和终端装置42中的任意一方输入并发送到服务器装置40的数据(声音、图像、以及文本的至少1个)配送给另一方。由此，能够在医疗工作人员M与服务人员S之间迅速共享建议、指示，所以得到与服务人员S去到现场进行支援的情况等同的效果。此外，如果通过数据提供部403针对终端装置42始终发送手术支援机器人20的工作信息，则服务人员S能够在双向通信确立以前根据已提供的工作信息推测故障的原因、处置方法，所以能够在双向通信刚刚确立之后迅速并且适合地支援。

[0137] 作为一个例子，参照图11，说明通过上述事件例3或者事件例4确立双向通信而进行配送例1的处理的流程的一个例子。由网络照相机24摄影的图像经由通信控制装置261被发送到服务器装置40(S41、S42)。由服务器装置40接收图像(S43)，在通信控制部402检测到异常事态时(在S44中“是”)，在服务器装置40与手术支援机器人20以及终端装置25的至少1个之间、以及在服务器装置40与终端装置42之间进行双向通信的确立处理(S45)。双向通信的确立处理如上所述，所以详情省略。在双向通信确立之后，通过终端装置42输入并发送到服务器装置40的数据从通信控制部402被发送到手术支援机器人20以及终端装置25的至少1个(S46～S47)。此时，数据储存部401将发送数据作为双向通信的日志储存到存储装置41(S48)。经由通信控制装置261接收到数据的手术支援机器人20以及终端装置25的至少1个输出该数据(S49～S50)。同样地，通过手术支援机器人20或者终端装置25输入并发送到服务器装置40的数据从通信控制部402被发送到终端装置42(S51～S53)，终端装置42输出接收到的数据(S55)。此时，数据储存部401将发送数据作为双向通信的日志储存到存储装置
41(S54)。此外，在双向通信是全双工通信的情况下，S46～S50和S51～S55能够并行实施。

[0138] (配送例2)通信控制部402优选在双向通信确立了时，将由网络照相机24摄影并由服务器装置40接收到的图像配送给至少终端装置42。终端装置42将该配送的图像显示于监视器。由此，能够按照与服务人员S去到现场的情况等同的或者其以上的程度，在医疗工作人员M与服务人员S之间在视觉上共享手术室的现状，所以服务人员S能够适合地支援。此外，也可以作为图像的配送目的地加上终端装置25。

[0139] (配送例3)通信控制部402优选在双向通信确立了时，将由内窥镜201b摄影并由服务器装置40接收到的图像配送给至少终端装置42。终端装置42将该配送的图像显示于监视器。由此，能够按照与服务人员S去到现场的情况等同的或者其以上的程度，在医疗工作人员M与服务人员S之间在视觉上共享患者P的体腔内的状况，所以服务人员S能够适合地支援。此外，也可以作为图像的配送目的地加上终端装置25。

[0140] (配送例4)优选同时进行配送例2所示的配送以及配送例3所示的配送。即，优选将由网络照相机24摄影并由服务器装置40接收到的图像、以及由内窥镜201b摄影并由服务器装置40接收到的图像配送给至少终端装置42。终端装置42将该配送的图像的两方同时显示于监视器。由此，服务人员S能够同时确认手术室的现状以及患者P的体腔内的状况，所以服务人员S能够适合地支援。此外，也可以作为图像的配送目的地加上终端装置25。

[0141] (配送例5)设为针对双向通信确立的终端装置42，通信控制部402配送图像(由网络照相机24摄影的图像、以及由内窥镜201b摄影的图像的至少1个)，在终端装置42的监视器上显示该图像。进而，设为通信控制部402针对双向通信确立的手术支援机器人20以及终端装置25的至少1个也配送该图像，在手术支援机器人20具备的监视器(设置于患者侧装置21的触摸面板207、与图像处理装置23连接的监视器231)或者终端装置42的监视器上显示该图像。在该情况下，在通过终端装置42输入了与该图像重叠显示的数据(例如在图像的显示区域中通过绘图工具描绘的图形)时，该数据被发送到服务器装置40。然后，通信控制部
402将该数据配送给双向通信确立的手术支援机器人20以及终端装置25的至少1个。接收到该数据的手术支援机器人20在从通信控制部402配送并显示于监视器的图像上重叠显示该数据。同样地，接收到该数据的终端装置25在从通信控制部402配送并显示于监视器的图像上重叠显示该数据。由此，医疗工作人员M以及服务人员S这双方能够共享重叠显示数据的图像。因此，例如，通过终端装置42在图像中的应关注的地方描绘标志，从而能够容易地共享医疗工作人员M以及服务人员S这双方应关注的地方。

[0142] 作为例子，参照图12，说明在服务器装置40与手术支援机器人20及终端装置25之间、以及在服务器装置40与终端装置42之间双向通信确立的状态下进行配送例2～5的处理的流程的一个例子。首先，由网络照相机24以及内窥镜201b的至少1个摄影的图像经由通信控制装置261被发送到服务器装置40(S61、S62)。在由服务器装置40接收到图像时(S63)，通信控制部402向双向通信确立的终端装置42配送图像，并且向手术支援机器人20以及终端装置25配送该图像(S64)。手术支援机器人20以及终端装置25将经由通信控制装置261发送的图像显示于监视器(S65、S66)。终端装置42也同样地将图像显示于监视器(S67)。由此，在手术支援机器人20、终端装置25以及终端装置42的各监视器上显示图像。此时，数据储存部401将发送图像作为双向通信的日志储存到存储装置41(S68)。接下来，在由终端装置42的服务人员S输入了与图像重叠显示的数据的情况下(S69)，该数据被服务器装置40接收(S70)，通信控制部402将该数据经由通信控制装置261配送给手术支援机器人20以及终端装置25(S71、S73)。接收到该数据的手术支援机器人20以及终端装置25将重叠显示该数据的图像显示于监视器(S74)。数据储存部401将重叠显示该数据的图像作为双向通信的日志储存到存储装置41(S72)。

[0143] (配送例6)通信控制部402将通过终端装置42输入并发送到服务器装置40的针对手术支援机器人20的动作指令、警报输出指示配送给手术支援机器人20。由此，服务人员S能够迅速对手术支援机器人20进行远程操作。

[0144] (配送例7)在能够通过手术支援机器人20输入声音、图像、以及文本等数据的情况下，通信控制部402也可以将通过手术支援机器人20输入并发送到服务器装置40的该数据配送给终端装置42。相反，在能够通过手术支援机器人20输出声音、图像、以及文本等数据的情况下，通信控制部402也可以将通过终端装置42输入并发送到服务器装置40的该数据配送给手术支援机器人20。由此，即使不使用终端装置25也能够实现医疗工作人员M和服务人员S的通讯。

[0145] 〔数据提供部403〕

[0146] 数据提供部403将与来自终端装置25的要求对应的数据发送到要求源的终端装置25。同样地，数据提供部403将与来自终端装置42的要求对应的数据提供给要求源的终端装置42。为此，在数据提供部403中准备有各种API。向终端装置25以及终端装置42提供的数据的典型例是储存于存储装置41的数据，特别是手术支援机器人20的工作信息、由网络照相机24摄影的图像、由内窥镜201b摄影的图像。

[0147] 此外，数据提供部403优选将从手术支援机器人20接收到的工作信息始终发送到终端装置42。由此，服务人员S能够通过终端装置42始终监视手术支援机器人20的状况。因此，服务人员S能够从双向通信确立之前，根据手术支援机器人20的工作信息，事先确认故障的原因、处置方法，所以能够从刚刚开始与医疗工作人员M的双向通讯之后迅速并且适合地进行支援。

[0148] 在提供的数据中包括错误的情况下，数据提供部403将与错误有关的通知发送到要求源的终端装置25或者终端装置42。也可以在与错误有关的通知中包括错误的处置方法。错误的处置方法是指，例如，动态地汇集将电子操作说明书中的相应地方作为链接目的地的超链接、积蓄的与处置方法有关的信息中的仅必要信息的数据等，但不限于这些。

[0149] 此外，数据提供部403既可以在通过数据解析部404统计性地解析提供的数据之后发送，也可以在整理提供的数据的显示形式之后发送。

[0150] 参照图13，说明数据提供部403进行的处理的概要。在从终端装置25或者终端装置42有数据的提供要求时(在S611中“是”)，数据提供部403从存储装置41取得要求对象数据(S612)。在此，如果在取得的数据中不包括错误(在S613中“否”)，则原样地向要求源提供数据(S614)。另一方面，在取得的数据中包括错误的情况下(在S613中“是”)，将与错误有关的通知发送到要求源(S615)。在图13中，在此之后继续向要求源提供数据(S614)，但也可以根据错误的内容省略向要求源的数据提供。

[0151] 〔数据解析部404〕

[0152] 数据解析部404根据来自终端装置25或者终端装置42的要求，进行各种数据的解析，将解析结果发送到要求源。为此，在数据提供部403中准备有解析用的各种API。成为解析对象的数据的典型例是储存于存储装置41的数据(典型而言是手术支援机器人20的工作信息)。

[0153] 参照图14，说明数据解析部404进行的处理的概要。在有来自终端装置25或者终端装置42的数据的解析要求时(在S711中“是”)，数据解析部404选择用于解析对象数据的API(S712)，执行解析(S713)。然后，将解析结果发送到要求源(S714)。

[0154] 〔终端装置42〕

[0155] 终端装置42是客服中心4的服务人员S在客服中心4内使用的计算机终端。终端装置42的典型例是个人计算机、平板终端、智能手机等。终端装置42经由客服中心4内LAN与服务器装置40可通信地连接。

[0156] 此外，终端装置42具有与其他装置的通信功能、键盘等的数据输入功能、监视器等的数据显示功能、麦克风等的声音输入功能、扬声器等的声音输出功能等计算机终端通常具备的功能。

[0157] 终端装置42经由服务器装置40取得储存于存储装置41的数据(典型而言是手术支援机器人20的工作信息)，将取得的数据显示于监视器。

[0158] 终端装置42能够从服务人员S受理要求与手术支援机器人20或者终端装置25的双向通信的操作。终端装置42将与该操作对应的请求发送到服务器装置40。该操作的一个例子是显示于监视器的按钮的点击、向麦克风的声音输入，但不限于这些。

[0159] 终端装置42能够执行用于在与双向通信确立的终端装置25之间进行双向通讯以及数据共享的各种功能。即，终端装置42将通讯数据为了在与终端装置25之间共享而发送到服务器装置40，另一方面，从服务器装置40接收输入到终端装置25的通讯数据。

[0160] 终端装置42能够受理针对双向通信确立的手术支援机器人20的指令。该指示的一个例子是来自手术支援机器人20的警报输出指令、用于对手术支援机器人20进行远程操作的动作指令。

[0161] 终端装置42能够取得显示于双向通信确立的手术支援机器人20的远程操作装置22的监视器221的画面，显示于终端装置42的监视器。

[0162] 在手术支援机器人20具备输出声音、图像、以及文本等数据的输出部的情况下，终端装置42也可以针对双向通信确立的手术支援机器人20，经由服务器装置40配送该数据。

[0163] 〔存储装置41〕

[0164] 存储装置41是存储各种数据的装置，是硬盘等磁盘等。

[0165] 〔画面例〕

[0166] 参照图15～图17，说明终端装置42以及终端装置25的各监视器的显示画面的一个例子。图15是示出终端装置42的监视器的显示画面的一个例子的示意图。图16是示出终端装置25的监视器的显示画面的一个例子的示意图。

[0167] 在此，设为在服务器装置40与终端装置42以及终端装置25之间双向通信确立。另外，设为由网络照相机24摄影的手术室的图像、以及由内窥镜201b摄影的患者P的体腔内的图像从通信控制部402被配送给终端装置42和终端装置25。

[0168] 配送的手术室的图像显示于终端装置42的监视器的显示区域A1(参照图15)、以及终端装置25的监视器的显示区域B1(参照图16)。在该图像中拍摄有患者侧装置21以及远程操作装置22。

[0169] 另外，配送的患者P的体腔内的图像显示于终端装置42的监视器的显示区域A2(参照图15)、以及终端装置25的监视器的显示区域B2(参照图16)。在该图像中拍摄有导入到患者P的体内的2个仪器201a以及手术部位R。

[0170] 这样，在终端装置42的监视器以及终端装置25的监视器这双方，同时显示相同的图像。由此，医疗工作人员M以及服务人员S这双方能够按照与服务人员S去到现场的情况等同或者其以上的程度，共享手术室的现状以及患者P的体腔内的现状，所以服务人员S能够适合地支援医疗工作人员M。

[0171] 另外，在图15所示的显示区域A3中，针对每个手术支援机器人20显示从存储装置41取得的手术支援机器人20各自的工作信息。具体而言，显示状态(Status)、房间名(Lab Name)、模型(Model)、序列号(Serial No.)、最新更新日期时间(Last update)、最新错误(Latest Error)、手术模式(OP Mode)，并且显示用于显示与操作(Action)、部位信息(Parts Info.)、供给信息(Supply Info.)、自检(Self Check)、远端视图(Remote View)有关的详细画面的按钮(Browse)。另外，在图15所示的显示区域A4中，详细地显示出设置于A医院1号室的手术支援机器人20的各部位(Parts)的信息(Command Value(指令值)、Actual Value(实际值)、Current(电流)、Difference(差))。服务人员S通过阅览这些工作信息，能够进行更可靠的支援。

[0172] 图17是示出在图15以及图16所示的显示画面的状态下，在终端装置25以及终端装置42中的某一方中描绘与图像重叠显示的数据的显示画面的一个例子的示意图。图17示出在终端装置25以及终端装置42中的某一方中使用绘图工具等描绘的标志MK在双方的显示画面中与图像重叠显示的情形。这样，在双向通信确立的终端装置25以及终端装置42中的某一方中描绘与图像重叠的数据时，通过通信控制部402的配送，在终端装置42以及终端装置25这双方的监视器中共享重叠显示该数据的图像。由此，医疗工作人员M以及服务人员S例如能够容易地共享图像中的应关注的地方。

[0173] [变形例]

[0174] 也可以在患者侧装置21中，除了触摸面板207以外，还设置声音输入输出装置、图像输出装置。由此，能够通过患者侧装置21进行要求双向通信的确立的操作，并且能够在双向通信确立之后，在使用患者侧装置21的医疗工作人员M与使用终端装置42的服务人员S之间进行双向通讯以及数据共享。

[0175] 同样地，也可以在远程操作装置22中，除了监视器221以外，还设置受理输入操作的操作装置、声音输入输出装置、图像输出装置。由此，能够通过远程操作装置22进行要求双向通信的确立的操作，并且能够在双向通信确立之后，在使用远程操作装置22的医疗工作人员M与使用终端装置42的服务人员S之间进行双向通讯以及数据共享。

[0176] 同样地，也可以对图像处理装置23除了连接监视器231以外，还连接受理输入操作的操作装置、声音输入输出装置、图像输出装置。由此，能够通过图像处理装置23进行要求双向通信的确立的操作，并且能够在双向通信确立之后，在使用图像处理装置23的医疗工作人员M与使用终端装置42的服务人员S之间进行双向通讯以及数据共享。

[0177] 终端装置25通常与设施内LAN以能够通信的方式连接，但也可以不经由设施内LAN而与外部网络3以能够通信的方式连接。

[0178] 〔实施方式2〕

[0179] 在上述实施方式中，说明了服务器装置40设置于客服中心4的结构例，但服务器装置40的配置场所不限于此。如图18所示，本实施方式所涉及的医疗关联设施2b在设置有服务器装置40以及存储装置41这一点与实施方式1的医疗关联设施2不同。服务器装置40以及存储装置41与配设于医疗关联设施2b的LAN以能够通信的方式连接。另外，本实施方式所涉及的客服中心4b在未设置服务器装置40以及存储装置41这一点与实施方式1的客服中心4不同。

[0180] 在本实施方式中，经由LAN进行医疗关联设施2b内的各装置和服务器装置40的数据的发送接收。另外，经由外部网络3进行客服中心4b的存储装置41及终端装置42和服务器装置40的数据的发送接收。

[0181] 〔实施方式3〕

[0182] 在上述实施方式中，示出手术支援机器人20具备具有多个手术机械手201的1台患者侧装置21的结构例，但手术支援机器人20的结构不限于此。例如，也可以是代替患者侧装置21而具备多个患者侧装置，该多个患者侧装置的各个具备安装有内窥镜、钳子等手术器具的机械手的结构。

[0183] 图19示出本实施方式所涉及的手术支援机器人20b。手术支援机器人20b在代替患者侧装置21而具备安装于载置患者P的手术台顶板214的3台患者侧装置这一点与手术支援机器人20不同。具体而言，手术支援机器人20b具备具有安装有内窥镜的手术机械手(第1机械手)的第1患者侧装置211、和具有安装有钳子等手术器具的手术机械手(第2机械手)的第2患者侧装置212以及第3患者侧装置213。在手术支援机器人20b中，远程操作装置22通过将应由第1患者侧装置211的手术机械手夹持的内窥镜执行的动作指令发送到第1患者侧装置
211的控制器，对第1患者侧装置211的手术机械手进行远程操作。同样地，远程操作装置22通过将应由第2患者侧装置212的手术机械手夹持的手术器具执行的动作指令发送到第2患者侧装置212的控制器，对第2患者侧装置212的手术机械手进行远程操作。同样地，远程操作装置22通过将应由第3患者侧装置213的手术机械手夹持的手术器具执行的动作指令发送到第3患者侧装置213的控制器，对第3患者侧装置213的手术机械手进行远程操作。

[0184] 在本实施方式中，通信控制部402进行在服务器装置40、与手术支援机器人20b(第1患者侧装置211、第2患者侧装置212、第3患者侧装置213、远程操作装置22、图像处理装置
23)、以及终端装置25的至少1个之间确立双向通信的处理。

[0185] 〔实施方式4〕

[0186] 在上述实施方式中，示出手术支援机器人20以及20b具备患者侧装置21、211、212、213、远程操作装置22、以及图像处理装置23的结构例，但手术支援机器人20的结构不限于此。

[0187] 图20示出本实施方式所涉及的手术支援机器人20c。手术支援机器人20c具备机器人手术台225以及操作装置226。机器人手术台225具有载置患者的顶板223、和用于使顶板223移动的机械手224。机械手224的一端固定于地面且另一端支撑顶板223。操作装置226是用于操作机器人手术台225的移动终端。操作装置226具备用于指示机械手224的移动方向的按钮227。操作装置226将通过按钮227输入的指示发送到机器人手术台225的控制器。机械手224依照控制器接收到的指示移动，使顶板223定位到期望的位置。

[0188] 在操作装置226中，设置有用于要求双向通信的联络用按钮228。通过医疗工作人员M按下联络用按钮228，要求双向通信的请求从操作装置226发送到服务器装置40。在本实施方式中，通信控制部402进行在服务器装置40、与手术支援机器人20c(机器人手术台225以及操作装置226)、以及终端装置25的至少1个之间确立双向通信的处理。

[0189] 此外，操作装置226能够输入输出图像、声音、文本等数据，能够在双向通信确立之后，进行使用操作装置226的医疗工作人员M和使用终端装置42的服务人员S的双向通讯以及数据共享。图像以及文本被输出到监视器229。

[0190] 〔附记事项1〕

[0191] 医疗工作人员M需要由服务人员S提供的支援的定时不仅在手术支援机器人20工作的期间(即手术中、训练中)，而且在手术支援机器人20未工作的期间也可能引起。例如，在以有线方式连接患者侧装置21、远程操作装置22、以及图像处理装置23的情况下，在手术前的准备、手术后的收拾时，有时希望关于它们的布线请求服务人员S的支援。因此，也可以在手术支援机器人20未工作的期间也确立双向通信，在医疗工作人员M与服务人员S之间进行双向通讯。

[0192] 〔附记事项2〕

[0193] 双向通信有在2个装置之间进行的方式、以及在多个装置之间进行的方式。前者的典型例在服务人员S对1个医疗关联设施2进行远程支援的情形(即1对1的关系)中适合，在该情况下，在1个终端装置42与手术支援机器人20或者终端装置42之间进行双向通信。后者的典型例在手术支援机器人20的训练中指导者对多个训练对象者进行远端训练的情形(即1对多的关系)中适合，在该情况下，在1个终端装置42与多个手术支援机器人20之间进行双向通信。

[0194] 〔附记事项3〕

[0195] 服务器装置40无需一定如实施方式1那样设置于客服中心4的设施内，也可以实现为设置于客服中心4的外部，经由外部网络3而与客服中心4通信连接。

[0196] 〔附记事项4〕

[0197] 无需将在上述实施方式中通信控制装置261具有的所有功能一定设置于通信控制装置261内。例如，也可以手术支援机器人20或者服务器装置40具有针对内窥镜201b以及网络照相机24的至少1个摄影的图像进行使能够确定人物的确定信息在视觉上不清晰的图像处理的功能、调整内窥镜201b以及网络照相机24的至少1个摄影的图像的帧率的功能。

[0198] 〔附记事项5〕

[0199] 在上述实施方式中，说明了通过由服务器装置40接收要求双向通信的请求，能够进行从客服中心4向医疗关联设施2的通信，但当然，在紧急时，即使不发送要求双向通信的请求，也能够从客服中心4向医疗关联设施2进行通信。

[0200] 〔通过软件的实现〕

[0201] 手术支援机器人20、20b、20c的控制块(特别是系统协作装置27)、通信控制装置261的控制块(特别是控制部262)、以及服务器装置40的控制块(特别是控制部400)既可以通过形成于集成电路(IC芯片)等的逻辑电路(硬件)实现，也可以通过软件实现。

[0202] 在后者的情况下，手术支援机器人20、20b、20c、通信控制装置261、以及服务器装置40具备执行作为实现各功能的软件的程序的命令的计算机。该计算机例如具备1个以上的处理器，并且具备存储有上述程序的计算机可读取的记录介质。而且，在上述计算机中，通过上述处理器从上述记录介质读取并执行上述程序，达成本发明的目的。作为上述处理器，能够使用例如CPU、GPU(Graphics Processing Unit，图形处理单元)。作为上述记录介质，除了“并非临时性的有形的介质”、例如ROM(Read Only Memory，只读存储器)等以外，还能够使用带、盘、卡、半导体存储器、可编程的逻辑电路等。另外，也可以还具备展开上述程序的RAM(Random Access Memory，随机存取存储器)等。另外，上述程序也可以经由能够传送该程序的任意的传送介质(通信网络、广播波等)供给到上述计算机。此外，在本发明的一个方案中，上述程序还能够以通过电子的传送具体化的、嵌入到载波的数据信号的方式实现。

[0203] 本发明不限定于上述各实施方式，能够在权利要求所述的范围内进行各种变更，将在不同的实施方式中分别公开的技术手段适宜地组合而得到的实施方式也包含于本发明的技术范围内。

标题	发布/更新时间	阅读量
计算机辅助的远程操作外科手术系统和方法	2020-05-18	611
一种可远程控制的手术机器人	2020-05-12	997
远程操作的手术系统的力传递机构	2020-05-13	508
一种远程同步手术系统	2020-05-11	46
一种手术室设备远程控制方法	2020-05-16	690
血管介入手术导丝导管远程操控装置	2020-05-16	388
自助式远程服务外科手术机器人系统	2020-05-14	775
计算机辅助远程操作手术系统和方法	2020-05-14	948
血管介入手术导丝导管远程操控装置	2020-05-15	677
一种基于物联网的远程手术辅助系统	2020-05-16	211

手术支援机器人的远程支援方法以及远程支援系统

手术支援机器人的远程支援方法以及远程支援系统

技术领域

背景技术

发明内容

具体实施方式

该功能需要专业版企业版VIP权限，您可以：