图像处理设备和方法以及外科手术系统
阅读：680发布：2020-05-13
专利汇可以提供图像处理设备和方法以及外科手术系统专利检索，专利查询，专利分析的服务。并且本技术涉及用于减少延迟从而能够几乎实时显示捕捉的图像的 图像处理 设备、图像处理方法以及外科手术系统。CPU(31)的DMA 控制器 (51)在 水 平方向按照GPU卡(35‑1、35‑2)的数量将通过 接口 卡(34)输入的图像数据分割，并且将这样分割的图像数据分配给GPU卡(35‑1、35‑2)。在每个GPU卡(35‑1、35‑2)中，图像数据在竖直方向经历时分处理。通过这种方式，多个GPU卡(35‑1、35‑2)用于增强与图像数据的显示相关的处理速度，从而减少延迟，从而实现高速显示。该技术可以应用于内窥相机、外科手术 显微镜 等。，下面是图像处理设备和方法以及外科手术系统专利的具体信息内容。
1.一种图像处理设备，包括：
多个演算处理单元，按照时分方式在每个范围上执行处理，通过在竖直方向分割捕捉患者的手术部位所获得的图像来获得所述范围，其中，
所述演算处理单元对于在水平方向上按照演算处理单元的数量分割的所述图像在竖直方向时分后执行处理,
其中，对所述图像执行的所述处理是使用n阶过滤器的过滤处理，
其中，基于按照时分处理的分割次数在竖直方向划分分割区域时所述范围的数量、与所述处理相关联的过滤器的数量、以及存在参考像素的区域，所述演算处理单元计算处理量，
其中，所述演算处理单元包括用于缓冲处理结果的存储器，
在通过竖直方向上划分所述图像所获得的范围中各阶的所述过滤器的竖直方向上的最高阶的处理范围是包括在竖直方向的第二阶和后续阶的处理范围内所述过滤器的处理所需要的参考像素的行数的范围，并且
所述演算处理单元在执行用于所述过滤器进行处理的演算处理时，在使用所述参考像素的处理中，根据缓冲在所述存储器内的直到前一阶的过滤处理的处理结果，使用与所述参考像素对应的处理结果，执行演算处理。
2.根据权利要求1所述的图像处理设备，其中，
所述多个演算处理单元由多个GPU(图形处理单元)构成，并且
所述演算处理单元对于在水平方向上按照GPU的数量分割的所述图像执行处理。
3.根据权利要求1所述的图像处理设备，其中，
所述n阶过滤器按照时分方式，从处于竖直方向的最高阶的范围向下依次对通过在竖直方向上分割所述图像所获得的范围执行处理。
4.根据权利要求1所述的图像处理设备，进一步包括：
定时控制单元，基于对所述图像执行的处理量以及所述演算处理单元的处理速度，针对所述演算处理单元的计算的定时进行控制，基于所述图像在水平方向上的分割数以及所述图像在竖直方向上的分割数计算所述处理量。
5.根据权利要求1所述的图像处理设备，其中，
通过在竖直方向上时分所述图像所获得的范围的第一时段处理范围包括：在第二时段处理所需要的参考像素，所述第二时段在所述第一时段之后。
6.根据权利要求5所述的图像处理设备，其中，
在所述第二时段的处理中，根据缓冲在所述存储器中的所述第一时段的处理结果，使用与所述参考像素对应的处理结果执行演算处理。
7.根据权利要求1所述的图像处理设备，其中，
所述演算处理单元对于通过捕捉患者的手术部位所获得的图像至少执行放大处理。
8.根据权利要求1所述的图像处理设备，其中，
通过捕捉患者的手术部位所获得的图像是由内窥镜捕捉的图像。
9.根据权利要求1所述的图像处理设备，其中，
通过捕捉患者的手术部位所获得的图像是由显微镜捕捉的图像。
10.根据权利要求1所述的图像处理设备，其中，所述n阶滤波器是高斯滤波器。
11.一种用于图像处理设备的图像处理方法，所述图像处理设备包括：多个演算处理单元，按照时分方式在每个范围上执行处理，通过在竖直方向分割捕捉患者的手术部位所获得的图像来获得所述范围，其中，
所述演算处理单元对于在水平方向上按照演算处理单元的数量分割的所述图像在竖直方向时分后执行处理，
其中，对所述图像执行的所述处理是使用n阶过滤器的过滤处理，
其中，基于按照时分处理的分割次数在竖直方向划分分割区域时所述范围的数量、与所述处理相关联的过滤器的数量、以及存在参考像素的区域，所述演算处理单元计算处理量，
其中，所述演算处理单元包括用于缓冲处理结果的存储器，
在通过竖直方向上划分所述图像所获得的范围中各阶的所述过滤器的竖直方向上的最高阶的处理范围是包括在竖直方向的第二阶和后续阶的处理范围内所述过滤器的处理所需要的参考像素的行数的范围，并且
所述演算处理单元在执行用于所述过滤器进行处理的演算处理时，在使用所述参考像素的处理中，根据缓冲在所述存储器内的直到前一阶的过滤处理的处理结果，使用与所述参考像素对应的处理结果，执行演算处理。
12.根据权利要求11所述的图像处理方法，其中，
所述图像是由内窥镜捕捉的图像。
13.根据权利要求11所述的图像处理方法，其中，
所述图像是由显微镜捕捉的图像。
14.一种手术系统，包括：
成像设备，捕捉患者的手术部位；以及
图像处理设备，包括：
多个演算处理单元，按照时分方式在每个范围上执行处理，通过在竖直方向分割由所述成像设备捕捉的图像来获得所述范围，所述演算处理单元对于在水平方向上按照演算处理单元的数量分割的所述图像在竖直方向时分后执行处理，
其中，对所述图像执行的所述处理是使用n阶过滤器的过滤处理，
其中，基于按照时分处理的分割次数在竖直方向划分分割区域时所述范围的数量、与所述处理相关联的过滤器的数量、以及存在参考像素的区域，所述演算处理单元计算处理量，
其中，所述演算处理单元包括用于缓冲处理结果的存储器，
在通过竖直方向上划分所述图像所获得的范围中各阶的所述过滤器的竖直方向上的最高阶的处理范围是包括在竖直方向的第二阶和后续阶的处理范围内所述过滤器的处理所需要的参考像素的行数的范围，并且
所述演算处理单元在执行用于所述过滤器进行处理的演算处理时，在使用所述参考像素的处理中，根据缓冲在所述存储器内的直到前一阶的过滤处理的处理结果，使用与所述参考像素对应的处理结果，执行演算处理。
图像处理设备和方法以及外科手术系统
技术领域
[0001] 本技术涉及图像处理设备、图像处理方法以及手术系统，并且更具体而言，涉及以下图像处理设备、图像处理方法以及手术系统，可以通过其实现低延迟图像显示。
背景技术
[0003] 同时，提出了一种能够以最小的定时延迟高速显示所捕捉的图像的技术。
[0006] 要解决的问题
[0008] 结果，由于处理开销，所以要处理的行数总体增加。因此，计算量增大，这有时阻止增强提高处理速度。
[0009] 鉴于上述情况，构成本技术，具体而言，通过在水平方向将图像分成区域，将图像的分割区域分配给多个处理器，由处理器对分配的区域在竖直方向进行时分处理，为在竖直方向分割的区域的顶部区域设置最大开销，并且依次进行处理，从而能够高速显示所捕捉的图像。
[0010] 解决问题的方式
[0011] 根据本技术的一个方面的一种图像处理设备，包括：多个演算处理单元，按照时分方式在每个范围上执行处理，通过在竖直方向分割捕捉患者的手术部位所获得的图像来获得所述范围，其中，演算处理单元对于在水平方向上按照演算处理单元的数量分割的所述图像在竖直方向时分后执行处理。
[0012] 所述多个演算处理单元可以由多个GPU(图形处理单元)构成，并且所述演算处理单元可以对于在水平方向上按照GPU的数量分割的所述图像执行处理。
[0013] 在图像上执行的处理可以是使用n阶过滤器的过滤处理。
[0014] n阶过滤器按照时分方式，从处于竖直方向的最高阶的范围向下依次对通过在竖直方向上分割所述图像所获得的范围执行处理。
[0015] 图像处理设备可以进一步包括：定时控制单元，基于对所述图像执行的处理量以及所述演算处理单元的处理速度，针对所述演算处理单元的计算的定时进行控制，基于所述图像在水平方向上的分割数以及所述图像在竖直方向上的分割数计算所述处理量。
[0017] 所述演算处理单元可以包括用于缓冲处理结果的存储器，并且在所述第二时段的处理中，根据缓冲在所述存储器中的所述第一时段的处理结果，使用与所述参考像素对应的处理结果执行演算处理。
[0018] 演算处理单元可以包括用于缓冲处理结果的存储器，在通过竖直方向上划分所述图像所获得的范围中各阶的所述过滤器的竖直方向上的最高阶的处理范围可以是包括在竖直方向的第二阶和后续阶的处理范围内所述过滤器的处理所需要的参考像素的行数的范围，并且演算处理单元在执行用于所述过滤器进行处理的演算处理时，在使用所述参考像素的处理中，根据缓冲在所述存储器内的直到前一阶的过滤处理的处理结果，使用与参考像素对应的处理结果，执行演算处理。
[0019] 所述演算处理单元可以对于通过捕捉患者的手术部位所获得的图像至少执行放大处理。
[0020] 通过捕捉患者的手术部位所获得的图像可以是由内窥镜捕捉的图像。
[0021] 通过捕捉患者的手术部位所获得的图像可以是由显微镜捕捉的图像。
[0022] 根据本技术的一个方面的一种用于图像处理设备的图像处理方法，该图像处理设备包括：多个演算处理单元，按照时分方式在每个范围上执行处理，通过在竖直方向分割捕捉患者的手术部位所获得的图像来获得所述范围，其中，演算处理单元对于在水平方向上按照演算处理单元的数量分割的所述图像在竖直方向时分后执行处理。
[0023] 所述图像可以是由内窥镜捕捉的图像。
[0024] 所述图像可以是由显微镜捕捉的图像。
[0025] 根据本技术的一个方面的一种手术系统，包括：成像设备，捕捉患者的手术部位；以及图像处理设备，包括：多个演算处理单元，按照时分方式在每个范围上执行处理，通过在竖直方向分割由所述成像设备捕捉的图像来获得所述范围，所述演算处理单元对于在水平方向上按照演算处理单元的数量分割的所述图像在竖直方向时分后执行处理。
[0026] 在本技术的方面，多个演算处理单元按照时分方式在每个范围上执行处理，通过在竖直方向分割捕捉患者的手术部位所获得的图像来获得所述范围。对于在水平方向上按照演算处理单元的数量分割的图像在竖直方向时分后执行处理。
[0027] 效果
[0029] 图1是描述应用本技术的图像处理设备的实施方式的配置的方框图。
[0030] 图2是描述在图1示出的图像处理设备的处理的示图。
[0031] 图3是描述在传统的图像处理与根据本技术的图像处理之间的差异的示图。
[0032] 图4是描述在水平方向按照GPU卡的数量分割并且执行并行处理的图1中示出的图像处理设备的示图。
[0033] 图5是描述在水平方向按照GPU卡的数量分割图像数据，执行并行处理并且还在竖直方向执行时分处理的在图1示出的图像处理设备的示图。
[0034] 图6是示出用于处理图像的过滤器的实例的示图。
[0035] 图7是描述在过滤处理中在兴趣像素与参考像素之间的关系的示图。
[0036] 图8是描述在每个处理区域上执行过滤处理时发生的开销的示图。
[0037] 图9是描述在每个处理区域上执行过滤处理时发生的开销的具体实例的示图。
[0038] 图10是描述在图1示出的图像处理设备中在过滤处理的每个过程中设置处理范围的方法的示图。
[0039] 图11是描述由在图1示出的图像处理设备执行的低延迟显示处理的流程图。
[0040] 图12是描述计算在水平方向的处理量的方法的示图。
[0041] 图13是描述计算在竖直方向的处理量的方法的示图。
[0042] 图14是描述处理时间取决于处理范围的事实的示图。
[0043] 图15是描述用于在处理范围内均衡处理时间的在处理范围内输出的行数的调整的示图。
[0044] 图16是描述在处理范围之间发生处理时间差时在用于均衡处理范围中的处理时间的空闲时间的处理执行(其不需要实时执行)的示图。
[0045] 图17是描述通用个人计算机的配置实例的示图。
具体实施方式
[0046] <图像处理设备的配置实例>
[0047] 图1是示出应用本技术的图像处理设备的实施方式的配置实例的方框图。
[0048] 在图1示出的图像处理设备11接收由成像设备(例如，相机(未示出))捕捉的图像数据的输入，并且使图像数据经历各种处理。然后，图像处理设备11将图像数据输出至显示设备，例如，显示器(未示出)。显示设备显示图像数据作为图像。
[0049] 更具体而言，图像处理设备11包括CPU(中央处理单元)31、主存储器32、总线33、IF(接口)卡34、以及GPU(图形处理单元)卡35-1、35-2。注意，在不特别需要彼此区分时，GPU卡35-1、35-2简称为GPU卡35，并且这同样适用于其他配置。
[0050] CPU(中央处理单元)31全面控制图像处理设备11的操作。进一步，CPU 31包括DMA(直接存储器访问)控制器51。注意，如在本文中所使用的，术语“DMA”表示直接存储器访问，并且表示通过总线33在IF卡34、主存储器32以及GPU卡35之中直接传输数据的操作，而不由CPU 31直接控制。即，DMA控制器51使用不由CPU 31直接控制的DMA，在传输操作中控制传输源、传输目的地以及传输定时。
[0051] 更具体而言，DMA控制器51暂时在主存储器32中储存图像数据。由相机(未示出)通过IF卡34和总线33供应图像数据，作为输入信号。进一步，DMA控制器51按照取决于储存在主存储器32内的图像数据，GPU卡35-1的处理器92-1、GPU卡35-2的处理器92-2的处理能力以及处理内容的方式，将储存在主存储器32内的图像数据分成范围。进一步，DMA控制器51再次分配用于读出每个范围的分割的图像数据项的定时以及用于储存经处理的图像数据项的定时。此外，在每个分配定时，DMA控制器51依次将分割的图像数据项供应给GPU卡35-1、35-2，并且依次在主存储器32内储存经处理的图像数据项。然后，DMA控制器51通过总线
33和IF卡34将储存在主存储器32内的经处理的图像数据项输出至显示器(未示出)。输出每个经处理的图像数据项，作为输出信号。显示器显示经处理的图像数据项。
33和IF卡34将储存在主存储器32内的经处理的图像数据项输出至显示器(未示出)。输出每个经处理的图像数据项，作为输出信号。显示器显示经处理的图像数据项。
[0052] IF(接口)卡34包括相机IF 71、显示器IF 72以及PCIe(外围组件互连高速)桥接器73。在DMA控制器51的控制下，IF卡34的相机IF 71接收从相机(未示出)中供应的图像数据，作为输入信号，并且通过PCIe桥接器73和总线33将图像数据供应给主存储器32。进一步，在DMA控制器51的控制下，IF卡34的显示器IF 72将通过总线33和PCIe桥接器73从主存储器32中供应的经处理的图像数据项输出至显示器(未示出)。输出每个经处理的图像数据项，作为输出信号。
[0053] GPU卡35-1、35-2分别包括PCIe桥接器91-1、91-2、处理器92-1、92-2以及存储器93-1、93-2。在CPU 31的DMA控制器51的控制下，GPU卡35在存储器93内暂时储存通过总线33和PCIe桥接器91从主存储器32中供应的图像数据项。然后，在依次读出储存在存储器93内的图像数据项的同时，处理器91使图像数据项经历预定的处理，并且必要时将处理结果缓冲到存储器93中，并且通过PCIe桥接器91和总线33将处理结果输出至CPU 31。注意，虽然在图1示例性示出这两个GPU卡35，但是可以提供两个或更多个GPU卡。
[0054] <图像处理的概述>
[0055] 接下来，参考图2，描述由图1示出的图像处理设备11执行的图像处理。
[0056] 如从图2的左上角部分的箭头标记所示，由作为拜耳阵列的像素阵列形成的、由相机(未示出)捕捉的图像数据(最左边部分)例如经历缺陷校正处理和RAWNR(降噪)处理。然后，通过去马赛克处理，生成R(红色)图像、G(绿色)图像以及B(蓝色)图像(该图中的RGB图像)。此外，在去马赛克处理之后的R(红色)图像、G(绿色)图像以及B(蓝色)图像经历质量增强处理。随后，通过放大处理，生成构成了输出图像的R(红色)图像、G(绿色)图像以及B(蓝色)图像。将这样生成的R(红色)图像、G(绿色)图像以及B(蓝色)图像作为输出信号输出至显示单元(例如，显示器(未示出))并且显示。
[0057] <减少延迟>
[0058] 在与在过去一样为每个帧执行如上所述的图像处理时，如在图3的上部所示，在时间图中示出处理。注意，在此处，假设对图像执行仅仅两种类型的处理A和B。进一步，在图3的上部阶段，假设包括与GPU卡35相同的单个GPU卡的配置。
[0059] 即，从时间点t0到时间点t1，如在图中由“DMA输入#0”所示，作为输入信号由DMA控制器51供应的图像数据写入并且储存在主存储器32内。
[0061] 从时间点t3到时间点t4，如在图中由“内核B#0”所示，DMA控制器51将储存在主存储器32内的图像数据供应给GPU卡35，由GPU卡35的处理器92执行处理B，并且处理结果返回主存储器32。
[0062] 从时间点t5到时间点t6，如在图中由“DMA输出#0”所示，由DMA控制器51读出和输出经历处理A和B并且储存在主存储器32内的图像数据。
[0063] 在这种情况下，在总体帧显示之前总体帧由单个GPU卡35处理时，总体帧不能作为图像显示，除非生成针对单个帧的处理结果。进一步，处理时间大幅增大，并且延迟也大幅增大，因此，担心显示会延迟。
[0064] 有鉴于此，在图1示出的图像处理设备11中，如在图3的下部所示，帧在竖直方向分成一些范围，并且分割和执行处理，使得延迟减少。注意，在图3的下部示出在帧分成三个图像数据项#0到#2并且对图像数据项#0到#2中的每个执行处理的情况下的实例。
[0065] 即，在图3的下部，从时间点t21到时间点t22，如在图中由“DMA输入#0”所示，作为输入信号由DMA控制器51供应的图像数据项#0写入并且储存在主存储器32内。
[0066] 从时间点t31到时间点t32，如在图中由“处理A#0”所示，DMA控制器51将储存在主存储器32内的图像数据项#0供应给GPU卡35，并且由GPU卡35的处理器92执行处理A。
[0067] 此时，与处理“处理A#0”并行地，从时间点t22到时间点t23，如在图中由“DMA输入#1”所示，作为输入信号由DMA控制器51供应的图像数据项#1储存在主存储器32内。
[0068] 从时间点t33到时间点t34，如在图中由“处理B#0”所示，DMA控制器51将储存在主存储器32内的图像数据供应给GPU卡35，由GPU卡35的处理器92执行处理B，并且处理结果返回主存储器32。
[0069] 从时间点t51到时间点t52，如在图中由“DMA输出#0”所示，由DMA控制器51输出经历处理A和B并且储存在主存储器32内的图像数据项#0。
[0070] 与处理“DMA输出#0”并行地，从时间点t35到时间点t36，如在图中由“处理A#1”所示，DMA控制器51将储存在主存储器32内的图像数据项#1供应给GPU卡35，并且由GPU卡35的处理器92执行处理A。
[0071] 此外，与处理“处理A#1”并行地，从时间点t24到时间点t25，如在图中由“DMA输入#2”所示，作为输入信号由DMA控制器51供应的图像数据项#2储存在主存储器32内。
[0072] 从时间点t37到时间点t38，如在图中由“处理B#1”所示，DMA控制器51将储存在主存储器32内的图像数据项#1供应给GPU卡35，由GPU卡35的处理器92执行处理B，并且处理结果返回主存储器32。
[0073] 从时间点t53到时间点t54，如在图中由“DMA输出#1”所示，由DMA控制器51输出经历处理A和B并且储存在主存储器32内的图像数据项#1。
[0074] 与处理“DMA输出#1”并行地，从时间点t39到时间点t40，如在图中由“处理A#2”所示，DMA控制器51将储存在主存储器32内的图像数据项#2供应给GPU卡35，并且由GPU卡35的处理器92执行处理A。
[0075] 从时间点t41到时间点t42，如在图中由“处理B#2”所示，DMA控制器51将储存在主存储器32内的图像数据项#2供应给GPU卡35，由GPU卡35的处理器92执行处理B，并且处理结果返回主存储器32。
[0076] 从时间点t55到时间点t56，如在图中由“DMA输出#2”所示，由DMA控制器51输出经历处理A和B并且储存在主存储器32内的图像数据项#2。
[0077] 根据如上所述的处理，图像数据项#0到#2经历时分处理，并且必要时，并行处理“DMA输入”、“处理A”、“处理B”以及“DMA输出”。因此，还可以总体上减少延迟。进一步，在每个图像数据项的处理结束时，部分显示经历处理A和B的图像数据项#0到#2，因此，用户可以感觉到增加的显示速度。因此，可以实现延迟降低。
[0078] <水平分割>
[0079] 如上所述，在竖直方向分割图像，实现减少延迟。此外，由于设置了图1示出的图像处理设备11的多个GPU卡35，所以并行执行相似的处理。即，在输入在图4的左部分示出的图像数据P1时，在水平方向分割图像数据P1，如在图4的右上部分所示。每个分割的图像数据项在竖直方向经历时分处理，如参考图3所描述的。
[0080] 注意，在图4的右上部分中，在图像数据P1的左部分示出的区域Z1是由对应于GPU卡35-1的“GPU#0”处理的处理范围，在图像数据P1的右部分中示出的区域Z2是由对应于GPU卡35-2的“GPU#1”处理的处理范围。注意，图4的右下部分示出了在传统并行处理中的竖直分割方法的实例。在此处，在区域Z11中示出的上部是由对应于GPU卡35-1的“GPU#0”处理的处理范围，在区域Z12中示出的下部是由对应于GPU卡35-2的“GPU#1”处理的处理范围。即，图4的右下部分示出了图像数据在竖直方向分割为两个范围用于每个GPU卡35的实例。
[0081] <竖直分割>
[0082] 进一步，如图5所示，在图像P1的每个区域Z1、Z2在竖直方向自顶部分成4个范围C1到C4时，在图1示出的图像处理设备11控制GPU卡35-1按照区域Z1的范围C1到C4的顺序(按照从上到下的先后顺序)执行时分处理。同样，在图1示出的图像处理设备11控制GPU卡35-2按照区域Z2的范围C1到C4的顺序执行时分处理。
[0083] 如上所述，对于水平方向，由多个(在图5中，2个)GPU卡35并行执行处理。此外，对于竖直方向，由GPU卡35执行时分处理。因此，图像处理的速度可以增加，并且可以实现减少延迟。
[0084] <开销>
[0085] 通常由GPU卡35的处理器92对图像执行过滤处理。例如，考虑需要如图6所示对于每个像素处理三次高斯过滤器的情况。注意，在图6示出3个像素×3个像素的高斯过滤器。在此处，作为权重因数，将4/16设置给兴趣像素，将2/16设置给位于兴趣像素的上、下、左以及右的四个像素，并且将1/16设置给位于兴趣像素的倾上、下、左以及右的四个像素。过滤器计算乘积和，作为像素。
[0086] 在这种情况下，如在图7的左上部分所示，在兴趣像素P是中心的5个像素×5个像素的范围上执行第一过滤处理。兴趣像素P是处理目标。在这种情况下，为了过滤位于5个像素×5个像素的范围的上、下、左以及右端部分的像素，还需要与位于上、下、左以及右端部分的像素直接相邻的像素。从位于上、下、左以及右端部分上的像素的角度来看，相邻像素位于兴趣像素的对侧。进一步，相对于位于5个像素×5个像素的范围的角落的每个像素，还需要与其倾斜相邻的单个像素，所述单个像素位于兴趣像素的对侧。即，为了在显示为具有“1”的方形的5个像素×5个像素的范围上执行第一过滤处理，总共需要兴趣像素P是在图中的中心的7个像素×7个像素。
[0087] 接下来，如在图7的上部中心部分所示，在兴趣像素P是中心的3个像素×3个像素的范围上执行第二过滤处理。而且，在这种情况下，过滤位于3个像素×3个像素的范围的上、下、左以及右端部分上的像素，还需要与位于上、下、左以及右端部分上的像素直接相邻的像素。从位于上、下、左以及右端部分上的像素的角度来看，相邻像素位于兴趣像素的对侧。进一步，相对于位于3个像素×3个像素的范围的角落的每个像素，还需要与其倾斜相邻的单个像素，所述单个像素位于兴趣像素的对侧。即，为了执行第二过滤处理，总共需要在3个像素×3个像素的范围内的9个像素，在图中由具有“2”的方形显示。
[0088] 然后，如在图7的右上部分所示，使用在第二处理之后这样确定的8个像素，在兴趣像素P上执行3个过滤过程，使得其具有“3”。
[0089] 因此，在兴趣像素P上执行3个过滤过程时，可以使用在如图7的下部分所示由虚线部分表示的兴趣像素P是中心的7个像素×7个像素的范围内的像素，在兴趣像素P上执行3个过滤过程。即，在兴趣像素上执行3个过滤过程时，在兴趣像素是中心的3个像素×3个像素的区域内的像素在第三处理中是参考像素。进一步，在第二处理中，对于在第三处理中是参考像素的3个像素×3个像素中的每个像素，需要9个像素(9个像素中的每个是中心)，作为第二过滤处理所需要的参考像素，因此，5个像素×5个像素的范围是参考像素。此外，在第一处理中，对于在第二处理的每个参考像素，5个像素×5个像素是参考像素，因此，需要7个像素×7个像素的范围，作为参考像素。
[0090] 在此处，在兴趣像素经历处理时需要的除了作为处理目标(即，兴趣像素)的像素以外的参考像素或者参考像素的数量称为开销。其中具有参考像素的区域称为开销区域。因此，在图7的情况下，关于作为单个像素的兴趣像素，如图7的左下部分所示，生成与在兴趣像素的上、下、左以及右侧中的每侧上的开销宽度Dp＝4像素对应的区域，作为开销区域。
即，在图7的情况下，生成不包括兴趣像素的48个像素，作为是开销的像素。应注意的是，参考像素的像素并非开销像素，每个像素可以另外设置为兴趣像素。仅仅未设置为处理目标并且仅仅作为参考像素所需要的像素称为开销。
即，在图7的情况下，生成不包括兴趣像素的48个像素，作为是开销的像素。应注意的是，参考像素的像素并非开销像素，每个像素可以另外设置为兴趣像素。仅仅未设置为处理目标并且仅仅作为参考像素所需要的像素称为开销。
[0091] 注意，在后文中，开销宽度Dp用作相对于兴趣像素发生的开销量的表示。如在图7的左下部分所示，在从兴趣像素P的角度观看时，开销宽度Dp是在作为开销的像素的上、下、左以及右侧中的任一侧的端部部分的像素的数量。因此，在开销宽度Dp＝4时，作为开销的像素的数量是48个像素。
[0092] 存在作为处理目标的像素的区域包括多个像素。例如，如上所述，在单个帧内的图像在水平方向分成两个区域，并且对于在竖直方向分割的四个范围中的每个，GPU卡35-1、35-2的处理器92-1、92-2在其上依次执行时分处理时，发生在图8示出的开销。
[0093] 即，在图8，对于图像P1，在图的左边，在从区域Z1的顶部开始的第二阶，在由范围C2限定的区域Z1C2内，生成开销区域OHZ1C2。
[0094] 因此，如图8所示，在通过在竖直方向将每个区域Z1、Z2分成4个区域C1到C4，图像总共分成8个区域时，据粗略估计，发生的开销是开销区域OHZ1C2的8倍。
[0095] 进一步，还关于在每个区域内的开销，描述了以下实例：在3个像素×3个像素的上述过滤器的情况下的一个像素，发生具有开销宽度Dp＝4像素的开销(48个像素)。然而，在实际处理中，发生更大的开销。
[0096] 例如，假设如图9所示，在包括缺陷校正处理、RAWNR处理、去马赛克处理、质量增强处理以及放大处理的每个过程中，发生开销宽度Dp＝2、6、8、40、8像素的开销，总共发生具有开销宽度Dp＝64像素的开销。即，在129个像素×129个像素的范围内，生成与不包括兴趣像素的像素的数量一样多的开销像素。进一步，例如，在图像在水平方向分成两个区域并且在竖直方向分成4个区域时，与不执行这种分割处理的情况相比，开销可以增加大约30％。
[0097] <减少开销的方法>
[0098] 如上所述，开销的增加大幅增大演算处理量和处理时间，因此，需要具有更高计算性能的处理器来实现实时显示。有鉴于此，在图1示出的图像处理设备11中，开销如下通过计算减少。即，在区域Z1、Z2分别作为图像P1的处理区域分配给GPU卡35-1、35-2时，在存储器93-1、93-2内缓冲在前一个阶段的过滤处理的结果，使得这些结果可以用于在后一个阶段的过滤处理。
[0099] 即，在总体上需要在n个阶段的过滤过程时，在竖直方向与比总行数的1/4宽的行数对应的范围设置为在第一过滤处理(过滤器#1)中处理的范围C1内的处理区域，如具有虚线的部分在图10的左上部分朝右所示。总行数对应于单个帧，并且包括存在后续处理所需要的所有参考像素的行数。随后，每个区域C2、C3设置为等同于与总行数的1/4对应的范围。剩余的范围设置为最后的范围C4。注意，图10示出了在从左边开始执行第一过滤处理(过滤器#1)、第二过滤处理(过滤器#2)以及第n过滤处理(过滤器#n)的情况下，在按照从顶部开始的向后顺序依次处理范围C1到C4时应用于整个图像P1中的处理范围。
[0100] 这样做，由于在存储器93内缓冲范围C1的处理结果，所以提前在范围C1内处理存在所需要的参考像素的区域，如具有虚线的部分朝着左边所示。因此，为了处理范围C2，仅仅需要参考该范围。因此，不发生开销。进一步，比总行数的1/4宽的行数的范围设置为范围C1，因此，范围C2的位置是与总行数的1/4对应的范围的位置，与范围C2的原始位置相比，该位置更接近范围C3。这样做，缓冲存在参考像素的范围C3的区域，作为范围C2的处理结果，因此，不需要再次执行过滤处理。因此，抑制发生开销。
[0101] 同样，范围C3的位置是与总行数的1/4对应的范围的位置，与范围C3的原始位置相比，该位置更接近范围C4。因此，如具有虚线的部分朝着左边所示，缓冲存在参考像素的范围C4的区域，作为范围C3的处理结果，因此，不需要再次执行过滤处理。因此，抑制发生开销。
[0102] 进一步，如具有虚线的部分在图10的上部中心部分朝着右边所示，包括用于后续处理的参考像素的比总行数的1/4更宽的范围在由第二过滤处理(过滤器#2)处理的范围C1内设置为处理区域。该范围比与第一过滤处理(过滤器#1)的行数对应的范围更窄，如具有虚线的部分在图10的左上部分朝着右边所示。随后，每个范围C2、C3设置为等同于与1/4对应的范围。剩余范围设置为最后的范围C4。
[0103] 即，关于在由第二过滤处理(过滤器#2)中的范围C1的行数，与第一过滤处理(过滤器#1)相比，存在参考像素的区域也更窄，与在后一个阶段的更少数量的过滤器对应。因此，如具有虚线的部分在图10的上部中心部分朝着右边所示，该范围比总行数的1/4更宽并且比第一过滤处理(过滤#1)的范围C1更窄。
[0104] 结果，还关于范围C2、C3，其中的每个范围设置为移动到更接近在原始位置对应于总行数的1/4的位置。与在第一过滤处理(过滤器#1)中的范围C1相比，范围C4更宽，与范围C1的更少行数对应。
[0105] 随后，随着剩余过滤器的数量的减少，范围C1的行数更接近与总行数的1/4对应的行数，并且范围C2、C3的每个位置更接近总行数的1/4的原始位置。然后，关于最后的第n个过滤处理(过滤器#n)，不需要考虑在后一个阶段的过滤器的参考像素。因此，如在图10的右部分中所示，每个范围C1到C4在与总行数的1/4对应的行数的原始位置。
[0106] 如上所述，对于存在后一个阶段的过滤处理所需要的参考像素的范围内的行，提前在后一个阶段的过滤处理中执行过滤处理，缓冲处理结果，并且处理结果用于在后一个阶段的过滤处理。因此，可以抑制开销的发生。
[0107] <低延迟显示处理>
[0108] 接下来，参考在图11示出的流程图，描述由在图1示出的图像处理设备11执行的低延迟显示处理。
[0109] 在步骤S11中，IF卡34的相机IF 71接收由相机(未示出)捕捉的图像数据的输入，并且通过PCIe桥接器73和总线33将图像数据供应给CPU 51。CPU 51在主存储器32内储存所供应和输入的图像数据。
[0110] 在步骤S12中，基于储存在主存储器32内的图像数据，通过取决于GPU卡35的数量的方式，DMA控制器51在水平方向分割数据。进一步，DMA控制器51基于按照时分处理的分割次数在竖直方向划分的分割区域时关于范围的数量的信息、与该处理相关联的过滤器的数量、以及存在其参考像素的区域，计算处理量。
[0111] 即，处理量大概分成两种类型，即，与在竖直方向的处理相关联的处理量以及与在水平方向的处理相关联的处理量。DMA控制器51计算该处理量并且求其总和。
[0112] <在竖直方向的处理量>
[0113] 即，对于竖直方向，由于在图像数据最后储存在主存储器32内之后DMA输出的输出缓冲尺寸是参考，所以在从作为第一过滤处理#1(过滤器#1)的过程到作为第n个过滤处理(过滤器#n)的过程的每个过滤过程中，基于参考像素和处理单元块的数量，依次确定处理量。按照与处理顺序相反的顺序，执行顺序确定。
[0114] 即，如图12所示，在竖直方向依次执行正常过滤处理的情况下，例如，在第一过滤处理(过滤器#1)中获得的处理结果由第二过滤器(过滤器#2)处理，进一步由第三过滤处理(过滤器#3)处理。重复这种过滤过程。最后执行第n个过滤处理。然后，DMA传输和输出(在图中的最右上部分中输出DMA)处理结果。
[0115] 因此，从输出DMA的行数中，在每个过滤过程中，基于参考像素和处理单元块的数量，在相反的方向依次计算在竖直方向的处理量。即，例如，假设作为输出缓冲大小的行数是PY(DMA)，由第n个过滤处理(过滤器#n)确定的行数由构成图像的像素的数量预先确定。因此，例如，行数PY(n)＝PY(DMA)。
[0116] 在这种情况下，如下根据表达式(1)计算第(n-1)个过滤处理(过滤器#(n-1))的行数PY(n-1)。
[0117] PY(n-1)＝PY(n)+BY(n-1)×z...(1)
[0118] 其中，PY(n-1)表示第(n-1)个过滤处理(过滤器#(n-1))的行数，PY(n)表示第n个过滤处理(过滤器#n)的行数，并且BY(n-1)表示指示在第(n-1)个过滤处理(过滤器#(n-1))中的处理单元块尺寸的行数。
[0119] 进一步，z是一个值，使得BY(n-1)×A大于参考像素的数量，并且A是最小值。
[0120] 如在图12的右下部分所示，这是以下情况：对于在第n个过滤处理(过滤器#n)之后输出的行数(要处理的行数)，构成在第(n-1)个过滤处理(过滤器#(n-1))中的参考像素的行数对应于网格模式区域。
[0121] 在此处，在第n个过滤处理(过滤器#n)中要处理的行数等同于4个块体，每个块体是由预定的行数构成的处理单元块。这4个块体由具有虚线的部分在图12的右下部分中向上朝着左边表示。进一步，如在图12的右下部分中的网格模式区域所示，在第(n-1)个过滤处理(过滤器#(n-1))中的参考像素对应于等同于两个块体和一部分单个块体的范围。这部分单个块体等同于几行。
[0122] 顺便提一下，可以仅仅在由预定的行数构成的每个处理单元块上执行每个过滤过程。有鉴于此，在如在图12的右下部分中所示的情况下，由等同于这部分单个块体的行数构成的部分也被视为等同于单个块体。这样做，在图12的右下部分中，在表达式(1)中指示的z计算为3。
[0123] 因此，在图12的右下部分的情况下，等同于7个块体的行数依次确定为在第(n-1)个过滤处理(过滤器#(n-1))中要处理的行数。
[0124] 随后，计算直到第一过滤处理(过滤器#1)的处理单元块的数量，依次计算与处理单元块的数量对应的处理量，并且其总和计算为在竖直方向的处理量。
[0125] 注意，还是在此处，作为每个过滤过程所需要的行数，设置包括在每个过滤器中的后一个阶段所需要的参考像素的行数，使得开销减少，如参考图10所述。
[0126] <在水平方向的处理量>
[0127] 而且，关于在水平方向的处理量，由于在图像数据最后储存在主存储器32内之后DMA输出的输出缓冲尺寸是参考，所以在从第一过滤处理#1(过滤器#1)到第n个过滤处理(过滤器#n)的每个过滤过程中，基于参考像素和处理单元块的数量，依次确定处理量。按照与处理顺序相反的顺序，执行顺序确定。
[0128] 即，如图13所示，在水平方向依次执行正常过滤处理的情况下，例如，在第一过滤处理(过滤器#1)中获得的处理结果由第二过滤器(过滤器#2)处理，进一步由第三过滤处理(过滤器#3)处理。重复这种过滤过程。最后执行第n个过滤处理。然后，DMA传输和输出(在图中输出DMA)处理结果。
[0129] 因此，从由输出DMA的处理单元块的倍数限定的水平宽度，在每个过滤过程中，基于参考像素和处理单元块的数量，在相反的方向依次计算在水平方向的处理量。应注意的是，在水平方向的处理中不执行在竖直方向的处理中执行的减少开销的处理，因此，处理量对应于通过仅仅加入在每个过滤过程中的水平宽度中所获得的水平宽度，获得等同于取决于在每个过滤过程中的参考像素的数量的处理单元块的数量的宽度。
[0130] 即，例如，如下由表达式(2)计算在第k个过滤处理#k中的处理量所需要的水平宽度Xk。
[0131] Xk＝w+zk×xk...(2)
[0132] 其中，Xk表示计算在第k个过滤处理#k中的处理量所需要的宽度，w表示根据在第n个过滤处理#n中的处理单元块的倍数设置的水平宽度，并且zx表示处理单元块的宽度。
[0133] 进一步，zk是一个值，使得假设第i个过滤处理(过滤器#i)的参考像素的数量是ri，其大于在前一个过滤过程中的参考像素的数量的总和(r1+r2+...+r(k-1)+rk)，并且zk×xk是最小值。
[0134] 即，假设相对于在第n个过滤处理(过滤器#n(n＝1到6：n＝6是最后阶段))之后输出的水平宽度，相对于作为输出缓冲尺寸的对应于第n个过滤处理(过滤器#n)的在第六过滤处理(过滤器#6)中的宽度，在第五过滤处理(过滤器#5)中的参考像素的数量是2，如在图13的右下部分的最低阶段中的网格模式方形所示。
[0135] 然后，假设参考像素在第4过滤处理(过滤器#4)中是1，如在从图13的右下部分的底部开始的第二阶段中的网格模式方形所示。在这种情况下，如在具有虚线的部分在第5过滤处理(过滤器#5)中向上朝着左边由方形所示，增加2(其是参考像素的数量)。结果，参考像素的数量是3。
[0136] 同样，假设参考像素的数量在第3过滤处理(过滤器#3)中是3，如在从图13的右下部分的底部开始的第三阶段中的网格模式方形所示。在这种情况下，如具有虚线的部分向上朝着左边的方形所示，增加3，作为直到第4过滤处理(过滤器#4)的参考像素的数量。结果，参考像素的数量是6。
[0137] 此外，假设参考像素的数量在第2过滤处理(过滤器#2)中是1，如在从图13的右下部分的底部开始的第四阶段所示。在这种情况下，如具有虚线的部分向上朝着左边的方形所示，增加6，作为直到第3过滤处理(过滤器#3)的参考像素的数量。结果，参考像素的数量是7。
[0138] 然后，假设参考像素的数量在第1过滤处理(过滤器#1)中是1，如在从图13的右下部分的顶部阶段所示。在这种情况下，如具有虚线的部分向上朝着左边的方形所示，增加7，作为直到第2过滤处理(过滤器#2)的参考像素的数量。结果，参考像素的数量是8。
[0139] 即，在这种情况下，例如，如在从图13的右下部分的底部开始的第三阶段所示，在处理单元块由一个像素构成时，上面在第3过滤处理(过滤#3)中的表达式(2)的zk(＝z3)等于2。
[0140] 根据上述方法，依次确定处理量。处理量对应于在过滤器中的水平宽度的加法结果。每个宽度是作为处理目标的处理单元块的倍数。
[0141] DMA控制器51通过取决于在水平方向的图像的分割的数量以及在竖直方向的图像的分割的数量的方式，计算上述在竖直方向的处理量以及在水平方向的处理量。DMA控制器51通过计算这两者的总和，来计算处理所需要的处理量。
[0142] 在步骤S13中，DMA控制器51通过取决于分别安装在GPU卡35内的处理器92的处理能力以及由上述计算产生的处理量的方式，计算各种过滤处理的处理定时。此外，基于所确定的处理时间，DMA控制器51计算各种定时，例如，读出图像数据的定时以及传输图像数据的定时。通过该处理，构造时序图。在将任何图像数据项传输给GPU卡35中的任一个时，时序图表示传输定时、传输目标以及传输目的地。
[0143] 在步骤S14中，DMA控制器51基于该时序图，在预定的定时开始处理，并且确定是否是下一次处理的定时，并且重复相似的处理，直到到了下一次处理的定时。
[0144] 在步骤S14中，例如，在确定是开始下一次处理的定时时，处理继续进入步骤S15。
[0145] 在步骤S15中，基于时序图，DMA控制器51从主存储器32中读出为下一次处理设置的图像数据，并且将其传输给设置为传输目的地的GPU卡35，并且促使GPU卡35的处理器92同时执行处理。或者，在由GPU卡35的处理器92执行处理并且发送处理结果时，DMA控制器51接收该结果并且将其储存在主存储器32内。
[0146] 在步骤S16中，DMA控制器51参考时序图，并且确定是否存在下一次处理。例如，在存在下一次处理时，处理返回步骤S14，并且重复后续处理。
[0147] 即，在步骤S16中，重复步骤S14到S16的处理，直到确定不存在下一次处理。然后，在重复步骤S14到S16的处理并且完成在时序图中设置的所有过程时，在步骤S16中考虑不存在下一次处理，并且处理继续进入步骤S17。
[0148] 在步骤S17中，在DMA控制器51的控制下，经历处理(例如，质量增强)和储存在主存储器32内的图像数据由显示器(未示出)通过显示器IF 72经由IF卡34的总线33和PCIe桥接器73输出。
[0149] 在步骤S18中，DMA控制器51确定是否供应了下一个图像。在存在下一个图像时，处理返回步骤S11，并且重复后续处理。
[0150] 然后，在步骤S18中，确定未供应下一个图像，处理结束。
[0151] 即，如上所述，图像在水平方向由多个GPU卡35的处理器92分割，并且分配给处理器92并且由处理器92处理。进一步，图像由每个处理器92分成在竖直方向的预定数量的范围，并且分割的范围经历时分处理。进一步，在时分处理中，在后一个阶段的过滤处理中存在参考像素的范围在前一个阶段的过滤处理中执行并且在存储器93内缓冲。
[0152] 这样做，可以由多个GPU卡35的处理器92并行执行处理。例如，可以进行并行处理，如在图3的更低阶段所示。进一步，在竖直方向执行时分处理时，增强处理器92的处理效率，使得减少开销，例如，减少参考信号的重复计算。
[0153] 因此，增强质量并且显示图像数据的速度增大，并且可以实现减少延迟。
[0154] <处理时间的均衡>
[0155] 根据如上所述的处理，由于在竖直方向的过滤处理中的开销的减少的权衡，所以各种处理的时间可以改变。
[0156] 即，在前一个阶段的过滤处理中缓冲在后一个阶段的过滤处理中的参考像素时，图14的左部分示出在每个范围C1到C4内设置的行数的实例，使得执行各种处理，例如，缺陷校正、RAWNR、去马赛克、质量增强、放大以及输出DMA。
[0157] 如在图14的左部分所示，在缺陷校正处理中的范围C1到C4内的行数是604、540、540以及476行，在RAWNR处理中的范围C1到C4内的行数是596、540、540以及484行，并且在去马赛克处理中的范围C1到C4内的行数是588、540、540以及492行。进一步，如在图中所示，在质量增强处理中的范围C1到C4内的行数是548、540、540以及532行，在放大处理中的范围C1到C4内的行数是540、540、540以及540行，并且在输出DMA处理中的范围C1到C4内的行数是
540、540、540以及540行。
540、540、540以及540行。
[0158] 在这种情况下，在图14的右部分示出在范围C1到C4内的处理时间。例如，在范围C1到C4内的处理时间的总和的最大差异Δ是在范围C1与C4之间的处理时间差异，这是等同于在范围C1内的处理时间的大约5％的时间。这由要处理的行数的变化造成，用于减少在竖直方向的过滤处理中的开销，并且因各种类型的处理的时间的变化而造成。注意，图14的右部分示出了从左边开始的每个范围C1到C4的处理时间的总和及其分类。
[0159] 为了克服处理时间的这种变化，例如，可能调整最后在范围C1到C4内输出的行数，从而均衡处理时间。
[0160] 具体而言，为了克服处理时间的变化，例如，不同的行数在输出DMA处理中设置为行数，如在图15的左下部分所示。例如，520行设置在范围C1内，并且560行设置在范围C4内。
[0161] 这样做，如在图15的右下部分所示，克服在范围C1与C4之间的处理时间差异Δ，并且该差异几乎是0。因此，处理时间可以总体上光滑并且均衡。注意，图15的左上部分和右上部分分别与图14的左部分和右部分相同。
[0162] 进一步，例如，不需要实时调整其处理速度的处理可以分配给范围C1到C4的范围，每个范围具有更短的处理定时。例如，通过将波检测处理等分配给在每个范围C2到C4的顶部由黑色范围显示的时区，如图16所示，处理时间可以总体上均衡。
[0163] 根据如上所述的处理，图像在水平方向分割并且分配给多个处理器。在水平方向分割的区域经历在竖直方向的时分处理。关于在竖直方向分割的范围，包括在后一个阶段处理所需要的参考像素的范围设置为领导范围。然后，在对于领导范围的处理中，执行包括处理参考像素的过滤处理，并且提前缓冲处理结果。在后续过滤处理中，通过参考缓冲的处理结果，执行处理。这样做，可以实现低延迟的捕捉图像的显示处理，并且可以在更接近捕捉图像的实际定时的定时，高速显示捕捉的图像。
[0164] 因此，在图1示出的图像处理设备11适用于图像处理设备，该设备处理通过由用于内窥镜手术中的内窥镜、用于神经外科等中的显微镜等捕捉患者的手术部位所获得的图像。例如，内窥镜和显微镜均用作捕捉患者的手术部位的成像设备。在图1示出的图像处理设备11还适用于包括用作成像设备的内窥镜或显微镜的手术系统。进一步，在使用在GPU卡35内的处理器92时，在显示图像时不太需要考虑时间延迟等。因此，可以增强可编程性。此外，还在显示通过广播波接收的图像时，可以实现减少延迟。因此，可以通过更小的定时延迟，显示图像。
[0165] 此外，为了处理图像，DMA控制器51基于取决于用于处理的过滤器的参考像素和处理单元块的数量，提前计算处理量，并且在执行处理之前，优化读出图像数据的定时以及写入图像数据的定时。因此，可以在最佳状态中实现减少延迟，与处理的内容无关。
[0166] 顺便提一下，上述处理序列可以由硬件执行或者可以由软件执行。在这系列处理由软件执行时，配置软件的程序从记录介质中安到包含在专用硬件内的计算机或者例如通用个人计算机内。通用个人计算机能够通过安装各种程序来执行各种功能。
[0167] 图17示出通用个人计算机的配置实例。该个人计算机包括嵌入式CPU(中央处理单元)1001。输入/输出接口1005通过总线1004连接至CPU 1001。ROM(只读存储器)1002以及RAM(随机存取存储器)1003连接至总线1004。
[0168] 输入单元1006、输出单元1007、储存单元1008以及通信单元1009连接至输入/输出接口1005。输入单元1006由输入装置构成，例如，键盘和鼠标。用户将操作命令输入该输入装置内。输出单元1007向显示装置输出处理操作画面和图像，作为处理结果。储存单元1008由储存程序和各种数据的硬盘驱动器等构成。通信单元1009由LAN(局域网)适配器等构成。通信单元1009通过由互联网表示的网络执行通信处理。驱动器1010进一步与其连接。驱动器1010从可移动介质1011中读取数据并且在可移动介质1011内写入数据。可移动介质1011包括磁盘(包括软盘)、光盘(包括CD-ROM(光盘-只读存储器)、DVD(数字通用光盘))、磁光盘(包括MD(微型光盘))、半导体存储器等。
[0169] CPU 1001根据储存在ROM 1002内的程序或者从可移动介质1011(例如，磁盘、光盘、磁光盘以及半导体存储器)中读出、安装在储存单元1008内并且从储存单元1008中载入RAM 1003内的程序，执行各种类型的处理。例如，必要时，CPU 1001执行各种类型的处理所需要的数据进一步储存在RAM 1003内。
[0170] 如上所述，由通过输入/输出接口1005和总线1004将储存在记录单元1008内的程序载入RAM 1003内并且执行载入的程序的CPU 1001，在配置的计算机中执行上述处理系列。
[0171] 通过在用作例如封装介质的可移动介质1011上记录，可以提供由计算机(CPU 1001)执行的程序。进一步，可以通过有线或无线传输介质提供这些程序。有线或无线传输介质包括局域网、互联网以及数字卫星广播。
[0172] 在计算机中，由于可移动介质1011安装在驱动器1010上，所以程序可以通过输入/输出接口1005安装在记录单元1008内。进一步，程序可以由通信单元1009通过有线或无线传输介质接收，并且安装在记录单元1008内。否则，程序可以提前安装在ROM 1002或记录单元1008内。
[0173] 要注意的是，由计算机执行的程序可以是按照在本文中描述的顺序按时间顺序执行过程的程序，或者可以是并行地执行或者在需要时(例如，在调用时)执行过程的程序。
[0174] 进一步，如在本文中所使用的，术语“系统”表示一批多个元件(设备、模块(零件)等)。所有元件可以容纳在相同的外壳内，或者不需要容纳在相同的外壳内。因此，容纳在单独外壳内并且通过网络彼此连接的多个设备以及包括容纳在单个外壳内的多个模块的单个设备均是系统。
[0176] 例如，本技术采用云计算配置，其中，多个功能通过网络分配给多个设备，并且由多个设备通过合作的方式处理。
[0177] 进一步，上面参考流程图描述的步骤可以由单个设备执行并且还可以分配给多个设备，并且由多个设备执行。
[0178] 此外，在单个步骤包括多个过程时，单个步骤的多个过程可以由单个设备执行并且还可以分配给多个设备，并且由多个设备执行。
[0179] 注意，本技术还可以采用以下配置。
[0180] (1)一种图像处理设备，包括：
[0181] 多个演算处理单元，按照时分方式在每个范围上执行处理，通过在竖直方向分割捕捉患者的手术部位所获得的图像来获得所述范围，其中，
[0182] 所述演算处理单元对于在水平方向上按照演算处理单元的数量分割的所述图像在竖直方向时分后执行处理。
[0183] (2)根据(1)所述的图像处理设备，其中，
[0184] 所述多个演算处理单元由多个GPU(图形处理单元)构成，并且
[0185] 所述演算处理单元对于在水平方向上按照GPU的数量分割的所述图像执行处理。
[0186] (3)根据(1)或(2)所述的图像处理设备，其中，
[0187] 对所述图像执行的所述处理是使用n阶过滤器的过滤处理。
[0188] (4)根据(3)所述的图像处理设备，其中，
[0189] 所述n阶过滤器按照时分方式，从处于竖直方向的最高阶的范围向下依次对通过在竖直方向上分割所述图像所获得的范围执行处理。
[0190] (5)根据(1)到(4)中任一项所述的图像处理设备，进一步包括：
[0191] 定时控制单元，基于对所述图像执行的处理量以及所述演算处理单元的处理速度，针对所述演算处理单元的计算的定时进行控制，基于所述图像在水平方向上的分割数以及所述图像在竖直方向上的分割数计算所述处理量。
[0192] (6)根据(1)到(5)中任一项所述的图像处理设备，其中，
[0193] 通过在竖直方向上时分所述图像所获得的范围的第一时段处理范围包括：在第二时段处理所需要的参考像素，所述第二时段在所述第一时段之后。
[0194] (7)根据(6)所述的图像处理设备，其中，
[0195] 所述演算处理单元包括用于缓冲处理结果的存储器，并且
[0196] 在所述第二时段的处理中，根据缓冲在所述存储器中的所述第一时段的处理结果，使用与所述参考像素对应的处理结果执行演算处理。
[0197] (8)根据(3)所述的图像处理设备，其中，
[0198] 所述演算处理单元包括用于缓冲处理结果的存储器，
[0199] 在通过竖直方向上划分所述图像所获得的范围中各阶的所述过滤器的竖直方向上的最高阶的处理范围是包括在竖直方向的第二阶和后续阶的处理范围内所述过滤器的处理所需要的参考像素的行数的范围，并且
[0200] 所述演算处理单元在执行用于所述过滤器进行处理的演算处理时，在使用所述参考像素的处理中，根据缓冲在所述存储器内的直到前一阶的过滤处理的处理结果，使用与所述参考像素对应的处理结果，执行演算处理。
[0201] (9)根据(1)到(8)中任一项所述的图像处理设备，其中，
[0202] 所述演算处理单元对于通过捕捉患者的手术部位所获得的图像至少执行放大处理。
[0203] (10)根据(1)到(9)中任一项所述的图像处理设备，其中，
[0204] 通过捕捉患者的手术部位所获得的图像是由显微镜捕捉的图像。
[0205] (11)根据(1)到(9)中任一项所述的图像处理设备，其中，
[0206] 通过捕捉患者的手术部位所获得的图像是由显微镜捕捉的图像。
[0207] (12)一种用于图像处理设备的图像处理方法，所述图像处理设备包括：多个演算处理单元，按照时分方式在每个范围上执行处理，通过在竖直方向分割捕捉患者的手术部位所获得的图像来获得所述范围，其中，
[0208] 所述演算处理单元对于在水平方向上按照演算处理单元的数量分割的所述图像在竖直方向时分后执行处理。
[0209] (13)根据(12)所述的图像处理方法，其中，
[0210] 所述图像是由内窥镜捕捉的图像。
[0211] (14)根据(12)所述的图像处理方法，其中，
[0212] 所述图像是由显微镜捕捉的图像。
[0213] (15)一种手术系统，包括：
[0214] 成像设备，捕捉患者的手术部位；以及
[0215] 图像处理设备，包括：
[0216] 多个演算处理单元，按照时分方式在每个范围上执行处理，通过在竖直方向分割由所述成像设备捕捉的图像来获得所述范围，所述演算处理单元对于在水平方向上按照演算处理单元的数量分割的所述图像在竖直方向时分后执行处理。
[0217] 附图标记说明
[0218] 11 信息处理单元 31 CPU 32 主存储器
[0219] 33 总线 34 IF卡 35、35-1、35-2 GPU卡
[0220] 51 DMA控制器 71 相机IF 72 显示器IF
[0221] 73、91、91-1、91-2 PCIe桥接器
[0222] 92、92-1、92-2 处理器 93、93-1、93-2 存储器
| 标题 | 发布/更新时间 | 阅读量 |
|---|---|---|
| 一种内窥镜成像镜头 | 2020-05-11 | 905 |
| 一种腔镜镜头防雾装置及内窥镜 | 2020-05-11 | 25 |
| 内窥镜用夹持控制装置 | 2020-05-12 | 403 |
| 一种脑手术扩张器 | 2020-05-11 | 105 |
| 一种内窥镜除雾导引管鞘 | 2020-05-11 | 115 |
| 一种前列腺扩裂导管的使用方法 | 2020-05-12 | 766 |
| 内窥镜外科手术施夹器和与其一起使用的手柄组件 | 2020-05-11 | 856 |
| 一种内窥镜手术钳力传递系数测试装置 | 2020-05-12 | 552 |
| 一种带刻度的内窥镜用一次性活体取样钳 | 2020-05-12 | 770 |
| 一种可打标记的内窥镜用一次性活体取样钳 | 2020-05-12 | 775 |
高效检索全球专利专利汇是专利免费检索,专利查询,专利分析-国家发明专利查询检索分析平台，是提供专利分析，专利查询，专利检索等数据服务功能的知识产权数据服务商。
我们的产品包含105个国家的1.26亿组数据，免费查、免费专利分析。
分析报告
专利汇分析报告产品可以对行业情报数据进行梳理分析，涉及维度包括行业专利基本状况分析、地域分析、技术分析、发明人分析、申请人分析、专利权人分析、失效分析、核心专利分析、法律分析、研发重点分析、企业专利处境分析、技术处境分析、专利寿命分析、企业定位分析、引证分析等超过60个分析角度，系统通过AI智能系统对图表进行解读，只需1分钟，一键生成行业专利分析报告。
内窥镜手术热门专利
QQ群二维码
意见反馈
意见反馈