神经网络分类
阅读：1发布：2020-09-03
专利汇可以提供神经网络分类专利检索，专利查询，专利分析的服务。并且通过以下方式执行神经网络分类：向多个第一神经网络的每一个输入 训练数据 集，所述训练数据集包括多个样本；从所述多个第一神经网络获得多个输出值集，每个输出值集包括与所述多个样本的其中之一相对应的多个输出值，每个输出值是响应于所述训练数据集的样本之一的输入而从相应的第一神经网络输出的；将所述多个输出值集输入第二神经网络；训练第二神经网络以响应于相应的输出值集的所述输入而输出与每个样本相对应的预期结果。，下面是神经网络分类专利的具体信息内容。
1.一种用于神经网络的方法，该方法包括：
向多个第一神经网络的每一个输入训练数据集，所述训练数据集包括多个样本；
从所述多个第一神经网络获得多个输出值集，每个输出值集包括与所述多个样本的其中之一相对应的多个输出值，每个输出值是响应于所述训练数据集的样本之一的输入而从相应的第一神经网络输出的；
将所述多个输出值集输入第二神经网络；和
训练第二神经网络以响应于相应的输出值集的所述输入而输出与每个样本相对应的预期结果。
2.根据权利要求1所述的方法，还包括：
从级联卷积神经网络(CNN)导出所述多个第一神经网络。
3.根据前述权利要求中的任一项所述的方法，还包括：
训练所述多个第一神经网络中的每个第一神经网络。
4.根据权利要求3所述的方法，其中，所述多个第一神经网络中的每个第一神经网络的训练包括训练每个第一神经网络以响应于对应样本的输入而输出与每个样本对应的预期结果。
5.根据权利要求3所述的方法，其中所述多个第一神经网络中的每个第一神经网络的训练包括多重交叉验证多阶段CNN。
6.根据权利要求3所述的方法，其中所述多个第一神经网络中的每个第一神经网络的训练包括输入所述多个样本中的每个样本。
7.根据权利要求3至6中任一项所述的方法，其中，每个样本包括多个方面，并且每个方面对应于所述多个第一神经网络的其中之一，并且所述多个第一神经网络中的每个第一神经网络的训练包括输入所述多个方面中的对应方面。
8.根据权利要求7所述的方法，其中，所述样本是3D图像，并且每个方面是所述3D图像内的平面的图像。
9.根据权利要求7所述的方法，其中所述样品是生物体，并且每个方面是所述生物体的诊断。
10.根据前述权利要求中的任一项所述的方法，其中，所述多个第一神经网络中的每个第一神经网络具有第一网络结构。
11.根据前述权利要求中的任一项所述的方法，其中，所述多个第一神经网络中的至少一个第一神经网络具有第一网络结构，并且所述多个第一神经网络中的至少一个第一神经网络具有第二网络结构。
12.根据前述权利要求中的任一项所述的方法，进一步包括：
将所述第二神经网络记录为第二权重值集，所述第二权重值集是第二神经网络的训练结果。
13.根据权利要求12所述的方法，进一步包括：
在计算机可读介质中存储所述多个第一神经网络，每个第一神经网络作为第一权重值集被存储，并且所述第二神经网络作为所述第二权重值集被存储。
14.根据前述权利要求中的任一项所述的方法，进一步包括：
训练多个第二神经网络响应于相应的输出值集的输入而输出与每个样本对应的期望结果，每个第二神经网络输入具有来自相应的多个第一神经网络的输出值集；和训练第三神经网络响应于来自所述多个第二神经网络的与样本对应的输出的输入而输出与每个样本对应的预期结果。
15.根据前述权利要求中的任一项所述的方法，进一步包括：
向多个第一神经网络的每一个输入一个样本；
从所述多个第一神经网络获得一个输出值集，所述输出值集包括对应于该样本的多个输出值，每个输出值是响应于所述样本的输入而从对应的第一神经网络输出的；
将所述输出值集输入第二神经网络；
响应于所述输出值集的输入，获得与所述样本对应的结果；和
输出所述结果。
16.一种方法，包括：
向多个第一神经网络的每一个输入一个样本；
从所述多个第一神经网络获得一个输出值集，所述输出值集合包括对应于所述样本的多个输出值，每个输出值是响应于所述样本的输入从对应的第一神经网络输出的；
将所述输出值集输入第二神经网络；
响应于所述输出值集的输入，获得与所述样本对应的结果；和
输出所述结果。
17.一种用于神经网络的计算机程序产品，该计算机程序产品包括：
计算机可读存储介质，可由处理电路读取并存储用于被所述处理电路执行以执行根据权利要求1至16中任一项所述的方法的指令。
18.一种存储在计算机可读介质上并且可加载到数字计算机的内部存储器中的计算机程序，该计算机程序包括当所述程序在计算机上运行时用于执行权利要求1至16中任一项所述的方法的软件代码部。
19.一种系统，包括：
处理器；和
一个或多个计算机可读存储介质，其上包含程序指令，该程序指令可由处理器执行以使处理器执行以下操作：
向多个第一神经网络的每一个输入训练数据集，所述训练数据集包括多个样本；
从所述多个第一神经网络获得多个输出值集合，每个输出值集合包括与所述多个样本的其中之一相对应的多个输出值，每个输出值是响应于所述训练数据集的样本之一的输入而从相应的第一神经网络输出的；
将所述多个输出值集输入第二神经网络；和
训练第二神经网络以响应于相应的输出值集的所述输入而输出与每个样本相对应的预期结果。
20.根据权利要求19所述的系统，还包括：
从级联卷积神经网络(CNN)导出所述多个第一神经网络。
21.根据权利要求19所述的系统，其中所述操作还包括：
训练所述多个第一神经网络的每个第一神经网络。
22.根据权利要求19所述的系统，其中，所述多个第一神经网络中的每个第一神经网络的训练包括：训练每个第一神经网络，以响应于相应样本的输入而输出与每个样本对应的预期结果。
神经网络分类
技术领域
[0001] 本发明涉及神经网络分类及其训练。更具体地，本发明涉及基于多个用于分类的第一神经网络输出的成分训练神经网络。
背景技术
[0002] 即使在全球范围内，肺癌在癌症受害者的死亡率中也占很高的百分比。早期发现是降低肺癌死亡率的最有希望的策略之一。近年来，随着计算机断层摄影(CT)设备性能的提高，已经越来越多地拍摄断层图像(例如以1mm的切片间隔)，从而提高了放射科医生辨别结节的能力。但是，人类判读大量图像的能力有限，而每次扫描则可能大约300-500幅图像。计算机辅助诊断(CAD)系统显示出对CT扫描进行时间高效的解释的紧迫任务的希望，但是这些系统可能会发出误报，这可能是一个问题。当前的一些方法采用具有选择性分类器的级联神经网络进行CT扫描图像中的肺结节检测。
[0003] 目前有一种这样的方法称为集成学习。在集成学习中，第一步是创建多个称为模型的神经网络，然后通过投票或平均等技术聚合生成的模型。如果模型产生了很大的错误率，则可以将其识别为弱模型，但其性能不是随机的。通过使用相同的数据集对每个模型进行训练，逐步构建集成，但其中实例的权重根据上次预测的误差进行调整。简单学习者的组合可以用来改进预测。不同的输入区可能覆盖不同的学习者。
[0004] 目前另一种这样的方法涉及多视图卷积网络的使用。例如，可以从通过计算机断层摄影术生成的3D卷中提取不同平面的多个2D图像。每个卷积神经网络(CNN)流都处理从特定视图提取的2D图像之一。将所有CNN的输出融合，计算结节概率。
[0005] 目前这些使用具有选择分类器的级联神经网络的方法可以减少CT扫描图像中肺结节检测的假阳性。但是，使用这些模型仍有提升性能的空间。因此，在本领域中需要解决上述问题。
发明内容
[0006] 根据本发明的第一方面，提供了一种方法，该方法包括将训练数据集输入到多个第一神经网络的每一个中，该训练数据集包括多个样本；从所述多个第一神经网络获得多个输出值集，每个输出值集包括与所述多个样本之一相对应的多个输出值，每个输出值是响应于所述训练集的多个样本之一的输入从相应的第一神经网络输出的；将所述多个输出值集输入第二神经网络，并训练第二神经网络响应于输入相应的输出值集而输出与每个样本相对应的预期结果。根据所述第一方面，该方法可以在适用情况下改善误报的减少。所述第一方面还可以包括用于实现该方法的程序、执行该程序的处理器以及执行该方法的设备。
[0007] 根据本发明的第二方面，提供了第一方面的方法，其进一步包括从级联的卷积神经网络(CNN)导出多个第一神经网络。根据所述第二方面，该方法可以通过级联分类器、并在级联分类器时基于前一阶段的判别结果来训练最终阶段的神经网络而提高判别能力。
[0008] 根据本发明的第三方面，提供了第一方面的方法，还包括：训练多个第一神经网络中的每个第一神经网络通过多阶段CNN的多重交叉验证，响应于对应样本的输入而输出与每个样本相对应的预期结果。根据第三方面，多个第一神经网络可以具有更加平衡的能力以正确地输出期望结果。
[0009] 根据本发明的第四方面，提供了第一方面的方法，其中每个样本包括多个方面，并且每个方面对应于多个所述第一神经网络其中之一，并且所述多个第一神经网络中的每个第一神经网络通过输入所述多个方面中的相应方面而被训练。根据第四方面，每个第一神经网络可以对其各自方面的微妙之处变得敏感，这可以影响结果，从而在适用情况下改善误报的减少。
[0010] 根据本发明的第五方面，提供了第一方面的方法，还包括将第二神经网络记录为第二权重值集，第二权重值集是第二神经网络的训练结果。根据第五方面，可以将所得的神经网络的成分以其已经训练的形式分发，准备用于分类。第五方面还可包括一种计算机程序产品，该计算机程序产品包括存储多个第一神经网络的计算机可读介质，每个第一神经网络作为第一权重值集被存储，并且所述第二神经网络作为所述第二权重值集被存储。
[0011] 根据本发明的第六方面，提供了第一方面的方法，该方法还包括：训练多个第二神经网络响应于相应的输出值集的输入而输出与每个样本对应的期望结果，每个第二神经网络输入具有来自相应的多个第一神经网络的输出值集；训练第三神经网络响应于来自所述多个第二神经网络的与样本对应的输出的输入而输出与每个样本对应的预期结果。根据第六方面，额外的成分层可以在适用情况下改善误报的减少。
[0012] 根据本发明的第七方面，提供了一种方法，该方法包括将样本输入到多个第一神经网络的每一个中；从该多个第一神经网络获得输出值集，该输出值集包括对应于所述样本的多个输出值，每个输出值是响应于所述样本的输入从相应的第一神经网络输出的；将所述输出值集输入到第二神经网络，响应于所述输出值集的输入获得对应于所述样本的结果；然后输出所述结果。根据第七方面，受过训练的第一和第二神经网络可用于确定未知结果，诸如分类、诸如某样本是否包括结节。
[0013] 从一个方面来看，本发明提供了一种用于神经网络的方法，该方法包括：将训练数据集输入到多个第一神经网络的每一个中，所述训练数据集包括多个样本；从所述多个第一神经网络获得多个输出值集，每个输出值集包括与所述多个样本之一相对应的多个输出值，每个输出值是响应于所述训练数据集的样本之一的输入而从相应的第一神经网络输出的；将所述多个输出值集输入第二神经网络；训练第二神经网络响应于输入相应的输出值集而输出与每个样本相对应的期望结果。
[0014] 从另一方面来看，本发明提供了一种方法，包括：将样本输入到多个第一神经网络的每一个中；从所述多个第一神经网络获得输出值集，所述输出值集包括对应于所述样本的多个输出值，每个输出值是响应于所述样本的输入而从对应的第一神经网络输出的；将所述输出值集输入第二神经网络；响应于所述输出值集的输入，获得与所述样本对应的结果；以及输出所述结果。
[0015] 从另一方面来看，本发明提供了一种用于神经网络的计算机程序产品，该计算机程序产品包括计算机可读存储介质，该计算机可读存储介质可由处理电路读取，并存储由处理电路执行以执行用于执行本发明的步骤的方法的指令。
[0017] 从另一方面来看，本发明提供一种系统，包括：处理器；以及一种或多种计算机可读存储介质，所述计算机可读存储介质具有体现在其上的程序指令，所述程序指令可由处理器执行以使所述处理器执行包括以下的操作：将训练数据集输入到多个第一神经网络的每一个中，所述训练数据集包括多个样本；输入来自所述多个第一神经网络的多个输出值集，每个输出值集包括与所述多个样本之一相对应的多个输出值，每个输出值响应于所述训练数据集的样本之一的输入而从相应的第一神经网络输出；将所述多个输出值集输入第二神经网络；训练第二神经网络响应于输入相应的输出值集而输出与每个样本相对应的期望结果。
[0019] 现在将参考附图仅以示例的方式描述本发明的实施例，其中：
[0020] 图1示出了根据本发明实施例的用于神经网络分类及其训练的设备。
[0021] 图2A示出了根据本发明实施例的第一神经网络和第二神经网络的成分。
[0022] 图2B示出了根据本发明实施例的第一神经网络和第二神经网络的成分。
[0023] 图3示出了根据本发明实施例的用于神经网络分类及其训练的操作流程。
[0024] 图4示出了根据本发明实施例的用于训练多个第一神经网络的操作流程。
[0025] 图5示出了根据本发明实施例的用于训练第二神经网络的操作流程。
[0026] 图6示出了根据本发明实施例的用于样本的神经网络分类的操作流程。
具体实施方式
[0029] 本发明的实施例可包括级联的神经网络，该级联的神经网络包括作为选择性分类器过滤明显的非结节(例如血管或肋骨)的CNN，以及随后的用平衡数据集训练的用于计算结节概率的CNN。
[0030] 在一些实施例中，包括S1-Sn的级联的CNN可以用作选择性分类器以滤出非结节性病变。另一个级联的CNN Sn+1可以获得结节概率。这样，可以通过N重交叉验证来导出n*N个模型。例如，可以从具有10重交叉验证的5级级联CNN(S1-S5)得出五十个模型。通过将结节候选图像或从3D图像体积中提取的图像输入到导出的模型，可以获得长度等于n*N的结节概率矢量。可以通过使用从导出的模型获得的结节概率矢量来训练另一个神经网络模型。这个神经网络模型可以通过学习从导出模型生成的结节概率模式来提供出色的性能。
[0031] 图1示出了根据本发明实施例的用于神经网络分类及其训练的设备100。设备100可以是主机计算机，例如服务器计算机或大型计算机，其执行本地应用程序并托管使用该应用程序的客户端计算机。设备100可以是包括两个或更多个计算机的计算机系统。备选地，设备100可以是为设备100的用户执行应用程序的个人计算机。
[0032] 设备100可以包括推导部102、输入部103、获取部105、训练部106和输出部108、设备100可以与计算机可读介质109、第二神经网络110以及多个第一神经网络112通信。设备100可以是计算机程序产品，其包括一个或多个计算机可读存储介质，这些介质共同存储可由处理器执行以使处理器执行各部的操作的程序指令。设备100可以替代地是模拟或数字可编程电路系统，或其任何组合。设备100可以由物理上分开的存储器或通过通信进行交互的电路组成。
[0033] 多个第一神经网络112中的每个第一神经网络113可以是被配置为输出原始样本的或任何其他输入的分类的概率的神经网络。第二神经网络110可以是被配置为基于分类的输出概率的组成来输出与输入的分类有关的值(诸如分类的概率)的神经网络。这些神经网络可以存储在本地或远程。第一神经网络112和第二神经网络110可以是任何类型的神经网络，包括但不限于前馈神经网络、递归神经网络、模块化神经网络、动态神经网络、级联神经网络等等。在一些实施例中，第一神经网络112和第二神经网络110可以通过在设备100中执行的软件程序来实现，而在其他实施例中，第一神经网络112和第二神经网络110可以通过与设备100通信的一个或多个计算机来实现，实现为物理神经网络等。
[0034] 推导部102可以推导被配置为输出原始样本的分类的概率的神经网络，例如第一神经网络113。在一些实施例中，推导部102可以被配置为从一个级联卷积神经网络(CNN)推导多个第一神经网络112。在其他实施例中，推导部102可以被配置为通过调整初始的第一神经网络的超参数来创建集合(ensemble)，来导出多个第一神经网络112。这样的调整可以是随机的，也可以基于结果来确定，例如根据训练期间的结果。
[0035] 输入部103可以将样本，概率或其他形式的数据输入到神经网络中，例如第一神经网络113和第二神经网络110中。在一些实施例中，输入部103可以被配置为将训练数据集输入到多个第一神经网络112中的每一个，训练数据集包括多个样本，并且还被配置为将多个输出值集输入到第二神经网络110中。输入部103可以与存储器、计算机、服务器等通信，从中接收样本、概率和其他形式的数据。样本的示例可以包括3D图像卷、2D图像、诊断集合等。输入部103可以从获取部105接收概率。
[0036] 获取部105可以从诸如第一神经网络113和第二神经网络110之类的神经网络获取输出。在一些实施例中，获取部105可以被配置为从多个第一神经网络112获取多个输出值集，每个输出值集合包括与多个样本之一相对应的多个输出值，每个输出值是响应于训练数据集合的样本之一的输入从相应的第一神经网络输出的。获取部105可以将来自多个第一神经网络112的输出值发送到输入部103，使得可以将输出值作为输出值集输入到第二神经网络110中。
[0037] 训练部106可以训练神经网络，例如第一神经网络113和第二神经网络110。在一些实施例中，训练部106可以被配置为训练多个第一神经网络中的每个第一神经网络。这样的训练可以包括参数的调整，以提高神经网络正确输出期望结果的能力。在一些实施例中，训练部106可以被配置为训练第二神经网络，以响应于相应的输出值集的输入而输出与每个样本相对应的期望结果。在这些和其他实施例中，训练部106可以进一步被配置为响应于相应样本的输入来训练每个第一神经网络以输出与每个样本相对应的期望结果。训练部106的训练可以包括调整超参数或其他和更复杂的训练形式，包括在训练过程中导出神经网络。在一些实施例中，训练部106还被配置得多重交叉验证多级CNN。训练部106在训练期间可以与推导部102合作操作。
[0038] 输出单元108可以输出由获取单元105获得的概率和结果，或者可以将神经网络记录为权重值集。在一些实施例中，输出部108可以被配置为将第二神经网络记录为第二权重值集，该第二权重值集是第二神经网络的训练的结果。在其他实施例中，输出部108可以被配置为输出第二神经网络的结果。
[0039] 计算机可读介质109可以存储供设备100或各部使用的数据。在一些实施例中，计算机可读介质109可以存储多个第一神经网络和第二神经网络，每个第一神经网络被存储为第一权重值集，并且第二神经网络被存储为第二权重值集。在其他实施例中，计算机可读介质109可以存储样本、输出值、结果以及对设备100可能有用的任何其他数据。计算机可读介质109与设备100的各个部可以直接通信，或可以例如通过网络上的服务器间接通信。
[0040] 图2A示出了根据本发明的实施例的第一神经网络和第二神经网络的成分。该成分包括多个第一神经网络212和第二神经网络210，多个第一神经网络212包括至少第一神经网络213A，213B，213C和213D。图2示出了当样本215被输入到多个第一神经网络213，第一神经网络213的输出218被输入到第二神经网络210，并且从中获得第二神经网络210的输出时的数据流。
[0041] 在该实施例中，每个第一神经网络(213A-213D)可以接收相同的输入样本215。在这些和其他实施例中，训练多个第一神经网络中的每个第一神经网络包括输入所述多个样本中的多个样本。
[0042] 每个第一神经网络(213A-213D)的输入节点的数量可以被配置得匹配来自样本215的数据量，因此在该实施例中在多个第一神经网络212中是一致的。在一些实施例中，多个第一神经网络212中的每个第一神经网络(213A-213D)可以具有第一网络结构。在其他实施例中，多个第一神经网络212中的至少一个第一神经网络可具有第一网络结构，并且多个第一神经网络212中的至少一个第一神经网络可具有第二网络结构。每个第一神经网络(213A-213D)的输出节点的数量可以是一个，例如用于样本归入某个分类的单一概率。
[0043] 第二神经网络210的输入节点的数量可以与多个神经网络212中的第一神经网络的数量匹配。以这种方式，每个输出(219A-219D)都可以被输入到第二神经网络210的特有节点中。在许多实施例中，第二神经网络210的输入节点一致地接收来自相同的第一神经网络的输出。以这种方式，第二神经网络210可以学习每个第一神经网络的习惯(213A-213D)，这可以影响结果，从而在适用情况下改善误报的减少。第二个神经网络可以有两个输出节点，例如一个输出节点用于样本将归入特定分类的概率的输出节点，另一个输出节点用于样本将不归入特定分类的概率，其通常是一减去该一个节点的概率。
[0044] 图2B示出了根据本发明实施例的第一神经网络和第二神经网络的成分。该成分包括多个第一神经网络212和第二神经网络210，多个第一神经网络212包括至少第一神经网络213A、213B、213C和213D。图2示出了当样本215被输入到多个第一神经网络213，第一神经网络213的输出218被输入到第二神经网络210，以及从第二神经网络210获得第二神经网络210的输出时的数据流。
[0045] 样本215可以包括多个方面，例如方面216A、方面216B、方面216C和方面216D，它们可以从样本215中提取或以其他方式获得。在一些实施例中，样本215可以包括多个方面，并且每个方面对应于多个第一神经网络212中的一个。在这些和其他实施例中，对多个第一神经网络212中每个第一神经网络(213A-213D)的训练可包括输入所述多个方面(216A-216D)之间的对应方面。例如，方面216A被输入到第一神经网络213A中。在一些实施例中，该样本可以是3D图像，并且每个方面都是该3D图像内的平面的一个图像。在这些和其他实施例中，每个第一神经网络(213A-213D)可以被配置得或训练得接收特定类型的方面，诸如来自3D图像卷的特定平面的图像。以这种方式，每个第一神经网络(213A-213D)都可能变得对其各自方面的微妙之处敏感，这可能会影响结果，从而在适用情况下改善误报率的降低。在其他实施方案中，样品可以是有机体，并且每个方面是该有机体的诊断。
[0046] 每个第一神经网络(213A-213D)的输入节点数可以被配置得匹配每个方面(216A-216D)的数据量。该数量在多个第一神经网络212之间可以是均匀的，这在每个方面是3D图像内的平面的图像的实施例中可能是适当的。然而，该数量在多个第一神经网络212之间也可以不同，这在每个方面都是对生物体的诊断的情况下可能是适当的。从广义上讲，在一些实施例中，多个第一神经网络212中的每个第一神经网络(213A-213D)可以具有广义的第一网络结构。在其他实施例中，多个第一神经网络212中的至少一个第一神经网络可具有第一网络结构，并且多个第一神经网络212中的至少一个第一神经网络可具有第二网络结构。每个第一神经网络(213A-213D)的输出节点的数量可以是一个，例如用于样本归入某个分类的单个概率来说。
[0047] 图3示出了根据本发明实施例的用于神经网络分类及其训练的操作流程。该操作流程可以提供神经网络分类及其训练的方法，诸如多个第一神经网络212和第二神经网络210的成分的方法。该操作可以由诸如设备100的设备执行。
[0048] 在S320，诸如推导部102的推导部可以从级联网络导出多个第一神经网络，诸如多个第一神经网络212。在一些实施例中，这可以包括从级联的卷积神经网络(CNN)导出多个第一神经网络。例如，该推导部可以以10个5级级联神经网络开始。在这个例子中，推导部可以产生50个第一神经网络。
[0049] 在S330，诸如训练部106之类的训练部可以训练多个第一神经网络中的每个第一神经网络。在一些实施例中，这可以包括训练每个第一神经网络响应于相应样本的输入来而输出与每个样本相对应的期望结果。在其中第一神经网络是从级联的CNN导出的实施例中，对多个第一神经网络中的每个第一神经网络的训练可以包括多重交叉验证多级CNN。在这样的实施例中，可以在级联的CNN的每个阶段获得概率矢量形式的输出，其中，可以使用神经网络来创建或导出第一级神经网络或级联的分类器，同时，通过级联所述分类器并在级联所述分类器时根据第n个阶段的判别结果训练第(n+1)个阶段的神经网络，来提高判别能力。在一些实施例中，训练部作为导出过程的一部来训练第一神经网络，其中用不同的训练数据集来训练10个神经网络中的每一个。
[0050] 在S340，训练部可以训练第二神经网络。在一些实施例中，训练部可以训练第二神经网络以响应于相应的输出值集的所述输入而输出与每个样本相对应的期望结果。
[0051] 在S350，诸如输出部108之类的输出部可以将第二神经网络记录为第二权重值集。在一些实施例中，第二权重值集合可以是第二神经网络的训练(S340)的结果。在这些和其他实施例中，第一神经网络也可以被记录为第一权重值集。例如，可以将第一和第二权重值集记录到计算机可读介质。然后，可以将计算机可读介质分发给可能受益于为分类—例如基于是否存在结节的3D图像卷的分类—而训练的神经网络的人员。在一些实施例中，输出部还可以记录有关第一和第二神经网络的结构的信息。
[0052] 在替代实施例中，操作流程还可包括训练多个第二神经网络。在这样的实施例中，每个第二神经网络可以被训练得响应于相应的输出值集的输入而输出与每个样本相对应的期望结果，每个第二神经网络被输入以来自相应的多个第一神经网络的输出值集。在这样的实施例中，该多个第一神经网络可能对每个第二神经网络来说都是独特的，或者可能是相同的。同样，该多个第一神经网络可以接收样本的独特方面、样本的相同方面或样本的各方面的不同组合。这样的实施例还可以涉及训练第三神经网络，以响应于来自多个第二神经网络的与样本相对应的输出的输入而输出与每个样本相对应的预期结果。这个额外的成分层可以在适用情况下改善误报的减少。
[0053] 图4示出了根据本发明实施例的用于训练多个第一神经网络的操作流程。该操作流程可以提供训练用于分类的神经网络的方法，例如多个第一神经网络212。该操作可以由诸如设备100的设备执行。
[0054] 在S431，诸如输入部103之类的输入部可以将诸如样本215之类的训练样本输入至诸如第一神经网络213A之类的第一神经网络中。为了训练的目的，将该样本与已知结果相关联，该已知结果是预期结果。在一些实施例中，将该样本的一个方面，例如方面216A，输入到第一神经网络中。
[0055] 在S432，诸如获取部105之类的获取部可以从第一神经网络获取输出值。例如，一旦样本已经被第一神经网络处理，获取部就可以读取第一神经网络的输出节点。
[0056] 在S434，诸如训练部106的训练部可以更新第一神经网络的参数。在一些实施例中，多个第一神经网络中的每个第一神经网络的训练包括：训练每个第一神经网络以响应于相应样本的输入而输出与每个样本相对应的期望结果。换句话说，可以更新参数以提高第一神经网络正确输出期望结果的能力。
[0057] 在S435，训练部确定是否满足停止条件，例如到达最后一个样本，达到可接受的能力等。如果不满足停止条件，则流程进行到S436，在此输入部准备和/或获取下一个样本。如果满足停止条件，则流程进行到S438。
[0058] 在S438，训练部确定是否已经训练了最后的第一神经网络。如果有更多的第一神经网络要训练，则流程前进到S439，在该步骤中，输入部准备或获取要输入到下一个第一神经网络(例如第一神经网络213B)中的第一训练样本。如果最后一个第一个神经网络已经过训练，则流程结束。
[0059] 图5示出了根据本发明实施例的用于训练第二神经网络的操作流程。该操作流程可以提供训练诸如第二神经网络210之类的用于分类的神经网络的方法。该操作可以由诸如设备100之类的设备执行。该过程可以用于训练第二神经网络，而第二神经网络仅在测试中。
[0060] 在S541，诸如输入部103之类的输入部可以将诸如样本215之类的训练样本输入到诸如多个第一神经网络212之类的多个第一神经网络中。当在训练数据集的所有样本上重复此流程时，输入部将把训练数据集输入到多个第一神经网络的每一个中，训练数据集包括多个样本。
[0061] 在S542，诸如获取部105之类的获取部可以从多个第一神经网络获取输出值。当在训练数据集的所有样本上重复此流程时，输入部将从多个第一神经网络获得多个输出值集，每个输出值集都包括对应于多个样本的其中之一的多个输出值，每个输出值是响应于训练数据集的样本的其中之一的输入而从对应的第一神经网络输出的。操作S541和S542可以用于测试第一神经网络的目的。这样，在图5的操作流程期间，第一神经网络的参数可以不被更新。
[0062] 在S544，输入部可以将一个输出值集输入到第二神经网络。当在该训练数据集的所有样本上重复此流程时，输入部将多个输出值集输入到第二神经网络。
[0063] 在S545，获取部可以从第二神经网络获取结果。例如，一旦样本已经被第一神经网络处理，获取部就可以读取第一神经网络的输出节点。当在该训练数据集的所有样本上重复此流程时，获取部将从第二神经网络获取所有结果。
[0064] 在S546，诸如训练部106的训练部可以更新第二神经网络的参数。在一些实施例中，第二神经网络的训练包括训练第二神经网络以响应于相应的输出值集的所述输入来而输出与每个样本相对应的期望结果。换句话说，可以更新参数以提高第二神经网络正确输出期望结果的能力。
[0065] 在S548，训练部确定是否满足停止条件，例如到达最后一个样本，达到可接受的能力等。如果不满足停止条件，则流程进行到S549，在此输入部准备和/或获取下一个样本。如果满足停止条件，则流程结束。
[0066] 图6示出了根据本发明的实施例的用于样本—诸如样本215—的神经网络分类的操作流程。该操作流程可以提供一种训练用于分类的神经网络—诸如第二神经网络210—的方法。图6可用于具有未知结果的样品的分类。图6的操作流程在已经完成神经网络的训练的情况下可能是有效的。该操作可以由诸如设备100的设备执行。
[0067] 在S641，诸如输入部103之类的输入部可以将诸如样本215之类的样本输入到诸如多个神经网络212之类的多个第一神经网络中的每一个中。例如，样本可以是怀疑患有癌症的患者的3D图像卷。
[0068] 在S642，诸如获取部105的获取部可以从多个第一神经网络获取诸如输出值集218之类的输出值集，该输出值集包括对应于该样本的多个输出值，每个输出值—诸如输出值219A—是响应于该样本的输入而从对应的第一神经网络(诸如神经网络213A)输出的。例如，获取部可以从多个第一神经网络中的每一个获得样本中是否存在结节或其方面的概率。
[0069] 在S644，输入部可以将输出值集输入到第二神经网络。例如，输入部可以输入由多个第一神经网络作为成分或向量输出的每个概率。在一些实施例中，就相应的第一神经网络而言，成分或向量的顺序将与训练第二神经网络的顺序相同。以这种方式，第二神经网络已经学到的任何第一神经网络的任何行为习惯将被有效地利用。
[0070] 在S645，获取部可以响应于输出值集的输入，获取与样本相对应的结果。例如，一旦第一神经网络已经处理了输出值集，则获取部可以读取第二神经网络的输出节点。第二神经网络的输出也是样本是否具有结节的概率。该概率旨在取代第一神经网络的所有概率，成为最终概率，而并非意图成为第一神经网络的概率中的另一个因素。
[0071] 在S652，诸如输出部108的输出部可以输出该结果。例如，如果样本是可疑结节的3D图像卷，则该结果可以是该可疑结节为实际结节的概率。输出部可以仅输出从第二神经网络输出的概率，而不输出第一神经网络的任何概率。输出部可以进一步消除、丢弃等从第一神经网络输出的概率。
[0072] 至少前述实施例可以改善分类期间误报的减少。与使用相同训练和测试样本的多视图卷积网络相比，前述实施例的执行的错误率比多视图卷积网络低得多。更具体地说，前述实施例的错误率是1.3％，而多视图卷积网络的错误率是9.4％。
[0073] 图7示出了根据本发明的实施例的被配置为执行前述操作的计算机的示例性硬件配置。安装在计算机700中的程序可以使计算机700作为或执行与本发明的实施例的设备或其一个或多个部(包括模块、组件、元件等)相关联的操作，和/或者使计算机700执行本发明的实施例的处理或其步骤。这样的程序可以由CPU 700-12执行以使计算机700执行与在此描述的流程图和框图的一些或全部框相关联的某些操作。
[0074] 根据本实施例的计算机700包括CPU 700-12、RAM 700-14、图形控制器700-16和显示装置700-18，它们通过主机控制器700-10相互连接。计算机700还包括输入/输出单元，例如通信接口700-22、硬盘驱动器700-24、DVD-ROM驱动器700-26和IC卡驱动器，它们通过输入/输出控制器700-20连接到主机控制器700-10。该计算机还包括传统的输入/输出单元，例如ROM 700-30和键盘700-42，它们通过输入/输出芯片700-40连接到输入/输出控制器700-20。
[0075] CPU 700-12根据存储在ROM 700-30和RAM 700-14中的程序进行操作，从而控制每个单元。图形控制器700-16获得在RAM 700-14中提供的帧缓冲器等中或RAM 700-14本身中的由CPU 700-12生成
[0076] 通信接口700-22经由网络700-50与其他电子设备通信。硬盘驱动器700-24存储由计算机700内的CPU 700-12使用的程序和数据。DVD-ROM驱动器700-26从DVD-ROM700-01读取程序或数据，并通过RAM 700-14向硬盘驱动器700-24提供程序或数据。IC卡驱动器从IC卡读取程序和数据，和/或将程序和数据写入IC卡。
[0077] ROM 700-30在其中存储由计算机700在激活时执行的引导程序等，和/或取决于计算机700的硬件的程序。输入/输出芯片700-40还可以还通过并行端口、串行端口、键盘端口、鼠标端口等将各种输入/输出单元连接到输入/输出控制器700-20。
[0078] 诸如DVD-ROM 700-01或IC卡之类的计算机可读介质提供了程序。从计算机可读介质读取该程序，将其安装到也是计算机可读介质的示例性硬盘驱动器700-24、RAM 700-14或ROM 700-30中，并由CPU 700-12执行。这些程序中描述的信息处理被读入计算机700，导致程序与上述各种类型的硬件资源之间的协作。可以通过根据计算机700的使用来实现信息的操作或处理来构成设备或方法。
[0079] 例如，当在计算机700和外部设备之间执行通信时，CPU 700-12可以执行加载到RAM 700-14上的通信程序，以基于通信程序中描述的处理，指示对通信接口700-22的通信处理。通信接口700-22在CPU 700-12的控制下，读取存储在诸如RAM 700-14、硬盘驱动器700-24、DVD-ROM、700-01或IC卡等记录介质中提供的传输缓冲区上的传输数据，并将读取的发送数据发送到网络700-50，或者将从网络700-50接收的接收数据写入到在记录介质上提供的接收缓冲区等中。
[0080] 另外，CPU 700-12可以使文件或数据库的全部或必要部被读取到RAM 700-14中，该文件或数据库已经被存储在诸如硬盘驱动器700-24、DVD-ROM驱动器700-26(DVD-ROM 700-01)、IC卡等外部记录介质中，并对RAM 700-14上的数据执行各种类型的处理。然后，CPU 700-12可以将处理后的数据写回到外部记录介质。
[0081] 可以将各种类型的信息，例如各种类型的程序、数据、表和数据库，存储在记录介质中以进行信息处理。CPU 700-12可以对从RAM 700-14读取的数据执行如在整个本公开中所描述的、并且由程序的指令序列所指定的各种类型的处理，包括各种类型的操作、信息处理、条件判断、条件分支、无条件分支、信息的搜索/替换等，然后将结果写回到RAM 700-14。另外，CPU 700-12可以在记录介质中的文件、数据库等中搜索信息。例如，当每个具有第一属性的属性值与第二属性的属性值相关联的多个条目被存储在记录介质中时，CPU 700-12可以从该多个条目中搜索与其第一属性的属性值被指定的条件匹配的条目，读取存储在该条目中的第二属性的属性值，从而获得与满足预定条件的第一属性相关联的第二属性的属性值。
[0082] 上面说明的程序或软件模块可以存储在计算机700上或附近的计算机可读介质中。此外，可以将诸如在连接到专用通信网络或因特网的服务器系统中提供的硬盘或RAM的记录介质用作计算机可读介质，从而经由网络将程序提供给计算机700。
[0083] 本发明可以是系统、方法和/或计算机程序产品。计算机程序产品可以包括计算机可读存储介质，其上载有用于使处理器实现本发明的各个方面的计算机可读程序指令。
[0084] 计算机可读存储介质可以是可以保持和存储由指令执行设备使用的指令的有形设备。计算机可读存储介质例如可以是――但不限于――电存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备或者上述的任意合适的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、静态随机存取存储器(SRAM)、便携式压缩盘只读存储器(CD-ROM)、数字多功能盘(DVD)、记忆棒、软盘、机械编码设备、例如其上存储有指令的打孔卡或凹槽内凸起结构、以及上述的任意合适的组合。这里所使用的计算机可读存储介质不被解释为瞬时信号本身，诸如无线电波或者其他自由传播的电磁波、通过波导或其他传输媒介传播的电磁波(例如，通过光纤电缆的光脉冲)、或者通过电线传输的电信号。
[0085] 这里所描述的计算机可读程序指令可以从计算机可读存储介质下载到各个计算/处理设备，或者通过网络、例如因特网、局域网、广域网和/或无线网下载到外部计算机或外部存储设备。网络可以包括铜传输电缆、光纤传输、无线传输、路由器、防火墙、交换机、网关计算机和/或边缘服务器。每个计算/处理设备中的网络适配卡或者网络接口从网络接收计算机可读程序指令，并转发该计算机可读程序指令，以供存储在各个计算/处理设备中的计算机可读存储介质中。
[0086] 用于执行本发明操作的计算机程序指令可以是汇编指令、指令集架构(ISA)指令、机器指令、机器相关指令、微代码、固件指令、状态设置数据或者以一种或多种编程语言的任意组合编写的源代码或目标代码，所述编程语言包括面向对象的编程语言—诸如Smalltalk、C++等，以及过程式编程语言—诸如“C”语言或类似的编程语言。计算机可读程序指令可以完全地在用户计算机上执行、部地在用户计算机上执行、作为一个独立的软件包执行、部在用户计算机上部在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络—包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。在一些实施例中，通过利用计算机可读程序指令的状态信息来个性化定制电子电路，例如可编程逻辑电路、现场可编程门阵列(FPGA)或可编程逻辑阵列(PLA)，该电子电路可以执行计算机可读程序指令，从而实现本发明的各个方面。
[0087] 这里参照根据本发明实施例的方法、装置(系统)和计算机程序产品的流程图和/或框图描述了本发明的各个方面。应当理解，流程图和/或框图的每个方框以及流程图和/或框图中各方框的组合，都可以由计算机可读程序指令实现。
[0088] 这些计算机可读程序指令可以提供给通用计算机、专用计算机或其它可编程数据处理装置的处理器，从而生产出一种机器，使得这些指令在通过计算机或其它可编程数据处理装置的处理器执行时，产生了实现流程图和/或框图中的一个或多个方框中规定的功能/动作的装置。也可以把这些计算机可读程序指令存储在计算机可读存储介质中，这些指令使得计算机、可编程数据处理装置和/或其他设备以特定方式工作，从而，存储有指令的计算机可读介质则包括一个制造品，其包括实现流程图和/或框图中的一个或多个方框中规定的功能/动作的各个方面的指令。
[0089] 也可以把计算机可读程序指令加载到计算机、其它可编程数据处理装置、或其它设备上，使得在计算机、其它可编程数据处理装置或其它设备上执行一系列操作步骤，以产生计算机实现的过程，从而使得在计算机、其它可编程数据处理装置、或其它设备上执行的指令实现流程图和/或框图中的一个或多个方框中规定的功能/动作。
[0090] 附图中的流程图和框图显示了根据本发明的多个实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或指令的一部，所述模块、程序段或指令的一部包含一个或多个用于实现规定的逻辑功能的可执行指令。在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
[0091] 尽管已经描述了本发明的实施例，但是本发明的技术范围不限于上述实施例。对于本领域技术人员显而易见的是，可以对上述实施例进行各种改变和改进。从权利要求的范围还显而易见的是，添加有这种改变或改进的实施例可以包括在本发明的技术范围内。
[0092] 由权利要求、实施例或图中所示的设备、系统程序和方法执行的每个过程的操作、过程、步骤和阶段，可以按任何顺序执行，只要该顺序未由“之前”、“在…前”等指定，并且只要在后续过程中不使用前一过程的输出即可。即使在权利要求书、实施例或图中使用诸如“第一”或“下一个”之类的短语描述了处理流程，也不一定意味着必须以该顺序执行处理。
| 标题 | 发布/更新时间 | 阅读量 |
|---|---|---|
| 一种基于对抗神经网络的隐写分析方法 | 2020-05-24 | 0 |
| 识别图像叠加文字区域的神经网络模型构建方法与系统 | 2020-10-06 | 1 |
| 一种面向嵌入式应用的深度对抗网络优化方法 | 2022-12-14 | 1 |
| 一种基于改进卷积神经网络的焊缝缺陷识别方法 | 2022-09-21 | 1 |
| 一种解析房产证照片内容的方法 | 2020-09-06 | 1 |
| 基于深度学习的鱼类细粒度分类方法 | 2021-04-08 | 2 |
| 产品缺陷检测方法及系统 | 2022-09-23 | 0 |
| 一种通过快速型卷积神经网络对PCBA外观检验的方法 | 2021-09-03 | 1 |
| 基于卷积注意力的矩阵分解方法、装置及电子设备 | 2021-10-30 | 1 |
| 一种基于机器视觉的表面缺陷检测算法 | 2022-03-26 | 1 |
高效检索全球专利专利汇是专利免费检索,专利查询,专利分析-国家发明专利查询检索分析平台，是提供专利分析，专利查询，专利检索等数据服务功能的知识产权数据服务商。
我们的产品包含105个国家的1.26亿组数据，免费查、免费专利分析。
分析报告
专利汇分析报告产品可以对行业情报数据进行梳理分析，涉及维度包括行业专利基本状况分析、地域分析、技术分析、发明人分析、申请人分析、专利权人分析、失效分析、核心专利分析、法律分析、研发重点分析、企业专利处境分析、技术处境分析、专利寿命分析、企业定位分析、引证分析等超过60个分析角度，系统通过AI智能系统对图表进行解读，只需1分钟，一键生成行业专利分析报告。
QQ群二维码
意见反馈
意见反馈