技术领域
[0001] 本
发明涉及智能
图像识别技术领域，具体涉及一种基于深度学习的变电站设备智能拍摄方法及装置。
背景技术
[0002] 输变电巡检在电
力生产运营中起到了至关重要的作用，能够保证变电站内异常状况尽快被发现、及时被处理，避免状况恶化造成经济损失甚至人员伤亡。传统变电站开展例行巡检需要大量人力投入且需要人员前往相对危险区域进行细致观察，为求降低成本提升作业安全性，电力公司已在若干变电站内启用了巡检
机器人，可在移动过程中拍摄设备相关图像以供后续分析。然而，当前的巡检机器人的智能化
水平还比较低，需要人工为其提前设定好巡视目标、拍摄
角度和焦距等，从这个角度来讲当前机器人的使用并未真正减轻变电站巡检工作中人员的工作量。
发明内容
[0003] 有鉴于此，本发明
实施例提供了一种基于深度学习的变电站设备智能拍摄方法及装置，以解决当前变电站内巡检机器人智能化水平不足、仍然需要较多人工参与，导致处理效率较低的问题。
[0004] 根据第一方面，本发明实施例提供了一种基于深度学习的变电站设备智能拍摄方法，包括：控制镜头按预设角度增量沿水平方向转动并采集图像信息，记录当前镜头的第一拍摄角度和第一拍摄焦距；调用预设的变电站设备智能识别模型对图像信息进行分析，识别图像信息中目标设备的
位置及数量；根据目标设备的位置及数量调整镜头的角度和/或焦距，记录调整后镜头拍摄的第二拍摄角度和第二拍摄焦距；将镜头角度复原为第一拍摄角度，将镜头焦距复原为第一拍摄焦距；返回控制镜头按预设角度增量沿水平方向转动并采集图像信息的步骤，直至镜头累计转动一周。
[0005] 在一可选实施例中，通过以下步骤训练生成预设的变电站设备智能识别模型：在不同环境和拍摄方式下，针对每一类目标设备进行图像信息采集，获取各个目标设备的训练图像数据；使用标注工具对训练图像数据进行标注；根据预设比例从标注好的训练图像数据提取训练集及验证集；将训练集分别输入多个神经网络模型进行训练，生成多个初始变电站设备智能识别模型；将验证集分别输入多个初始变电站设备智能识别模型进行验证，得到多个初始变电站设备智能识别模型的精确度；将精确度最高的初始变电站设备智能识别模型确定为预设的变电站设备智能识别模型。
[0006] 在一可选实施例中，训练生成预设的变电站设备智能识别模型的步骤，还包括：根据预设比例从标注好的训练图像数据提取测试集；将测试集输入预设的变电站设备智能识别模型，得到测试结果；根据测试结果判断预设的变电站设备智能识别模型的准确性；如果准确性大于或等于预设
阈值，则判定预设的变电站设备智能识别模型可用；如果准确性小于预设阈值，则判定预设的变电站设备智能识别模型不可用，返回在不同环境和拍摄方式下，针对每一类目标设备进行图像信息采集，获取各个目标设备的训练图像数据的步骤。
[0007] 在一可选实施例中，根据目标设备的位置及数量调整镜头的角度和焦距，记录调整后镜头拍摄的第二拍摄角度和第二拍摄焦距，包括：当检测到图像信息中有且仅有一个目标设备时，调整镜头的角度和焦距，使目标设备居于图像信息的中央且所占区域面积最大化。
[0008] 在一可选实施例中，根据目标设备的位置及数量调整镜头的角度和/或焦距，记录调整后镜头拍摄的第二拍摄角度和第二拍摄焦距，使目标设备居于图像信息的中央且所占区域面积最大化，包括：调整镜头的拍摄角度，使目标设备的标注框位于
视野框中央；调整镜头的拍摄焦距，使标注框在视野框内所占面积最大。
[0009] 在一可选实施例中，调整镜头的拍摄角度，使目标设备的标注框位于视野框中央，包括：每调整一次镜头的拍摄角度，对应进行一次图像信息采集，并调用预设的变电站设备智能识别模型对图像信息进行识别，得到调整后目标设备的标注框的各边框与对应的视野框各边界的距离；根据距离调整镜头的拍摄角度，使标注框的左边框与视野框左边界的距离等于标注框的右边框与视野框右边界的距离，标注框的上边框与视野框上边界的距离等于标注框的下边框与视野框下边界的距离。
[0010] 在一可选实施例中，调整镜头的拍摄焦距，使标注框在视野框内所占面积最大，包括：每调整一次镜头的拍摄焦距，对应进行一次图像信息采集，并调用预设的变电站设备智能识别模型对图像信息进行识别，得到调整后目标设备的标注框的各边框与对应的视野框各边界的距离；根据距离调整镜头的拍摄焦距，使标注框左边框与视野框左边界的距离、标注框右边框与视野框右边界的距离、标注框上边框与视野框上边界的距离及标注框下边框与视野框下边界的距离，其中至少一项的值等于零。
[0011] 根据第二方面，本发明实施例提供了一种基于深度学习的变电站设备智能拍摄装置，包括：图像信息采集模
块，用于控制镜头按预设角度增量沿水平方向转动并采集图像信息，记录当前镜头的第一拍摄角度和第一拍摄焦距；目标设备识别模块，用于调用预设的变电站设备智能识别模型对图像信息进行分析，识别图像信息中目标设备的位置及数量；镜头调整模块，用于根据目标设备的位置及数量调整镜头的角度和/或焦距，记录调整后镜头拍摄的第二拍摄角度和第二拍摄焦距；镜头复原模块，用于将镜头角度复原为第一拍摄角度，将镜头焦距复原为第一拍摄焦距。
[0012] 根据第三方面，本发明实施例提供了一种计算机设备，包括：
存储器和处理器，存储器和处理器之间互相通信连接，存储器中存储有计算机指令，处理器通过执行计算机指令，从而执行如本发明第一方面提供的的基于深度学习的变电站设备智能拍摄方法。
[0013] 根据第四方面，本发明实施例提供了一种计算机可读存储介质，计算机可读存储介质存储有计算机指令，计算机指令用于使计算机执行如本发明第一方面提供的基于深度学习的变电站设备智能拍摄方法。
[0014] 本发明技术方案，具有如下优点：
[0015] 1.本发明提供的基于深度学习的变电站设备智能拍摄方法及装置可控制镜头按一定角度增量沿水平方向转动并自动进行
图像采集，调用预设的变电站设备智能识别模型对图像信息进行分析，判断所采集的图像中目标设备的位置及数量，根据分析结果自动调整镜头的拍摄角度和拍摄焦距，此方法及装置的智能化水平较高，免去了人工提前设定巡视目标、拍摄角度和焦距等繁琐操作，提高了图像采集的效率。
[0016] 2.本发明提供的预设的变电站设备智能识别模型，训练模型的过程中，在不同环境和拍摄方式下采集大量的目标设备的图像信息作为训练图像数据，并将训练图像数据按比例分为训练集、验证集及测试集，将训练集分别输入至多个神经网络得到多个初始变电站智能识别模型，利用验证集选择精确度最高的初始变电站智能识别模型作为预设的变电站设备智能识别模型，最后利用测试集对预设的变电站设备智能识别模型的准确度进行验证，如果准确度小于预设阈值，则重新对变电站智能识别模型进行训练，预设的变电站设备智能识别模型的训练经过多重验证筛选，保证了其准确性，为后续判定图像信息中的目标设备提供了保障。
[0017] 3.根据预设的变电站设备智能识别模型对图像信息进行分析，根据图像信息中目标设备的位置及信息对镜头的拍摄角度和拍摄焦距进行调整，使目标设备的标注框位于视野框中央并使标注框在视野框内所占面积最大，方便后续对目标设备的细节进行查看分析。每调整一次镜头的拍摄角度和/或拍摄焦距，进行一次图像信息采集，并调用预设的变电站设备智能识别模型对图像信息进行识别，得到调整镜头的拍摄角度和/或拍摄焦距后目标设备在图像信息中的位置，为下一次的调整提供参考，使最终采集的目标设备的图像更为清晰。
附图说明
[0018] 通过参考附图会更加清楚的理解本发明的特征和优点，附图是示意性的而不应理解为对本发明进行任何限制，在附图中：
[0019] 图1示出了本发明实施例的基于深度学习的变电站设备智能拍摄方法的
流程图；
[0020] 图2示出了本发明实施例的基于深度学习的变电站设备智能拍摄方法使用的预设的变电站设备智能识别模型的构建流程图；
[0021] 图3A-图3D示出了本发明实施例的目标设备拍摄及调整过程示意图；
[0022] 图4示出了本发明实施例的基于深度学习的变电站设备智能拍摄装置的结构
框图；
[0023] 图5示出了本发明实施例的计算机设备的结构框图。
具体实施方式
[0024] 为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0025] 实施例1
[0026] 本发明实施例第一方面提供了一种基于深度学习的变电站设备智能拍摄方法，如图1所示，包括：
[0027] 步骤S1：控制镜头按预设角度增量沿水平方向转动并采集图像信息，记录当前所述镜头的第一拍摄角度和第一拍摄焦距，该预设角度增量可以为任意值，便于描述，本实施例以预设角度增量为30度为例，且将上述第一拍摄角度记为a，将上述第一拍摄焦距记为b。
[0028] 步骤S2：调用预设的变电站设备智能识别模型对图像信息进行分析，识别所述图像信息中目标设备的位置及数量，在一具体实施例中，图像信息中目标设备的数量包含三种情况：图像中未识别发现目标设备、图像中识别发现了一个目标设备或图像中发现了多个设备。
[0029] 步骤S3：根据目标设备的位置及数量调整镜头的角度和/或焦距，记录调整后镜头拍摄的第二拍摄角度和第二拍摄焦距。根据图像信息中目标设备的位置及数量的不同，对镜头进行不同的操作。
[0030] 当图像中未识别发现目标设备时，镜头不做调整。
[0031] 当图像中识别发现了一个目标设备时，调整镜头的拍摄角度和/或焦距，使目标设备居于图像信息的中央且所占区域面积最大化，方便后续对目标设备的细节进行查看分析，并记录调整镜头的第二拍摄角度和第二拍摄焦距，为方便描述，本发明实施例将第二拍摄角度记为a1，将第二拍摄焦距记为b1。
[0032] 当图像中识别发现了多个目标设备时，重复多次图像中识别发现一个目标设备时对镜头的调整操作，将图像中出现的所有目标设备遍历一遍，分别记录每个目标设备居于图像信息的中央且所占区域面积最大时镜头的拍摄角度a1和拍摄焦距b1。
[0033] 步骤S4：图像中所有目标设备遍历一遍之后，将镜头角度复原为第一拍摄角度a，将镜头焦距复原为第一拍摄焦距b。
[0034] 步骤S5：返回步骤S1控制镜头按预设角度增量沿水平方向转动并采集图像信息的步骤，直至所述镜头累计转动一周，当镜头按预设角度增量沿水平方向累计转动一周，即360度之后，镜头结束工作，停止对图像的采集。将调整后的镜头角度和焦距还原为a和b后再返回步骤S1控制镜头按预设角度增量沿水平方向转动，使整个流程有序进行，不会存在漏拍的情况。
[0035] 本发明实施例提供的基于深度学习的变电站设备智能拍摄方法可控制镜头按一定角度增量沿水平方向转动并自动进行图像采集，调用预设的变电站设备智能识别模型对图像信息进行分析，判断所采集的图像中目标设备的位置及数量，根据分析结果自动调整镜头的拍摄角度和拍摄焦距，此方法及装置的智能化水平较高，免去了人工提前设定巡视目标、拍摄角度和焦距等繁琐操作，提高了图像采集的效率。当镜头按预设角度增量沿水平方向累计转动一周后，镜头停止对图像的采集，避免了对图像的重复采集。
[0036] 在一可选实施例中，如图2所示，可以通过以下步骤训练生成预设的变电站设备智能识别模型：
[0037] 步骤S21：在不同环境和拍摄方式下，针对每一类目标设备进行图像信息采集，获取各个目标设备的训练图像数据，在一具体实施例中，先明确变电站目标种类，如道闸标记等，本实施例在此不做具体限定。获取目标设备的训练图像数据时，需在不同光照条件、背景、距离和角度下拍摄数千张图像并统一存储。
[0038] 步骤S22：使用标注工具对训练图像数据进行标注，在一具体实施例中，标注工具可以使用imageLabeler，但仅为举例说明，并非用以限制本发明，将每一张图像中的目标设备用最恰当的矩形框标注出来并为不同设备赋予不同的标签，如此，关于每张图像的一条数据便可包括图像本身信息、图像中每一个目标设备的种类信息及图像中每一个目标设备所占的
像素信息。
[0039] 步骤S23：根据预设比例从标注好的训练图像数据提取训练集、验证集及测试集，在一具体实施例中，预设比例可以为7：2：1，但仅为举例说明，并非用以限制本发明。
[0040] 步骤S24：将训练集分别输入多个神经网络模型进行训练，生成多个初始变电站设备智能识别模型，上述神经网络模型可以为基于深度学习的端到端的目标检测
算法(可以为Faster-RCNN、YOLO等，但仅为举例说明，并非用以限制本发明)，对算法参数进行初步调整。
[0041] 步骤S25：将验证集分别输入多个初始变电站设备智能识别模型进行验证，得到多个初始变电站设备智能识别模型的精确度。
[0042] 步骤S26：将精确度最高的初始变电站设备智能识别模型确定为预设的变电站设备智能识别模型，利用验证集在多个初始变电站智能识别模型中选择精确度最高的作为预设的变电站智能识别模型，对预设的变电站智能识别模型的精确度提供了第一重保障。
[0043] 步骤S27：将测试集输入所述预设的变电站设备智能识别模型，得到测试结果。
[0044] 步骤S28：根据测试结果判断预设的变电站设备智能识别模型的准确性，如果所述准确性大于或等于预设阈值，则判定所述预设的变电站设备智能识别模型可用，保留此模型并应用于对图像信息的分析识别；如果所述准确性小于所述预设阈值，说明前期准备的
训练数据不充分，则判定所述预设的变电站设备智能识别模型不可用，返回步骤S21，在不同环境和拍摄方式下，针对每一类目标设备进行图像信息采集，获取各个目标设备的训练图像数据。
[0045] 通过测试集对预设的变电站设备智能识别模型的准确性进行测试，为对预设的变电站智能识别模型的精确度提供了第二重保障，为后续对图像信息的精准识别提供
基础。在一具体实施例中，由于已经通过验证集选择了精确度最高的初始变电站智能识别模型作为预设的变电站设备智能识别模型，所以可以不通过测试集进行测试，本实施例在此不做具体限定。
[0046] 在一可选实施例中，步骤S3中，使目标设备居于图像信息的中央且所占区域面积最大化，包括：
[0047] 调整镜头的拍摄角度，使目标设备的标注框位于视野框中央，调整镜头角度时，逐步按极小角度(如1度，本实施例对此不做具体限定)偏转镜头，每调整一次镜头的拍摄角度，对应进行一次图像信息采集，并调用预设的变电站设备智能识别模型对图像信息进行识别，得到调整后目标设备的标注框的各边框与对应的视野框各边界的距离，为下一次的调整提供参考，使最终采集的目标设备的图像更为清晰。根据距离调整镜头的拍摄角度，使标注框的左边框与视野框左边界的距离等于标注框的右边框与视野框右边界的距离，标注框的上边框与视野框上边界的距离等于标注框的下边框与视野框下边界的距离。
[0048] 调整镜头的拍摄焦距，使标注框在视野框内所占面积最大，每调整一次所述镜头的拍摄焦距，对应进行一次图像信息采集，并调用所述预设的变电站设备智能识别模型对图像信息进行识别，得到调整后目标设备的标注框的各边框与对应的所述视野框各边界的距离，根据所述距离调整所述镜头的拍摄焦距，控制镜头逐步拉近焦距，使所述标注框左边框与所述视野框左边界的距离、所述标注框右边框与所述视野框右边界的距离、所述标注框上边框与所述视野框上边界的距离及所述标注框下边框与所述视野框下边界的距离，其中至少一项的值等于零或趋近于零。
[0049] 在一具体实施例中，以图像信息中只有一个目标设备为例，会出现如图3A和图3B的情况。如图3A所示，目标设备的标注框200完整包含于视野框100中，但目标设备标注框200不位于视野框100中央，视野框100宽为W高为H，标注框200宽为w0高为h0，另外标注框
200左边框至视野框100左边界距离为w1，标注框200右边框至视野框100右边界距离为w2，标注框200上边框至视野框100上边界距离为h1，标注框200下边框至视野框100下边界距离为h2，控制镜头逐步按极小角度(如1度)偏转镜头，以图3A为例向左向上调节镜头，每调节一次镜头进行一次拍摄并调用智能识别模型重新进行识别，继而得到新的标注框200各边框与视野框100各边界之间的距离，直至w1和w2近乎相等且h1和h2近乎相等时，表明标注框
200此时已近似居于视野框100的中央位置，如图3C所示，停止调整镜头的角度。下面将逐步调整镜头焦距，最大化标注框200在视野框100中所占的区域面积，控制镜头逐步拉近焦距，每调整一次焦距进行一次拍摄并调用智能识别模型重新进行识别，继而得到新的标注框
200各边框与视野框100各边界之间的距离，直到w1和w2接近0或者h1和h2接近0，表明标注框200所占视野框100的距离已经最大化，如图3D所示，记录此时的角度和焦距a1和b1。
[0050] 目标设备的标注框200在视野框100中还可能出现图3B的情形，即目标设备的标注框200只有一部分出现在视野框100中，这种情形下依然可以按照上述方法逐步调整镜头角度和焦距，依然可以保证标注框200居于视野框100的中央且所占区域面积最大化。
[0051] 在本实施例中，通过预设的变电站设备智能识别模型对图像信息进行分析，根据图像信息中目标设备的位置及信息对镜头的拍摄角度和拍摄焦距进行调整，使目标设备的标注框位于视野框中央并使标注框在视野框内所占面积最大，方便后续对目标设备的细节进行查看分析。每调整一次镜头的拍摄角度和/或拍摄焦距，进行一次图像信息采集，并调用预设的变电站设备智能识别模型对图像信息进行识别，得到调整镜头的拍摄角度和/或拍摄焦距后目标设备在图像信息中的位置，为下一次的调整提供参考，使最终采集的目标设备的图像更为清晰。
[0052] 实施例2
[0053] 本发明实施例第二方面提供了一种基于深度学习的变电站设备智能拍摄装置，如图4所示，包括：
[0054] 图像信息采集模块1，用于控制镜头按预设角度增量沿水平方向转动并采集图像信息，记录当前镜头的第一拍摄角度和第一拍摄焦距，详细内容参考上述实施例1步骤S1的相关描述。
[0055] 目标设备识别模块2，用于调用预设的变电站设备智能识别模型对图像信息进行分析，识别图像信息中目标设备的位置及数量，详细内容参考上述实施例1步骤S2的相关描述。
[0056] 镜头调整模块3，用于根据目标设备的位置及数量调整镜头的角度和/或焦距，记录调整后镜头拍摄的第二拍摄角度和第二拍摄焦距，详细内容参考上述实施例1步骤S3的相关描述。
[0057] 镜头复原模块4，用于将镜头角度复原为第一拍摄角度，将镜头焦距复原为第一拍摄焦距，详细内容参考上述实施例1步骤S4的相关描述。
[0058] 本发明提供的基于深度学习的变电站设备智能拍摄装置可控制镜头按一定角度增量沿水平方向转动并自动进行图像采集，调用预设的变电站设备智能识别模型对图像信息进行分析，判断所采集的图像中目标设备的位置及数量，根据分析结果自动调整镜头的拍摄角度和拍摄焦距，此方法及装置的智能化水平较高，免去了人工提前设定巡视目标、拍摄角度和焦距等繁琐操作，当镜头按预设角度增量沿水平方向累计转动一周后，镜头停止对图像的采集。
[0059] 实施例3
[0060] 本发明实施例还提供了一种计算机设备，如图5所示，该计算机设备可以包括处理器51和存储器52，其中处理器51和存储器52可以通过总线或者其他方式连接，图5中以通过总线连接为例。
[0061] 处理器51可以为
中央处理器(Central Processing Unit，CPU)。处理器51还可以为其他通用处理器、数字
信号处理器(Digital Signal Processor，DSP)、专用集成
电路(Application Specific Integrated Circuit，ASIC)、现场可编程
门阵列(Field-Programmable Gate Array，FPGA)或者其他
可编程逻辑器件、分立门或者晶体管逻辑器件、分立
硬件组件等芯片，或者上述各类芯片的组合。
[0062] 存储器52作为一种非暂态计算机可读存储介质，可用于存储非暂态
软件程序、非暂态计算机可执行程序以及模块，如本发明实施例中的基于深度学习的变电站设备智能拍摄方法对应的程序指令/模块。处理器51通过运行存储在存储器52中的非暂态软件程序、指令以及模块，从而执行处理器的各种功能应用以及
数据处理，即实现上述方法实施例中的基于深度学习的变电站设备智能拍摄方法。
[0063] 存储器52可以包括存储程序区和存储数据区，其中，存储程序区可存储
操作系统、至少一个功能所需要的应用程序；存储数据区可存储处理器51所创建的数据等。此外，存储器52可以包括高速
随机存取存储器，还可以包括非暂态存储器，例如至少一个磁盘存储器件、闪存器件、或其他非暂态固态存储器件。在一些实施例中，存储器52可选包括相对于处理器51远程设置的存储器，这些远程存储器可以通过网络连接至处理器51。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
[0064] 所述一个或者多个模块存储在所述存储器52中，当被所述处理器51执行时，执行如图1-图3D所示实施例中的基于深度学习的变电站设备智能拍摄方法。
[0065] 上述计算机设备具体细节可以对应参阅图1至图4所示的实施例中对应的相关描述和效果进行理解，此处不再赘述。
[0066] 实施例4
[0067] 本发明第四方面提供一种计算机可读存储介质，该计算机可读存储介质存储计算机指令，本领域技术人员可以理解，实现上述实施例方法中的全部或部分流程，是可以通过
计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)、随机存储记忆体(Random Access Memory，RAM)、快闪存储器(Flash Memory)、
硬盘(Hard Disk Drive，缩写：HDD)或固态硬盘(Solid-State Drive，SSD)等；所述存储介质还可以包括上述种类的存储器的组合。
[0068] 显然，上述实施例仅仅是为清楚地说明所作的举例，而并非对实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。而由此所引伸出的显而易见的变化或变动仍处于本发明创造的保护范围之中。
