一种伤口测量的方法及装置、存储介质
阅读：977发布：2020-05-11
专利汇可以提供一种伤口测量的方法及装置、存储介质专利检索，专利查询，专利分析的服务。并且本 申请 提供一种伤口测量的方法及装置、存储介质。其中，伤口测量的方法，应用于客户端，所述方法包括：接收用户上传的伤口图片，所述伤口图片中的伤口为待测伤口；将所述伤口图片发送给 服务器 ；接收所述服务器反馈的所述待测伤口的测量信息并显示。该伤口测量的方法提高伤口测量的效率和便捷性。，下面是一种伤口测量的方法及装置、存储介质专利的具体信息内容。
1.一种伤口测量的方法，其特征在于，应用于客户端，所述方法包括：
接收用户上传的伤口图片，所述伤口图片中的伤口为待测伤口；
将所述伤口图片发送给服务器；
接收所述服务器反馈的所述待测伤口的测量信息并显示。
2.根据权利要求1所述的方法，其特征在于，所述方法还包括：
在接收到用户的图像采集请求时，调用深度相机采集所述伤口图片对应的三维光点图形；
根据所述三维光点图形获取所述待测伤口的位置和深度信息；
根据所述位置和所述深度信息生成所述待测伤口的深度测量结果并显示。
3.根据权利要求2所述的方法，其特征在于，在根据所述三维光点图形获取所述待测伤口的位置和深度信息后，所述方法还包括：
根据所述待测伤口的位置和深度信息对所述待测伤口进行3D重构，生成所述待测伤口对应的3D图像；
在接收到用户的3D图像查看请求时，展示所述3D图像。
4.根据权利要求2所述的方法，其特征在于，所述方法还包括：
接收用户的报告生成请求；
根据所述用户的身份信息获取所述用户以往的测量记录；所述测量记录中包括所述待测伤口的以往测量信息和以往深度测量结果；
根据所述测量记录、所述测量信息、所述深度测量结果生成所述用户的伤口分析报告。
5.根据权利要求1-4任一项所述的方法，其特征在于，所述测量信息包括：
所述待测伤口的长度、宽度、面积以及伤口组织颜色分类。
6.一种伤口测量的方法，其特征在于，应用于服务器，所述方法包括：
获取伤口图片，所述伤口图片中的伤口为待测伤口；
获取预先存储的用于对所述待测伤口进行测量的深度学习模型；
将所述伤口图片输入到所述深度学习模型中，得到所述待测伤口的测量信息。
7.根据权利要求6所述的方法，其特征在于，获取伤口图片，包括：
接收客户端发送的伤口图片；
在得到所述待测伤口的测量信息后，所述方法还包括：
将所述测量信息反馈给所述客户端。
8.根据权利要求6所述的方法，其特征在于，所述深度学习模型包括：第一神经网络模型、图像处理模型、第二神经网络模型；将所述伤口图片输入到所述深度学习模型中，得到所述待测伤口的测量信息，包括：
将所述伤口图片输入到所述第一神经网络模型；
通过所述第一神经网络模型从所述伤口图片中分割出伤口区域；
通过所述图像处理模型对所述伤口区域进行测量，得到通过像素距离表示的测量结果；
通过所述第二神经网络模型将所述像素距离转换为真实距离，输出所述测量信息。
9.根据权利要求6所述的方法，其特征在于，在获取伤口图片之前，所述方法还包括：
获取第一训练数据集，所述第一训练数据集中包括样本伤口图片和对所述样本伤口图片上的伤口进行标注得到的样本伤口标注图片；
基于所述第一训练数据集对初始的第一神经网络模型进行训练，得到训练好的用于分割伤口图片中的伤口区域的第一神经网络模型；
获取图像处理模型，所述图像处理模型用于对所述伤口区域进行测量，得到通过像素距离表示的测量结果；
获取第二训练数据集，所述第二训练数据集中包括标尺图片和所述标尺图片对应的标尺的刻度标准；
基于所述第二训练数据集对初始的第二神经网络模型进行训练，得到训练好的用于将像素距离转换为真实距离的第二神经网络模型；
依次连接训练好的第一神经网络模型、所述图像处理模型以及训练好的第二神经网络模型，得到所述深度学习模型。
10.一种伤口测量的装置，其特征在于，应用于客户端，所述装置包括：
接收模块，用于接收用户上传的伤口图片，所述伤口图片中的伤口为待测伤口；
发送模块，用于将所述伤口图片发送给服务器；
所述接收模块还用于接收所述服务器反馈的所述待测伤口的测量信息并显示。
11.一种伤口测量的装置，其特征在于，应用于服务器，所述装置包括：
获取模块，用于获取伤口图片，所述伤口图片中的伤口为待测伤口；
所述获取模块还用于获取预先存储的用于对所述待测伤口进行测量的深度学习模型；
测量模块，用于将所述伤口图片输入到所述深度学习模型中，得到所述待测伤口的测量信息。
12.一种可读存储介质，其特征在于，所述可读存储介质上存储有计算机程序，所述计算机程序被计算机运行时执行如权利要求1-5中任一项所述的方法和/或执行如权利要求
6-9中任一项所述的方法中的步骤。
一种伤口测量的方法及装置、存储介质
技术领域
背景技术
[0002] 临床上，对于伤口的测量，包括长度、宽度等，可采用传统的接触式测量方案，在对伤口进行测量与记录时，常以纸质标尺接近伤口并利用棉签探测，进行伤口长、宽和深度测量与记录相关参数。或采用非接触的测量方案，借助立体摄影设备和造影技术实现。
[0003] 不管是采用接触式测量方案，还是非接触的测量方案，都需要患者前往医院进行测量，对于患者来说，一个伤口的痊愈周期比较长，如果每次测量都需要前往医院，比较不方便。并且每次都需要借助医生或者设备的协助才能进行测量，测量效率也不高。发明内容
[0004] 本申请实施例的目的在于提供一种伤口测量的方法及装置、存储介质，用以提高伤口测量的效率和便捷性。
[0005] 第一方面，本申请实施例提供一种伤口测量的方法，应用于客户端，所述方法包括：接收用户上传的伤口图片，所述伤口图片中的伤口为待测伤口；将所述伤口图片发送给服务器；接收所述服务器反馈的所述待测伤口的测量信息并显示。
[0006] 在本申请实施例中，用户只需上传伤口图片上传到客户端，由客户端发送给服务器，服务器反馈待测伤口的测量信息。与现有技术相比，一方面用户可以不必每次都前往医院进行伤口的测量，另一方面测量过程只需要上传伤口图片即可，由服务器反馈对应的测量信息，不仅提高了伤口测量的便捷性，还提高了伤口测量的效率。
[0007] 作为一种可能的实现方式，所述方法还包括：在接收到用户的图像采集请求时，调用深度相机采集所述伤口图片对应的三维光点图形；根据所述三维光点图形获取所述待测伤口的位置和深度信息；根据所述位置和所述深度信息生成所述待测伤口的深度测量结果并显示。
[0008] 在本申请实施例中，由于用户上传的伤口图片是2D的，因此服务器反馈的测量信息也是2D的测量信息，通过深度相机采集三维光点图形，能够获取到待测伤口的位置和深度信息，使伤口的测量结果更全面。
[0009] 作为一种可能的实现方式，在根据所述三维光点图形获取所述待测伤口的位置和深度信息后，所述方法还包括：根据所述待测伤口的位置和深度信息对所述伤口进行3D重构，生成所述待测伤口对应的3D图像；在接收到用户的3D图像查看请求时，展示所述3D图像。
[0010] 在本申请实施例中，在客户端上，还可以对待测伤口进行3D重构，并展示给用户看，使用户能够了解自己的伤口情况。
[0011] 作为一种可能的实现方式，所述方法还包括：接收用户的报告生成请求；根据所述用户的身份信息获取所述用户以往的测量记录；所述测量记录中包括所述待测伤口的以往测量信息和以往深度测量结果；根据所述测量记录、所述测量信息、所述深度测量结果生成所述用户的伤口分析报告。
[0012] 在本申请实施例中，在客户端上，还可以根据用户以往的测量记录与当前次的测量结果生成用户的伤口分析报告，实现了完成伤口测量的同时，为用户进行伤口分析，在客户端上实现对用户的伤口信息的管理。
[0013] 作为一种可能的实现方式，所述测量信息包括：所述待测伤口的长度、宽度、面积以及伤口组织颜色分类。
[0014] 在本申请实施例中，长度、宽度、面积以及伤口组织颜色分类等测量信息能够较全面的反映伤口的情况。
[0015] 第二方面，本申请实施例提供一种伤口测量的方法，应用于服务器，所述方法包括：获取伤口图片，所述伤口图片中的伤口为待测伤口；获取预先存储的用于对所述待测伤口进行测量的深度学习模型；将所述伤口图片输入到所述深度学习模型中，得到所述待测伤口的测量信息。
[0016] 在本申请实施例中，对于服务器来说，在获取到伤口图片后，通过深度学习模型对待测伤口进行测量，得到待测伤口的测量信息。深度学习模型适用于图像的处理，且效率和准确性都较高，提高伤口测量的准确性和效率。
[0017] 作为一种可能的实现方式，获取伤口图片，包括：接收客户端发送的伤口图片；在得到所述待测伤口的测量信息后，所述方法还包括：将所述测量信息反馈给所述客户端。
[0018] 在本申请实施例中，服务器获取的伤口图片可以是客户端发送的图片，在得到测量信息后，反馈给客户端，使客户端的用户能够快速的得到测量信息。
[0019] 作为一种可能的实现方式，所述深度学习模型包括：第一神经网络模型、图像处理模型、第二神经网络模型；将所述伤口图片输入到所述深度学习模型中，得到所述待测伤口的测量信息，包括：将所述伤口图片输入到所述第一神经网络模型；通过所述第一神经网络模型从所述伤口图片中分割出伤口区域；通过所述图像处理模型对所述伤口区域进行测量，得到通过像素距离表示的测量结果；通过所述第二神经网络模型将所述像素距离转换为真实距离，输出所述测量信息。
[0020] 在本申请实施例中，通过神经网络模型与图像处理模型集成的深度学习网络模型，先分割出伤口区域，再对伤口区域进行测量，再进行距离的换算，最后输出真实的测量信息，整个过程由集成的深度学习模型实现，全程自动化，且准确性和效率高。
[0021] 作为一种可能的实现方式，在获取伤口图片之前，所述方法还包括：
[0022] 获取第一训练数据集，所述第一训练数据集中包括样本伤口图片和对所述样本伤口图片上的伤口进行标注得到的样本伤口标注图片；基于所述第一训练数据集对初始的第一神经网络模型进行训练，得到训练好的用于分割伤口图片中的伤口区域的第一神经网络模型；获取图像处理模型，所述图像处理模型用于对所述伤口区域进行测量，得到通过像素距离表示的测量结果；获取第二训练数据集，所述第二训练数据集中包括标尺图片和所述标尺图片对应的标尺的刻度标准；基于所述第二训练数据集对初始的第二神经网络模型进行训练，得到训练好的用于将像素距离转换为真实距离的第二神经网络模型；依次连接训练好的第一神经网络模型、所述图像处理模型以及训练好的第二神经网络模型，得到所述深度学习模型。
[0023] 在本申请实施例中，通过对各个模型进行训练，然后再依次连接各个模型，使深度学习模型中的输入输出是连续的，实现伤口的测量。
[0024] 第三方面，本申请实施例提供一种伤口测量的装置，所述装置包括用于实现第一方面以及第一方面任意一种可能的实现方式中所述的方法的功能模块。
[0025] 第四方面，本申请实施例还提供一种伤口测量的装置，所述装置包括用于实现第二方面以及第二方面任意一种可能的实现方式中所述的方法的功能模块。
[0026] 第五方面，本申请实施例提供一种可读存储介质，所述可读存储介质上存储有计算机程序，所述计算机程序被计算机运行时执行如第一方面以及第一方面任意一种可能的实现方式中和/或如第二方面以及第二方面任意一种可能的实现方式中所述的方法的步骤。附图说明
[0027] 为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
[0028] 图1为本申请实施例提供的2D测量原理示意图；
[0029] 图2为本申请实施例提供的伤口图片示意图；
[0030] 图3为本申请实施例提供的3D测量原理示意图；
[0031] 图4为本申请实施例提供的3D摄像装置示意图；
[0032] 图5为本申请实施例提供的3D重构图像示意图；
[0033] 图6为本申请实施例提供的伤口测量的方法的第一实施例流程图；
[0034] 图7为本申请实施例提供的客户端的界面的第一示意图；
[0035] 图8为本申请实施例提供的客户端的界面的第二示意图；
[0036] 图9为本申请实施例提供的客户端的界面的第三示意图；
[0037] 图10为本申请实施例提供的伤口测量的方法的第二实施例流程图；
[0038] 图11为本申请实施例提供的伤口测量的装置的第一实施例功能模块框图；
[0039] 图12为本申请实施例提供的伤口测量的装置的第二实施例功能模块框图。
具体实施方式
[0040] 下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行描述。
[0041] 在介绍本申请实施例提供的伤口测量的方法之前，先对本申请实施例的应用场景作介绍。
[0042] 本申请实施例中所涉及的伤口测量主要包括两种测量，一是2D测量，2D测量主要通过伤口图片测量待测伤口的长度、宽度、面积以及伤口组织颜色(颜色占比)，使患者和医生都能直观的了解待测伤口的基本信息。二是3D测量，3D测量主要通过3D技术获取伤口的深度信息，同时实现3D的重构，使患者和医生能够更深入的了解待测伤口的更多信息。其中，伤口测量主要指的是慢性伤口的测量。
[0043] 本申请实施例中所涉及的客户端可理解为测量终端，该测量终端可以是网页浏览器、硬件平台、安装在各种电子设备(电脑、手机等)上的软件等。其表现形式可以是例如：一款专门用于测量的软件，在手机或者电脑上都可以进行下载使用；应用程序(如微信、QQ)内的小程序；特定的操作平台(或系统)，如在电脑或者手机等硬件设备上安装或者加载该操作平台(或系统)进行使用。
[0044] 本申请实施例中所涉及的服务器可以是与客户端对应的服务器，与客户端通过B/S或者C/S架构进行交互。服务器上可以独立的执行存储数据，处理数据等操作，也可以在接收客户端发送的请求或者数据后，基于客户端发送的请求或者数据进行对应的处理。
[0045] 本申请实施例中的2D测量可以通过客户端与服务器之间的交互完成，3D测量可由客户端独立完成。
[0046] 为了更清楚的介绍本申请实施例的技术方案，先对伤口测量的方法中的2D测量和3D测量的原理作介绍。
[0047] 请参照图1，为本申请实施例提供的2D测量的原理的示意图，如图1所示，2D测量主要包括三部分：伤口区域分割(定位)；伤口区域测量；标尺刻度换算。对于伤口区域分割，可以参照图2所示，图2中所示的是一患者的脚的示意图，患者的脚上有一伤口，当拍摄伤口图片时，一般不能精确定位到伤口进行拍摄，所以通常是将整张脚的图片拍下来，因此伤口区域分割(定位)相当于是把待测伤口从伤口图片中分割出来，进而可以单独的对待测伤口进行测量。对于伤口区域测量，可以理解，在分割出伤口区域后，需要对伤口区域进行测算，进而才能知道伤口的各项信息，因此伤口区域测算是基于分割出的伤口区域进行像素距离的计算。其中，关于像素距离的计算，第一部分处理后得到的实际上还是一张图片，基于该图片进行的计算是像素距离的测量，并不是伤口的实际测量值。进一步的，在完成伤口区域测量后，通过标尺刻度换算将像素距离转换为实际测量值，对于长度、宽度值来说，代表的是像素距离，也就是长度是多少像素，因此可以通过伤口图片中的标尺作为参照，比如伤口图片中标尺上的1cm代表20个像素，而通过伤口测量出的长度是100个像素距离，那么真实伤口长度就是5cm。因此，在伤口图片中还包括参照标尺。在拍摄时，患者可以将参照标尺与待拍摄的对象(如脚)平行放置。
[0048] 接下来请参照图3，为本申请实施例提供的3D测量的原理的示意图，在图3中，A点代表激光投影模块的位置，C点代表COMS相机的位置，l为参考面到相机的距离，Z(x,y)代表物体表面(待测物体)到标定平面的距离，物体表面任一点P(x,y)的深度信息可以通过比较P(x,y)与激光散斑投射到参考平面(虚线所示)的上的P'(x,y)点的x方向的偏移得到。3D测量主要依靠结构光相机的不可见光红外线发射模组、接收模组、以及计算芯片，具体步骤如下：1)空间散斑图案的首次光源标定；2)激光投影器投影光点或点阵到伤口区域；3)COMS相机通过滤波找到并接收投影到伤口的特定波长的光点；4)芯片通过算法固件来计算返回的三维光点图形的畸变获取伤口的位置和深度信息。在具体实现时，激光投影模块投影光点或点阵到伤口区域，IR红外发射模组投射人眼不可见的伪随机散斑红外光点到物体上，每个伪随机散斑光点和它周围窗口内的点集在空间分布中的每个位置都是唯一且已知的。IR红外接收模组找到并接收投影到伤口的所有光点，把整个伤口表面空间的散斑光点信息集合，以及点阵图案都通过接收摄像头(红外接收模组)记录下来，通过"点"对"面"的特殊算法构成三维光点图形(三维轮廓)，获得被测伤口表面的深度等数据信息。三维光点图形的畸变，对应伤口的位置和深度信息，IR红外接收模组在拍回追踪每一个投射的光斑时，会比对收发两端的不同追踪光点的位置偏移(畸变)，再结合收发两端之间BaseLine的既定距离，即收发两端之间的基线距离，获取对应伤口的位置和深度信息。
[0049] 总的来说，采用3D结构光原理的Structure Sensor(深度相机)专业摄像头，依赖收发模组元器件，对伤口区域内做光点的投射与接收，经过的三角测量方法和收发两端之间的基线距离的计算，不但能获取伤口区域所有光点的深度信息，也能对简单或者复杂的伤口轮廓做3D的数据重构。在实际应用时，深度相机可以作为一个集成的摄像装置，包括投影器和摄像机两部分，该摄像装置与待测物体可以如图4所示，最后重构出的3D图像可以如图5所示。
[0050] 接下来结合2D测量和3D测量的原理对伤口测量的方法作介绍。
[0051] 对于2D测量来说，需要利用图像处理技术，在图像处理技术中，深度学习网络的准确度和效率都比较高，但是需要对模型进行构建和训练。因此，在利用2D测量原理对伤口进行测量之前，需要根据2D测量的原理进行深度学习模型的构建(即建模)，深度学习模型为一种集成的模型，包括第一神经网络模型、图像处理模型、第二神经网络模型。建模的过程可以包括：获取第一训练数据集，第一训练数据集中包括样本伤口图片和对样本伤口图片上的伤口进行标注得到的样本伤口标注图片；基于第一训练数据集对初始的第一神经网络模型进行训练，得到训练好的用于分割伤口图片中的伤口区域的第一神经网络模型；获取图像处理模型，图像处理模型用于对伤口区域进行测量，得到通过像素距离表示的测量结果；获取第二训练数据集，第二训练数据集中包括标尺图片和标尺图片对应的标尺的刻度标准；基于第二训练数据集对初始的第二神经网络模型进行训练，得到训练好的用于将像素距离转换为真实距离的第二神经网络模型；依次连接训练好的第一神经网络模型、图像处理模型以及训练好的第二神经网络模型，得到深度学习模型。
[0052] 需要注意的是，建模完成得到的深度学习模型是部署在服务器上的，因此，整个建模的过程应用于服务器。
[0053] 在建模过程中，对于第一训练数据集中的样本伤口图片，可以是来自不同患者伤口或者溃疡的特写的标准彩色图片。在拍摄时，以伤口位于患者足部为例，将患肢放于脚托或水平位置，操作人员在自然光下拍摄，关闭闪光灯，参照标尺与患肢，置于伤口下缘正常皮肤处，采用专用摄像机或者手机摄像头与伤口平面平行，对焦进行拍摄。最终拍摄得到的伤口图片中包括患者的足部和参照标尺。在得到样本伤口图片后，通过人工处理的方式对样本伤口图片上的伤口进行标注，以得到样本伤口标注图片。标注的方式可以是通过医生借助于专用的深度学习标注工具在图片上做标注描点，描绘出伤口边缘的密集点区域。标注工具可以是例如LabelMe等软件。此外，在标注时，除了对伤口区域进行标注，还可以对伤口组织颜色进行标注，进而最终训练好的第一神经网络模型还可以对伤口组织颜色进行识别和区分，标注颜色时，可以分5种颜色进行标注，包括白色、黄色、红色、黑色、粉色，标注的内容包括标注出颜色所在的区域，以及颜色标签，如某一部分组织为白色，将该区域标注出来，并为其打上白色的颜色标签。
[0054] 进一步的，将第一训练数据集输入到第一神经网络模型中进行训练，训练好的模型可直接用于区域分割。在训练时，第一神经网络模型的输入为样本伤口图片、样本伤口标注图片，模型的理想输出是覆盖伤口边缘的mask、包围伤口边缘的检测框、以及伤口组织颜色分类的置信度。其中，第一神经网络模型可以基于Mask R-CNN框架。
[0055] 对于图像处理模型，可通过借助opencv图像处理框架中Canny或者findContours算子，得到伤口区域的边界的所有像素点坐标，然后在坐标系下采用convex Hull凸包算法结合矩阵的坐标系变换，获取伤口区域内最长的线段作为长度，以及垂直于长度的最长的线段作为宽度。
[0056] 对于第二训练数据集，包括标尺图片和标尺的刻度标准，标尺图片可以通过从伤口图片中分割得到。刻度标准可以通过对标尺图片作标注实现，例如：选取标尺上的任意数量的数字刻度，框定矩形框并打上对应的标签。标尺的刻度标准可以理解为相邻数字刻度代表的像素距离的长度，如1cm＝20个像素点。进一步的，将标尺图片和刻度标准输入到第二神经网络模型中进行训练，针对标尺上的小数字采用UNet+focalloss做语义分割，或者RetinaNet做目标检测，即能计算出标尺上真实的相邻小数字刻度之间1cm所代表的像素值距离。
[0057] 在本申请实施例中，第一神经网络模型和第二神经网络的训练可以基于反向传播算法进行训练，在训练之前，可以先采用各种增广类图像处理技术，如旋转、翻转、随机偏移、对比度调整等扩大样本量；然后对训练数据集中的图像作像素归一化处理。在将训练数据输入到训练模型后，基于反向传播算法进行模型权重值的更新调整，以实现模型的训练和调优等。
[0058] 对于反向传播算法(即BP算法)，由正向传播过程和反向传播过程组成。在正向传播过程中，输入信息通过输入层经隐含层，逐层处理并传向输出层。如果在输出层得不到期望的输出值，则在该测量场景下取输出与期望的交叉熵损失结合误差平方和损失作为目标函数，转入反向传播，逐层求出目标函数对各神经元权值的偏导数，构成目标函数对权值向量的梯量，作为修改权值的依据，网络的学习在权值修改过程中完成。误差达到所期望值时，网络学习结束。
[0059] 在完成神经网络模型的训练后，还可以通过测试数据集对训练好的神经网络模型进行测试，以确定训练好的神经网络模型可以实现对应的功能。测试数据集可以在准备训练数据集时一并准备，例如共采集了1000张样本伤口图片，将其中800张作为训练数据，另外200张作为测试数据，对于测试样本的伤口标注图片也是一样，针对200张样本伤口图片进行标注后得到测试数据中的标注图片。
[0060] 在对第一神经网络模型、第二神经网络模型以及图像处理模型都训练或者搭建以及测试完毕后，对各个模型进行融合处理，依次连接各个模型，此处的依次连接可以理解为连接深度学习模型中的各个模型的输入输出关系，这样在应用深度学习模型时，只需给定一个输入，就能输出对应的结果，在该深度学习模型中，第一神经网络模型的输入为深度学习模型的输入，第一神经网络模型的输出为图像处理模型的输入，图像处理模型的输出作为第二神经网络模型的输入，第二神经网络模型的输出为深度学习模型的输出。
[0061] 在完成深度学习模型的构建后，将深度学习模型部署在服务器上，即可利用该深度学习模型进行伤口的2D测量。接下来对在实际应用时的实施流程作介绍。
[0062] 接下来请参照图6，为本申请实施例提供的伤口测量的方法的流程图，应用于客户端，该方法包括：
[0063] 步骤110：接收用户上传的伤口图片。伤口图片中的伤口为待测伤口。
[0064] 步骤120：将伤口图片发送给服务器。
[0065] 步骤130：接收服务器反馈的待测伤口的测量信息并显示。
[0066] 步骤110中的用户可以是医生或者患者，不管是医生还是患者，要使用客户端的相应功能，可以通过输入身份信息进行注册，如果是医生，身份信息可以包括姓名、医生编号、身份证号等。如果是患者，身份信息可以包括姓名、性别、年龄、身份证号等。在注册后进行登录，登录成功后即可进行相关功能的使用。需要注意的是，医生登陆后需要单独进行患者管理，确定后续测量操作针对的患者对象，也就是医生在登录后，也需要录入测量操作针对的患者的信息。若测量的患者是医生诊断过的患者，可以直接从医生已有的诊断患者列表中进行选择；若测量的患者是医生没有诊断过的患者，那么需要录入患者的信息，并加入到医生的诊断患者列表中。此外，在客户端上可以包括2D测量功能模块和3D测量功能模块，用户可以根据自己的需求进行选择，也可以按顺序先进行2D测量，再进行3D测量，在此不作限定。
[0067] 举例来说，请参照图7，在用户登录成功后，客户端显示的界面可以如7所示，用户可以选择2D或者3D测量。
[0068] 需要注意的是，由于在服务器端使用的深度学习模型对待测伤口进行测量，因此，用户虽然可以简单的通过上传伤口图片就得到一个结果，但是上传的伤口图片要符合规范。在伤口图片中要包括伤口和标尺，若该客户端是在医院进行使用，那么可以设置固定的拍照设施，在拍照处摆放参照标尺，令患者在指定的位置进行拍摄，得到符合规范的伤口图片。若该客户端是在患者家中或者其他非固定的场所进行使用，可以在用户发起上传伤口图片的请求时给出相关提示信息，以使用户按照提示上传符合规范的伤口图片。提示信息中可以包括光线充足、清晰度要求、图片中要包含伤口和标尺等内容。若不在医院，用户可以通过任意一个参照标尺，将参照标尺与待拍摄的部位平行或者水平放置，只要保证伤口图片中的标尺是可识别的即可。
[0069] 此外，用户一次可以上传的图片数量可以是有限制的，如一次只能最多上传三张图片。
[0070] 进一步的，在执行步骤120之前，可以先检查用户上传的伤口图片是否符合规范，对伤口图片进行一个粗略的识别，检测是否有伤口和标尺这两个对象，若有则表示符合规范，可执行步骤120，若没有则表示不符合规范，可以提示用户图片不符合规范，重新上传。
[0071] 举例来说，请参照图8，用户在上传伤口图片时，客户端显示的界面可以如8所示。
[0073] 在服务器接收到伤口图片后，先做解码，然后对伤口图片中的待测伤口进行测量，得到一个测量结果即测量信息后，将处理后的请求反馈给客户端，客户端执行步骤130，接收该测量信息并显示，测量信息中包括待测伤口的长度、宽度、面积以及伤口组织颜色分类。在得到测量信息后可以直接显示，也可以结合后续的3D测量结果一并显示，因此，关于测量信息的显示的实施方式，在后续实施例中进行介绍。
[0074] 在步骤110-步骤130的整个过程中，都不需要人工进行干预，只需要上传伤口图片即可，提高了伤口测量的效率和便捷性。
[0075] 当用户选择3D测量时，在应用于客户端的伤口的测量方法中，还可以包括：在接收到用户的图像采集请求时，调用深度相机采集伤口图片对应的三维光点图形；根据三维光点图形获取待测伤口的位置和深度信息；根据位置和深度信息生成待测伤口的深度测量结果并显示。
[0076] 其中，当用户发起3D测量的请求时，视为用户发起了图像采集请求。调用深度相机的方式可以是通过lighting通用接口调取structure sensor深度相机摄像头。根据三维光点图像获取待测伤口的位置和深度信息，在前述实施例中对3D测量的原理进行介绍时，已作过详细的说明，在此不再重复说明。
[0077] 进一步的，3D测量除了能够得到位置和深度信息，还能实现3D图像的重构，因此，伤口的测量方法还包括：根据待测伤口的位置和深度信息对伤口进行3D重构，生成待测伤口对应的3D图像；在接收到用户的3D图像查看请求时，展示3D图像。
[0078] 在2D测量和3D测量都完成后，此时可以将2D与3D的测量结果一并进行展示，请参照图9，最终展示的测量结果可以如图9所示，既包括深度测量信息，还包括长度、宽度等信息。作为一种可选的实施方式，除了直观的显示当次的测量结果，还可以对测量数据进行整合，以报告的形式反馈给用户，因此该方法还包括：接收用户的报告生成请求；根据用户的身份信息获取用户以往的测量记录；测量记录中包括待测伤口的以往测量信息和以往深度测量结果；根据测量记录、测量信息、深度测量结果生成用户的伤口分析报告。可以理解，在每完成一次测量后，客户端会记录该次的相关测量信息，随时供用户查看，因此可以结合用户以往的测量记录生成对应的伤口分析报告。如：生成伤口深度的变化情况统计图，伤口长度、宽度等的变化情况统计图，愈合情况分析图等。
[0079] 在本申请实施例中，当2D、3D测量完毕，用户点击提交，会在页面反馈该用户的测量分析报告，主要针对长、宽、深度、面积、颜色占比几项测量指标，以及结合既往测量结果生成动态愈合曲线，并支持结合病历、病史、检验检测等信息，增加对伤口的全方位评估与处理诊断，以直观显示伤口测量评估及愈合监控的全过程信息。不管是医生还是患者都可以根据该测量分析报告对伤口情况进行评估和监控。此外，除了显示该分析报告，用户还可以根据相关的提示同时查看重构的3D图像。
[0080] 在介绍完客户端上的实施流程后，接下来请参照图10，为本申请实施例提供应用于服务器的伤口测量的方法的流程图，如图10所示，该方法包括：
[0081] 步骤210：获取伤口图片。伤口图片中的伤口为待测伤口。
[0082] 步骤220：获取预先存储的用于对待测伤口进行测量的深度学习模型。
[0083] 步骤230：将伤口图片输入到深度学习模型中，得到待测伤口的测量信息。
[0084] 在本申请实施例中，虽然是以服务器与客户端进行交互的方式实现的2D测量，但在实际应用时，服务器上存储有用于对待测伤口进行测量的深度学习模型，可以主动完成2D测量，即不由客户端提供伤口图片；也可以被动式的，由客户端发送伤口图片后再进行对应的数据处理。
[0085] 因此，对于步骤210来说，一种可选的实施方式：接收客户端发送的伤口图片。此时，对应的，在执行步骤230后，即得到待测伤口的测量信息后，该方法还包括：将测量信息反馈给客户端。
[0086] 在步骤220中，服务器获取预先存储的深度学习模型，然后执行步骤230，对于步骤230，结合前述实施例中对深度学习模型的构建的介绍，步骤230可以包括：通过第一神经网络模型从伤口图片中分割出伤口区域；通过图像处理模型对伤口区域进行测量，得到通过像素距离表示的测量结果；通过第二神经网络模型将像素距离转换为真实距离，输出测量信息。
[0087] 此外，在步骤230中，第一神经网络模型除了分割伤口区域，还可以分割出不同的颜色组织区域，并根据训练时设置的标签，输出每个区域的颜色，因此，最终输出的测量信息中还包括组织颜色占比。
[0088] 接下来请参照表1，为本申请实施例提供的测量数据实例，可以看到，除了深度的误差率在某些情况下偏大一点，长度、宽度、深度指标的误差都是mm级，而且2D测量的速度、效率较高，平均500ms一张，远超传统测量方式，关键伤口区域的分割-测量-换算整个过程都不需要人工参与，只是需要前期大量的样本标注工作，样本特征积累得越多，模型的泛化能力越好，后期效果会越来越显著，这也是测量过程引入深度学习最大的优势。
[0089]
[0090]
[0091] 表1
[0092] 请参照图11，基于同一发明构思，本申请实施例中还提供一种伤口测量的装置300，应用于客户端，伤口测量的装置300包括：接收模块301、发送模块302。接收模块301用于接收用户上传的伤口图片，所述伤口图片中的伤口为待测伤口。发送模块302用于将所述伤口图片发送给服务器。接收模块301还用于接收所述服务器反馈的所述待测伤口的测量信息并显示。
[0093] 可选的，装置300还包括处理模块，处理模块用于：在接收到用户的图像采集请求时，调用深度相机采集所述伤口图片对应的三维光点图形；根据所述三维光点图形获取所述待测伤口的位置和深度信息；根据所述位置和所述深度信息生成所述待测伤口的深度测量结果并显示。
[0094] 可选的，所述处理模块还用于：根据所述待测伤口的位置和深度信息对所述伤口进行3D重构，生成所述待测伤口对应的3D图像；在接收到用户的3D图像查看请求时，展示所述3D图像。
[0095] 可选的，接收模块301还用于接收用户的报告生成请求。处理模块还用于：根据所述用户的身份信息获取所述用户以往的测量记录；所述测量记录中包括所述待测伤口的以往测量信息和以往深度测量结果；根据所述测量记录、所述测量信息、所述深度测量结果生成所述用户的伤口分析报告。
[0096] 请参照图12，基于同一发明构思，本申请实施例中还提供一种伤口测量的装置400，应用于服务器，伤口测量的装置400包括获取模块401和测量模块402。获取模块401：用于获取伤口图片，所述伤口图片中的伤口为待测伤口；获取预先存储的用于对所述待测伤口进行测量的深度学习模型。测量模块402用于将所述伤口图片输入到所述深度学习模型中，得到所述待测伤口的测量信息。
[0097] 可选的，获取模块401还用于接收客户端发送的伤口图片；装置400还包括反馈模块，用于将所述测量信息反馈给所述客户端。
[0098] 可选的，测量模块402还用于通过所述第一神经网络模型从所述伤口图片中分割出伤口区域；通过所述图像处理模型对所述伤口区域进行测量，得到通过像素距离表示的测量结果；通过所述第二神经网络模型将所述像素距离转换为真实距离，输出所述测量信息。
[0099] 可选的，装置400还包括模型构建模块，用于：获取第一训练数据集，所述第一训练数据集中包括样本伤口图片和对所述样本伤口图片上的伤口进行标注得到的样本伤口标注图片；基于所述第一训练数据集对初始的第一神经网络模型进行训练，得到训练好的用于分割伤口图片中的伤口区域的第一神经网络模型；获取图像处理模型，所述图像处理模型用于对所述伤口区域进行测量，得到通过像素距离表示的测量结果；获取第二训练数据集，所述第二训练数据集中包括标尺图片和所述标尺图片对应的标尺的刻度标准；基于所述第二训练数据集对初始的第二神经网络模型进行训练，得到训练好的用于将像素距离转换为真实距离的第二神经网络模型；依次连接训练好的第一神经网络模型、所述图像处理模型以及训练好的第二神经网络模型，得到所述深度学习模型。
[0100] 前述实施例中的伤口测量的方法中的各实施方式和具体实例同样适用于图10和图11所示的装置，通过前述对伤口测量的方法的详细描述，本领域技术人员可以清楚的知道图10和图11的伤口测量的装置的实施方法，所以为了说明书的简洁，在此不再详述。
[0101] 基于同一发明构思，本申请实施例还提供了一种可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被计算机运行时执行上述任一实施方式的伤口测量的方法中的步骤。
[0102] 在本申请所提供的实施例中，应该理解到，所揭露装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
[0103] 另外，作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
[0104] 再者，在本申请各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。
[0105] 在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。
[0106] 以上所述仅为本申请的实施例而已，并不用于限制本申请的保护范围，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。
| 标题 | 发布/更新时间 | 阅读量 |
|---|---|---|
| 一种双目内窥镜软组织图像的在线三维重建方法 | 2020-05-08 | 975 |
| 基于深度摄像和身高阈值像素标定的自动身高检测方法 | 2020-05-11 | 106 |
| 一种玉米对靶变量施肥方法、装置及应用 | 2020-05-11 | 844 |
| 铁路货车小部件轴承挡键螺母松动和丢失故障检测方法 | 2020-05-08 | 299 |
| 铁路货车滚轴承甩油故障检测方法 | 2020-05-11 | 86 |
| 一种烟叶等级自动识别分拣方法 | 2020-05-11 | 550 |
| 一种基于虚拟训练的机器人智能抓取方法 | 2020-05-11 | 523 |
| 一种伤口测量的方法及装置、存储介质 | 2020-05-11 | 977 |
| 一种室内场景三维重建的RGB-D相机位姿估计方法 | 2020-05-08 | 898 |
| 一种抗遮挡目标跟踪方法 | 2020-05-08 | 106 |
高效检索全球专利专利汇是专利免费检索,专利查询,专利分析-国家发明专利查询检索分析平台，是提供专利分析，专利查询，专利检索等数据服务功能的知识产权数据服务商。
我们的产品包含105个国家的1.26亿组数据，免费查、免费专利分析。
分析报告
专利汇分析报告产品可以对行业情报数据进行梳理分析，涉及维度包括行业专利基本状况分析、地域分析、技术分析、发明人分析、申请人分析、专利权人分析、失效分析、核心专利分析、法律分析、研发重点分析、企业专利处境分析、技术处境分析、专利寿命分析、企业定位分析、引证分析等超过60个分析角度，系统通过AI智能系统对图表进行解读，只需1分钟，一键生成行业专利分析报告。
QQ群二维码
意见反馈
意见反馈