首页 / 专利库 / 水处理 / 水处理 / 污水处理 / 净化 / 细筛 / 基于手机的微型显微图像采集装置及图像拼接、识别方法

基于手机的微型显微图像采集装置及图像拼接、识别方法

阅读:308发布:2020-05-13

专利汇可以提供基于手机的微型显微图像采集装置及图像拼接、识别方法专利检索,专利查询,专利分析的服务。并且本 发明 提供一种基于手机的微型显微 图像采集 装置及图像拼接、识别方法,采集装置包括支座,在支座上设有手机固定台,在手机的摄像头下方设有 显微镜 头,显微镜头的下方设有玻片座,玻片座的下方设有照明 光源 ,所述的玻片座与显微镜头之间沿X、Y轴做扫描运动,以使玻片的图像被采集到手机内,被采集到手机内的玻片样本图像能够进行图像的拼接和图像的识别,且可以将图像上传到 云 端,由云上AI进行处理,大幅提高细胞识别的准确度和识别效率,极大降低了医疗成本,使更多的偏远医疗机构也能够应用该技术进行诊断。,下面是基于手机的微型显微图像采集装置及图像拼接、识别方法专利的具体信息内容。

1.一种基于手机的微型显微图像采集装置,包括支座(4),其特征是:在支座(4)上设有手机固定台(1),用于固定手机(11);
在手机(11)的摄像头下方设有显微镜头(3),显微镜头(3)的下方设有玻片座(5),玻片座(5)的下方设有照明光源(8);
所述的玻片座(5)与显微镜头(3)之间沿X、Y轴做扫描运动,以使玻片(7)的图像被采集到手机(11)内。
2.根据权利要求1所述的一种基于手机的微型显微图像采集装置,其特征是:所述的显微镜头(3)包括安装在手机固定台(1)的悬臂杆(32),悬臂杆(32)的一端与手机固定台(1)固定连接,另一端设有显微镜片,显微镜片位于手机(11)的摄像头下方。
3.根据权利要求2所述的一种基于手机的微型显微图像采集装置,其特征是:在手机固定台(1)靠近手机(11)的摄像头附近设有下沉的阶台(108),悬臂杆(32)通过螺钉(107)与下沉的阶台(108)固定连接;
下沉的阶台(108)设有至少一个定位销(106),悬臂杆(32)的端头设有相应的销孔,定位销(106)与销孔滑动连接,螺钉(107)与悬臂杆(32)螺纹连接,螺钉(107)的端头顶在下沉的阶台(108)上,通过螺钉(107)的旋转,调节悬臂杆(32)与下沉的阶台(108)之间的距离;
显微镜片为可更换显微镜片(31);
显微镜片的放大倍数为2 10倍。
~
4.根据权利要求1所述的一种基于手机的微型显微图像采集装置,其特征是:在手机固定台(1)的两侧设有定位(2),定位块(2)通过固定螺钉(12)与手机固定台(1)连接;
两个定位块(2)相对的一面为斜面,定位块(2)的顶部较宽,底部较窄,以利用斜面紧手机(11)。
5.根据权利要求1所述的一种基于手机的微型显微图像采集装置,其特征是:在手机固定台(1)的表面设有磁吸块(13);
或者在机固定台(1)的至少一侧设有定位块(2),同时在手机固定台(1)的表面设有磁吸块(13);或者在机固定台(1)的至少一侧设有定位块(2),同时在手机固定台(1)的表面设有摩擦片
6.根据权利要求1所述的一种基于手机的微型显微图像采集装置,其特征是:所述的玻片座(5)设置在沿X、Y轴运行的扫描机构上;
在支座(4)上固设有X轴导轨(105),X轴滑块(102)滑动安装在X轴导轨(105)上,在X轴滑块(102)固设有X轴驱动螺母(103),X轴驱动电机(10)与X轴螺杆(101)连接,X轴螺杆(101)与X轴驱动螺母(103)螺纹连接,以使X轴驱动电机(10)驱动X轴滑块(102)沿X轴导轨(105)往复运动;
在X轴滑块(102)上固设有Y轴导轨(104),玻片座(5)滑动安装在Y轴导轨(104)上,在玻片座(5)设有Y轴驱动螺母(53),Y轴驱动电机(6)与Y轴螺杆(54)连接,Y轴螺杆(54)与Y轴驱动螺母(53)螺纹连接,以使Y轴驱动电机(6)驱动玻片座(5)沿Y轴导轨(104)往复运动;
还设有控制盒(9),控制盒(9)输出开关信号与手机(11)连接,以控制手机拍照;
控制盒(9)分别输出脉冲信号与X轴驱动电机(10)和Y轴驱动电机(6)连接,以分别驱动X轴驱动电机(10)和Y轴驱动电机(6)转动。
7.根据权利要求6所述的一种基于手机的微型显微图像采集装置,其特征是:所述的X轴驱动电机(10)和Y轴驱动电机(6)为步进电机;
所述的照明光源(8)为LED电源。
8.根据权利要求1 7任一项所述的一种基于手机的微型显微图像采集装置的图像拼接~
方法,其特征是:包括视野块匹配模块、视野位置拟合模块和块提取模块;
视野子块匹配模块用于识别各个图像之间的重叠区域判断子图像之间的相邻位置关系,使显微扫描装置获取的各个子图像自动按照图像的拼合顺序排列;
视野位置拟合模块用于根据各个子图像之间的重叠区域微调位置,以使细胞位置准确拼合;
块提取模块用于自动提取出拼合完整的图像;
具体实现的步骤为:
S1、视野子块匹配;视野子块匹配模块用于识别各个图像之间的重叠区域判断子图像之间的相邻位置关系,使显微扫描装置获取的各个子图像自动按照图像的拼合顺序排列;
S2、视野位置拟合;视野位置拟合模块用于根据各个子图像之间的重叠区域微调位置,以使细胞位置准确拼合;
S3、块提取;块提取模块用于自动提取出拼合完整的图像;
步骤S1中视野子块匹配的运行过程为:
Sa01、输入,结果集初始化M;
Sa02、设置当前视野i为第一个视野;
Sa03、求当前视野i的所有相邻视野集合J;
Sa04、设置当前相邻视野j为J中的第一个视野;
Sa05、求视野i和视野j的可能重叠区域Ri和Rj;
Sa06、将模板区域Ri栅格化为模板子块集合Pi;
Sa07、将模板子块集合Pi按子块的动态范围降序排列;
Sa08、设置当前模板子块P为模板子块集合Pi中第一个;
Sa09、在视野J中求模板子块P的可能重叠区域s;
Sa10、以模板子块P为模板,s为搜索区域,进行模板匹配搜索;
Sa11、将最佳匹配m加入结果集M;
Sa12、在结果集M中,找所有与m一致的匹配集视野合N;
Sa13、比对判断,N中权值和是否大于阈值v;
若否则,设置当前模板子块P为模板子块集合Pi中下一个,并返回Sa09;
若是则下一步;
Sa14、比对判断,视野j是否视野集合J中最后一个视野;
若否则设置视野j为视野集合J中下一个视野,并返回Sa05;
若是则下一步;
Sa15、比对判断,视野i为最后一个视野;
若否则设置i为下一个视野,并返回Sa03;
若是则输出结果;
步骤S2中视野位置拟合的过程为:
Sa16、输入,初始化所有视野位置Xi、Yi;
Sa17、设置当前视野i为第一个视野;
Sa18、在子块匹配集M中,获得包含视野i的匹配子集Mi;
Sa19、根据匹配子集Mi,重新计算视野i的位置Xi、Yi;
Sa20、判断,所有视野更新完成;
若否则设置视野i为下一个视野;
若是则下一步;
Sa21、计算本轮视野位置和上轮视野位置偏差平均值L;
Sa22、比对判断,偏差平均值L小于阈值1;
若否则返回Sa17;
若是则下一步;
Sa23、视野位置归一化调整;
输出所有视野;
步骤S3中块提取的过程为:
Sa24、提取全图大小W,H;
Sa25、将全图按块大小,分为块的集合B;
Sa26、计算集合B中所有块b的位置;
Sa27、设置块b为集合B中的第一个块;
Sa28、计算与块b重叠的所有视野的集合Fb;
Sa29、设置视野f为Fb中的第一个视野;
Sa30、求视野f和块b的重叠区域Rb和Rf;
Sa31、拷贝Rf中图像至Rb;
Sa32、判断,视野f是集合Fb中最后一个视野;
若否则设置视野f为Fb中的下一个视野,并返回Sa29;
若是则下一步;
Sa33、保存块b图像;
Sa34、判断,块b是集合B中最后一个块;
若否则设置块b为集合B中第一个块,并返回Sa28;
若是则输出结果。
9.根据权利要求1 7任一项所述的一种基于手机的微型显微图像采集装置的图像识别~
方法,其特征是:实现的步骤为:S1、获取显微图像;
S2、将单个样品的多个图像拼合,在拼合后的图像中根据细胞核特征进行提取,获得单个细胞核显微图像;
S3、根据已标记的细胞,利用模型训练后的人工智能程序对单个细胞核显微图像进行分类;
通过以上步骤得到基于样品的分类细胞数据;
步骤S2中获取单个细胞核显微图像的步骤为:
S100、检测细胞核的特征点;
将图像缩小至多个不同比例,分别提取特征点;
S101、初筛,以特征点坐标,筛选掉过于相近的特征点,减少重复提取细胞;
S102、细分,以颜色差阈值分割;
将图片转换到LAB格式,B通道反相后和A通道的加权和做大津阈值分割得到细胞核掩模图;
权值为B通道反相0.7,A通道0.3;
S103、图像形态学运算;
腐蚀运算、膨胀运算中的一种或多种的组合;
S104、细筛,根据核占比参数细筛,筛选掉核占比低于0.3,细胞核半径高于150像素,低于10像素的非细胞;核占比 =颜色差阈值细分割出的核面积 /检测特征点半径圆面积。
10.根据权利要求1 7任一项所述的一种基于手机的微型显微图像采集装置的上处~
理图像的方法,其特征是:实现的步骤为:
S1. 对玻片(7)样本进行编号,确定云上系统内的样本号;
S2.挂号:将玻片(7)对应的受检者信息录入系统,录入样本号;
扫描:玻片(7)的图像用手机(11)进行扫描;
S3.上传:将扫描后的图像样本上传至云上系统;
S4.拼接分类:在云上AI将数字化的样本进行处理;
S5.连接:将挂号信息和数字化样本信息在系统内进行关联;
S6.诊断:医生对图像样本进行诊断,复核,提交诊断意见操作;
S7.报告渲染:渲染程序会轮询系统内诊断完成的数据并将其按对应的报告模板进行渲染出PDF、JPG、WORD格式文件;
通过以上步骤实现图像的云上处理。

说明书全文

基于手机的微型显微图像采集装置及图像拼接、识别方法

技术领域

[0001] 本发明涉及医疗图像采集领域,特别是一种基于手机的微型显微图像采集装置、图像拼接、识别方法。

背景技术

[0002] 细胞和组织切片扫描是疾病诊断、科研和教学的重要资料,通过数字组织切片扫描仪将玻片内的组织切片进行扫描,转化为数字图像,便于保存、传输和远程诊断,而现有的数字组织切片扫描仪非常昂贵,每台约五十万元人民币,例如中国专利文献CN 107543792 A中记载的方案,这限制了组织切片的诊断、科研和教学手段的普及。为解决该技术问题,现有技术也采用了一些改进的方案,以降低设备成本,中国专利文献CN 
106226897 A记载了一种基于普通光学显微镜和智能手机的组织切片扫描装置,由显微镜固定架、普通光学显微镜、智能手机、调焦及切片移动装置、智能手机固定架和电脑组成。将智能手机、电脑和显微镜的功能整合到一起,以低成本且便捷的方式实现组织切片的数字化。但是该结构的体积仍然较大,不便移动,价格仍然较高。且光学通路路径较长,影响图案的采集精度

发明内容

[0003] 本发明所要解决的技术问题是提供基于手机的微型显微图像采集装置及图像拼接、识别方法,能够大幅降低成本,缩小体积,且能够实现自动扫描采集,并对图形进行拼接和识别以及端处理。
[0004] 为解决上述技术问题,本发明所采用的技术方案是:一种基于手机的微型显微图像采集装置,包括支座,在支座上设有手机固定台,用于固定手机;在手机的摄像头下方设有显微镜头,显微镜头的下方设有玻片座,玻片座的下方设有照明光源
所述的玻片座与显微镜头之间沿X、Y轴做扫描运动,以使玻片的图像被采集到手机内。
[0005] 优选的方案中,所述的显微镜头包括安装在手机固定台的悬臂杆,悬臂杆的一端与手机固定台固定连接,另一端设有显微镜片,显微镜片位于手机的摄像头下方。
[0006] 优选的方案中,在手机固定台靠近手机的摄像头附近设有下沉的阶台,悬臂杆通过螺钉与下沉的阶台固定连接;下沉的阶台设有至少一个定位销,悬臂杆的端头设有相应的销孔,定位销与销孔滑动连接,螺钉与悬臂杆螺纹连接,螺钉的端头顶在下沉的阶台上,通过螺钉的旋转,调节悬臂杆与下沉的阶台之间的距离;
显微镜片为可更换显微镜片。
[0007] 优选的方案中,在手机固定台的两侧设有定位,定位块通过固定螺钉与手机固定台连接;两个定位块相对的一面为斜面,定位块的顶部较宽,底部较窄,以利用斜面紧手机。
[0008] 优选的方案中,在手机固定台的表面设有磁吸块;或者在机固定台的至少一侧设有定位块,同时在手机固定台的表面设有磁吸块。
[0009] 或者在机固定台的至少一侧设有定位块,同时在手机固定台的表面设有摩擦片
[0010] 优选的方案中,所述的玻片座设置在沿X、Y轴运行的扫描机构上;在支座上固设有X轴导轨,X轴滑块滑动安装在X轴导轨上,在X轴滑块固设有X轴驱动螺母,X轴驱动电机与X轴螺杆连接,X轴螺杆与X轴驱动螺母螺纹连接,以使X轴驱动电机驱动X轴滑块沿X轴导轨往复运动;
在X轴滑块上固设有Y轴导轨,玻片座滑动安装在Y轴导轨上,在玻片座设有Y轴驱动螺母,Y轴驱动电机与Y轴螺杆连接,Y轴螺杆与Y轴驱动螺母螺纹连接,以使Y轴驱动电机驱动玻片座沿Y轴导轨往复运动;
还设有控制盒,控制盒输出开关信号与手机连接,以控制手机拍照;
控制盒分别输出脉冲信号分别与X轴驱动电机和Y轴驱动电机连接,以分别驱动X轴驱动电机和Y轴驱动电机转动。
[0011] 优选的方案中,所述的X轴驱动电机和Y轴驱动电机为步进电机;所述的照明光源为LED电源。
[0012] 优选的方案中,包括视野块匹配模块、视野位置拟合模块和块提取模块;视野子块匹配模块用于识别各个图像之间的重叠区域判断子图像之间的相邻位置关系,使显微扫描装置获取的各个子图像自动按照图像的拼合顺序排列;
视野位置拟合模块用于根据各个子图像之间的重叠区域微调位置,以使细胞位置准确拼合;
块提取模块用于自动提取出拼合完整的图像;
具体实现的步骤为:
S1、视野子块匹配;视野子块匹配模块用于识别各个图像之间的重叠区域判断子图像之间的相邻位置关系,使显微扫描装置获取的各个子图像自动按照图像的拼合顺序排列;
S2、视野位置拟合;视野位置拟合模块用于根据各个子图像之间的重叠区域微调位置,以使细胞位置准确拼合;
S3、块提取;块提取模块用于自动提取出拼合完整的图像;
步骤S1中视野子块匹配的运行过程为:
Sa01、输入,结果集初始化M;
Sa02、设置当前视野i为第一个视野;
Sa03、求当前视野i的所有相邻视野集合J;
Sa04、设置当前相邻视野j为J中的第一个视野;
Sa05、求视野i和视野j的可能重叠区域Ri和Rj;
Sa06、将模板区域Ri栅格化为模板子块集合Pi;
Sa07、将模板子块集合Pi按子块的动态范围降序排列;
Sa08、设置当前模板子块P为模板子块集合Pi中第一个;
Sa09、在视野J中求模板子块P的可能重叠区域s;
Sa10、以模板子块P为模板,s为搜索区域,进行模板匹配搜索;
Sa11、将最佳匹配m加入结果集M;
Sa12、在结果集M中,找所有与m一致的匹配集视野合N;
Sa13、比对判断,N中权值和是否大于阈值v;
若否则,设置当前模板子块P为模板子块集合Pi中下一个,并返回Sa09;
若是则下一步;
Sa14、比对判断,视野j是否视野集合J中最后一个视野;
若否则设置视野j为视野集合J中下一个视野,并返回Sa05;
若是则下一步;
Sa15、比对判断,视野i为最后一个视野;
若否则设置i为下一个视野,并返回Sa03;
若是则输出结果;
步骤S2中视野位置拟合的过程为:
Sa16、输入,初始化所有视野位置Xi、Yi;
Sa17、设置当前视野i为第一个视野;
Sa18、在子块匹配集M中,获得包含视野i的匹配子集Mi;
Sa19、根据匹配子集Mi,重新计算视野i的位置Xi、Yi;
Sa20、判断,所有视野更新完成;
若否则设置视野i为下一个视野;
若是则下一步;
Sa21、计算本轮视野位置和上轮视野位置偏差平均值L;
Sa22、比对判断,偏差平均值L小于阈值1;
若否则返回Sa17;
若是则下一步;
Sa23、视野位置归一化调整;
输出所有视野;
步骤S3中块提取的过程为:
Sa24、提取全图大小W,H;
Sa25、将全图按块大小,分为块的集合B;
Sa26、计算集合B中所有块b的位置;
Sa27、设置块b为集合B中的第一个块;
Sa28、计算与块b重叠的所有视野的集合Fb;
Sa29、设置视野f为Fb中的第一个视野;
Sa30、求视野f和块b的重叠区域Rb和Rf;
Sa31、拷贝Rf中图像至Rb;
Sa32、判断,视野f是集合Fb中最后一个视野;
若否则设置视野f为Fb中的下一个视野,并返回Sa29;
若是则下一步;
Sa33、保存块b图像;
Sa34、判断,块b是集合B中最后一个块;
若否则设置块b为集合B中第一个块,并返回Sa28;
若是则输出结果。
[0013] 优选的方案中,实现的步骤为:S1、获取显微图像;S2、将单个样品的多个图像拼合,在拼合后的图像中根据细胞核特征进行提取,获得单个细胞核显微图像;
S3、根据已标记的细胞,利用模型训练后的人工智能程序对单个细胞核显微图像进行分类;
通过以上步骤得到基于样品的分类细胞数据;
步骤S2中获取单个细胞核显微图像的步骤为:
S100、检测细胞核的特征点;
将图像缩小至多个不同比例,分别提取特征点;
S101、初筛,以特征点坐标,筛选掉过于相近的特征点,减少重复提取细胞;
S102、细分,以颜色差阈值分割;
将图片转换到LAB格式,B通道反相后和A通道的加权和做大津阈值分割得到细胞核掩模图;
权值为B通道反相0.7,A通道0.3;
S103、图像形态学运算;
腐蚀运算、膨胀运算中的一种或多种的组合;
S104、细筛,根据核占比参数细筛,筛选掉核占比低于0.3,细胞核半径高于150像素,低于10像素的非细胞;核占比 =颜色差阈值细分割出的核面积 /检测特征点半径圆面积。
[0014] 优选的方案中,实现的步骤为:S1. 对玻片样本进行编号,确定云上系统内的样本号;
S2.挂号:将玻片对应的受检者信息录入系统,录入样本号;
扫描:玻片的图像用手机进行扫描;
S3.上传:将扫描后的图像样本上传至云上系统;
S4.拼接分类:在云上AI将数字化的样本进行处理;
S5.连接:将挂号信息和数字化样本信息在系统内进行关联;
S6.诊断:医生对图像样本进行诊断,复核,提交诊断意见操作;
S7.报告渲染:渲染程序会轮询系统内诊断完成的数据并将其按对应的报告模板进行渲染出PDF、JPG、WORD格式文件;
通过以上步骤实现图像的云上处理。
[0015] 本发明提供的一种基于手机的微型显微图像采集装置,能够大幅降低现有技术中数字组织切片扫描仪的价格,极大降低了医疗成本,通过采用悬臂结构的显微镜头的结构,能够大幅缩小体积,便于携带和大幅推广,并提供了一种基于手机的微型显微图像采集装置的图像拼接方法,实现了图像的分区扫描和组合,提高了图像扫描的速度,确保了玻片样本的完整性,还提供了一种基于手机的微型显微图像采集装置的图像识别方法,大幅提高细胞识别的准确度和识别效率,还可以通过提供的一种基于手机的微型显微图像采集装置的云上处理图像的方法,将扫描得到的玻片样本传上云端,在云上进行图像的拼接和识别,实现远距离的AI诊断和医生复诊,不仅提高了检测的效率,还降低了样本检测对地域性的要求,且能够保留检测的原始样本数据,并对数据进行进一步地研究,使更多的偏远医疗机构也能够应用该技术进行诊断。附图说明
[0016] 下面结合附图和实施例对本发明作进一步说明:图1为本发明的立体结构示意图。
[0017] 图2为本发明的另一方向立体结构示意图。
[0018] 图3为本发明使用手机时的立体结构示意图。
[0019] 图4为本发明使用手机时另一方向的立体结构示意图。
[0020] 图5为本发明玻片座驱动机构的结构示意图。
[0021] 图6为本发明中手机固定台固定手机时的结构示意图。
[0022] 图7为本发明中手机固定台优选的固定手机的结构示意图。
[0023] 图8为本发明中显微镜头的结构示意图。
[0024] 图9为本发明中控制盒的控制示意图。
[0025] 图10为本发明扫描玻片后视野子块匹配的图片处理示意图。
[0026] 图11为本发明扫描图片拼接后的示意图。
[0027] 图12为本发明中图像拼接过程的流程示意图。
[0028] 图13为本发明中视野子块匹配的流程示意图。
[0029] 图14为本发明中视野位置拟合的流程示意图。
[0030] 图15为本发明中块提取的流程示意图。
[0031] 图16为本发明中图像识别后的示例图。
[0032] 图17为本发明中细胞分类过程的示例图。
[0033] 图18为本发明中获取的能够表征用户的细胞病理学单个细胞核特征形态图。
[0034] 图19为本发明中单个细胞核显微图像获取流程示意图。
[0035] 图20为本发明中图像识别方法流程图
[0036] 图21为本发明中云上处理图像的方法流程图。
[0037] 图中:手机固定台1,定位块2,显微镜头3,可更换显微镜片31,悬臂杆32,支座4,玻片座5,玻片第一挡块51,玻片第二挡块52,Y轴驱动螺母53,Y轴螺杆54,Y轴驱动电机6,玻片7,照明光源8,控制盒9,X轴驱动电机10,X轴螺杆101,X轴滑块102,X轴驱动螺母103,Y轴导轨104,X轴导轨105,定位销106,螺钉107,下沉的阶台108,手机11,固定螺钉12,磁吸块13。

具体实施方式

[0038] 实施例1:如图1 4中,一种基于手机的微型显微图像采集装置,包括支座,在支座上设有手机固~
定台,用于固定手机;
在手机的摄像头下方设有显微镜头,显微镜头的下方设有玻片座,玻片座的下方设有照明光源,优选的,所述的照明光源为LED电源。由此结构,当使用时,照明光源的光线穿过玻片座上的玻片,将细胞的图像经过显微镜头传输到手机的摄像头,从而被手机的摄像头采集并存储。
[0039] 如图3 5中,所述的玻片座5与显微镜头3之间沿X、Y轴做扫描运动,以使玻片7的图~像被采集到手机11内。
[0040] 优选的方案如图8中,所述的显微镜头3包括安装在手机固定台1的悬臂杆32,悬臂杆32采用从手机固定台1的一侧向摄像头方向弯曲的形状,悬臂杆32的一端与手机固定台1固定连接,另一端设有显微镜片,优选的方案中,显微镜片的放大倍数为2-10倍;进一步优选的,显微镜片的放大倍数为4倍,显微镜片位于手机11的摄像头下方。本发明以一枚显微镜头3替代了现有技术中显微镜复杂的光路结构,从而进一步降低了成本,缩小了体积,而且图像的清晰度进一步提高。
[0041] 优选的方案如图2、8中,在手机固定台1靠近手机11的摄像头附近设有下沉的阶台108,悬臂杆32通过螺钉107与下沉的阶台108固定连接。由此结构,便于显微镜头3的安装和连接。
[0042] 优选的方案如图8中,在手机固定台1靠近手机11的摄像头附近设有下沉的阶台108,在下沉的阶台108设有至少一个定位销106,悬臂杆32的端头设有相应的销孔,定位销
106与销孔滑动连接,螺钉107与悬臂杆32螺纹连接,螺钉107的端头顶在下沉的阶台108上,通过螺钉107的旋转,调节悬臂杆32与下沉的阶台108之间的距离,从而调节显微镜片31与手机11的摄像头之间的距离; 进一步优选的,还设有另外一颗用于固定的螺钉,该螺钉穿过悬臂杆32与下沉的阶台108螺纹连接,在调节到适当位置后,将该螺钉紧固即可。
[0043] 优选的方案中,所述的显微镜片为可更换显微镜片31。所述的可更换显微镜片31为与悬臂杆32之间活动套接的结构,从而便于通过更换显微镜片实现放大倍数的调节。
[0044] 优选的方案如图3、4、6中,在手机固定台1的两侧设有定位块2,定位块2通过固定螺钉12与手机固定台1连接;两个定位块2相对的一面为斜面,定位块2的顶部较宽,底部较窄,以利用斜面锁紧手机
11。由此结构,便于方便的固定手机11。
[0045] 优选的方案如图7中,在手机固定台1的表面设有磁吸块13;由此结构,便于根据手机11不同的摄像头位置进行调节,以便于使手机11的摄像头与显微镜头3的显微镜片对齐。
[0046] 或者在手机固定台1的至少一侧设有定位块2,同时在手机固定台1的表面设有磁吸块13。由此结构,便于手机11的定位和固定。
[0047] 或者在机固定台1的至少一侧设有定位块2,同时在手机固定台1的表面设有硅胶摩擦片。由此结构,利用硅胶摩擦片的摩擦便于手机11的定位和固定。
[0048] 优选的方案如图5中,所述的玻片座5设置在沿X、Y轴运行的扫描机构上。由此结构,以便于通过玻片座5的蛇形扫描运动,将玻片的图像分解成多个小的图像进行拍摄,然后再拼合成全景的图像,如图10、11中所示。
[0049] 优选的方案如图5中,在支座4上固设有X轴导轨105,X轴滑块102滑动安装在X轴导轨105上,在X轴滑块102固设有X轴驱动螺母103,X轴驱动电机10与X轴螺杆101连接,X轴螺杆101与X轴驱动螺母103螺纹连接,以使X轴驱动电机10驱动X轴滑块102沿X轴导轨105往复运动;在X轴滑块102上固设有Y轴导轨104,玻片座5滑动安装在Y轴导轨104上,在玻片座5固设有Y轴驱动螺母53,Y轴驱动电机6与Y轴螺杆54连接,Y轴螺杆54与Y轴驱动螺母53螺纹连接,以使Y轴驱动电机6驱动玻片座5沿Y轴导轨104往复运动。通过以上的结构,实现玻片座5沿X、Y轴的蛇形扫描运动。
[0050] 优选的方案中,所述的X轴驱动电机10和Y轴驱动电机6为步进电机;优选的方案如图9中,还设有控制盒9,控制盒9至少一个引脚输出开关信号与手机11连接,以控制手机拍照;控制盒9还与照明光源8点连接,以使在拍摄过程中由照明光源8提供背光
[0051] 控制盒9至少两个引脚分别输出脉冲信号分别与X轴驱动电机10和Y轴驱动电机6连接,以分别驱动X轴驱动电机10和Y轴驱动电机6转动。优选的,控制盒采用单片机进行控制,例如意法半导体的STM32F系列单片机。
[0052] 使用时,如图1 11,将手机11固定在手机固定台1上,使手机11的摄像头与显微镜~头3对齐,在玻片座5上放置试样玻片,试拍摄,根据图像的清晰度对手机的参数进行调节,或者调节显微镜头3的高度位置。由于悬臂杆32与手机固定台1的连接位置位于手机11覆盖范围之外,这种高度调节是容易的,该调节也便于适应不同型号的手机。调节完成后,将手机11与控制盒9通过信号线连接。将玻片7定位放置在玻片座5上,启动控制盒9的按钮,照明光源8点亮。
[0053] 该启动方式也可以通过手机上的app界面进行控制。控制盒9给手机和照明光源8发送一个开关信号,同时手机拍照获得一幅图片,手机将该图像保存;控制盒9给X轴驱动电机10驱动电机发送一个脉冲信号,驱动X轴驱动电机10旋转一个预设的度,使X轴螺杆101的旋转驱动X轴驱动螺母103移动一个距离,相应的X轴滑块102移动一段距离,从而玻片座5沿X轴移动一段距离,控制盒9给手机和照明光源8发送一个开关信号,照明光源8点亮,同时手机拍照获得一幅图片;直至玻片座5沿着X轴走完一个预设的行程,完成玻片上一行图片的拍照。控制盒9给Y轴驱动电机6发送一个脉冲信号,驱动Y轴驱动电机6旋转一个预设的角度,使Y轴螺杆54的旋转驱动Y轴驱动螺母53移动一段距离,从而玻片座5沿Y轴移动一段距离,控制盒9控制手机拍照获得一幅图片;然后控制盒9驱动玻片座5再次沿X轴行走一个预设的行程,以蛇形扫描的方式,将玻片7的图像扫描至手机中,然后手机将图片通过网络发送至服务端,在服务端进行玻片全景图像的拼接,并通过人工智能方式对全景图像中的细胞进行分类、识别和标识,以便医师进行诊断,从而完成玻片图像的采集和辅助诊断工作,大幅提高医师的诊断效率。
[0054] 实施例2:优选的方案如图10 15中,图像拼接的过程包括:视野子块匹配模块、视野位置拟合模~
块和块提取模块;
视野子块匹配模块用于识别各个图像之间的重叠区域判断子图像之间的相邻位置关系,使显微扫描装置获取的各个子图像自动按照图像的拼合顺序排列;
视野位置拟合模块用于根据各个子图像之间的重叠区域微调位置,以使细胞位置准确拼合;
块提取模块用于自动提取出拼合完整的图像;
具体实现的步骤为:
S1、视野子块匹配;视野子块匹配模块用于识别各个图像之间的重叠区域判断子图像之间的相邻位置关系,使显微扫描装置获取的各个子图像自动按照图像的拼合顺序排列;
S2、视野位置拟合;视野位置拟合模块用于根据各个子图像之间的重叠区域微调位置,以使细胞位置准确拼合;
S3、块提取;块提取模块用于自动提取出拼合完整的图像;
如图10、图13所示,步骤S1中视野子块匹配的运行过程为:
Sa01、输入,结果集初始化M;
Sa02、设置当前视野i为第一个视野;
Sa03、求当前视野i的所有相邻视野集合J;
Sa04、设置当前相邻视野j为J中的第一个视野;
Sa05、求视野i和视野j的可能重叠区域Ri和Rj;
Sa06、将模板区域Ri栅格化为模板子块集合Pi;
Sa07、将模板子块集合Pi按子块的动态范围降序排列;
Sa08、设置当前模板子块P为模板子块集合Pi中第一个;
Sa09、在视野J中求模板子块P的可能重叠区域s;
Sa10、以模板子块P为模板,s为搜索区域,进行模板匹配搜索;
Sa11、将最佳匹配m加入结果集M;
Sa12、在结果集M中,找所有与m一致的匹配集视野合N;
Sa13、比对判断,N中权值和是否大于阈值v;
若否则,设置当前模板子块P为模板子块集合Pi中下一个,并返回Sa09;
若是则下一步;
Sa14、比对判断,视野j是否视野集合J中最后一个视野;
若否则设置视野j为视野集合J中下一个视野,并返回Sa05;
若是则下一步;
Sa15、比对判断,视野i为最后一个视野;
若否则设置i为下一个视野,并返回Sa03;
若是则输出结果;
如图14、图11所示,步骤S2中视野位置拟合的过程为:
Sa16、输入,初始化所有视野位置Xi、Yi;
Sa17、设置当前视野i为第一个视野;
Sa18、在子块匹配集M中,获得包含视野i的匹配子集Mi;
Sa19、根据匹配子集Mi,重新计算视野i的位置Xi、Yi;
Sa20、判断,所有视野更新完成;
若否则设置视野i为下一个视野;
若是则下一步;
Sa21、计算本轮视野位置和上轮视野位置偏差平均值L;
Sa22、比对判断,偏差平均值L小于阈值1;
若否则返回Sa17;
若是则下一步;
Sa23、视野位置归一化调整;
输出所有视野;
如图15所示,步骤S3中块提取的过程为:
Sa24、提取全图大小W,H;
Sa25、将全图按块大小,分为块的集合B;
Sa26、计算集合B中所有块b的位置;
Sa27、设置块b为集合B中的第一个块;
Sa28、计算与块b重叠的所有视野的集合Fb;
Sa29、设置视野f为Fb中的第一个视野;
Sa30、求视野f和块b的重叠区域Rb和Rf;
Sa31、拷贝Rf中图像至Rb;
Sa32、判断,视野f是集合Fb中最后一个视野;
若否则设置视野f为Fb中的下一个视野,并返回Sa29;
若是则下一步;
Sa33、保存块b图像;
Sa34、判断,块b是集合B中最后一个块;
若否则设置块b为集合B中第一个块,并返回Sa28;
若是则输出结果。
[0055] 实施例3:如图10 11、图16 18中,以某细胞病理分析实例为例:从手机扫描获取的图像如图10的~ ~
上图中所示,各个子图像的排序并不规则,这取决于手机扫描自动化获取路径,在获取过程中,确保各个图像之间具有互相重叠的位置。对重叠位置的像素值进行分析,通过视野子块匹配智能算法使图像自动匹配相应的位置,根据相邻视野中的相匹配的特征点计算出平台偏移到像素偏移的二维变换矩阵的初始值,得到拼接参数。具体的是确定各个视野子块,即子图像相对于其他子图像的相邻位置。切割相邻视野的公共部分,分为多个小块,采用模板匹配,寻找公共重合区域,选取匹配阈值大于0.9的匹配块。算出所有视野的模板匹配的相互关系。如图11中,位置匹配成功后,各个细胞的位置会出现细微的偏差,通过视野位置拟合智能算法使细胞位置准确拼合。具体的,通过模板匹配之后,可以得到每个视野像素的大致位置,通过初始的拼接参数和平台的最大位移偏差,计算出最大的像素偏差,使用最大像素偏差,过滤每个视野与相邻视野匹配关系的点,去掉偏差大于最大像素偏差的点,通过筛选后的点,再重新计算拼接参数,使用最新的拼接参数,重新计算视野的像素位置,通过不断地迭代筛选和重新计算,就可以不断更新和完善视野的图片位置,使误差更加小,拼接的效果更加完美。计算出每张视野的图片位置之后,使用扫描过程中的计算背景,通过背景图来更新每一张视野的亮度,提高医生观看每张视野图的视觉感受,就可以拼接出一张完美的玻片图片,将整个拼合后的图像作为一个块提取出来。然后根据需求,切割大图,得到想要宽度和高度的图片,因为所有视野拼接而成的大图会很大而且没有必要。
[0056] 实施例4:如图20所示,基于手机的微型显微图像采集装置的图像识别方法实现的步骤为:
S1、获取显微图像;
S2、将单个样品的多个图像拼合,在拼合后的图像中根据细胞核特征进行提取,获得单个细胞核显微图像;
S3、根据已标记的细胞,利用模型训练后的人工智能程序对单个细胞核显微图像进行分类,人工智能程序优选的采用卷积神经网络,学习率为0.001。结果类别数采用num_classes = 3,分别对应阳性、阴性和垃圾。训练轮数epochs = 300;图像大小:img_cols = 
128 img_rows = 128;正则参数:reg=0.7;连续下降的轮数:patience = 10。
[0057] 通过以上步骤得到基于样品的分类细胞数据;如图16 19所示,步骤S2中获取单个细胞核显微图像的步骤为:
~
S100、检测细胞核的特征点;
将图像缩小至多个不同比例,分别提取特征点;
S101、初筛,以特征点坐标,筛选掉过于相近的特征点,减少重复提取细胞;由此步骤,大幅提高识别的效率。
[0058] 本例中设定,如果特征点的距离不超过细胞的半径的一半,而半径的一半大于32,认为距离小于32像素的为过于相近,否则小于细胞半径的一半认为是过于相近。即cell.Center.L1DistanceTo(d.Center) < Math.Min(cell.Radius * 0.5, 32)。
[0059] S102、细分,以颜色差阈值分割;将图片转换到LAB格式,B通道反相后和A通道的加权和做大津阈值分割得到细胞核掩模图;现有技术中,均采用灰度值进行筛分,但是灰度值的方式,因为灰度通常仅有一个通道,而数值范围仅为1-255级,因此,对于有些细微的位置难以区分。而采用B通道和A通道的组合方案,则由于具有两个通道,从而能够大幅提高数值范围,提高筛分精度。
[0060] 权值为B通道反相0.7,A通道0.3;S103、图像形态学运算;
腐蚀运算、膨胀运算中的一种或多种的组合;腐蚀运算和膨胀运算例如中国专利文献CN106875404A中的运算方法。
[0061] S104、细筛,根据核占比参数细筛,筛选掉核占比低于0.3,细胞核半径高于150像素,低于10像素的非细胞;核占比 =颜色差阈值细分割出的核面积 /检测特征点半径圆面积。结果如图16中所示,用户的各个特征细胞的识别图像被清晰的展示,以利于医生诊断。
[0062] 实施例5:如图19中,检测细胞核的特征点;即通过SURF算法检测细胞核特征点,将图像缩小至不同的比例,分别提取特征点。初筛,以特征点坐标,筛选掉过于相近的特征点,减少重复提取细胞,即相同特征点的细胞,仅保留一个;由此步骤,大幅提高识别的效率。细分,以颜色差阈值分割;与灰度阈值分割相比,颜色差阈值分割方案能够在较大程度上提高细分精度。如图10中所示,由于存在细胞互相重叠的情形,可以见到图像的颜色变化差异较大,容易被识别,而当图11被转换成灰度后,则分辨难度大幅提升。图像形态学运算;腐蚀运算、膨胀运算中的一种或多种的组合;腐蚀运算和膨胀运算例如中国专利文献CN106875404A中的运算方法。腐蚀运算是使图像的边缘腐蚀掉,作用就是将目标的边缘的“毛刺”剔除掉。膨胀运算是将图像的边缘扩大。作用就是将目标图像的边缘或者是内部的凹坑填掉。使用相同次数的腐蚀与膨胀,可以使目标图像更平滑。结果如图17中所示。细筛,根据核占比参数细筛,筛选掉核占比低于0.3,细胞核半径高于150像素,低于10像素的非细胞;核占比 =颜色差阈值细分割出的核面积 /检测特征点半径圆面积。结果如图18中所示,用户的各个特征细胞的识别图像被清晰的展示在列表中,优选的,并以阳性-阴性的顺序加以排列,以利于医生诊断,并辅助医生提高诊断效率。进一步优选的,在运算过程中,保留结果特征细胞图像的对角点坐标。例如,在运算过程中,以日志形式保留坐标运算记录,保留特征细胞图像的在拼合后图像上的坐标位置,以使医生能够根据坐标位置快速浏览原始图像,进一步优选的,能够根据坐标与子图像的对应关系快速浏览到未经处理的原始子图像,以避免智能运算抹去重要的细胞病理学图像特征,进一步确定诊断准确度。
[0063] 实施例6:如图21所示,基于手机的微型显微图像采集装置的云上处理图像的方法实现的过程为:
S1. 对玻片7样本进行编号,确定云上系统内的样本号,在云上流程启动之前,收取玻片7样本,在统一收取一批样本之后会对其进行重新编号,确定玻片7样本和受检人信息对应关系。
[0064] S2.挂号:将玻片7对应的受检者信息录入系统,录入样本号,扫描:玻片7的图像用手机11进行扫描,将样本数字化,挂号和扫描同时进行,互不干扰,挂号时将受检者的信息录入到系统中,并录入重新编号的样本号。
[0065] S3.上传:将扫描后的图像样本上传至云上系统,云上系统提供基于网络的数据存取服务,可以通过网络随时存储和调用包括文本、图片、音频和视频等在内的各种非结构化数据文件。阿里云 OSS 将数据文件以对象(object)的形式上传到存储空间(bucket)中,具备丰富的SDK包,适配不同计算机语言进行二次开发。
[0066] S4.拼接分类:在云上AI将数字化的样本进行处理,云上AI对数字化的受检者样本进行初步的诊断,对于存在疾病险的受检者样本传入步骤S6,由医生作进一步地诊断。
[0067] S5.连接:将挂号信息和数字化样本信息在系统内进行关联,将受检者个人信息与受检者样本信息进行关联对应,便于后期向受检者返送检查报告,同时有利于数据的后期整理和进一步研究。
[0068] S6.诊断:医生对图像样本进行诊断,复核,提交诊断意见操作,对于AI初步诊断可能存在疾病风险的受检者报告由医生进行诊断、复核,提高了诊断的准确性,却大大降低了诊断的成本。采样机构在完成细胞标本图像信息的收集后,通过互联网把数据传递到云诊断平台上,人工智能将自动完成诊断工作,医生只需对诊断为阳性的结果进行复审确认。由于阳性病例往往占少数,人工智能云诊断能够省去大量的人工劳动。
[0069] S7.报告渲染:渲染程序会轮询系统内诊断完成的数据并将其按对应的报告模板进行渲染出PDF、JPG、WORD格式文件,渲染程序根据需要的报告模板对网页进行渲染,提取所需字段,调用PDF、JPG、WORD组件,生成PDF、JPG、WORD格式文件,并可以打印报告,由对应程序连接打印机将报告可批量打印出来,医院方可以通过系统web界面调用本地打印机驱动,根据需要将报告批量打印出来,同时,系统可将电子报告通过已录入的信息返送给受检者。
[0070] 通过以上步骤实现图像的云上处理。
[0071] 上述的实施例仅为本发明的优选技术方案,而不应视为对于本发明的限制,本申请中的实施例及实施例中的特征在不冲突的情况下,可以相互任意组合。本发明的保护范围应以权利要求记载的技术方案,包括权利要求记载的技术方案中技术特征的等同替换方案为保护范围。即在此范围内的等同替换改进,也在本发明的保护范围之内。
高效检索全球专利

专利汇是专利免费检索,专利查询,专利分析-国家发明专利查询检索分析平台,是提供专利分析,专利查询,专利检索等数据服务功能的知识产权数据服务商。

我们的产品包含105个国家的1.26亿组数据,免费查、免费专利分析。

申请试用

分析报告

专利汇分析报告产品可以对行业情报数据进行梳理分析,涉及维度包括行业专利基本状况分析、地域分析、技术分析、发明人分析、申请人分析、专利权人分析、失效分析、核心专利分析、法律分析、研发重点分析、企业专利处境分析、技术处境分析、专利寿命分析、企业定位分析、引证分析等超过60个分析角度,系统通过AI智能系统对图表进行解读,只需1分钟,一键生成行业专利分析报告。

申请试用

QQ群二维码
意见反馈