专利汇可以提供一种基于E-SOINN网络的在线人机交互方法专利检索,专利查询,专利分析的服务。并且本 发明 公开了一种基于E‑SOINN网络的在线 人机交互 方法,包括采集手势动作视频,通过 帧 间差分法获得手势轮廓图像,进行E‑SOINN自组织增量神经网络学习等训练神经网络的步骤;和手机采集手势视频,获得手势轮廓图像和通过网络实现 手势识别 的手势判断的步骤。本发明是主要针对廉价移动终端开发交互手势识别方法。基于帧间差分法和E‑SOINN自组织增量神经网络,客户端采集手势视频,通过网络就可以实现手势识别。实现低性能的移动终端手势识别过程。,下面是一种基于E-SOINN网络的在线人机交互方法专利的具体信息内容。
1.一种基于E-SOINN网络的在线人机交互方法,其特征在于包括下述步骤:
(1)训练神经网络:
1.1 从视频库中获取一段手势动作帧序列,假设总帧数为n;
1.2 从帧序列提取第i帧,第i+1帧,第i+2帧图像,记为:Ii,Ii+1,Ii+2,i的初始值为1;
1.3 将图像Ii分解为RGB三通道,根据图像Ii的R G B三个分量中各自的平均值确定出图像Ii的平均灰度值,然后调整图像Ii每个像素的R G B值,使得调整后图像Ii的R G B三个分量中各自的平均值都趋于平均灰度值;
1.4 对图像的红色通道进行如下处理:
1.4.1 假设IRi,IRi+1,IRi+2分别对应图像Ii,Ii+1,Ii+2的红色通道图像,记其像素点(x,y)的亮度值记分别为IRi(x,y)、IRi+1(x,y)和IRi+2(x,y),按照以下公式分别得到像素点(x,y)的差分图像DRi(x,y)和DRi+1(x,y);
DRi(x,y)=|IRi(x,y)-IRi+1(x,y)|
DRi+1(x,y)=|IRi+1(x,y)-IRi+2(x,y)|
1.4.2 对差分图像DRi(x,y)和DRi+1(x,y)按照以下公式进行与操作,得到像素点(x,y)的图像DRi′(x,y);
DRi′(x,y)=BRi(x,y)∩BRi+1(x,y)
其中∩是“与”运算,T是一个阈值;
1.5 按照步骤1.4分别对绿蓝通道进行相同的处理;得到像素点(x,y)的图像DGi′(x,y)和图像DBi′(x,y);
1.6 根据像素点(x,y)的图像DRi′(x,y)、图像DGi′(x,y)和图像DBi′(x,y)得到整个图像DRi′、DGi′、DBi′,对得到的三个图像DRi′、DGi′、DBi′进行以下公式运算,得到图像Di′:
D′i=DR′i∩DG′i∩DB′i
其中∩是“与”运算;
1.7 根据人体肤色灰度值数据Gskin,标记出图像Di′中的手轮廓Aj;通过数学形态学方法填充图像Di′中的手轮廓;Gskin值通过100张照片数据求平均值得出;
1.8 轮廓外区域设置颜色值为0,轮廓内区域设置颜色值为INT(256*i/n),得到图像Si;
1.9 如果第i帧是倒数第二帧,则执行步骤1.10,否则,则i=i+1,跳转到步骤1.3;
1.10 把图像Si输入到E-SOINN自组织增量神经网络中进行训练,输入下个视频,跳转到步骤1.1;
1.11 对训练库里的所有视频执行步骤1.1-1.10后,得到训练好的神经网络;
(2)手势判断:
2.1 在客户端,通过摄像头拍摄获取到一段手势动作帧序列,假设总帧数为n;
2.2 执行训练神经网络步骤中的1.2-1.9步骤,得到图像S;
2.3 把图像S通过互联网发送至服务器端,保存在服务器端存储器中;
2.4 服务器端在接收到图像S后,输入到训练好的E-SOINN自组织增量神经网络中,判断出输入的手势动作属于什么类型手势;
2.5 把结果输出,发送至客户端,进行相应手势操作。
2.根据权利要求1所述的基于E-SOINN网络的在线人机交互方法,其特征在于:在步骤
1.1和步骤1.2之间对图像Ii进项中值滤波去噪操作,提高鲁棒性。
3.根据权利要求1所述的基于E-SOINN网络的在线人机交互方法,其特征在于:所述步骤1.4.2中红色通道T的阈值设置为20,绿色通道T的阈值设置为8,蓝色通道T的阈值设置为
13。
4.根据权利要求1-3任一项所述的基于E-SOINN网络的在线人机交互方法,其特征在于:步骤2.3中,当服务器空闲时,同时保存的图像数量大于阈值N后,使用新的数据调整神经网络。
5.根据权利要求4所述的基于E-SOINN网络的在线人机交互方法,其特征在于:所述N的阈值设置为100。
标题 | 发布/更新时间 | 阅读量 |
---|---|---|
一种基于NBIOT门锁防盗系统及控制方法 | 2020-05-08 | 794 |
用于增加IDC的机架密度的智能电池备用系统 | 2020-05-08 | 491 |
音视频文件的获取方法、装置、服务器及存储介质 | 2020-05-08 | 453 |
内容分发方法、装置、服务器及存储介质 | 2020-05-08 | 874 |
一种定位服务权限变更方法、装置及系统 | 2020-05-08 | 665 |
通过不安全通信信道的基于距离的安全通信的系统和方法 | 2020-05-08 | 1014 |
一种建立多路径连接的子流的方法、装置和系统 | 2020-05-08 | 393 |
虚拟礼物赠送方法、装置、系统、计算机设备和存储介质 | 2020-05-11 | 155 |
基于时间实现多设备同步显示的方法 | 2020-05-11 | 476 |
用于运行至少两个自动化车辆的方法和设备 | 2020-05-08 | 236 |
高效检索全球专利专利汇是专利免费检索,专利查询,专利分析-国家发明专利查询检索分析平台,是提供专利分析,专利查询,专利检索等数据服务功能的知识产权数据服务商。
我们的产品包含105个国家的1.26亿组数据,免费查、免费专利分析。
专利汇分析报告产品可以对行业情报数据进行梳理分析,涉及维度包括行业专利基本状况分析、地域分析、技术分析、发明人分析、申请人分析、专利权人分析、失效分析、核心专利分析、法律分析、研发重点分析、企业专利处境分析、技术处境分析、专利寿命分析、企业定位分析、引证分析等超过60个分析角度,系统通过AI智能系统对图表进行解读,只需1分钟,一键生成行业专利分析报告。