专利汇可以提供一种基于视觉交互面向视障人群的穿戴式辅助系统及其使用方法专利检索,专利查询,专利分析的服务。并且本 发明 公开了一种基于视觉交互面向视障人群的穿戴式辅助系统及其使用方法,系统包括摄像头和ARM处理器,所述的ARM处理器包括: 手指 检测模 块 :用于接收摄像头 传感器 采集的图像,并检测图像中手指在图像中的 位置 ;ROI提取模块:用于根据手指位置的先验信息结合图像的边界大小确定出ROI位置,及获得兴趣目标的潜在位置,输出至检测识别模块;检测识别模块:并行的多个检测识别模块应对不同的目标检测;综合模块:综合多个检测识别模块的识别结果,分析出用户的使用意图;语音输出模块。本发明用于辅助视障人群日常生活,可通过语音提示使用者手指所指向的物体,用户只要用手指指向交互的给出识别的物品,那么设备就会进行识别并将结果语音输出,具有自然、易用的特点。,下面是一种基于视觉交互面向视障人群的穿戴式辅助系统及其使用方法专利的具体信息内容。
1.一种基于视觉交互面向视障人群的穿戴式辅助系统的使用方法,所述辅助系统包括摄像头和ARM处理器,所述的ARM处理器包括:
手指检测模块:用于接收摄像头传感器采集的图像,并检测图像中手指在图像中的位置T(x,y);
ROI提取模块:用于根据手指位置的先验信息结合图像的边界大小确定出ROI位置,输出至检测识别模块;
检测识别模块:并行的多个检测识别模块对应不同的目标检测;
综合模块:综合多个检测识别模块的识别结果,分析出用户的使用意图;
语音输出模块:把分析的结果通过语音的方式反馈给用户;
所述的检测识别模块包括纸币识别模块、场景文字识别模块和家居物品识别模块;
所述的语音输出模块将语音通过骨传导耳机反馈给用户;
其特征在于:所述基于视觉交互面向视障人群的穿戴式辅助系统的使用方法,包括以下步骤:
S1:手指检测,包括以下子步骤:
S101:针对不同的场景采用随机回归树来建模不同光照,得到手掌区域检测器;
S102:通过手掌区域检测器以及采集的图像I提取手掌轮廓;
S103:通过几何约束计算出手指T(x,y),所述的几何约束包含距离约束和夹角约束;
S2:ROI提取,根据步骤S1获得的手指位置结合图片边界几何约束计算出ROI[x0,y0,w0,h0]:
其中,α,β为ROI大小修正参数,w为图像I的宽,h为图像I的高;
S3:检测识别,包括以下子步骤:
S301:通过mask操作获得ROI子图,作为识别模块的输入;
S302:采用多线程并行的处理方式,把不同功能的检测识别模块放到不同线程中去;
S4:综合识别:通过综合步骤S3中各个检测识别模块的识别结果,准确分析出用户的使用意图,通过文本的方式给出结果;
S5:语音输出:采用TTS引擎,接收由步骤S4给出的识别结果,然后转化成语音的方式通过骨传导耳机反馈给用户。
2.根据权利要求1所述的一种基于视觉交互面向视障人群的穿戴式辅助系统的使用方法,其特征在于:所述的步骤S101包括以下子步骤:
S10101:采集大量不同条件下的手掌肤色样本得到一个肤色训练集,包括正负样本;
S10102:对采集来的样本根据HSV各通道的直方图进行k-means聚类ci,类别数目根据经验设置为不同的值,其中ci表示不同场景,i=1,2,....k,k为k-means的类别数,k取经验值;
S10103:对于每一个类别ci,学习一个独立的随机回归树P(ci|g),g表示图像I的全局特征;
S10104:对于待检测的像素点p(x,y),和给定l,g条件下,属于像素点的概率用如下全概率公式表达:
其中P(p|l,ci)是给定全局特征条件下属于第i个场景的概率,由步骤S10103中的随机回归树学习得到;P(ci|g)是通过步骤S10103学习过程中聚类步骤中通过统计第i种场景下光照获得;l表示图像I的局部特征;
所述的步骤S102包括以下子步骤:比较P(p|l,g)与阈值μ的大小,判断当前像素p(x,y)是否属于手掌,将所有属于手掌的像素点保留得到手掌轮廓。
3.根据权利要求1所述的一种基于视觉交互面向视障人群的穿戴式辅助系统的使用方法,其特征在于:所述的步骤S103包括以下子步骤:
S10301:在手掌轮廓上取第i点Ti(x,y),以及Ti(x,y)的前后第k个点分别为Ti+k(x,y),Ti-k(x,y),此处两点间间隔的像素点k为经验值;
S10302:依次遍历轮廓上的各像素点,分别计算向量 和 的点积和叉积:
通过判断点积的极值检测出手掌轮廓上的凹点以及凸点;
S10303:利用叉积结合右手法则分辨出指尖;
S10304:在获得多个拟指尖的点后,再通过计算指尖到手掌轮廓中心的距离||TC||,||TC||最大值对应的点即为待求指尖点T(x,y);C表示手掌轮廓的中心点。
4.根据权利要求1所述的一种基于视觉交互面向视障人群的穿戴式辅助系统的使用方法,其特征在于:所述的步骤S302包括一个常用物品识别子步骤:在外部PC端进行离线分类器学习,将分类器移植到嵌入式运算器中进行在线识别。
5.根据权利要求1所述的一种基于视觉交互面向视障人群的穿戴式辅助系统的使用方法,其特征在于:所述的步骤S302包括一个纸币识别子步骤:
S3020101:采集不同光照条件下标准纸币模板,根据纸币的纹理特征将纸币划分成不同小块;
S3020102:对每个小块计算局部特征,然后将每个小块的局部特征组合成一个特征向量作为纸币的特征表达,对所有的模板执行相同操作;
S3020103:在识别匹配阶段,用计算纸币特征表达相同的方式来计算待识别目标的特征向量;
S3020104:然后将该特征向量与模板库中特征向量计算相似度,通过阈值化的相似度判断出纸币的币种、面额信息。
6.根据权利要求1所述的一种基于视觉交互面向视障人群的穿戴式辅助系统的使用方法,其特征在于:所述的步骤S302包括一个场景文字识别子步骤:
S3020201:预处理,包括模糊处理、二值化、边缘检测;
S3020202:特征提取,包括字符水平特征、几何相似度特征,用于字符区域检测;
S3020203:规则聚类,包括字符方向、字符尺度、颜色,用于将单个字符聚合成单词,单词组合成句子;
S3020204:后续处理,包括方向校正、缺失补齐,用于将检测出来的文本作进一步处理成水平二值化分割好的文本区域;
S3020205:OCR引擎识别检测结果。
7.根据权利要求1所述的一种基于视觉交互面向视障人群的穿戴式辅助系统的使用方法,其特征在于:所述的步骤S5包括以下子步骤:
S501:文本分析:对输入文本进行语言学分析,逐句进行词汇的、语法的和语义的分析,并在其中加入所需要的各种发音提示,包括数字、特殊词汇、断句停顿;
S502:语音合成:把处理好的文本所对应的单字或短语从语音合成库中提取,把语言学描述转化成言语波形;
S503:通过骨传导耳机反馈给用户。
方法
标题 | 发布/更新时间 | 阅读量 |
---|---|---|
一种手指运动轨迹校准系统及方法 | 2020-05-13 | 678 |
一种基于智能移动终端操作行为识别的手指灵活度检测方法 | 2020-05-16 | 812 |
一种菜单项选择方法及装置 | 2020-05-08 | 888 |
一种基于深度图的手指关节定位方法 | 2020-05-13 | 711 |
一种冲压机器人多工位快速运动算法 | 2020-05-15 | 408 |
一种仿生手指 | 2020-05-22 | 820 |
一种腕部及手指关节活动度的自动测量方法 | 2020-05-15 | 386 |
基于VR及手势交互技术的全球气候矢量场数据可视化方法 | 2020-05-14 | 103 |
一种可视化的生物计量信息采集装置和方法 | 2020-05-12 | 470 |
一种智能石油勘探机器人系统及其石油勘探方法 | 2020-05-24 | 409 |
高效检索全球专利专利汇是专利免费检索,专利查询,专利分析-国家发明专利查询检索分析平台,是提供专利分析,专利查询,专利检索等数据服务功能的知识产权数据服务商。
我们的产品包含105个国家的1.26亿组数据,免费查、免费专利分析。
专利汇分析报告产品可以对行业情报数据进行梳理分析,涉及维度包括行业专利基本状况分析、地域分析、技术分析、发明人分析、申请人分析、专利权人分析、失效分析、核心专利分析、法律分析、研发重点分析、企业专利处境分析、技术处境分析、专利寿命分析、企业定位分析、引证分析等超过60个分析角度,系统通过AI智能系统对图表进行解读,只需1分钟,一键生成行业专利分析报告。