一种基于个体化HRTF立体声的视觉辅助方法与设备
专利汇可以提供一种基于个体化HRTF立体声的视觉辅助方法与设备专利检索，专利查询，专利分析的服务。并且本 发明 提供一种基于个体化HRTF立体声的视觉辅助方法，利用惯性测量单元、深度摄像头与彩色摄像头进行环境 数据采集 ，利用小型计算机对数据进行处理得到所识别物体的类型、方向与距离，最后将描述物体类型的音频使用经个体化配置的HRTF处理为空间音效，可以用于头戴式游戏，也可以对视觉障碍人士进行方向指引的视觉辅助。相比现有的视觉辅助设备，本发明环境适用性强，便携性好，物体 位置 追踪连续性好，空间音效准确性高。相比复杂的语音方位描述，本发明直接将描述物体类型的简短单声道语音 信号 转化为具有空间感的立体声信号，在用户的听觉中生成直观的声源位置，用户无需学习复杂的语音位置描述规则，容易理解。，下面是一种基于个体化HRTF立体声的视觉辅助方法与设备专利的具体信息内容。
1.一种基于个体化HRTF立体声的视觉辅助设备，其特征在于，包括彩色摄像头、深度摄像头、惯性测量单元、支架和带有立体声耳机接口的小型计算机，彩色摄像头、深度摄像头、惯性测量单元与带有立体声耳机接口的小型计算机均固定在支架上；彩色摄像头和深度摄像头的两个光轴相互平行，且安装于支架的前端；彩色摄像头、深度摄像头和惯性测量单元分别与小型计算机相连；小型计算机存储有训练完成的用于物体检测的神经网络、各类物体对应尺寸的参考值、个体化头相关传递函数HRTF配置信息；
彩色摄像头用于采集彩色图像输出至小型计算机；
深度摄像头用于采集深度图像输出至小型计算机；
惯性测量单元用于采集加速度和姿态角读数输出至小型计算机；
小型计算机用于进行以下处理：
对彩色图像的处理：利用神经网络对彩色图像进行物体检测，识别出当前物体类型与得到物体所在的矩形边框，之后将该矩形边框的尺寸与已存储的该物体类型对应尺寸的参考值进行比对，计算得到物体到设备的粗略距离dRGB；当前物体类型为利用神经网络对彩色图像进行物体检测时输出的识别概率最高的物体类型；所述备选物体类型为识别概率较当前物体类型低的其它物体类型；
对深度图像的处理：计算物体在深度图像中的位置，再根据深度图像中该位置的深度信息作为物体到设备的准确距离dTOF；
对物体类型的再次判断：判断准确距离与粗略距离之间的差值是否大于预设值，如是，进行备选物体类型判断，否则，将当前物体类型作为确定的物体类型并用(∠x,∠y,dTOF)作为物体的初始相对位置，将确定的物体类型存入物体信息队列；其中，∠x,∠y为物体相对彩色摄像头的X轴偏移角度∠x与Y轴偏移角度∠y；
对备选物体类型判断：当准确距离与粗略距离之间的差值大于预设值时，在备选物体类型中选择其准确距离与粗略距离差值小于等于预设值的物体类型作为确定的物体类型并将确定的物体类型存入物体信息队列，如没有备选物体类型或者没有备选物体类型的准确距离与粗略距离差值小于等于预设值，则认为物体类型识别失败；
绝对位置坐标生成：根据姿态角读数中偏航角∠IMUyaw和俯仰角∠IMUpitch分别生成物体在X轴和Y轴上的绝对方向∠xabs和∠yabs，∠xabs＝∠x+∠IMUyaw，∠yabs＝∠y+∠IMUpitch，用(∠xabs,∠yabs,dTOF)作为物体的绝对位置坐标Pobj-abs,并将绝对位置坐标Pobj-abs存入物体信息队列；
相对位置的坐标生成：当已经在物体信息队列中的物体再次被识别到时，直接使用(∠x,∠y,dTOF)作为进行更新的相对位置Pobj，并根据新的测量结果对物体信息队列存放的绝对位置进行修正，而在图像处理的帧间或该物体脱离彩色或深度摄像头工作范围的设定时间长度内，通过利用来自惯性测量单元的加速度和姿态角得到用户位置改变信息Pmove，从而计算物体当前的空间位置Pobj-now＝(Pobj-abs-Pmove),再将物体当前的空间位置Pobj-now根据当前的偏航角∠IMUyaw和俯仰角∠IMUpitch进行旋转得到更新的相对位置Pobj；
虚拟声源的生成：一方面将确定的物体类型的单声道音频信号载入，另一个方面将更新的相对位置Pobj根据存储的个体化头相关传递函数HRTF配置进行映射得虚拟声源位置P′obj；再将确定的物体类型的单声道音频信号与P′obj所对应的个体化HRTF频域信号相乘，得到具有空间感的立体声信号，最后将立体声信号输出到小型计算机的立体声耳机接口。
2.如权利要求1所述设备，其特征在于，小型计算机根据彩色摄像头的X轴与Y轴的视场角以及分辨率获得物体相对彩色摄像头的X轴偏移角度∠x与Y轴偏移角度∠y：
其中， 物体所在的矩形边框的中心位置，xmax,ymax为彩色摄像头的分辨率，∠XFOV,∠YFOV分别为彩色摄像头的X轴与Y轴的视场角。
3.如权利要求1所述设备，其特征在于，小型计算机将矩形边框的尺寸与已存储的物体类型对应尺寸的参考值进行比对，计算得到物体到设备的粗略距离dRGB的具体方式是：计算矩形边框在图像上的半径 其中(x2,y2)为矩形边框的一个边
角坐标，随后将rRGB与内置数据库中对应物体类型在不同标准距离下在彩色图像上的大小依次比对并进行线性插值，从而获得物体粗略距离dRGB。
4.如权利要求1所述设备，其特征在于，小型计算机计算物体在深度图像中的位置(xTOF,yTOF)的具体方法是：
其中，∠X′FOV与∠Y′FOV为深度摄像头的X轴与Y轴的视场角，x′max,y′max，为深度摄像头的分辨率。
5.如权利要求1所述设备，其特征在于，所述色彩摄像头为RGB摄像头，所述深度摄像头为3D-TOF摄像头。
6.如权利要求1所述设备，其特征在于，还包括电池模块，电池模块与与小型计算机相连；
彩色摄像头、深度摄像头和惯性测量单元通过USB集线器与小型计算机相连。
7.一种基于个体化HRTF立体声的视觉辅助方法，其特征在于，包括以下步骤：
1)采集数据接收步骤：实时接收彩色摄像头输入的彩色图像、深度摄像头输入的深度图像以及惯性测量单元输入的加速度和姿态角读数；
2)彩色图像的处理步骤：利用已训练完成的神经网络对彩色图像进行物体检测，识别出当前物体类型与得到物体所在的矩形边框，之后将该矩形边框的尺寸与已存储的该物体类型对应尺寸的参考值进行比对，计算得到物体到设备的粗略距离dRGB；当前物体类型为利用神经网络对彩色图像进行物体检测时输出的识别概率最高的物体类型；所述备选物体类型为识别概率较当前物体类型低的其它物体类型；
3)深度图像处理步骤：计算物体在深度图像中的位置，再根据深度图像中该位置的深度信息作为物体到设备的准确距离dTOF；
4)对物体类型的再次判断：判断准确距离与粗略距离之间的差值是否大于预设值，如是，进入步骤5)进行备选物体类型判断，否则，将当前物体类型作为确定的物体类型并用(∠x,∠y,dTOF)作为物体的初始相对位置，将确定的物体类型存入物体信息队列；其中，∠x,∠y为物体相对彩色摄像头的X轴偏移角度∠x与Y轴偏移角度∠y；
5)备选物体类型判断步骤：在备选物体类型中选择其准确距离与粗略距离差值小于等于预设值的物体类型作为确定的物体类型并将确定的物体类型存入物体信息队列，如没有备选物体类型或者没有备选物体类型的准确距离与粗略距离差值小于等于预设值，则认为物体类型识别失败；
6)绝对位置坐标生成步骤：根据姿态角读数中偏航角∠IMUyaw和俯仰角∠IMUpitch分别生成物体在X轴和Y轴上的绝对方向∠xabs和∠yabs，∠xabs＝∠x+∠IMUyaw，∠yabs＝∠y+∠IMUpitch，用(∠xabs,∠yabs,dTOF)作为物体的绝对位置坐标Pobj-abs,并将绝对位置坐标Pobj-abs存入物体信息队列；
7)相对位置坐标生成步骤：当已经在物体信息队列中的物体再次被识别到时，直接使用(∠x,∠y,dTOF)作为进行更新的相对位置Pobj，并根据新的测量结果对物体信息队列存放的绝对位置进行修正，而在图像处理的帧间或该物体脱离彩色或深度摄像头工作范围的设定时间长度内，通过利用来自惯性测量单元的加速度和姿态角得到用户位置改变信息Pmove，从而计算物体当前的空间位置Pobj-now＝(Pobj-abs-Pmove),再将物体当前的空间位置Pobj-now根据当前的偏航角∠IMUyaw和俯仰角∠IMUpitch进行旋转得到更新的相对位置Pobj；
8)虚拟声源的生成步骤：一方面将确定的物体类型的单声道音频信号载入，另一个方面将更新的相对位置Pobj根据存储的个体化头相关传递函数HRTF配置进行映射得虚拟声源位置P′obj；再将确定的物体类型的单声道音频信号与P′obj所对应的个体化HRTF频域信号相乘，得到具有空间感的立体声信号，最后将立体声信号输出到小型计算机的立体声耳机接口。
8.如权利要求7所述方法，其特征在于，根据彩色摄像头的X轴与Y轴的视场角以及分辨率获得物体相对彩色摄像头的X轴偏移角度∠x与Y轴偏移角度∠y：
其中， 物体所在的矩形边框的中心位置，xmax,ymax为彩色摄像头的分辨率，∠XFOV,∠YFOV分别为彩色摄像头的X轴与Y轴的视场角。
9.如权利要求7所述方法，其特征在于，计算得到物体到设备的粗略距离dRGB的具体方式是：计算矩形边框在图像上的半径 其中(x2,y2)为矩形边
框的一个边角坐标，随后将rRGB与内置数据库中对应物体类型在不同标准距离下在彩色图像上的大小依次比对并进行线性插值，从而获得物体粗略距离dRGB。
10.如权利要求7所述方法，其特征在于，计算物体在深度图像中的位置(xTOF,yTOF)的具体方法是：
其中，∠X′FOV与∠Y′FOV为深度摄像头的X轴与Y轴的视场角，x′max,y′max，为深度摄像头的分辨率。
一种基于个体化HRTF立体声的视觉辅助方法与设备
技术领域
背景技术
发明内容
具体实施方式
上的深度信息得到根据深度图像的物体距离dTOF，当dTOF与dRGB的值相差过大时，将识别到的物体类型替换为神经网输出结果中可能性较低的其他选项并重新计算dRGB，直到dTOF与dRGB的差值低于设定的阈值，或在dTOF与dRGB的差值无法通过调整识别到的物体类型降低至阈值以下时忽略该识别到的物体。
| 标题 | 发布/更新时间 | 阅读量 |
|---|---|---|
| 音响输出装置及音响输出方法 | 2020-05-08 | 652 |
| 语音识别方法和设备 | 2020-05-08 | 119 |
| 语音识别方法、服务器及计算机可读存储介质 | 2020-05-08 | 554 |
| 身份验证方法、装置、电子设备及存储介质 | 2020-05-08 | 129 |
| 语音合成设备、语音合成方法及其存储介质 | 2020-05-08 | 859 |
| 一种适用于医药产品的交易系统 | 2020-05-08 | 998 |
| 一种基于人工智能的综合客服系统 | 2020-05-08 | 494 |
| 多音频识别方法、装置、设备及可读存储介质 | 2020-05-11 | 563 |
| 一种新型AI智能交互装置 | 2020-05-08 | 894 |
| 一种基于双麦降噪的语音鼠标 | 2020-05-11 | 379 |
高效检索全球专利专利汇是专利免费检索,专利查询,专利分析-国家发明专利查询检索分析平台，是提供专利分析，专利查询，专利检索等数据服务功能的知识产权数据服务商。
我们的产品包含105个国家的1.26亿组数据，免费查、免费专利分析。
专利汇分析报告产品可以对行业情报数据进行梳理分析，涉及维度包括行业专利基本状况分析、地域分析、技术分析、发明人分析、申请人分析、专利权人分析、失效分析、核心专利分析、法律分析、研发重点分析、企业专利处境分析、技术处境分析、专利寿命分析、企业定位分析、引证分析等超过60个分析角度，系统通过AI智能系统对图表进行解读，只需1分钟，一键生成行业专利分析报告。
