首页 / 专利库 / 电脑图像 / 渲染 / 触觉渲染 / 基于融合静电力与振动触觉再现装置的3D凸起渲染方法

基于融合静电与振动触觉再现装置的3D凸起渲染方法

阅读:660发布:2020-05-16

专利汇可以提供基于融合静电与振动触觉再现装置的3D凸起渲染方法专利检索,专利查询,专利分析的服务。并且本 发明 涉及一种基于融合静电 力 与振动触觉再现装置的3D凸起 渲染 方法,属于 虚拟现实 与 人机交互 领域。根据 深度图 像 获取深度信息,通过建立的心理物理模型用振动渲染法向的轮廓感;并由深度值计算梯度信息,根据建立的心理物理模型及IP0.625转换方法用静电力渲染切向凸起的轮廓变化,通过这种基于深度图像的3D凸起渲染方法对轮廓信息进行呈现。本发明根据深度图像的深度信息建立映射关系,能够实现同时对 手指 切向力和法向力的渲染,有更加真实的三维触觉再现效果。,下面是基于融合静电与振动触觉再现装置的3D凸起渲染方法专利的具体信息内容。

1.一种基于融合静电与振动触觉再现装置的3D凸起渲染方法,采用融合静电力与振动触觉再现装置,其特征在于,包括下列步骤:
(1)获得切向静电触觉反馈力Fx(i,j)
由深度摄像机拍摄或者由matlab程序获得正弦凸起的深度图像,像素M×N,根据深度图像得到正弦凸起深度信息矩阵H,求得梯度矩阵Px:
其中H(i,j)为深度信息矩阵中第i行、第j列的元素,Px(i,j)为梯度矩阵中第i行、第j列的元素;
将梯度矩阵归一化到-1至1之间,得到归一化梯度矩阵Px':
其中Px'(i,j)为归一化梯度矩阵中第i行、第j列的元素,pmax为梯度矩阵Px(i,j)中的最大值;
用静电力触觉反馈提供切向静电触觉反馈力Fx(i,j):
Fx(i,j)=-f1×Px'(i,j)
其中Fx(i,j)为静电力矩阵中第i行、第j列的元素,f1为静电力非零比例系数;
(2)计算静电力驱动信号电压矩阵V1
由静电力触觉感知力f静与静电力驱动信号电压矩阵V1函数关系f静=f(V1),根据一种实际受力曲线与切向静电触觉反馈力间的转换方法IP0.625,得到输入强度矩阵I:
I(i,j)=a×Fx(i,j)+b,
其中Fx(i,j)为静电力矩阵中第i行、第j列的元素,I(i,j)为输入强度矩阵I中第i行、第j列的元素,a和b为函数的系数;
进而计算出静电力驱动信号电压矩阵V1:
V1(i,j)=m×I(i,j)+n
其中I(i,j)为输入强度矩阵I中第i行、第j列的元素,V1(i,j)为静电力驱动信号电压矩阵V1中第i行、第j列的元素,m和n为函数的系数;
(3)获得法向振动触觉反馈力矩阵Fy
根据正弦凸起的深度图像,像素M×N,获得正弦凸起深度信息矩阵H,用振动触觉再现方法来提供法向力:
Fy(i,j)=H(i,j)×f2
其中Fy(i,j)为振动触觉反馈力矩阵Fy中第i行、第j列的元素,H(i,j)为深度信息矩阵H中第i行、第j列的元素,f2为振动非零比例系数;
(4)计算振动驱动信号电压矩阵V2
根据振动触觉感知力f振与振动驱动信号电压矩阵V2函数关系:f振=f(V2),由反函数计算得到振动驱动信号电压矩阵V2:
V2(i,j)=f-1(Fy(i,j))
其中Fy(i,j)为振动触觉反馈力矩阵中第i行、第j列的元素,V2(i,j)为振动驱动信号电压矩阵中第i行、第j列的元素。
2.根据权利要求1所述的一种基于融合静电力与振动触觉再现装置的3D凸起渲染方法,其特征在于:所述基于融合静电力与振动触觉再现装置,其结构包括:
(1)定位单元,包括能实现定位功能的装置,用于实时地跟踪手指位置坐标,并将该坐标信息发送到处理单元;
(2)处理单元,包括各种多媒体终端,用于输出视觉信息,同时对手指位置处的图像进行渲染得到触觉驱动信号参数,并将该参数发送到信号发生器;
(3)信号发生器,根据驱动信号参数生成相应的驱动信号,并将该信号输入到交互单元进行驱动;
(4)交互单元,可以同时改变手指受到的切向力和法向力,从而实现三维的触觉再现感受。
3.根据权利要求2所述的一种基于融合静电力与振动触觉再现装置的3D凸起渲染方法,其特征在于:所述的交互单元中,改变手指所受切向力的方式包括但不局限于静电力触觉再现;改变手指所受法向力的方式包括但不局限于振动触觉再现。
4.根据权利要求1所述的一种基于融合静电力与振动触觉再现装置的3D凸起渲染方法,其特征在于:所述步骤1中,所述的静电力非零比例系数f1通过“一下一上”的实验方法测量得出;具体步骤如下,首先编写程序在融合静电力与振动触觉再现装置上实现所述触觉渲染方法,设置静电力触觉反馈与振动触觉反馈驱动信号幅度均为最大值,组织实验者按照“一下一上”的实验方法对比实物凸起找到渲染方法所能渲染的最高高度,即确定出静电力非零比例系数f1的值,该比例系数由触觉反馈装置的力反馈性能决定,通过调整比例系数可以使渲染方法适用于不同触觉再现装置。
5.根据权利要求1所述的一种基于融合静电力与振动触觉再现装置的3D凸起渲染方法,其特征在于:所述步骤2中,静电力触觉感知力f静与静电力驱动信号电压矩阵V1函数关系f静=f(V1),是通过实验建立静电力触觉感知强度与驱动电压之间的心理物理模型得到的。
6.根据权利要求1所述的一种基于融合静电力与振动触觉再现装置的3D凸起渲染方法,其特征在于:所述步骤2中,一种实际受力曲线与切向触觉反馈力间的转换方法IP0.625包括:将-1N至1N间的实际受力线性映射到0至1的静电触觉感知强度上,将-1N映射到最大的摩擦,0N映射到中等强度的摩擦,1N映射到最小强度的摩擦,由于输入强度曲线有0.625的偏移,把这种方法叫做IP0.625,具体表示为:
I(i,j)=a×Fx(i,j)+b
其中Fx(i,j)为静电力矩阵中第i行、第j列的元素,I(i,j)为输入强度矩阵中第i行、第j列的元素,a和b为函数的系数。
7.根据权利要求1所述的一种基于融合静电力与振动触觉再现装置的3D凸起渲染方法,其特征在于:所述步骤3中,振动非零比例系数f2通过“一下一上”的实验方法测量得出;
具体实验步骤如下,首先编写程序在融合静电力与振动触觉再现装置上实现所述触觉渲染方法,设置静电力触觉反馈与振动触觉反馈驱动信号幅度均为最大值,组织实验者按照“一下一上”的实验方法对比实物凸起找到渲染方法所能渲染的最高高度,即确定振动非零比例系数f2的值,该比例系数由触觉反馈装置的力反馈性能决定,通过调整比例系数可以使渲染方法适用于不同触觉再现装置。
8.根据权利要求1所述的一种基于融合静电力与振动触觉再现装置的3D凸起渲染方法,其特征在于:所述步骤4中,振动触觉感知力f振与振动驱动信号电压矩阵V2函数关系:f振=f(V2),是通过实验建立的振动触觉感知强度与驱动电压之间的心理物理模型得到的。

说明书全文

基于融合静电与振动触觉再现装置的3D凸起渲染方法

技术领域

[0001] 本发明属于虚拟现实人机交互领域,尤其涉及一种基于融合静电力与振动触觉再现装置的3D凸起渲染方法。

背景技术

[0002] 触摸屏已经被广泛的应用到手机、平板电脑、电视、阅读器等多种商业化智能终端,成为我们生活中不可或缺的一部分。然而人们与触摸屏的交互过程主要依赖于视觉和听觉感知通道却缺少触觉感知通道,这导致视听觉通道负荷过载而触觉作为人的重要感官未被启用。触觉反馈可以提高用户在触摸屏上的手势交互性能,增强用户在互联网购物、电子游戏、教育教学方面的交互真实感与丰富性。利用裸指触摸多媒体终端屏幕来真实自然地感知被显示物体的轮廓、纹理以及颜色等多种感官属性,实现丰富逼真的触觉再现,会将触觉再现领域的发展推向一个崭新的阶段。
[0003] 目前,已经有一些实现触觉再现的方法与装置。
[0004] 中国专利“一种基于静电力触觉再现的装置”(申请号201210143828.3)、中国专利“一种基于开关阵列的多点静电力触觉再现装置及方法”(申请号201510202085.6)公开了一种基于静电力触觉再现的方法与装置,通过静电力原理调节用户的手指和触摸屏之间的摩擦力。论文“触摸屏表面3D特征的触觉渲染”提出了一种触觉渲染算法,将渲染对象的局部梯度映射到侧向摩擦力,创建3D凹凸感知,用于模拟触摸屏表面上例如凹凸等三维几何特征。论文“面向视频感知的静电力触觉渲染方法”中提出一种面向视频感知的静电力触觉渲染方法,该方法基于像素点的视频处理算法,利用像素点色调分量来映射静电力激励信号频率参量,结合像素点亮度饱和度分量来映射静电力激励信号幅度参量,实现对实时视频的触觉渲染和感知。
[0005] 中国专利“一种基于挤压气膜效应的触觉再现装置与方法”(申请号201710402135.4)及中国专利“一种面向移动终端的摩擦力触觉再现系统及再现方法”(申请号201710242375.2)公开了一种基于挤压气膜效应的触觉再现装置与方法。基于空气压膜效应的摩擦力再现装置在显示设备上施加高频振动产生空气薄膜,通过调节振动的频率和强度调节摩擦系数,进而改变手指的受力,使操作者感知触觉纹理。但是基于空气压膜原理的实现装置屏幕上各处触觉感受强度不一致,在算法上较难处理。
[0006] 振动触觉再现的应用比较广,比如智能手机、ARVR手柄等都有振动触觉反馈。例如中国专利“基于高压电特性陶瓷材料的振动装置”(专利号201620476481.8)公开了一种基于压电陶瓷实现的振动触觉反馈装置。论文“利用振动刺激叠加的尖锐触觉线性显示”提出一种振动触觉显示器,通过不同相位振动触觉的叠加方法,实现了较强的局部触觉图像感知。论文“用于可变摩擦表面显示的触觉纹理空间谱图建模与合成”中提出一种利用纹理建模来实现纹理再现的方法,通过纹理集合来实时渲染合成振动信号完成纹理信息的再现。
[0007] 上述单一的触觉再现装置与方法具有一定的局限性,静电力和空气压膜触觉再现方式只能提供切向力,并且手指必须处于滑动状态才能有触觉反馈,其中静电力只能起到增大摩擦的效果,空气压膜触觉再现方式只能起到减小摩擦力的效果;振动触觉再现方式只能提供法向力,并且振动反馈触感单一。上述的触觉再现方法包括对虚拟物体局部触觉纹理,表面凸凹轮廓,图案形状与颜色的渲染,但是所述的方法都是对虚拟物体单一感知属性的单一触感再现,如果能同时实现对虚拟对象的多维度触觉渲染将会达到更真实的虚拟对象再现效果。
[0008] 为了突破单一触觉再现方式的局限性,达到更真实的触觉再现效果,一些研究将其中两种触觉再现方式进行融合。
[0009] 中国专利“融合静电力与振动的触觉再现方法与装置”(CN107943290A)公开一种融合静电力与振动的触觉再现方法与装置,基于二维灰度图像渲染虚拟凸起的二维触觉感受。中国专利“融合静电力、空气压膜和机械振动的触觉再现方法与装置”(CN109101111A)公开了一种融合静电力、空气压膜和机械振动的触觉再现方法与装置,通过建立图像梯度、曲率和高度特征与触觉驱动信号幅度和频率参数之间的映射模型实现视觉对象轮廓、纹理和粗糙度的同时触觉再现。论文“使用振动触觉和静电摩擦刺激的纹理显示比基于任何其中一种刺激的纹理显示好”中提出了一种融合静电力与振动的触觉再现装置与方法,通过使用指垫实现了针对于黑白条纹的触觉再现。论文“多彩的触觉刺激:颜色与罗素心理平面上的触觉显示刺激的关联”表明触觉显示可以用来帮助用户的色彩感知,论文基于融合静电力与振动结合的触觉反馈装置提出用高频和有节奏的触觉刺激表示温暖的色彩,如红色、橙色和黄色,用低频和缓慢的触觉表示冷色调。
[0010] 如上所述的装置实现了静电力与空气压膜触觉再现方式和静电力与振动触觉再现方式的融合,但是其对虚拟物体的渲染方法还是从二维图像出发,没有真正意义上实现跨维度触觉渲染。
[0011] 2001年《自然》杂志上发表论文“通过主动触摸力可以克服对象的几何特征”,给出了用侧向力在触摸屏上渲染凸凹等几何形状的一种途径。论文“触摸屏表面3D特征的触觉渲染”提出了一种触觉渲染算法,将渲染对象的局部梯度映射到侧向摩擦力,创建3D凹凸感知,用于模拟触摸屏表面上例如凹凸等三维几何特征。但是其将侧向力直接转移成静电摩擦力,没有解决摩擦力只能提供与运动方向相反的阻力,而不能提供与运动方向相同的推力的问题。并且该方法通过切向一个维度力的反馈去渲染空间3D凸起力的特性,真实感有待提高。

发明内容

[0012] 本发明提出一种基于融合静电力与振动触觉再现装置的3D凸起渲染方法,通过实际受力曲线与切向触觉反馈力间的转换方法IP0.625,解决了静电力触觉反馈不能提供侧向推力的问题,并且通过振动触觉反馈法向渲染其深度信息,提升了3D凸起轮廓渲染的真实感。
[0013] 本发明采取的技术方案,一种融合静电力与振动触觉再现装置,其结构包括:
[0014] (1)定位单元,包括能实现定位功能的装置,用于实时地跟踪手指的位置坐标,并将该坐标信息发送到处理单元;
[0015] (2)处理单元,包括各种多媒体终端,用于输出视觉信息,同时对手指位置处的图像进行渲染得到触觉驱动信号参数,并将该参数发送到信号发生器;
[0016] (3)信号发生器,根据驱动信号参数生成相应的驱动信号,并将该信号输入到交互单元进行驱动;
[0017] (4)交互单元,可以同时改变手指受到的切向力和法向力,从而实现三维的触觉再现感受。
[0018] 本发明所述的交互单元中,改变手指所受切向力的方式包括但不局限于静电力触觉再现;改变手指所受法向力的方式包括但不局限于振动触觉再现。
[0019] 一种基于融合静电力与振动触觉再现装置的3D凸起渲染方法,从深度图像出发,建立起实际渲染对象深度一维的物理信息与触觉再现过程中反馈力的关系,通过融合静电力与振动触觉反馈装置实现切向和法向两个维度力的再现,达到对3D凸起更真实的触觉再现效果;包括下列步骤:
[0020] (1)获得切向静电触觉反馈力Fx(i,j)
[0021] 由深度摄像机拍摄或者由matlab程序获得正弦凸起的深度图像,像素M×N,根据深度图像得到正弦凸起深度信息矩阵H,求得梯度矩阵Px:
[0022]
[0023] 其中H(i,j)为深度信息矩阵中第i行、第j列的元素,Px(i,j)为梯度矩阵中第i行、第j列的元素;
[0024] 将梯度矩阵归一化到-1至1之间,得到归一化梯度矩阵Px':
[0025]
[0026] 其中Px'(i,j)为归一化梯度矩阵中第i行、第j列的元素,pmax为梯度矩阵Px(i,j)中的最大值;
[0027] 用静电力触觉反馈提供切向静电触觉反馈力Fx(i,j):
[0028] Fx(i,j)=-f1×Px'(i,j)
[0029] 其中Fx(i,j)为静电力矩阵中第i行、第j列的元素,f1为静电力非零比例系数;
[0030] (2)计算静电力驱动信号电压矩阵V1
[0031] 由静电力触觉感知力f静与静电力驱动信号电压矩阵V1函数关系f静=f(V1),根据一种实际受力曲线与切向静电触觉反馈力间的转换方法IP0.625,得到输入强度矩阵I:
[0032] I(i,j)=a×Fx(i,j)+b,
[0033] 其中Fx(i,j)为静电力矩阵中第i行、第j列的元素,I(i,j)为输入强度矩阵I中第i行、第j列的元素,a和b为函数的系数;
[0034] 进而计算出静电力驱动信号电压矩阵V1:
[0035] V1(i,j)=m×I(i,j)+n
[0036] 其中I(i,j)为输入强度矩阵I中第i行、第j列的元素,V1(i,j)为静电力驱动信号电压矩阵V1中第i行、第j列的元素,m和n为函数的系数;
[0037] (3)获得法向振动触觉反馈力矩阵Fy
[0038] 根据正弦凸起的深度图像,像素M×N,获得正弦凸起深度信息矩阵H,用振动触觉再现方法来提供法向力:
[0039] Fy(i,j)=H(i,j)×f2
[0040] 其中Fy(i,j)为振动触觉反馈力矩阵Fy中第i行、第j列的元素,H(i,j)为深度信息矩阵H中第i行、第j列的元素,f2为振动非零比例系数;
[0041] (4)计算振动驱动信号电压矩阵V2
[0042] 根据振动触觉感知力f振与振动驱动信号电压矩阵V2函数关系:f振=f(V2),由反函数计算得到振动驱动信号电压矩阵V2:
[0043] V2(i,j)=f-1(Fy(i,j))
[0044] 其中Fy(i,j)为振动触觉反馈力矩阵中第i行、第j列的元素,V2(i,j)为振动驱动信号电压矩阵中第i行、第j列的元素。
[0045] 本发明所述步骤2中,静电力触觉感知力f静与静电力驱动信号电压矩阵V1函数关系f静=f(V1),是通过实验建立静电力触觉感知强度与驱动电压之间的心理物理模型得到的。
[0046] 本发明所述步骤4中,振动触觉感知力f振与振动驱动信号电压矩阵V2函数关系:f振=f(V2),是通过实验建立的振动触觉感知强度与驱动电压之间的心理物理模型得到的。
[0047] 本发明所述步骤2中,一种实际受力曲线与切向触觉反馈力间的转换方法IP0.625,其特征在于:将-1N至1N间的实际受力线性映射到0至1的静电触觉感知强度上,将-1N映射到最大的摩擦,0N映射到中等强度的摩擦,1N映射到最小强度的摩擦,由于输入强度曲线有0.625的偏移,把这种方法叫做IP0.625,具体表示为:
[0048] I(i,j)=a×Fx(i,j)+b
[0049] 其中Fx(i,j)为静电力矩阵中第i行、第j列的元素,I(i,j)为输入强度矩阵中第i行、第j列的元素,a和b为函数的系数。
[0050] 本发明所述步骤1、3中,所述的静电力非零比例系数f1、振动非零比例系数f2,通过“一下一上”的实验方法测量得出;具体实验步骤如下,首先编写程序在融合静电力与振动触觉再现装置上实现所述触觉渲染方法,设置静电力触觉反馈与振动触觉反馈驱动信号幅度均为最大值,组织实验者按照“一下一上”的实验方法对比实物凸起找到渲染方法所能渲染的最高高度,即确定出静电力非零比例系数f1和振动非零比例系数f2的值,该比例系数由触觉反馈装置的力反馈性能决定,通过调整比例系数可以使渲染方法适用于不同触觉再现装置。
[0051] 本发明优点在于:
[0052] 1.融合了静电力与振动的触觉再现方式,可同时提供切向和法向的触觉反馈力,为探究真实感更高的触觉渲染方法提供了力的反馈基础
[0053] 2.通过IP0.625方法对实际受力曲线与切向触觉反馈力间进行转换,突破了切向摩擦力仅能够提供侧向阻力而不能提供侧向推力的局限;
[0054] 3.提出了一种基于深度图像的触觉渲染方法,对3D凸起切向和法向两个维度进行力的再现,有更好的触觉再现效果。附图说明
[0055] 图1是融合静电力与振动触觉再现装置的框图
[0056] 图2是信号发生器的结构框图;
[0057] 图3是交互单元的结构框图;
[0058] 图4是静电力触觉再现受力分析图;
[0059] 图5是振动触觉再现受力分析图;
[0060] 图6a是高斯凸起曲线图;
[0061] 图6b是高斯凸起的梯度曲线图;
[0062] 图7是手指划过高斯凸起时的受力分析图;
[0063] 图8是振动触觉感知力与驱动信号幅度函数关系图;
[0064] 图9是静电触觉感知力与驱动信号幅度函数关系图;
[0065] 图10是手指划过高斯凸起时实际侧向力受力曲线图;
[0066] 图11是通过IP0.625转化得到输入强度曲线图;
[0067] 图12是“一下一上”实验方法实例说明。

具体实施方式

[0068] 为使本发明的目的、特征和优点能更明显易懂,下文通过附图和具体实施方式进行详细说明。
[0069] 首先介绍一下融合静电力与振动触觉再现装置,如图1所示,结构包括:
[0070] (1)定位单元11,包括能实现定位功能的装置,用于实时地跟踪手指的位置坐标,并将该坐标信息发送到处理单元;
[0071] (2)处理单元14,包括各种多媒体终端,用于输出视觉信息,同时对手指位置处的图像进行渲染得到触觉驱动信号参数,并将该参数发送到信号发生器;
[0072] (3)信号发生器13,根据驱动信号参数生成相应的驱动信号,并将该信号输入到交互单元进行驱动;
[0073] (4)交互单元12,可以同时改变手指受到的切向力和法向力,从而实现三维的触觉再现感受。
[0074] 在上述的融合静电力与振动触觉再现装置中,所述的信号发生器13如图2所示,其主要的功能单元以及工作流程如下:
[0075] (1)核心控制器1301,其存储着常用波形的波形数据,如方波、正弦波、三波等,接收处理单元14传递过来的静电力触觉驱动信号参数:幅度AE、频率FE、波形WE,振动触觉驱动信号参数:幅度AV、频率FV、波形WV,同时控制其他功能模的工作状态;
[0076] (2)静电力驱动模块1302,包括数模转换器一130201、数模转换器二130202、功率放大器130203,其中数模转换器一130201通过接收核心控制器模块1301发送的波形数据产生频率FE、波形WE可调的基础信号,该基础信号作为数模转换器二130202的参考电压,再结合核心控制器模块1301的幅度控制数据AE就可以实现基础信号的电压调节,之后将该信号输入到功率放大器130203进行电压放大,进而输出静电力驱动信号;
[0077] (3)振动驱动模块1303,由振动源实现对驱动芯片的控制,产生符合振动触觉再现条件的驱动信号;
[0078] 在上述的融合静电力与振动触觉再现装置中,所述的交互单元12如图3所示,主要包括以下两部分:
[0079] (1)单点电容屏1201,通过产生静电力改变手指受到的切向力,主要起到增大摩擦力的作用,其结构以及受力分析如图4所示,最底层为玻璃板120101,起到支撑作用,中间层为透明导电极板120102,可施加激励信号,顶层为一层绝缘膜120103。不施加驱动信号时手指所受到的屏幕的支持力为FN,受到的摩擦力为Ff;施加驱动信号时,指尖内的组织液和导电极板形成一个电容结构,当手指在屏幕上滑动时,手指受到一个静电吸引力Fe,进而导致屏幕对手指的支持力增大FN'=FN+Fe,手指所受的摩擦力也增大,达到了改变手指受到的切向力的效果;改变施加在导电极板上的信号参数,就会导致手指受到的吸引力发生变化,进而控制切向力的变化程度。
[0080] (2)振动源1202,主要改变手指受到的法向力,选型时要注意振动源应满足法向振动力较大而切向振动相对于法向振动较小,振动源1202需要牢固的粘贴在单点电容屏1201的绝缘膜120103侧,且需要对称粘贴在单点电容屏的长边边缘,数量需要根据电容屏的尺寸来确定,其受力分析如图5所示,振动源1202产生的机械波在单点电容屏1201的表面传播,从而使手指受到相应的法向力,调节驱动信号的大小,即可改变手指受到法向力的大小。
[0081] 上述的融合静电力与振动触觉再现装置,融合了静电力与振动触觉再现方式,实现了反馈力从切向一个维度到切向和法向两个维度的扩充,使得触觉再现的效果更加真实。基于静电力与振动触觉再现装置提出一种3D凸起渲染方法。
[0082] 对于一个高斯凸起,其形状曲线如图6a与梯度曲线如图6b所示,其梯度曲线可以表示手指划过一个凸起表面所受的侧向力。手指划过真实凸起表面时的受力情况如图7所示,当手从最低点划至最高点的过程中手指切向先受到一个与运动方向相反的摩擦阻力,从最高点划至最低点的过程中手指实际受到一个与运动方向相同的推力,即手指受到的侧向力包括一段侧向摩擦阻力和一段侧向推力。由于静电力触觉反馈只能提供与手指运动方向相反的摩擦阻力,因此要建立一个实际受力曲线与静电力触觉反馈力间的转换方法IP0.625。通过把深度信息映射为法向振动触觉反馈,把深度信息的梯度映射为切向静电力触觉反馈,实现对3D凸起高真实感的触觉再现。
[0083] 一种基于融合静电力与振动触觉再现装置的3D凸起渲染方法,步骤如下:
[0084] (1)获得切向静电触觉反馈力Fx(i,j)
[0085] 由深度摄像机拍摄或者由matlab程序获得正弦凸起的深度图像,像素M×N,根据深度图像得到正弦凸起深度信息矩阵H,求得梯度矩阵Px:
[0086]
[0087] 其中H(i,j)为深度信息矩阵中第i行、第j列的元素,Px(i,j)为梯度矩阵中第i行、第j列的元素;
[0088] 将梯度矩阵归一化到-1至1之间,得到归一化梯度矩阵Px':
[0089]
[0090] 其中Px'(i,j)为归一化梯度矩阵中第i行、第j列的元素,pmax为梯度矩阵Px(i,j)中的最大值;
[0091] 用静电力触觉反馈提供切向静电触觉反馈力Fx(i,j):
[0092] Fx(i,j)=-f1×Px'(i,j)
[0093] 其中Fx(i,j)为静电力矩阵中第i行、第j列的元素,f1为静电力非零比例系数;
[0094] (2)计算静电力驱动信号电压矩阵V1
[0095] 由静电力触觉感知力f静与静电力驱动信号电压矩阵V1函数关系f静=f(V1),根据一种实际受力曲线与切向静电触觉反馈力间的转换方法IP0.625,得到输入强度矩阵I:
[0096] I(i,j)=a×Fx(i,j)+b,
[0097] 其中Fx(i,j)为静电力矩阵中第i行、第j列的元素,I(i,j)为输入强度矩阵I中第i行、第j列的元素,a和b为函数的系数;
[0098] 进而计算出静电力驱动信号电压矩阵V1:
[0099] V1(i,j)=m×I(i,j)+n
[0100] 其中I(i,j)为输入强度矩阵I中第i行、第j列的元素,V1(i,j)为静电力驱动信号电压矩阵V1中第i行、第j列的元素,m和n为函数的系数;
[0101] (3)获得法向振动触觉反馈力矩阵Fy
[0102] 根据正弦凸起的深度图像,像素M×N,获得正弦凸起深度信息矩阵H,用振动触觉再现方法来提供法向力:
[0103] Fy(i,j)=H(i,j)×f2
[0104] 其中Fy(i,j)为振动触觉反馈力矩阵Fy中第i行、第j列的元素,H(i,j)为深度信息矩阵H中第i行、第j列的元素,f2为振动非零比例系数;
[0105] (4)计算振动驱动信号电压矩阵V2
[0106] 根据振动触觉感知力f振与振动驱动信号电压矩阵V2函数关系:f振=f(V2),由反函数计算得到振动驱动信号电压矩阵V2:
[0107] V2(i,j)=f-1(Fy(i,j))
[0108] 其中Fy(i,j)为振动触觉反馈力矩阵中第i行、第j列的元素,V2(i,j)为振动驱动信号电压矩阵中第i行、第j列的元素。
[0109] 本发明所述步骤4中,振动触觉感知力f振与振动驱动信号电压矩阵V2函数关系:f振=f(V2),是通过实验建立的振动触觉感知强度与驱动电压之间的心理物理模型得到的;如图8所示,具体表达为:
[0110] f振=0.7208V2-18.4
[0111] 本发明所述步骤2中,静电力触觉感知力f静与静电力驱动信号电压矩阵V1函数关系f静=f(V1),是通过实验建立静电力触觉感知强度与驱动电压之间的心理物理模型得到的,如图9所示,具体表达为
[0112] f静=0.00067V12+4.651
[0113] 步骤2应用一种实际受力曲线与切向触觉反馈力间的转换方法IP0.625,下面将结合具体实例及附图对IP0.625的转换方法做详细说明。
[0114] 静电力触觉感知力f静与静电力驱动信号电压矩阵V1函数关系f静=f(V1),得到当触觉感知强度取中间值时,对应的驱动信号电压为295V,根据信号输入强度与驱动信号电压间的函数关系:
[0115] I(i,j)=(V1(i,j)-120)÷280
[0116] 得到当触觉感知强度为中间值时对应的输入强度为0.625,由于输入强度有0.625的偏移,所以把这种转换方法叫做IP0.625,具体如下:
[0117] 将-1N至1N间的实际受力线性映射到0至1的静电触觉感知强度上,将-1N映射到最大的摩擦,0N映射到中等强度的摩擦,1N映射到最小强度的摩擦,即将图10所示手指实际受到的侧向力转换到图11所示输入强度的过程。结合所用实验装置的具体数据讲述,将静电力矩阵Fx中-1N的力映射到输入强度矩阵I中最大输入强度1,静电力矩阵Fx中0N的力映射到输入强度矩阵I中中等输入强度0.625,静电力矩阵Fx中1N的力映射到输入强度矩阵I中最小输入强度0,得到输入强度矩阵I与静电力矩阵Fx间具体关系表达式:
[0118] I(i,j)=-172Fx(i,j)+295,Fx(i,j)≥0
[0119] I(i,j)=-105Fx(i,j)+295,Fx(i,j)≤0
[0120] 其中Fx(i,j)为静电力矩阵中第i行、第j列的元素,I(i,j)为输入强度矩阵中第i行、第j列的元素;
[0121] 步骤1所述静电力非零比例系数f1、及步骤3所述振动非零比例系数f2,通过“一下一上”的实验方法测量得出,首先编写程序在融合静电力与振动触觉再现装置上实现所提触觉渲染方法,设置静电力触觉反馈与振动触觉反馈驱动信号幅度均为最大值,组织实验者按照“一下一上”的实验方法对比实物凸起找到渲染方法所能渲染的最高高度。
[0122] 利用一个实验者的一组数据对“以下一上”实验过程进行说明,如图12示,具体方法如下:实验过程中凸起高度先从6mm高度开始,实验者逐次做出评判,当实验者给出一个的正确的响应时,凸起高度以1mm的幅度逐次递减,直到参与者提交一个不正确的响应后,凸起高度停止减小,转变为从该高度开始以1mm的幅度逐次增加,凸起高度由下降转为上升或者由上升转为下降都称为是一次“反转”。该实验者在6mm和4mm之间以1mm为间隔经历三次反转后转变为以0.5mm为间隔增减,之后在4.5mm和4mm之间以0.5mm为间隔经历三次反转后转变为以0.2mm为间隔增减;最终在4.3mm和4.1mm之间以0.2mm为间隔经历十次反转,以获得尽可能准确的感知高度。即确定出静电力非零比例系数f1和振动非零比例系数f2的值。该比例系数由触觉反馈装置的力反馈性能决定,通过调整比例系数可以使渲染方法适用于不同触觉再现装置。
[0123] 通过上述方法在触摸屏上渲染3D凸起时,既保留了真实凸起不同凸凹间的高度差异,又保留了真实凸起不同波长间高度变化快慢的缓急,保证了法向触觉反馈力和切向触觉反馈力的同步再现,能够更真实的渲染虚拟凸起的轮廓感。
[0124] 以上通过实例对本发明所述的一种基于静电力与振动触觉再现装置的3D凸起渲染方法进行了详细说明,但本发明的具体实现形式并不局限于此。本领域的一般技术人员,可以在不背离本发明所述方法的精神和原则的情况下对其进行各种显而易见变化与修改。本发明的保护范围应以权利要求书所述为准。
高效检索全球专利

专利汇是专利免费检索,专利查询,专利分析-国家发明专利查询检索分析平台,是提供专利分析,专利查询,专利检索等数据服务功能的知识产权数据服务商。

我们的产品包含105个国家的1.26亿组数据,免费查、免费专利分析。

申请试用

分析报告

专利汇分析报告产品可以对行业情报数据进行梳理分析,涉及维度包括行业专利基本状况分析、地域分析、技术分析、发明人分析、申请人分析、专利权人分析、失效分析、核心专利分析、法律分析、研发重点分析、企业专利处境分析、技术处境分析、专利寿命分析、企业定位分析、引证分析等超过60个分析角度,系统通过AI智能系统对图表进行解读,只需1分钟,一键生成行业专利分析报告。

申请试用

QQ群二维码
意见反馈