首页 / 专利库 / 视听技术与设备 / 运动估计 / 基于增强现实的虚实碰撞检测及响应方法

基于增强现实的虚实碰撞检测及响应方法

阅读:424发布:2021-02-28

专利汇可以提供基于增强现实的虚实碰撞检测及响应方法专利检索,专利查询,专利分析的服务。并且本 发明 公开了一种基于 增强现实 的虚实 碰撞检测 及响应方法。该方法的操作步骤为:①对摄像头获得的实际物体进行预处理;②进行实际物体姿势估计和 运动估计 ;③根据虚拟物体质心到碰撞平面的 位置 关系进行虚实碰撞检测;④根据检测结果进行虚实碰撞响应;⑤ 修改 虚拟图形并 渲染 输出。该方法仅计算实际物体四个特征点的三维碰撞检测方法,就能获得较真实的三维虚实碰撞响应效果,计算复杂度较低,实现了基于单目视觉的三维虚实碰撞检测与响应。,下面是基于增强现实的虚实碰撞检测及响应方法专利的具体信息内容。

1.一种基于增强现实的虚实碰撞检测及响应方法,其特征在于,操作步骤为:①对摄像头获得的实际物体进行预处理,②进行实际物体姿势估计和运动估计,③根据虚拟物体质心到碰撞平面的位置关系进行虚实碰撞检测,④根据检测结果进行虚实碰撞响应,⑤修改虚拟图形并渲染输出。
2.根据权利要求1所述基于增强现实的虚实碰撞检测及响应方法,其特征在于所述步骤①,对摄像头获得的实际物体预处理过程是:对关键进行图像分割、特征点提取,获得屏幕坐标系中特征点的坐标集;具体步骤操作步骤如下:
(1)、通过单目摄像头获取实际物体的关键帧图像;
(2)、输入捕获的图像;
(3)、对图像进行肤色检测;
(4)、对步骤(3)处理结果进行连通域检测;
(5)、计算连通域面积并去除小面积的区域;
(6)、通过掌纹的特征,进行四个矩形分布的特征点提取;
(7)、预处理过程结束。
3.根据权利要求1所述基于增强现实的虚实碰撞检测及响应方法,其特征在于,所述步骤②进行实际物体姿势估计和运动估计的方法是:通过计算世界坐标系到屏幕坐标系的变换矩阵,获得对应点的坐标,计算碰撞平面法向量进行实际物体姿势估计,并对当前时刻的实际物体进行运动估计;具体操作步骤如下:
(8)、实际物体的姿势估计和运动估计过程开始;
(9)、根据步骤①获得的特征点,计算变换矩阵;
(10)、计算特征点在世界坐标系中的坐标;
(11)、计算特征点构成的碰撞平面的单位法向量 ;
(12)、根据步骤(10)获得结果,计算碰撞平面的质心;
(13)、根据碰撞平面的质心计算实际物体的运动向量 ;
(14)、实际物体的姿势估计和运动估计过程结束。
4.根据权利要求1所述基于增强现实的虚实碰撞检测及响应方法,其特征在于,所述步骤③中进行虚实碰撞检测的方法是:将虚拟物体近似为一个球体,虚拟物体与实际物体碰撞近似为球与平面的碰撞;虚拟物体球的质心到碰撞平面的距离即是质心到特征点的向量在平面法向量上的投影,此时虚实碰撞检测的前提条件就是此距离不大于球的半径;如不满足前提条件即可判定不产生虚实碰撞,当满足此条件,则计算出质心在碰撞平面的投影,并且判断其是否在特征点所围成的碰撞区域内部;如果满足条件,则碰撞点在碰撞区域内部,未满足条件则计算此质心投影到碰撞区域边缘的距离是否小于等于球的半径;如果不满足条件,则不发生虚实碰撞,如满足条件,则计算虚拟物体的质心的位置是否在两特征点之间;满足条件则碰撞点的位置在碰撞区域边缘,如不满足条件,则继续计算虚拟物体的质心到任意四个特征点之一的距离是否小于等于球的半径;满足条件,则发生碰撞,碰撞点位置在此特征点上,不满足则不产生虚实碰撞;具体操作步骤如下:
(15)、碰撞检测过程开始;
(16)、虚拟物体质心到碰撞平面的距离d是否满足条件d≤τr ?如果满足,则转步骤(17),否则转步骤(22);
(17)、计算虚拟物体质心在碰撞平面的投影G’是否在四个特征点围成的碰撞区域内?如果是在碰撞区域内,则转步骤(21),否则转步骤(18);
(18)、计算步骤(17)所得投影G’到碰撞区域边缘的距离 是否满足条件 ≤τr ?如果满足,则转步骤(19),否则转步骤(22);
(19)、虚拟物体的质心,在任意两特征点组成的碰撞边缘线上的投影,是否在两特征点之间?是则转步骤(21),否则转步骤(20);
(20)、虚拟物体的质心到任意四个特征点之一的距离 是否满足条件 ≤τr?是则转步骤(21),否则转步骤(22);
(21)、发生了虚实碰撞;
(22)、碰撞检测过程结束。
5.根据权利要求1所述基于增强现实的虚实碰撞检测及响应方法,其特征在于,所述步骤④中的虚实碰撞响应的方法是:如未发生虚实碰撞,则下一帧虚拟物体的运动向量与此帧虚拟物体的运动向量相同;如发生了虚实碰撞,计算碰撞平面的法向量与虚拟物体的运动向量夹是否在90°到180°间,在此区间则下一帧虚拟物体的运动向量等于虚拟物体运动向量在碰撞平面法向量上的投影向量、虚拟物体运动向量与冲量之和;不在区间内则下一帧虚拟物体的运动向量为此刻虚实物体运动向量之和;具体操作步骤如下:
(23)、碰撞响应过程开始;
(24)、计算虚拟物体的运动向量 ;
(25)、是否发生了虚实碰撞?是则转步骤(26),否则转步骤(28);
(26)、碰撞平面的法向量与虚拟物体的运动向量夹角在(90°,180°]?夹角处在其间,则转步骤(27),否则转步骤(29);
(27)、下一帧虚拟物体的运动向量
,转步骤(30);
(28)、下一帧虚拟物体的运动向量 ,转步骤(30);
(29)、下一帧虚拟物体的运动向量
(30)、碰撞响应过程结束。
6.根据权利要求1所述基于增强现实的虚实碰撞检测及响应方法,其特征在于,所述步骤⑤修改虚拟图形并渲染输出是:根据虚实碰撞响应结果,计算虚拟物体的运动,根据增强现实技术进行虚拟物体注册,最后进行渲染输出。

说明书全文

基于增强现实的虚实碰撞检测及响应方法

技术领域

[0001] 本发明涉及的是一种增强现实虚实碰撞技术,具体地说是一种基于增强现实应用的单目视觉的任意形状虚拟物体对实际物体碰撞检测及响应的方法。
[0002] 背景技术随着人们对交互体验的要求不断增强,增强现实(Augmented Reality,AR)应用已获得快速发展。而基于视觉的AR系统因为对硬件要求不高已成为应用主流。在增强现实系统及应用中,真实物体与虚拟对象进行交互,虚实碰撞问题无可避免。准确的虚实碰撞检测及响应能使AR应用更加自然、真实,从而使自由的虚实人机交互成为可能。早期的AR系统,一般使用标记来帮助注册定位。因为自然交互的要求,无标记的AR系统已有很大发展。并且将AR应用移植到移动设备上已成流行趋势,这些都对虚实碰撞检测及其响应算法提出了更高的要求。
[0003] 对于碰撞检测研究,如中国专利:其名称为“一种基于平衡二叉树的大规模虚拟场景碰撞检测方法”,申请号CN200910086719.0;中国专利:其名称为“面向复杂场景实时交互操作的并行碰撞检测方法”,申请号CN200710043743.7;中国专利:其名称为“一种在服务器端实现三维游戏碰撞检测的方法”,申请号CN200710117826.6。这些碰撞检测方法首先是针对大规模复杂的虚拟场景的碰撞检测方法,是虚拟物体对虚拟物体的碰撞检测方法,不适合虚拟物体对实际物体的碰撞检测。其次,这些碰撞检测方法依靠硬件实现,不适合于移植到移动设备的要求。中国专利:其名称为“使用剪切的实时碰撞检测”,申请号CN200780048182.8;中国专利:其名称为“一种基于椭球体扫描的连续碰撞检测方法”;申请号CN200910087900.3;中国专利:其名称为“一种基于四叉包围盒树的柔性织物自碰撞检测方法”,申请号CN200910087902.2;中国专利:其名称为“一种基于剖分的并行碰撞检测方法”,申请号CN200810202774.7。这些碰撞检测算法主要针对的是虚拟场景中的虚拟物体对虚拟物体的碰撞检测,不适合增强现实中的虚拟物体对实际物体的碰撞检测。
[0004] 目前,国内外还没有利用基于单目视觉的三维虚实碰撞碰撞检测及响应的研究和报道。上述专利及相关研究皆依靠硬件设备,或者仅针对虚拟现实进行研究,并未使用廉价的单摄像头进行虚实碰撞研究。即使虚实碰撞的研究成果,也仅针对二维的情况,并且难以扩展到三维环境。
[0005] 发明内容鉴于以上所述现有技术存在的问题和不足,本发明的目的在于提供一种基于增强现实的虚实碰撞检测及响应方法,该方法能通过单摄像头拍摄实际画面,通过简单的图像分割、特征点提取,获得实际物体平面特征点坐标。再计算虚拟物体质心到碰撞平面的距离进行碰撞检测,最终估计出下一虚拟物体的运动。该方法能够通过简单的单一摄像头处理三维虚实碰撞问题。
[0006] 为达到上述目的,本发明采用下述技术构思:根据摄影原理、计算机视觉技术和光学技术,将实时获取实际物体的数据进行分析,将虚实物体进行对位,处理虚拟物体与实际物体碰撞三维问题。
[0007] 根据上述技术构思,本发明采用以下技术方案:一种基于增强现实的虚实碰撞检测及响应方法,其特征在于操作步骤为:①对摄像头获得的实际物体进行预处理,②进行实际物体姿势估计和运动估计,③根据虚拟物体质心到碰撞平面的位置关系进行虚实碰撞检测,④根据检测结果进行虚实碰撞响应,⑤修改虚拟图形并渲染输出。上述步骤原理如下:①、通过摄像头获得实际物体的关键帧图像,通过基于肤色的图像分
割、并通过根据手掌掌纹进行特征点提取,获得屏幕坐标系中特征点的坐标 、 ,这些特征点数量为4点,分布规律呈正方形。
[0008] ②、通过世界坐标系到屏幕坐标系的转换公式计算世界坐标系中的对应点。世界坐标系与屏幕坐标系坐标转换公式如下:;
其中, 是世界坐标系( , , )到摄像头坐标系( , , )的变换
矩阵。在 中 为选择矩阵, 为平移矩阵。在获得特征点后,通过获得碰撞平面的法向量 ;获得 后,计算出质心C( )。则求得t时刻的
实际物体的运动向量 。
[0009] ③、利用上述特征点和实际物体姿势估计和运动估计结果进行虚实碰撞检测。虚拟物体近似为一个球体,虚拟物体与实际物体碰撞看作是球与平面的碰撞。虚拟物体球的质心G到碰撞平面的距离即是向量 在法向量 上的投影d。此时碰撞检测的前提条件是:;
其中r为球的半径,τ为G到碰撞平面Π的距离占r的比例。如不满足条件即不产生虚实碰撞。当满足此条件,则计算出质心G在碰撞平面的投影G’。并且判断是否G’在有特征点 所围成的碰撞区域内部:

如果满足此条件则,碰撞点在碰撞区域内部,未满足条件则计算G’到碰撞区域边缘的距离 是否满足条件 ≤τr。例如计算G’到边缘 的情况,则计算下式:

如果不满足上式则不发生虚实碰撞。如满足条件则计算是否虚拟物体的质心G在两特征点之间。在则说明碰撞点在碰撞区域边缘,如不满足条件,则继续计算条件虚拟物体的质心到任意四个特征点之一的距离 是否满足条件 ≤τr。满足条件则发生碰撞,碰撞点在此特征点。不满足则说明不产生虚实碰撞。
[0010] ④、利用上述虚实碰撞检测结果进行虚实碰撞响应。如果未发生虚实碰撞,则下一帧虚拟物体的运动向量 与此帧虚拟物体的运动向量 相同。如发生了虚实碰撞,则计算碰撞平面的法向量与虚拟物体的运动向量夹是否在90°到180°之间。在其区间中,则 ,其中 为冲量;不在区间之间则
⑤、利用上述碰撞响应结果,计算虚拟物体的运动,根据增强现实技术进行虚拟物体注册,最后进行虚拟物体渲染并显示输出,进行新的循环。
[0011] 本发明与现有技术相比较,具有如下显而易见的突出特点和显著优点:本发明采用单摄像头捕捉画面,并根据技术成熟的关键帧提取、图像分割、特征点提取技术进行预处理,通过虚拟物体质心与碰撞平面四个特征点之间的关系进行碰撞检测及响应。不仅能够进行三维的虚实碰撞,并且碰撞检测的计算量大大降低。并且只使用单个摄像头便能进行三维注册,比以往使用多摄像头的更加简便、更加节省硬件开销。此外,算法的低复杂性使虚实碰撞移植到只有单摄像头的移动设备上成为可能。
[0012] 附图说明图1为本发明基于增强现实的虚实碰撞检测及响应方法程序框图
[0013] 图2为实施例的获取的实际物体的数据预处理的流程图
[0014] 图3为实施例的实际物体姿势估计和运动估计的流程图。
[0015] 图4为实施例的虚实碰撞检测的流程图。
[0016] 图5为实施例的虚实碰撞响应的流程图。

具体实施方式

[0017] 以下结合附图对本发明的实施例作进一步的详细说明。
[0018] 本发明的一个具体优选实施例,如图1所示,上述基于增强现实的虚实碰撞检测及响应方法包括步骤如下:①、实时获取实际物体的数据进行预处理,获得实际物体的特征点;
②、实际物体的姿势估计和运动估计;
③、虚实物体球对面碰撞检测过程;
④、虚实物体球对面碰撞响应过程;
⑤、渲染输出。
[0019] 上述步骤①要求,实时获取单目摄像头捕捉到的数据进行处理,如图2所示,其具体步骤如下:(1)、通过单目摄像头获取实际物体的关键帧图像;
(2)、输入捕获的图像;
(3)、对图像进行肤色检测;
(4)、对步骤(3)处理结果进行连通域检测;
(5)、计算连通域面积并去除小面积的区域;
(6)、通过掌纹的特征,进行四个矩形分布的特征点提取;
(7)、预处理过程结束。
[0020] 上述步骤②所述的实际物体的姿势估计和运动估计,如图3所示,在特征点获得以后进行碰撞平面单位法向量与实际物体的运动向量的计算,其具体步骤如下:(8)、实际物体的姿势估计和运动估计过程开始;
(9)、根据步骤①获得的特征点,计算变换矩阵;
(10)、计算特征点在世界坐标系中的坐标;
(11)、计算特征点构成的碰撞平面的单位法向量 ;
(12)、根据步骤(10)获得结果,计算碰撞平面的质心;
(13)、根据碰撞平面的质心计算实际物体的运动向量 ;
(14)、实际物体的姿势估计和运动估计过程结束。
[0021] 上述步骤③所述的碰撞检测过程,根据上述实际物体的姿势估计和运动估计的结果,通过一系列的判断条件确定是否发生虚实碰撞,如图4所示,其具体步骤如下:(15)、碰撞检测过程开始;
(16)、虚拟物体质心到碰撞平面的距离d是否满足条件d≤τr ?如果满足,则转步骤(17),否则转步骤(22);
(17)、计算虚拟物体质心在碰撞平面的投影G’是否在四个特征点围成的碰撞区域内?如果是在碰撞区域内,则转步骤(21),否则转步骤(18);
(18)、计算步骤(17)所得投影G’到碰撞区域边缘的距离 是否满足条件 ≤τr ?如果满足,则转步骤(19),否则转步骤(22);
(19)、虚拟物体的质心,在任意两特征点组成的碰撞边缘线上的投影,是否在两特征点之间?是则转步骤(21),否则转步骤(20);
(20)、虚拟物体的质心到任意四个特征点之一的距离 是否满足条件 ≤τr?是则转步骤(21),否则转步骤(22);
(21)、发生了虚实碰撞;
(22)、碰撞检测过程结束。
[0022] 上述步骤④所述的碰撞响应过程,根据碰撞检测结果,进行虚拟物体下一帧运动向量的计算,如图5所示,其具体步骤如下:(23)、碰撞响应过程开始;
(24)、计算虚拟物体的运动向量 ;
(25)、是否发生了虚实碰撞?是则转步骤(26),否则转步骤(28);
(26)、碰撞平面的法向量与虚拟物体的运动向量夹角在(90°,180°]?夹角处在其间,则转步骤(27),否则转步骤(29);
(27)、下一帧虚拟物体的运动向量
,转步骤(30);
(28)、下一帧虚拟物体的运动向量 ,转步骤(30);
(29)、下一帧虚拟物体的运动向量
(30)、碰撞响应过程结束。
[0023] 上述步骤⑤所述的渲染输出过程,是根据步骤④获得的虚拟物体的运动向量计算虚拟物体的运动,修改虚拟图形,根据增强现实技术进行虚拟物体注册,并渲染输出,从而达到虚拟物体与实际物体碰撞的效果。
高效检索全球专利

专利汇是专利免费检索,专利查询,专利分析-国家发明专利查询检索分析平台,是提供专利分析,专利查询,专利检索等数据服务功能的知识产权数据服务商。

我们的产品包含105个国家的1.26亿组数据,免费查、免费专利分析。

申请试用

分析报告

专利汇分析报告产品可以对行业情报数据进行梳理分析,涉及维度包括行业专利基本状况分析、地域分析、技术分析、发明人分析、申请人分析、专利权人分析、失效分析、核心专利分析、法律分析、研发重点分析、企业专利处境分析、技术处境分析、专利寿命分析、企业定位分析、引证分析等超过60个分析角度,系统通过AI智能系统对图表进行解读,只需1分钟,一键生成行业专利分析报告。

申请试用

QQ群二维码
意见反馈