首页 / 专利库 / 牙科学 / 咬合记录 / 三维数字放大镜手术支持系统

三维数字放大镜手术支持系统

阅读:45发布:2020-12-09

专利汇可以提供三维数字放大镜手术支持系统专利检索,专利查询,专利分析的服务。并且为了提供通过合成固定显示于被拍摄物上的三维计算机图形的状态,以及由拍摄空间的状态变化而产生的对于三维计算机图形的间接影响,来表示关于实空间中被拍摄物状态变化的仿真的系统,将存在于同一空间内被拍摄物体,通过形状图案识别,从立体测量的表面多边形模型(2)中检出和表面多边形模型(1)的三维形状相似的表面多边形模型,追踪计算机图形,随着在实际的三维空间中引起的该被拍摄物体和 照相机 的相对 位置 变化,将相同于实际的相对位置变化的计算机图形影像表示再拍摄影像上,藉此,将照相机 视野 内的被拍摄物体和虚拟的三维计算机图形影像一体化显示。,下面是三维数字放大镜手术支持系统专利的具体信息内容。

1.一种三维数字放大镜放大真实手术支持系统,用于再现施术者通过肉眼或者光学的放大镜视觉识别对象时的视野状况相同的视野状况,所述系统包括:
三维数字放大镜,包括:
一对双眼视影像显示装置,配置在所述施术者的双眼视线上,以作为最小构成;
立体配置照相机,从在影像显示装置背面的相当于双眼瞳孔中央部分的位置,朝向视野方向安装;
使用三维数字放大镜的左右拍摄影像并使用立体法立体测量获得的第二表面多边形模型;
由事先以断层摄影法取得的施术对象或生物体的二维切片数据建构的各构成要素的第一表面多边形模型;
利用所述一对双眼视影像显示装置、所述立体配置照相机、所述第二表面多边形模型及所述第一表面多边形模型,通过形状图案识别,检测出所述三维数字放大镜前方视野拍摄影像上的第二表面多边形模型和第一表面多边形模型中的三维形状相似的表面多边形模型,将所述第一表面多边形模型本身进行重叠,
通过针对映像到所述第一表面多边形模型内部构造构成要素组织的虚拟三维体积模型计算机图形绘图进行追踪,
用三维体积模型计算机图形绘图覆盖存在于施术者三维数字放大镜视野内的作为施术对象的物体或者生物体部分或全部影像,
用虚拟三维体积模型计算机图形绘图的内部构造构成要素影像来表现显示于三维数字放大镜的物体的内部构造的不可见区域,并且,随着在拍摄空间中照相机和物体的三维位置变化,虚拟三维体积模型计算机图形绘图及时变更布局,关于真实空间中被拍摄物的状态变化的模拟,是通过模拟显示重叠于被拍摄物上的三维计算机图形绘图的状态,以及由拍摄空间的状态变化而产生的对于三维计算机图形绘图的间接影响。
2.如权利要求1所述的三维数字放大镜放大真实手术支持系统,其中:
构造构成要素的第一表面多边形模型的轮廓或者特征点或线被映像和追踪到影像数据,其中所述构造构成要素的第一表面多边形模型是由事先由断层摄影法取得的施术对象或生物体的二维切片数据建构的,所述影像数据是由三维数字放大镜的各个左右照相机摄取的影像数据,
使得映射到所述第一表面多边形模型的内部构造构成要素组织的各内部构成要素中的任意三维计算机图形绘图随着分别显示在双眼视影像显示装置的左右的对象实体影像动作,关于真实空间中被拍摄体的状态变化的模拟是通过显示在用三维数字放大镜立体观察的对象实体上重叠显示的通过两眼视差而具有如同浮在拍摄空间上的临场感的被拍摄物体内部构造三维计算机图形绘图的状态,以及,拍摄空间状态变化对三维计算机图形绘图造成的间接影响。
3.如权利要求1或2所述的三维数字放大镜放大真实手术支持系统,其中:
将与拍摄空间中的被拍摄体影像重叠配置的三维计算机图形绘图影像层次化为构造上的或者解剖的构成要素分割的各自的三维计算机图形绘图,将复合成影像相对于物体影像进行位置补正追踪,其中所述复合成影像为包含物体影像的所述各层次单独或选择地组合而成的合成显示的影像,在不显示物体影像层次的情况下,如同裸眼视野或光学的放大镜的肉眼视野一样,通过对于在三维数字放大镜的视线方向上识别的虚拟三维计算机图形绘图的视觉,以及对于实体的触觉,来对实体直接施行手术。
4.如权利要求3所述的三维数字放大镜放大真实手术支持系统,其中:
为了改进拍摄影像和合成影像的视觉认知性,对拍摄影像或三维计算机图形绘图影像,或对所述拍摄影像及三维计算机图形绘图影像施以色相、彩度、明度、遮光、照明方向中至少一个要素的影像处理,或者通过映像、虚线消去框表示、亮灭表示的表现手法来重叠覆盖,针对显示给所述施术者三维数字放大镜的作为施术对象的物体或生物体的影像数据设定差异,以进行提高视觉认知性的合成影像位置补正追踪。
5.如权利要求1或2所述的三维数字放大镜放大真实手术支持系统,其中:
将立体配置照相机影像分别显示在一对双眼视影像显示装置上,将虚拟三维体积模型计算机图形绘图重叠层次显示在通过左右视差角而立体观看实体影像的三维数字放大镜监视器的单侧影像显示装置上,藉此用虚拟三维体积模型计算机图形绘图的内部构造构成要素影响来表现显示于立体视觉的三维数字放大镜视野影像上的实体影像的不可见区域。
6.如权利要求1所述的三维数字放大镜放大真实手术支持系统,其中:
根据三维数字放大镜的光学式或者数字式的放大率,用立体照相机以两点测量设定在三维数字放大镜的立体配置照相机的影像数据中的对象实体的任何位置的4个标记,从照相机和实体的距离来测定实体三维形状的表面多边形模型的三维位置,并且,改变生物体影像之后,映像三维体积模型计算机图形绘图,同时进行实时追踪,改变病患解剖学的CG及对象物的显示位置、方向、大小,并将其合成显示于三维数字放大镜的监视器的左右影像显示装置上。
7.如权利要求1或2所述的三维数字放大镜放大真实手术支持系统,其中:
在使用所述系统时,在监视器显示三维计算机图形绘图体积模型所在的视野方向,其中所述三维计算机图形绘图体积模型为三维数字放大镜监视器显示范围外的对象物或患者解剖学特定部位的三维计算机图形绘图体积模型,在使用高数字放大率的情况下,使得三维计算机图形绘图体积模型的三维数字放大镜监视器显示范围外的对象物或患者解剖学目标部位存在的方向,在影像显示装置的边缘闪烁,或者以箭头表示方向指示,或者在分画表示影像中,在表示缩小全体的全体影像中以框围出表示部分的影像部分。
8.如权利要求1或2所述的三维数字放大镜放大真实手术支持系统,其中:
在使用所述系统时,使得通过登录布局并随之移动的关节或组织而连结到三维数字放大镜监视器上的病患实体的各患者解剖学CG体积模型运动的情况下,将单独对患者实体登录布局连动的任意CG体积模型固定在运动轨道上的任意位置对于特定的CG体积模型的相对位置上,和该病患实体连动的特定CG体积模型一体化并连动。
9.如权利要求1或2所述的三维数字放大镜放大真实手术支持系统,其中:
在利用所述系统施行手术的情况下,用手术器具将患者实体切开、切削、切除以产生形态变化的情况下,对该手术器具登录布局并连动的手术器具CG体积模型,对于患者解剖的CG画素体积模型进行布尔运算处理,使得对该患者实体登录布局并连动的患者解剖学CG体积模型将和被切开的实体同样的视觉变化显示在患者解剖学CG体积模型中的实体不可见区域。
10.如权利要求1或2所述的三维数字放大镜放大真实手术支持系统,其中:
在利用所述系统施行手术的情况下,三维数字放大镜和患者的距离对于三维数字放大镜三维数字放大镜监视器上的对患者实体登录布局并连动的患者解剖学CG体积模型固定于三维数字放大镜或区域指示器具上的任意的表面模型区域重叠,以布尔算法将该重叠部分消除,以预设的断面显示范围为一个单位来显示患者解剖学CG画素体积模型断面,或者,依据任意设定的三维数字放大镜和患者实体的距离将切取范围变化的所述患者解剖学CG画素体积模型断面实时显示。
11.如权利要求9所述的三维数字放大镜放大真实手术支持系统,其中:
维持显示于连接到个人计算机的三维数字放大镜监视器或普通监视器的术野实体或指示器具的各相对位置关系的虚拟三维体积模型计算机图形绘图上,在同一个人计算机接口上的6轴方向上将可控制的任意表面模型区域重叠,用布尔算法消除该重叠部分,显示该虚拟三维体积模型计算机图形绘图的断面,同时反映在施术者三维数字放大镜影像显示装置上的虚拟三维体积模型,藉此,第三者显示视觉的指导影像以执行在施术者视野立体影像中具有临场感的视觉指示。
12.如权利要求1或2所述的三维数字放大镜放大真实手术支持系统,其中:
分别记录保存从事先由断层摄影法取得的施术对象物体或生物体的二维切片数据建构的牙齿颚骨及颚颜面,个别部分的第一表面多边形模型,
在以立体法立体测量三维数字放大镜拍摄的牙齿及口腔的第二表面多边形模型上,将所述三维数字放大镜前方视野拍摄影像上的第二表面多边形模型中的和个别部分的第一表面多边形模型三维相似形状的表面多边形模型分别以形状图案识别个别检测出之后,将所述个别部分的第二表面多边形模型重叠,
追踪与所述第一表面多边形模型组织映像的各牙齿,颚骨的虚拟三维体积模型计算机图形绘图,
藉此,三维视觉是在三维数字放大镜影像显示装置中的口腔内黏膜下不可见区域的颚骨和颚骨内残存牙齿牙根的状态,并且将齿列状态记录储存为三维计算机图形绘图。
13.如权利要求12所述的三维数字放大镜放大真实手术支持系统,其中:
将再构成三维表面模型和组织映像的各牙齿三维体积模型计算机图形绘图的治疗目标理想拱形齿列影像,追踪颚颜面和照相机的三维相对位置变化并显示于三维数字放大镜监视器所显示的口腔内,并具有治疗目标V.T.O.的表示记录储存功能。
14.如权利要求1或2所述的三维数字放大镜放大真实手术支持系统,其中:
使用所述系统,在存在于施术者三维数字放大镜视野内的尺寸框的组织映像的作为施术对象的物体或生物体或者器具上,覆盖事先设计的三维体积模型计算机图形绘图手术导引,
将器具对于显示于三维数字放大镜的实体内部构造不可见区域的三维前进方向,以虚拟三维体积模型计算机图形绘图手术导引表示,并且,追踪在拍摄空间中照相机和实体的相对三维位置变化,实时显示虚拟三维体积模型计算机图形绘图三维体积模型计算机图形绘图手术导引影像并变更追踪布局。
15.如权利要求1或2所述的三维数字放大镜放大真实手术支持系统,其中:
使得对下颚骨登录布局连动的下颚骨CG体积模型的左右间接头以虚拟蝶幡轴的直线连结开闭运动,一边在监视器上确认未发生所述虚拟蝶幡轴运动时的残影变位的左右下横断线,一边通过设定该横断线以求出下颚头的中心,在监视器上确认从所述中心位开始的下颚运动并在监视器上以图形表示正确的运动轨迹,将下颚运动记录为三维的数据,藉此在监视器上构成虚拟咬合器。
16.如权利要求1或2所述的三维数字放大镜放大真实手术支持系统,其中:
所述立体法立体测量包括:被动立体法,用发光二极管点燃发光的点发光法;或者主动立体法,用通过做出对应点的缝隙的直线光,使光扫描以得到对象的断面,并取得实体的形状的缝隙光投影法,或者,将能够判断拍摄装置影像内的坐标的图案模式投影在实体上,以求出进深的图案光投影法,藉此对实体影像实施立体法立体测量以得到第二表面多边形模型的情况下,使得因为二极管发光或图案投影而受到影响的前方视野拍摄影像不显示,使得追踪拍摄的实体的施术对象物体或生物体影像的虚拟三维体积模型计算机图形绘图仅表示三维计算机图形绘图影像,利用虚拟三维体积模型计算机图形绘图的视觉识别,以及对于拍摄中的实体施术对象物体或生物体的直接或间接的触觉,对等同于实体的被拍摄物进行手术。
17.如权利要求1所述的三维数字放大镜放大真实手术支持系统,其中:
不管左右照相机的实体空间拍摄影像,及三维计算机图形绘图影像数据在实体拍摄中显示与否,影像数据为各层次分别储存,所述各层次的影像以单独或选择性地组合输出,显示在三维数字放大镜或普通监视器上,将维持经时的形状变化的三维计算机图形绘图记录数据,在监视器上自由地操作为倾斜,全景,缩放,在回转的6个轴方向自由回转移动。
18.如权利要求1所述的三维数字放大镜放大真实手术支持系统,其中:
将整个三维计算机图形绘图影像场景以二维的数字放大镜照相机的实体影像中覆盖的实体影像空间上的影像作为背景,将虚拟现实的三维计算机图形绘图影像及其内部构造,以所述二维的数字放大镜照相机的实体影像为光源照亮,藉此,做出光拟真的合成影像。
19.如权利要求1或2所述的三维数字放大镜放大真实手术支持系统,其中:
当左右照相机的实体空间拍摄影像和三维计算机图形绘图影像框架交互显示时,各自的一秒内的表示图框数量是可调整的,在覆盖显示的情况下,左拍影像,右拍影像,或者三维计算机图形绘图影像的三维数字放大镜左和右显视器显示比例是可调整的,藉此可以调整双眼视觉影像识别。
20.一种使用三维数字放大镜的非治疗目的的手术支持方法,该方法使用:
三维数字放大镜,包括:
施术者和助手分别穿戴的三维实体数字放大镜,
一对双眼视影像显示装置,配置两眼的视线上,和
从在影像显示装置后面的相当于两眼瞳孔中央部的位置,向视野方向安装的立体配置照相机;以及
利用三维数字放大镜的左右拍摄影像,使用立体法立体测量法得到的第二表面多边形模型,
事先由断层摄影法获得的施术对象物体或者生物体的二维切片数据构成的各构造构成要素的第一表面多边形模型,
其中:
所述三维数字放大镜前方视野拍摄影像上的第二表面多边形模型中的和各第一表面多边形模型三维相似形状的表面多边形模型,以形状图案识别分别检出之后,将第一表面多边形模型重叠,
通过追踪将内部构造构成要素组织映像到所述第一表面多边形模型的虚拟三维体积模型计算机图形绘图;或者
将构成第一表面多边形模型的轮廓或特征点或线映像追踪到三维数字放大镜左右各照相机拍摄的影像数据,或者
通过使得将内部构造构成要素组织映像到所述第一表面多边形模型的各内部构成要素中的任意三维体积模型计算机图形绘图在两眼视影像显示装置中左右分别表示的对象实体影像连动,
将存在于施术者三维数字放大镜视野内的作为施术对象的物体或生物体影像的一部分或全体,用三维体积模型计算机图形绘图覆盖,
所述方法用于用虚拟三维体积模型计算机图形绘图的内部构造要素影像来表现显示于三维数字放大镜的实体的内部构造不可见区域的用于医科手术或其它精密技术支持,追踪同一拍摄空间中施术者及助手分别穿戴的三维实体数字放大镜照相机和实体的相对三维位置变化,实时显示虚拟三维体积模型计算机图形绘图三维体积模型计算机图形绘图手术导引影像并变更追踪布局,藉此,关于实空间中被拍摄物的状态变化的模拟包含与被拍摄物重叠显示的三维计算机图形绘图状态,以及由拍摄空间状态的变化引起的对于三维计算机图形绘图的间接引想的模拟,
利用施术者及助手穿戴的一对同一规格且同步化的三维数字放大镜,指导者将追踪助手穿戴的三维实体数字放大镜的视野方向照相机捕捉到的施术者视野三维被拍摄物影像及覆盖于该被拍摄物影像的三维体积模型计算机图形绘图的影像,
反过来,助手将追踪指导者穿戴的三维实体数字放大镜的视野方向照相机捕捉到的施术者视野三维被拍摄物影像及覆盖于所述被拍摄物影像的三维体积模型计算机图形绘图的影像,
于彼此的三维实体数字放大镜监视器画面上分画显示。

说明书全文

三维数字放大镜手术支持系统

技术领域

[0001] 本发明系涉及,当外科在手术中的最小侵入手术中接近看不见的区域时,为了提升安全和可靠性,而显示手术中的病患位置和操作手术器具之间的位置关系的医疗用导航手术支持系统。更具体地,本发明涉及三维数字放大镜手术支持系统,其在利用三维数字放大镜立体识别的实体(病患身体和手术器具)的影像上,重叠显示该实体的不可见区域或外形的三维计算机影像,以将实体影像及虚拟三维计算机影像整个一体化并立体识别。

背景技术

[0002] 在以前,在外科手术中接近看不见的区域时,通过观察X光、超音波、磁等非破坏检查数据为基础而构成的二维或三维影像数据,以记忆储存物体的内部构造或生物各个的解剖学形状及其位置关系的影像,在手术时依据这些储存的影像导向,将其重叠于实体的视野影像来进行手术。尤其是在例如单纯骨折或完全关节脱臼的复位处理的一般的非观血手术中,是根据施术者经验的三维影像及手指的感觉来进行的。此种细致的人的三维感觉会随着累积经验熟练而提升,但是,只能通过手术后的三维影像数据来评估非观血处理的正确与否。另外,如果用观血的手术来进行视线不良的体内的手术场合时,若失去方向就会朝错误的方向进行,从而难免造成不必要的组织损伤。为了避免像这样的危险性,实时测量进行手术的患者和手术器具的三维位置,并将其和术前拍摄的CT和MRI的影像进行重叠显示,这样,即使是初学者也能容易地到达目标,从而对手术提供安全性、可靠性。使用像这样的计算机测量装置,不只是应用在脑神经外科,还能应用在头颈部外科、整形外科领域,并已提出在术中拍摄MRI、更新影像讯息,同时进行导航的方法。

发明内容

[0003] 发明欲解决的课题
[0004] 不过,如前所述,在术前拍摄的CT和MRI的影像上重叠显示的影像基础导航系统的情况下,为了在CT和MRI的摄影影像上显示感测标示的位置,必须事先在CT和MRI的摄影时安装感测标记再进行拍摄,在手术时于摄影时同一位置上再装上感测标记,然后实时测量三维位置。要进行正确的追迹,除了感测标记固定方法、固定位置再现性问题之外,再加上患者和影像位置的初始登录作业(注册)需要烦琐的调整工作,并且实际的追迹精度随着传感器本身的精度而变动,所以再放大影像上进行处理的时候,追迹精度和术野影像的放大率成比例并在显示器上和扩大率成反比地增加。
[0005] 因此,有些方法为了提升位置精度和修正处理中的感测标记的偏移,在术中拍摄MRI、更新影像讯息的同时,进行注册即追迹,不过,由于断层摄影需要一定的时间,就实时的观点言之,这并不适合对于有手术时间限制的外科。
[0006] 不过,所有的这些导航系统,基本上是把CT和MRI的影像重叠在手术中患者位置上、并针对手术器具的计算机图形追迹显示,前述手术器具操作而造成的器具的生物内的到达状况,均由显示在固定二维显示器上的虚拟影像上进行。从而,用显示器是无法确认因为处理而在患者(实体)身上发生的变化,为了确认患者的状况,必须改变视线,把视线从显示器改为患者术野。有鉴于此,不把红外线和磁力等等的感测标记固定在患者(实体),而是自动进行实际患者位置和三维CG影影像位置的关系一致的登录作业(注册),针对患者(实体)以及拍摄装置的相对位置变化进行追迹并追随重叠的三维CG影像,对应于术中的患者的身体动作,使追踪不可见领域的解剖学三维CG影像和手术器具操作的手术器具重叠的器具的三维CG影像追踪实体三维的位置变化,不需要让视线随着操作状况和患者的实体移动,就可以用实时影像导航,也可以不需要改变视线,就可以用同一显示器来确认如其它的生理迹象等的患者生物信息。
[0007] 用于解决课题的手段
[0008] 本发明为,在人类实施在直视下进行的医科手术或精密手技的时候,利用三维数字放大镜,针对不可见领域提供视觉支持的系统,通过将不可见领域影像合成表示于目前的实体上,而获得如下述的扩张现实感的再现。
[0009] 一般而言,在施行术前述医科手术和其它的精密技术的时候,为了获得放大术野,使用双眼放大的放大镜来进行操作。相同于像这样的头部装载的双眼放大放大镜等的光学放大镜的扩大术野,在施术者两眼前装设一对显示器,利用从相当于该显示器前面的安装工作者左右瞳孔中部的位置朝向肉眼视野方向安装的一对立体配置摄像装置的三维数字放大镜,也能够确保在同一空间内的立体的视野。因为再现了相同于施术者用肉眼或光学放大镜视觉认识对象的时候的状况,所以施术者的视野方向的变化,对象的三维的位置变化可以用相同于用肉眼实施日常工作的时候的方式立体地识别,所以能够用非常自然的感觉来改变头部的位置(亦即变更视野方向)以针对视野范围的对象的实施操作。
[0010] 第一发明为利用这三维数字放大镜立体配置摄像装置,根据立体法拍摄存在于视野方向的实体,利用进行构成拍摄影像的像素的三维位置测量、以三测量固定的2台照相机之间的距离来进行立体测量的立体影像法(两眼立体视觉)的非接触立体测量所获得的拍摄范围内的许多的实体的三维形状的表面多边形模型2。立体测量的方法不仅只有两眼立体视觉法、还有其它的方法,如立体影像立体测量的用发光二极管等的点发光以进行飞行时间测量的点发光法的立体法,或者,用穿过做出对应点的缝隙的直线状光进行扫描,以取得对象的断面,并取得实体的形状的缝隙光投影法,也可以是把能够判断拍摄装置影像内的坐标的图案投影在实体上,以求出进深的图案光投影法,不过,基本上进行构成左右拍摄影像的特定部位的像素的三维位置测量、通过根据三角测量固定的2台照相机之间的距离来进行测量立体的立体影像法的个人计算机演算处理,以取得实体的三维形状的表面多边形模型2。
[0011] 使用这些方法时的光源优选为例如红外线等不可见光线,其不会对拍摄的施术对象物体或生物(实体)影像的屏幕的视觉产生影响。
[0012] 另外,这些发光光源,因为和拍摄装置一起装设在三维数字放大镜,所以,在追踪测量实体的三维空间上的相对位置的实体影像时,总是以立体拍摄装置接收从相对于拍摄装置拍摄同一方向投射的光源光,通过统合投光部和受光部分的位置补正要素,而能够提升测量精度和测量速度。
[0013] 另外事先做出表示从施行术对象物体或生物的断层摄影二维切片数据构筑的表层到内部构造的各构造的表面多边形模型1。通过形状图案识别,以从表面多边形模型2检测出该表面多边形模型1和三维相似形状的前述表面多边形模型,将内部构造构成要素组织映像到检出的施术对象物体或生物的表面多边形模型1的虚拟三维体积模型计算机图形重叠并予以追踪。因为该表面多边形模型2是形成于拍摄方向的拍摄范围中,所以,用于判别查出的施术对象的物体或生物的表面多边形模型1,依照在施术时的视野方向(亦即接近的方向),从对象物的三维坐标轴中心构成里面部的表面削除,起始时拍摄装置视野范围的同一范围,或者包含标记特征形状部位的最小范围加工,同时尽可能减少构成多边形数,藉此提高查出、判别、跟踪处理的各自精度和速度。在施术者三维数字放大镜视野内,映像到和不表示的表面多边形模型1连动进行追踪的内部构造构成要素组织的虚拟三维体积模型计算机图形合成表示在视野内存在的前方术野影像上。构成这时候的表面多边形模型1以及表面多边形模型2的多边形形状有连贯性,无须赘言。
[0014] 像这样地,将三维体积模型计算机图形重叠覆盖真实情况影像的一部分或全体,而能够显示于三维数字放大镜的实体的内部构造不可见领域于实体拍摄空间上和视觉上同样的三维位置上识别为虚拟三维体积模型计算机图形的内部构造。相同于用手拿取眼前存在的实体的动作,能够直接或间接地像用手拿取(触觉地)一样对于被识别为在视觉上和眼前实体同一三维空间上的三维体积模型计算机图形施术。
[0015] 此外,在施术中,该虚拟三维音量模范计算机图形,追踪在拍摄空间的拍摄装置和实体的相对的三维位置变化,并随之改变实时显示的布局,因此构成产生高度实时间相互作用的三维数字放大镜扩张现实手术支持系统。像这样地,重叠于实体的虚拟三维体积模型计算机图形显示由断层摄影二维切片构筑的解剖学构成要素,亦即,因为是体积模型,所以表示全要素的时候,可以仅识别外层构成要素。
[0016] 第二发明为三维数字放大镜扩张现实手术支持系统,其并不利用如前述的三面次元数字放大镜的拍摄装置的立体测量构成的实体的三维形状的表面多边形模型2,而把三维数字放大镜左右拍摄装置和影像表示装置并列作为单独构成使用。预先根据断层摄影法取得的施术对象物体或生物的二维切片数据构筑的各构造构成要素的构成表面多边形模型1的轮廓或特征的点或线分别映像追踪到左右拍摄装置拍摄的影像数据,藉此,将内部构造构成要素组织映像到前述多边形模型1的各内部构成要素中的任意的三维影像分别表示的对象实体影像,并使其连动,藉此,重叠表示于三维数字放大镜的左右影像表示装置表示的实体影像上的内部构造三维计算机影像通过两眼视差角而可以在拍摄空间实体影像上立体识别为具有如同融入般的临场感的透视影像。
[0017] 第三发明为,为了随时视觉地认识这些内部要素,按照应用目的,将重叠配置于拍摄空间中的实体的虚拟三维计算机图表影像依照构造上或者解剖学构成要素分类,并且储存为单独的层次,将前述各层次按照术中的手术器具到达深度和其它的情况状况单独或者是选择的组合合成表示。以利用该系统执行下颚骨牙科移植手术为例,在实空间的三维数字放大镜视野内的下颚口腔内拍摄影,追踪显示下颚解剖学构成要素的下颚骨皮质骨的虚拟三维计算机图形影像,所以,在由牙肉上切开之前能够三维地视觉认识齿槽骨的形状。从而,能够不切开牙肉,而是选择骨量充分的部位从正确的位置选定接近方向,因此不会因为切开而引起内出血,而能够有效防止手术后的浮肿。然后,由前述处理在皮质骨上被形成接近切口之后,使得下颚骨骨体皮质骨的三维计算机图形层次不被表示,并将下齿槽神经的三维计算机图形层次配置于实体的相对固定位置并予以显示,藉此,以形成于实体的接近切口作为引导口,在对实体进行钻孔操作的时候,基于三维视觉认识排除神经损伤的危险性之后,在可及的深度形成植牙植入窝以支持咬合力,而能够安全确实地实施过去根据感觉和经验的高度的手术技术。这些层次的选择表示,不仅是解剖学要素,用以在由DICOM资料作成的下颚解剖学构成要素的三维计算机图形上形成正确的植入窝的钻孔执行引导的仿真制作的外科的计算机图表层次相对固定放置。此时,在不表示实体影像时,能够视觉的识别在三维数字放大镜显示器上和肉眼视野或光学放大镜视野相同地立体显示于施术者前方实体空间的和患者实体三维同一位置上表示的虚拟三维计算机图形,通过该外层构造的透明化和着色等等的计算机图形影像处理,而使得将无法以实体影像识别的内部构造明视化的虚拟计算机图形影像的视觉和施术者伸手触摸实体的触觉,以相同于人类根据眼前的实体视觉一边认识一边触摸直接手的触觉进行工作的情况的感觉来进行识别以及进行操作。
[0018] 再者,相较于观察实体影像施术的状况,因为能够掌握更高密度的内部构造讯息,所以能够安全且正确地对不可见区域进行手术。
[0019] 过去,在使用固定式位置传感器和桌上型监视器进行手术的情况下,施术者的视线并不朝向患者(实体),而是朝向显示器方向勉强进行不自然的工作,当其打算变更视野方向的时候,必须使患者(实体)移动,或者把传感器位置移动,依据本发明,施术者可以使用直接的感觉对于在肉眼视野方向视觉识别的患者(实体)施行手术,即使对于施术者的视线变更和患者的本身的变化,也能够和没有安装装置的状态一样,因为维持了在实体空间上的视觉的三维相对位置关系,所以能够用非常自然的感觉进行手术。
[0020] 另外,做为依据解剖学构成要素而分类的三维计算机图形的视觉认知性的方法,第四发明为,将第一、第二以及第三发明的三维数字放大镜的显示器表示的拍摄影像和三维计算机图形影像的任一者或两者的影像的色相、彩度、明度、遮光、照明方向至少一个要素通过映射、虚线消去框表示,以通过这些的亮灭表示等等的影像处理的变更来提升对拍摄影像之合成影像的视觉识别认知性。藉此,用三维数字眼镜视觉地认识三维的真实情况空间里,三维计算机图表影像显示被写体的内部构造的状况,也能够以更鲜明地浮出来实现。此外,如同第三发明一般,可以通过影像处理来提高由解剖学构成要素构成的各层次的视觉识别认知性。不仅是对拍摄影像的视觉识别认知性的提升,更因为能够三维地一举视觉认识解剖学术上的构成要素,所以,若以病灶摘出手术的情况为例,能够同时三维视觉识别大血管和神经,同时安全地接近病灶,而且,因为可以通过三维认识而用最短距离直线接近,能够把外科侵入限制在最小限度。
[0021] 扩张现实感的三要素为,实时间相互作用、自己投射性,以及三维的空间性,不过,如前述一样地在头部安装固定三维数字放大镜实施手技的时候,虚拟三维体积模型计算机图形追随施术者和实体的相对的三维位置变化而实时执行追踪,所以在实体和虚拟影像间产生没有时间延迟的高实时间相互作用。此外,设置于和左右的视差角同一角的立体配置拍摄装置及将影像数据以平行法或交叉法扁式于左右眼前方设置的影像显示装置上表示的三维数字放大镜,通过可以三维认识操作空间而确保三维空间性,在三维识别的操作空间上的施术对象物体或生物影影像上表面即追踪的虚拟三维计算机图形也由三维体积模型构成,所以,施术者能够把全部的三维数字放大镜视野都立体地认识。施术者不会意识到穿戴了三维数字放大镜,而能够以如同用肉眼进行手技的时候一样,伸手触摸眼前的施术对象物体或生物,能够把伸入虚拟三维体积模型计算机图形所在的术野空间的自己的手自我投射为三维数字放大镜视野内的实体影像。
[0022] 在三维数字放大镜用左右影像显示装置实现立体视觉,可以用右眼看右边的影像,用左眼看左边的影像的平行法,以及用左眼看右边的影像,用右眼看左边的影像,亦即视线看起来是在影像前交叉的交叉法。相较于平行法,交叉法有可以使影像的尺寸较大的优点,大家都知道,对于生物学上被认为是不擅长立体视觉的女性而言,相较于平行法,交叉法是比较容易学习的。在本发明中,当然可以按照使用状况改变左右影像的表示方法以及各虚拟计算机图形的左右显示器表示方法,像第五发明的三维数字放大镜扩张现实手术支持系统一样地利用三维数字放大镜立体配置拍摄装置,对左右拍摄数据施行两点测量法以获得拍摄范围内的多个实体的三维形状的表面多边形模型2中,通过形状图案识别,以从表面多边形模型2检测出该表面多边形模型1和三维相似形状的前述表面多边形模型,在以平行法表示的三维数字放大镜的使用眼侧的显示器上重叠显示映射并追踪内部构造构成要素组织。
[0023] 在该系统中,仅有在根据左右视差角的实体影像的立体视觉的三维数字放大镜单侧显示器上重叠显示虚拟三维体积模型计算机图形,藉此,可以将在三维数字放大镜立体视觉的术野实体上的不可见领域的内部构造,用虚拟三维体积模型计算机图形的内部构造构成要素影像立体识别。此时在视野全体所占的施术对象物体或生物的虚拟三维体积模型计算机图形的比例较大的情况下,作为背景影像的术野影像单侧惯用眼侧的拍摄装置影像显示于两眼的监视器上,或者三维数字放大镜的左右显示器上仅显示生物体的虚拟三维体积模型计算机图形亦可。尤其在高放大率的场合,以拍摄装置的真实情况倍率将生物体的表面多边形模型1三维相似形状的表面多边形模型进行形状图案判别,将整个三维数字放大镜影像三维地映像到生物体的表面多边形模型1上,而可以用虚拟三维体积模型计算机图形来表现。显示影像的品质随着虚拟三维体积模型计算机图形而变,所以,无须考虑在高放大的情况下因为硬件性能而造成影像品量的下降,只要在虚拟三维体积模型计算机图形上再现被实施的处理内容要求的解剖学上的要素,所以能够提供简单但是高品质的视觉讯息给施术者。此时如果利用三维视觉显示的高品质的虚拟三维体积模型计算机图形,则可通过再三维数字放大镜左右影像显示部显示单一影像,而使得能够用三维虚拟影像来识别施术者前方的真实情况。同样地,将单眼拍摄装置的三维数字放大镜的惯用眼侧的拍摄装置的术野影像数据显示于同侧的影像显示装置,在另一眼侧的显示器显示有进深的三维计算机图形,藉此,能够将实体影像放大识别如三维影像。在这种情况下,除去拍摄装置的位置在像口腔内一样因为颊口唇的障碍而使得视野比较受到限制的部位之外的情况中,人会习惯地以惯用眼为主放在直线位置来捕捉对象,所以拍摄装置优选设置在惯用眼侧显示器前方。
[0024] 除了通过第一发明的表面多边形模型的形状图案认识的判别检出之外,第六发明依据三维数字放大镜光学式或数字式的放大率,用立体照相机以两点测量设定在三维数字放大镜的立体配置照相机的影像数据中的对象实体的任何位置的4个标记,从照相机和实体的距离来测定实体三维形状的表面多边形模型的三维位置,再依据该实测值修正变更立体测量表面数据识别图案的缩尺及三维的位置。如此,通过修症患者解剖学CG以及对象物(手术器具CG)的显示位置,方向,大小,以使其适合检出原数据的施术对象物体或生物的表面多边形模型的缩尺,藉此能够提升对象物体或生物影像的判别查出以及映像精度,并且可以减少实时追踪的时间延迟。
[0025] 另外,在实施第二发明的时候,也可以通过利用第六发明的标记来得到稳定的映像原点。
[0026] 使用该第一以及第二发明的时候,像第七发明一样地,在监视器显示三维数字放大镜监视器显示范围外的对象物或患者解剖学特定部位的三维计算机图形体积模型所在的视野方向,藉此可以轻易地识别不可见区域的目标对象物。该视觉的标记采用箭头或画面边缘的闪烁表示等等的手法。另外,尤其是在用数字处理的高放大使用的时候,在三维数字放大镜显示装置画面上,按照放大率把对象物或生物体的一部分表示在显示器上。在此种情况下,三维数字放大镜显示器表示范围外面的对象物或患者解剖学特定部位的三维计算机图形体积模型存在的方向以该影像表示装置的边缘闪烁,或用箭头表示方向指示,或者在分画表示影像中,在表示缩小全体的全体影像中以框围出表示部分的影像部分,藉此,能够支持在施术中识别视野部位和目标部位的位置关系的追踪动作中的对象物或生物体的三维计算机图形体积模型三维计算机图形体积模型影像的施术目标部位检出。
[0027] 第八发明为三维数字放大镜放大真实手术支持系统,将放大镜视野内各自动作的任意的CG体积模型固定在特定施术对象CG体积模型的三维相对位置,为了在发挥功能时施术位置,方向,角度的视觉的位置评估,利用权利要求1以及权利要求2记载的系统,使得通过登录布局并随之移动的关节或组织而连结到三维数位放大镜监视器上的病患实体的各患者解剖学CG体积模型运动的情况下,将个别对患者实体登录布局连动的任意CG体积模型固定在运动轨道上的任意位置对于特定的CG体积模型的相对位置上,和该病患实体连动的特定CG体积模型一体化并连动。一般而言,在空间有限的口腔手术中,尤其是植入牙科植牙的时候,若不是在开口状态,很难在工具的反对角插入钻子形成埋入窝。这时候,通过将咬合状态的下颚的CG体积模型于施术对象的上颚CG体积模型固定连动,即使是在手术时为了确保插入器具的空间而处于开口的状态,也能够通过虚拟下颚CG体积模型来视觉地确认对合齿的咬合状态,所以,能够三维识别对合关系并提供恰当的手术导引。在利用该系统施行手术的情况下,以手术器具将患者实体切开、切削、切除等以产生形态变化的情况下,没有被反映在三维计算机图形体积模型上。这个虚拟三维计算机图形体积模型可以作为和术前状态比较研讨的数据之用,不过,通过在虚拟三维计算机图形体积模型上显示术中或术后不久的状况,能够把整个施术对象置换为虚拟三维计算机图形体积模型。为了实现像这样的视觉表现,在第九发明中,和预先将映射追踪连动施术对象物体或生物体的内部构造构成要素组织的虚拟三维计算机图形体积模型一样,将该手术器具登录布局并使手术器具计算机图形体积模型连动。在计算机上使用布尔演算处理这二个三维体积模型,从对该患者实体登录布局的患者解剖学计算机图形体积模型对手术器具计算机图形体积模型执行切取演算,藉此,用手术器具操作对实体进行切削等的物理切入的情况下实体的变化一样的视觉变化显示在三维数字放大镜显示装置上所表示的患者解剖学计算机图形体积模型上。而且,和在骨头上钻孔以形成植牙埋入窝的时候一样,在该患者解剖学计算机图形体积模型影像数据表现出实体不可见领域,因此,可以用患者解剖学计算机图形体积模型影像患者解剖学计算机图形体积模型影像来识别肉眼无法识别的施术对象内部的手术器具到达深度或到达角度等,并可以在患者解剖学计算机图形体积模型影像上表现和实体被施加的变化相同的视觉形状变化。
[0028] 各解剖学构成要素的三维计算机图形体积模型,为了使外侧的解剖学构成要素透明化同时表现复数的构成,而采取着色等等的手段而使内使部构造明视化,不过,识别多层的复杂的计算机图形构成有引起混乱的危险性。为了回避像这样的问题,第十发明,在利用第一以及第二发明记载的系统施行手术的场合,三维数字放大镜和患者的距离对于三维数字放大镜三维数字放大镜监视器上的对患者实体登录布局并连动的患者解剖学CG体积模型固定于三维数字放大镜或区域指示具上的任意的表面模型区域(线框,半透明着色显示或者透明)重叠,以布尔算法将该重叠部分消除,以预设的断面显示范围为一个单位来显示患者解剖学CG画素体积模型断面,或者,依据任意设定的三维数字放大镜和患者实体的距离将切取范围变化的该患者解剖学CG画素体积模型断面实时显示,藉此,三维计算机图形体积模型的各解剖学构成要素不会变成透明,可以把复杂的构成内部构造明视化,但是,及于多层的复杂的计算机图形的构成可以对应于穿戴者或指示具和对象实体的距离的位置上视别为解剖学的计算机图形画素体积模型断面。
[0029] 第十一发明为一种三维数字放大镜放大真实手术支持系统,使用安装第九发明的三维数字放大镜的施术者的手术器具对实体施行手术的同一状况显示于手术器具CG体积模型并将由手术器具而使实体产生的形态变化的相同状态,包括不可见区域表示的虚拟三维计算机图形体积模型,或者第十发明记载的三维数字放大镜或固定于区域指示具的任意的表面模型区域的形状上被削去的断面的患者解剖学计算机图形画素体积模型,在维持显示于该施术者三维数字放大镜的三维体积模型计算机图形的相对位置的状态下,将数据转送到个人计算机,将维持显示于该个人计算机监视器或三维数字放大镜个相对位置关系的虚拟三维体积模型计算机图形表示为倾斜、全景、缩放,在回转的6个轴方向自由回转移动,藉此,由相异于施术者视线的方向观察实体空间的情况。因为藉此能够由相异于施术者视线的方向观察实体空间的情况,所以本来不全面改变患者体位就不可能进行不可观察的地板方向的视野也可以进行观察。亦即,施术者无须要移动视线和体位,而可以将对象识别为从内侧就具有和实体同样形状的虚拟三维计算机图形体积模型,若施术助手也装了同样的头戴式显示器,那么就可以和施术者共享视野,同时将虚拟三维计算机图形体积模型三维地旋转自在而能够取得全方向的视野。虚拟三维计算机图形体积模型和表面模型区域的形状中被削去的断面以及手术器具CG体积模型所追踪的相对位置关系是施术者安装的三维数字放大镜系统的追踪即显示影像数据在助手的头戴式显示器所装设的个人计算机影像处理使其三维回转同步显示,因此,能够实时显视在第三人的监视器上或头戴式显示器。该多方向虚拟三维计算机图形体积模型的显示,在前述的转寄地点个人计算机显示器上,头戴式显示器或者施术者三维数字放大镜一边的影像显示装置,或者也可在同影像显示装置设立分画来进行表示。
[0030] 此外,在第十二发明中,通过前述的施术助手的头戴式显示器所安装的个人计算机影像处理而同步显示的施术者的视野,或者将虚拟三维计算机图形体积模型进行三维回转而获得的虚拟三维计算机图形体积模型的追踪或显示影像数据一边在显示器上确认,一边使其在同一个人计算机接口上的6轴方向上将可控制的任意表面模型区域(线框表示,半透明着色表示或者透明)重叠,用布尔算法消除该重叠部分,显示该虚拟三维体积模型计算机图形的断面。将由该助手控制的任意的虚拟三维计算机图形体积模型的断面表示同时反映在施术者三维数字放大镜影像显示装置上的虚拟三维体积模型,藉此,第三人能够表示视觉指导影像表示施术者视野立体影像中应该注意的解剖学要素的内部构造断面,因此能够实现具有临场感的视觉指示。
[0031] 在如前述的维持各解剖学术上的构成要素的虚拟三维计算机影像中,尤其是在像牙齿一样的齿冠部牙根部连续的一个刚体且其中一部分(牙根)在颚骨中有埋设的组织的情况下,若利用第一第二的发明,则可以在不见血的状况下三维地识别颚骨内的牙根状态,因此,可以用于为了避免因为牙根的干扰造成的牙根吸收,牙齿移动速度的延迟等的有效的丝弯折。此外,像第十三发明一样,将事先由断层摄影法获得的施术对象物体或生物的二维切片数据构筑的表面多边形模式1储存为将颚骨颚面部、以及各个牙齿(齿冠、牙根)作为各自单独组件数据,每个该组件数据都通过形状图案识别以立体法立体测量从三维数字放大镜拍摄的牙齿(齿冠)及口腔、颚面部的表面多边形模型2中个别判断检出和个别组件的表面多边形模型1形状相似的表面多边形模型并将之重叠在个别组件的表面多边形模型2上,然后,对该多边形模型1组织映像,并追踪各自牙齿(齿冠、牙根)颚骨的虚拟三维计算机影像。将各个的牙齿的经时的变化储存为三维数字放大镜影像表示装置的虚拟三维体积模型计算机影像,通过显示从前诊疗时的牙齿的虚拟三维体积模型计算机影像的记录储存数据,就能够实时三维地识别牙齿的经时的移动状态,而能够提供用于评价治疗效率和治疗计划的再构筑的有效方法。这些虚拟三维体积模型计算机影像的记录,可以作为对及于所有的形态变化的治疗行为进行手术后评估的有用的手段。除了参照此手术前记录来进行治疗评估之外,像第十四发明一样地,将从施术对象物体或生物的二维切片数据构筑的虚拟三维体积模型计算机影像计算机重建(再构筑)为治疗目标(V.T.O.)的形态,通过映像显示在实体影像上,就可以视觉确认治疗目标。此应用事例为进行下颚前突的整形外科治疗的时候,事先用计算机手术制作骨整形之后的下颚骨格的虚拟三维体积模型计算机影像像素模型,若在作为手术对象的下颚骨上映射表示的话,用V.T.O视觉地确认因为左右颚关节离断之后定位容易变不稳定的咬合,而可以容易地再现,在矫正治疗中,将再构成第十发明所记载的各个牙齿的三维体积模型计算机图形的治疗目标理想拱形齿列影像,若将追随颚面部和拍摄装置的三维相对位置变化并显示在三维数字放大镜显示器所显示的口腔内,则能够确实且有效地建构治疗目标(V.T.O.)。
[0032] 第十五发明为,将尺寸量规的组织映像到从施术对象物体或生物的二维切片数据构筑的虚拟三维体积模型计算机影像画素模形。在解剖学构成要素表面上将尺寸量规直接表示为等高线状,因此,有助于三维形状的视觉认识,如果显示用第十发明以及第十二发明所形成的断面表示部尺寸量规,则可以支持正确地施行手术。另外,用方眼立方组织表示透明化的虚拟三维体积模型计算机影像的画素,藉此,能够实现三维更高尺寸精度的施行手术。像这样的尺寸量规不仅是施于生物体或施术对象,在如牙科植牙手术的时候,通过将同心圆或球形、角形的尺寸量规映像在施术器具的切削钻上,使得能够掌握在施术中与邻接牙齿及解剖学标记的距离。另外,在施术对象的物体或生物和器具上,重叠显示预先设计的器具对于内部构造不可见领域的三维接近方向的无限远直线或图形的三维计算机图形外科导引,藉以使得能够容易地确认器具对物体或生物的的接近方向以进行切削骨等手术。
[0033] 第十六发明为三维数字放大镜放大真实手术支持系统,在将多个可以个别动作的患者解剖学CG体积模型对第一以及第二的发明所记载三维数字放大镜显示器上的患者实体登录布局连动的不可见区域的状况在显示器上确认患者解剖学CG体积模型的变化,同时进行模拟的情况下,在显示器上表示对任意的固定基准点的运动轨迹,并且具有记录储存再生功能。利用该系统,使得对下颚骨登录布局连动的下颚骨CG体积模型的左右间接头以虚拟蝶幡轴的直线连结开闭运动,藉此可以在显示器上视觉地正确地确认过去视依赖电气肌肉收缩运动或经验值来求出的下颚头旋转中心。通过在监视器上确认从该中心位开始的下颚运动并在监视器上以图形表示正确的运动轨迹,使得能够将下颚运动储存再现为三维数据。这再现记录在个人计算机上构成虚拟咬合器,若利用这虚拟咬合器进行补缀物的设计,则可以实现较以前的咬合器更精巧的咬合功能恢复。
[0034] 在第一以及第二发明中,在实体的影像上重叠显示虚拟三维体积模型计算机影像,藉此来视觉地认识实体的内部构造,不过第十七发明为,在第一以及第二发明的三面次元数字放大镜的影像表示装置上使得前方视野拍摄影像不表示,仅显示跟踪拍摄的施术对象物体或者生物(实体)影像的虚拟三维体积模型计算机影像。因为保证第一以及第二发明施术者安装的实体和三维数字放大镜的三维相对位置再现于虚拟三维体积模型计算机影像,所以施术者能够利用和实体一样在三维数字放大镜的影像显示装置上对虚拟三维体积模型计算机影像的视觉认识,以及对施术对象物体或生物实体)直接或通过手术器具的间接触觉,一边观察直接实体的拍摄影像一边施行手术,而能够对等同于实体的被拍摄物进行手术。这是因为人类系以自己的手所能及于的范围的操作为主体,此系为人类以肉眼(使用眼镜和光学放大镜的场合也同样)的视觉工作的时候相同的头部姿势和视野方向,能提供和过去的面对桌上型显示器对于和视线方向不同的部位的不自然的操作方式完全不同的自然的感觉,使用者能够在短时间内实现临床应用。尤其是在高放大的手术中,将虚拟三维体积模型计算机影像的解剖学构成解体并表现,藉此使得容易视觉认识。像这样仅用追踪施术者视野生物(实体)的虚拟三维体积模型计算机影像的情况,拍摄施术对象物体或者生物(实体)影像不会对施术者的视觉造成影响,所以,可以使用被动立体法,用发光二极管点燃发光的点发光法;或者主动立体法,用通过做出对应点的缝隙的直线光,使光扫描以得到对象的断面,并取得实体的形状的缝隙光投影法,或者,将能够判断拍摄装置影像内的坐标的图案模式投影在实体上,以求出进深的图案光投影法,藉此能够缩短测量时间和提升处理速度。
[0035] 第十八发明为,除了左右拍摄装置的实体空间拍摄影像的记录之外,不管追踪前述实体空间拍摄影像的三维计算机影像显示或不显示在各显示器上都按照各层次分别储存动画记录。关于实体空间拍摄影像的记录若是利用三维显示器的话,不仅是HMD,还能够提供三维记录影像。再者,三维计算机影像,若是录像再生,就被显示为和前述实体影像连动的三维动画,维持加在该三维计算机影像的经时的形状数据,维持前述经时形状变化的三维计算机图形记录数据在监视器上自由地操作为倾斜,全景,缩放,在回转的6个轴方向自由回转移动,藉此,能够将该各层次影像以各自或选择性地组合输出病在显示器上自由操作,所以能够从施术者无法观察的视点来评估手术的进展状况。藉此,能够将表现由第十一发明的手术器具CG体积模型以及手术器具造成的实体的形态变化相同的变化的虚拟三维体积模型计算机影像记录数据自由变更视点并加以检讨。即使数据的记录储存为片断的计时记录数据的累积也能够表现同样的效果,所以可用于对于长期治疗的矫正治疗等等的评估,将骨成长的要素反映在记录数据加以评估的情况下,因为可用于骨格的成长中心的确认诊断,所以可用于基于成长预测的治疗计划的起草。
[0036] 本发明为,通过根据前述的实体三维影像目地而实时加工的计算机图形影像来实现手术支持,不过,为了提升计算机图形影像的表现能力,遮光是重要的要件。然而,第十九发明为,用二维数字放大镜拍摄装置的实体影像覆盖前述全部的三维计算机图形影像场景,以该平面影像作为光源照射重叠于施术对象物体或生物(实体)的虚拟三维计算机影像,藉此使得作为背景使用的实体空间上的视野影像和包含虚拟现实的合成三维计算机图形的内部构造的虚拟三维体积模型计算机影像显示为(非常近似)的解剖学内部构造的照片被产生,因而能够表现更高度的扩张现实感。
[0037] 第二十发明为,在左右拍摄装置的实体空间拍摄影像和三维计算机图形影像图框交替显示的情况下,可以分别调整其每一秒的表示图框数,通过实体影像和三维计算机影像的识别率有差异,而提高作为识别目标的影像的明视性,另外,在覆盖表示的时候,左右拍摄装置的实体空间拍摄影像或三维计算机影像各个表示比例,以及左右拍摄影像或三维计算机影像一方面或双方的三维数字放大镜左右显示器的显示比例可以自由变更,藉此,能有效提升两眼视的距离感、被拍摄界深度、立体感等等的认识效果。显示于相反侧的眼睛的影像和惯用眼侧显示的影像相比,则其认识程度较低,所以,利用这个作用,在左右显示器个别显示影像的明视状况产生差异,对应于有个人差的惯用眼及相反侧眼时可以方便地改变识别比例的表现影像的识别率,因此,从肉眼视安装本装置时,能够立刻对三面次元数字放大镜画面顺应舒适地观察由于三维影像实现的扩张现实空间。
[0038] 依据上述手段,可获得如下述的作用。
[0039] 发明的效果
[0040] 依据本发明的权利要求1-19中记载的三维数字放大镜放大真实手术支持系统,以立体法立体测量存在于同一空间内的被拍摄物的表面多边形模型2中,以形状图案识别个别检出该三维数字放大镜前方视野拍摄影像上的表面多边形模型2中的和各表面多边形模型1三维相似形状的表面多边形模型之后,追踪对前述表面多边形模型1组织映像的虚拟三维体积模型计算机图形,藉此,追随在实际的三维空间引起的前述被拍摄物和拍摄装置的相对位置变化,像和实际的相对位置变化相同变化一样地,作为拍摄装置视野内的被拍摄物的实体和虚拟的三维计算机影像一体化显示,所以将构成解剖学术上的各构成要素的三维计算机图形影像的各层次选择地或者透视影像加工显示在拍摄影像上,藉此,以相同于人类根据眼前的实体视觉一边认识一边触摸直接手的触觉进行工作的情况的感觉来进行识别以及进行操作,利用将无法以实体影像识别的内部构造明视化的虚拟计算机图形影像的视觉同时一边确认内部构造而无须依赖经验或感觉的不确定预测,就可以正确接近眼前的实体内部不可见区域。
[0041] 另外,根据第二发明,通过并列分别构成三维数字放大镜左右拍摄装置和影像表示装置,分别追踪连动将映射内部构造构成要素组织的各内部构成要素中的任意的三维计算机图形分别显示在两眼视影像表示装置的对象实体影像,藉此,可以将三维数字放大镜的左右影像表示装置所表示的实体影像上两个不同的被拍摄物内部构造三维计算机图形重叠显示,所以,通过两眼视差角而具有如同化入拍摄空间实体影像上的具有临场感的透视影像,能够提供施术者由高品质的立体识别的扩张现实感。
[0042] 再者,用手术器具将前述被拍摄物(患者实体)切开,切削,削除等而造成有体积变化的形态变化的时候,对该手术器具登录布局并连动的手术器具CG体积模型,对于患者解剖的CG画素体积模型进行布尔运算处理,使得对该患者实体登录布局并连动的患者解剖学CG体积模型将和被切开的实体同样的视觉变化显示在患者解剖学CG体积模型中的实体不可见区域,藉此,关于实空间中被拍摄物的状态变化的模拟包含与被拍摄物重叠显示的三维计算机图形状态,以及由拍摄空间状态的变化引起的对于三维计算机图形的间接引想的模拟。
[0043] 此外,通过加工前述虚拟计算机图形影像,加入三维的视觉导引标示和动画,能够提高工作效率并实现高精度的工作,这些加工三维计算机图形影像和前述全部的计算机图形影像层次可以单独录像、记录储存,所以能够做为经时变化的评价以及预知性予测的有用根据。附图说明
[0044] 图1是三维放大镜表示的立体影像V-1-R、V-1-L和利用此左右影像数据D-1-R、D-1-L构成表面多边形模型W-1的状况的示意图;
[0045] 图2是二维切片数据合成的颅骨计算机图形,颜面计算机图形、颜面表面多边形模型的构成状况的示意图;
[0046] 图3是三维数字放大镜显示器上从二维断层数据构筑的计算机图形合成表示系统的构成的流程图
[0047] 图4是按照各种设定切下外层计算机图形所显示的内层计算机图形的示意图;
[0048] 图5是三维数字放大镜显示器表示的实体影像上形成移植窝的状况,以及在实体影像上解剖学的内部构造,器具的计算机图形,以及随着器具的到达深度在前述解剖学构造体的计算机图形产生的虚拟计算机影像合成表示的状态的示意图;
[0049] 图6是图5的解剖学的内部构造,器具的计算机图形,以及虚拟计算机图形影像,还有预先在计算机图形上设计的外科导引合成显示于实体影像上的状态,切下前述状况的外层计算机图形所表示内层计算机图形的状况的示意图;
[0050] 图7是三维数字放大镜显示器上表示的正面以及侧面的口腔内齿列实体影像所表示的状态,以及在前述口腔内齿列实体影像上作为不可见区域的牙根,齿槽骨的二维断层数据构筑的计算机图形合成表示的状态,以及预先在计算机图形上设计的托架位置和成显示于实体影像上的状态的示意图;
[0051] 图8是在矫正治疗目标上将理想拱形合成显示于齿列实体影像,或者在齿列实体影像三维视觉同一位置合成表示的齿列计算机图形上的状态的示意图;
[0052] 图9是合成表示和实体影像三维视觉同一位置的颅骨,以及下颚骨的计算机图形上可以任意将对于下颚骨间接头相对位置移动的虚拟下颚运动下颚头旋转中心蝶幡轴合成表示的状态的示意图;
[0053] 图10是以图9表示的方法获得的铰轴作为起始点的下颚运动三轴二维虚拟缩放图表示,和表示下颚切牙的极限运路径的虚拟咬合器的示意图。
[0054] 符号说明
[0055] 1、实体(面部、头盖)
[0056] 2、三维数位放大镜
[0057] 3-a、透视线
[0058] 3-b、透视线
[0059] 3-c、透视线
[0060] 3-d、透视线
[0061] 3-e、透视线
[0062] 4、牙齿
[0063] 4-C、牙齿CG
[0064] 5-C、牙根CG
[0065] 6、面部软组织CG
[0066] 7、下颚骨CG
[0067] 8、颅骨CG
[0068] 9、牙肉软组织
[0069] 9-C、牙肉软组织CG
[0070] 10、皮质骨
[0071] 10-C、皮质骨CG
[0072] 11、海绵骨
[0073] 11-C、海绵骨CG
[0074] 12、下颚牙床神经管
[0075] 12-C、下颚牙床神经管CG
[0076] 13、
[0077] 14、切削钻
[0078] 14-B、移植窝CG
[0079] 14-C、切削钻CG
[0080] 15-C、外科导引CG
[0081] 16、理想拱形
[0082] 16-C、计算机图形理想拱形
[0083] 17-C、计算机图形铰轴
[0084] 18-C、计算机图形铰链
[0085] 19-R、虚拟右边缩放图标记X轴方面
[0086] 19-L、虚拟左边缩放图标记X轴方面
[0087] 20-R、虚拟右边缩放图标记Y轴方面
[0088] 20-L、虚拟左边缩放图标记Y轴方面
[0089] 21-R、虚拟右边缩放图标记Z轴方面
[0090] 21-L、虚拟左边缩放图标记Z轴方面
[0091] 22、切牙部下颚极限运路径
[0092] 23、下颚头中心运动轨迹
[0093] 24、虚拟托架位置CG
[0094] 25、虚拟咬合平面CG
[0095] 26、嘴唇
[0096] 27、明视标记
[0097] C、头部解剖学要元素的面孔数据计算机图形
[0098] C-1、颅骨计算机图形
[0099] C-2、面部表面多边形模型
[0100] C-3、面部计算机图形
[0101] D-1、三维数字放大镜拍摄影像数据
[0102] D-1-R、三维数字放大镜右边拍摄影像数据
[0103] D-1-L、三维数字放大镜左边拍摄影像数据
[0104] D-2、立体测量(CT)多边形表面模型
[0105] V-1、三维拍摄影像
[0106] V-1-R、三维数字放大镜右边影像
[0107] V-1-L、三维数字放大镜左边影像
[0108] V-2、实体、骨格CG重叠影像
[0109] V-3~V-6、软组织CG、骨格CG重叠影像
[0110] V-7~V-9、下颚牙床实体影像
[0111] V-10~V-12牙肉软组织CG皮质骨CG、海绵骨CG、下颚牙床神经管CG以及切削钻、移植窝CG、切削钻CG重叠显示影像
[0112] V-13~V-15牙肉软组织CG皮质骨CG海绵骨CG下颚牙床神经管CG以及切削钻、移植窝CG、切削钻CG、外科导引CG重叠显示影像
[0113] V-16~V-18牙肉软组织CG皮质骨CG海绵骨CG下颚牙床神经管CG切削钻、移植窝CG、切削钻CG、外科导引CG重叠显示影像以及透视断面
[0114] V-19、计算机图形理想拱、下颚骨格CG重叠影像
[0115] W-1、面部表面多边形模型(从三维数字放大镜拍摄影像数据合成)具体实施方式
[0116] 以下参照附图说明本发明的实施形态。
[0117] 图1~图10是表示实施发明的要素以及一个实施方式,图中的框是表示数字放大镜的显示器、显示器的认识影像或PC显示器,数字放大镜的显示器上有由左右显示器的构成来表现立体认识物。另外,标示以同一符号的部分表示同一东西。
[0118] 本发明的基本构成要素的三维数字放大镜的原理为,人类用脑认识使用肉眼在视网膜上投射的像的时候,利用左右两眼的视差角来把握距离的生物系统,将识别为立体的状况通过视觉再现在设置于左右眼前方的影像表示装置。也就是,设置于三维数字放大镜左右瞳孔前方的立体拍摄装置为安装者的两眼,换言之,是发挥位于视觉认识的最前部的晶体的功能的装置,通过将该左右各自影像数据显示在左右各自的影像显示装置,能够实现和安装者用肉眼认识物体的时候相同的立体视觉。利用这样原理的三维数字放大镜,如图1所示的拍摄方向相异的影像投射在左右表示装置V-1R,V-1-L,这样,施术者能够将拍摄对象识别为立体影像。使用将发挥两眼功能的两眼立体视觉所使用的左右二维影像讯息D-1-L,D-1-R以立体配置的左右拍摄装置的变化位角度,以及用固定的2台照相机之间的距离的三角测量数据来进行演算处理以执行立体测量的立体影像法,构成表面多边形模型W-1。该表面多边形模型W-1为和实体影像拍摄的相同视点(同一的拍摄装置),所以完全不需加以修正,为表示拍摄对象(实体)和三维数字放大镜拍摄装置(施术者)的三维相对位置关系的装置,不需要为了获得和实体影像的整合性而进行修正处理。通过这些拍摄装置拍摄的影像的拍摄范围是依据拍摄对象和拍摄装置的距离、以及拍摄装置的放大率来制定的,不过,在设定合适操作的扩大率时,基于人体工程学,操作距离为施术者前方10到40公分的范围,所以,预设为初始设定时的测量点设定的操作距离的最接近位置进行。假设在像口腔内一样无法设定口唇、脸颊等作为起始时的测定点影像的时候,对于在可视范围中的测定点和前述测定点内侧亦即口唇、脸颊内侧存在的齿列或牙齿的不动点首先进行初始设定,藉此提高放大表示时的立体测定精度。
[0119] 另外,若将根据断层摄影法取得的施术对象物体或生物的二维切片数据构筑的各构造构成要素的构成表面多边形模型1,通过直接计算机影像识别处理对三维数字放大镜的左右各个拍摄装置所拍摄的两眼立体视觉所使用的左右各自二维影像讯息D-1-L、D-1-R影像数据进行映像追踪,则能够将内部构造构成要素组织映像到前述多边形模型1的各内部构成要素中的任意的三维影像分别表示的对象实体影像,并使其连动。图2是事先对施术对象进行断层摄影以补充构成二维切片数据而构成的施术对象的解剖学构成要素、骨表面数据计算机图形C-1、皮肤表面计算机图形C-2、皮肤上皮表面多边形模型C-3。该皮肤上皮表面多边形模型C-3为,具有从三维数字放大镜影像讯息构成的表面多边形模型W-1的多边形形状构成整合性,而且,对于对象实体的构成多边形数为在能够表现该实体的形态的特征的范围内最小的构成数。因此,该多边形构成能够使得,骨表面数据计算机图形C-1、皮肤表面计算机图形C-2的组织映像的构成所使用的多边形模型的多边形构成尽可能减少。该减少处理,即使将由三维数字放大镜的立体测定数据构成的表面多边形模型W-1也进行同样处理,也能够维持前述各个多边形模型的整合性。这些数据能够维持各相对的位置关系,并能自由显示在显示器上,同时,在用总括数据C或者各组合表示的时候,能够对各自的透明度和色调进行单独的自由变更,所以能够容易地视觉地认识各解剖学构成要素。
[0120] 图3是表示三维数字放大镜拍摄装置数据和断层摄影数据的影像讯息的统一过程的流程。三维数字放大镜是将左边拍摄装置的影像讯息显示在一方,并将右边拍摄装置的影像讯息显示在另一方的影像显示装置,因为能够和肉眼一样立体地认识实体,所以,在单独使用的时候,如其名称所示,该三维数字放大镜的左右拍摄装置拍摄二维影像讯息,用个人计算机进行左右单独或者相同透明化及色调变更等的影像处理,回传到在三维数字放大镜显示装置作为单独的影像讯息就可以用作放大镜。如图1所示,这些三维数字放大镜拍摄装置的立体配置的固定变位角度和固定照相机之间距离的左右拍摄装置二次元影像讯息,通过用个人计算机进行立体测量而构成表面多边形模型C-2。该面多边形模型C-2为,用从图3所表示的CT二维断层数据构筑的该表面多边形模型W-1来进行判别认识,同时,对骨表面数据计算机图形C-1、皮肤表面计算机图形C-2影像选择地或者综合地进行影像追踪。从而,备显示在施术者安装三维数字放大镜的时候三维空间上立体视觉的实体影像V-1的三维同一位置上,同时,能够识别追踪实体影像V-1的骨表面数据计算机图形C-1、皮肤表面计算机图形C-2等的断层摄影数据所构筑的各解剖学形状的计算机图形。表现这些三维数字放大镜所显示的实体影像V-1和实体1的各解剖学构成要素的骨表面数据计算机图形C-1、皮肤表面计算机图形C-2,通过变更各层次的透明度,能够在实体影像V-1上表现实体1的不可见区域,排除实体影像V-1而将表示影像均以计算机图形的组合表现,视觉上和肉眼视觉识别的时候相同位置上以手碰触一样能够利用对计算机图形的三维识别和对于实体1的触觉来对不可见区域实施手术。
[0121] 另外,像图4V-4一样用透视线3-a切割不透明的前述该皮肤表面计算机图形C-2,这样能在口唇紧闭的情况下看清楚配置于下层的内部构造牙齿CG4-C。像这样的CG的表现,并不预先在拍摄实空间上的被拍摄物影像上显示三维计算机图形影像断面形状固定配置加工的CG,而是使得拍摄装置视线方向为轴心的任意设定的透明立体形状(在本图中是圆筒形状)和视线方向连动,并以透视线3-a切去皮肤表面计算机图形C-2,所以当视线变更时,透视范围也移动到3-b并通过布尔演算被除算的内部层次的骨表面数据计算机图形C-1就可被透视。另外,若将前述透明立体形状(在本例中设定为球形)用和三维数字放大镜拍摄装置的三维空间上的相对位置关系来设定在固定范围,则从能透视V-4、3-a的齿列CG4的状态,在安装三维数字放大镜的状态下当施术者的脸接近实体时,就扩大透视范围使得如V-5、3-c一样地直到齿列CG4以及下颚骨CG7的范围都能被透视。若为更进一步无限扩大该透明立体形状的透视线3-d,则如V-6一样,能够透视皮肤表面计算机图形C-2的三维放大镜拍摄装置侧全体。因为这些全部的透视处理可以针对各层次设定,所以层次断层的透视如同本图示的例子一样地,不只是透视皮肤表面计算机图形,还能够自由地针对各层次进行。
[0122] 如果采用前述的自由透视层次的技术,如图4所示,能够用无开刀的方式安全地实施牙科移植手术。齿科移植窝形成时应该考虑的问题为,为了手术后在植牙颈周遭保持顺利的骨形态而确认施术部位的骨量和形状、以及回避下齿槽神经并获得齿冠牙根比1∶1以上深度的移植埋入窝。因此,以前切开剥离施术部位的粘膜骨膜瓣使得齿槽骨露出以确认骨头的状态,在形成移植窝实事前先进行全景X射线、或者用CT断层摄影的缩尺测量来测定下齿槽神经的距离,借助X射线影像的记忆进行盲钻孔。假设在用无开刀的方式形成移植窝的情况下,如图5的V-7到V-8那样,在钻子14切入牙肉软组织9的瞬间,钻子的方向以及钻子的尖端位置就被不可见区域盖住了。此外,在V-9切削之后也无法确认形成的移植窝实体。可是,为了如V-10那样表示虚拟计算机图形,用牙肉软组织CG9-C内确认的皮质骨CG10-C在掌握皮质骨的状态的同时决定钻子14的钻孔位置如V-11所示般切削海绵骨CG11-C以形成移植窝。因为这时候下颚齿槽神经管CG12-C也可以视觉地确认,所以导致神经损伤的危险,而且,能够在尽可能深的位置形成移植埋入窝。此外用切削钻CG14-C切开牙肉软组织CG9-C、皮质骨CG10-C、海绵骨CG11-C,并用布尔演算进行除算,能够确认如V-12般的维持形成之后的移植窝CG14-B并能够三维视觉地确认。
[0123] 该手术,如图6V-13所示一般,用外科导引CG15-C表示钻孔深度和方向,将钻的尖端置于牙肉软组织CG9-C上的外科导引CG15-C,像V-14一样地在目标方向进行钻孔直到外科导引尖端为止,考虑颚骨的解剖学形状、骨密度,及最终补缀处置在术前设计的移植植立位置正确地形成移植窝。按照必要形成移植窝之后,通过显示移植窝CG14-B和外科导引CG15-C以进行手术后的评价。这时候,用V-16、V-17表示的透视线3-a切割三维CG表示的下颚透视影像将切削钻CG14-C相对于外科导引CG15-C从断面方向确认如V-18一样地确认进深以进行钻孔。藉此,施术者无需变更视线,就可以从外科导引CG15-C和透视线3-a的两方向确认钻方向以及深度,同时进行手术。
[0124] 同样地,用三维数字放大镜拍摄口腔内牙齿,观察实体影像时,就可以如图7的V-O-1、V-O-2所示般地认识。相对于该解剖学的不动点的各个的牙齿,重叠显示牙齿CG4-C、牙根CG5-C、牙肉软组织CG9-C、计算机图形层次、和透明化的口唇26层次,则如V-O-3、V-O-4所示,就能够在眼前的患者的颜面上,三维地视觉识别不可见区域的牙根的状态。在口腔外科领域中,拔除埋伏牙的时候,三维地确认牙齿牙根的位置和方向有益于安全地实施手术。另外,在矫正治疗中,如V-O-5、V-O-6所示,通过将考虑牙根方向和齿牙植立方向的虚拟托架位置CG24显示在牙齿CG4上,就可以将托架定位在符合牙根方向。在矫正治疗中,通过将当下拍摄影像上储存记录的治疗经过的牙齿CG4-C重叠表示,就可以实时地比较检讨牙齿的移动状况。这比较检讨不仅是各个的牙齿,也可以应用于齿列全体咬合平面的评价。如图8所表示,相对于在矫正治疗的治疗目标设计阶段决定的计算机图形理想拱形16-C的各牙齿的状态如V-19一样地被显示在三维数字放大镜所表示的牙列实体影像上,或者选择性地显示在齿列牙齿CG4-C和下颚骨CG7上,藉此进行目前齿列的评价,通过将储存记录的治疗情况的牙齿CG4-C重叠显示,能够实施治疗步骤的再评价并可以实现有效率的治疗。
[0125] 使得能够看清楚不可见区域的本发明,不仅适用于外科治疗或是牙科矫正治疗,也适用于补缀咬合治疗。以前,为了求得下颚运动的起始点的铰轴,使用缩放图处理下颚,把左右共转轴的动作用描记针描画在左右图上,并以变化位相抵的位置设定作为旋转中心的复杂调整被强制要求进行。不过,在本发明中,如图9所示,合成显示连结实体影像和三维视觉地同一位置重叠成表示的颅骨CG8、以及下颚骨CG7的解剖学共转中心的暂定计算机图形铰轴17-C,对实体仿真开闭运动时计算机图形铰链弧18-C旋转,所以,前述计算机图形铰链弧18-C的旋转变化位量被自动计算,计算机图形铰轴17-C被修正表示。
[0126] 图10是记录这样求出的实际计算机图形铰轴17-C作为起始点的下颚运动的虚拟伸缩绘图。
[0127] 在以前的伸缩绘图中标记的位置为,因为位于面部外侧被描记的下颚运动不是共转的中心部的运动轨迹,在本发明中,以三轴二维表示面表示以实际铰轴作为起始点的下颚运动,所以能够正确地从三轴方向评估左右共转的下颚头中心运动轨迹23。这运动轨迹除供转之外也进行对牙齿CG4-C等的标记以诱导下颚极限运动的话,则表示切牙部下颚极限运道路22。这各运动轨迹记录,除极限运动之外,还记录咀嚼运动、吞咽、演讲等时候的生理的下颚运动,所以,特别利用摩擦齿列侧方运动以及前方运动及下颚头中心运动轨迹23数据在计算机上构筑虚拟咬合器。该虚拟咬合器,因为完全地表现生物体的运动,所以在该咬合器上表示上下齿列CG,用计算机上的虚拟咬合器并使用三维CAD进行符合各种生理的运动的补缀物的设计,再现咀嚼循环、吞咽运动等并再评估补缀物的功能解剖学形状,藉此可以进行完美的补缀治疗。
[0128] 另外,像这样的不见血的施术场面,在取出颚运动的纪录、诊断、或矫正治疗中利用本系统的时候,直接拍摄不动点的牙齿或骨面的范围是被限定的,但是,在此种情况下,将图9的明视标记27用具有再现性的安装手段固定在上下牙齿的状态下进行断层摄影作为多边形模型数据,如果利用作为实体影像的表现标记,就能够得到高精度的计算机图形的连动功能。该明视标记27,即使在口唇紧闭的状态下也能够安装在上下牙齿上,所以不会妨碍口腔周围肌肉的运动而能够记录生理的运动时的颚运动。
[0129] 此外,本发明的三维数字放大镜手术支持系统的影像合成层次要素,并不限定为上述的实施的形态,只要在不脱离本发明的要点的范围内,可以进行种种要素分解或合体等变更。
[0130] 产业上的利用可能性
[0131] 本发明的三维数码扩大镜手术支持系统为,使用安装在被拍摄物的感测标记和安装在拍摄装置的三维位置传感器,实时位置测量二者的相对位置变异,依据被拍摄物和拍摄装置的三维相对位置变化,变更三维数字放大镜的惯用眼侧的显示器所显示的拍摄空间中的特定的被拍摄物影像上相对的地固定配置的三维计算机图形影像的表示方向和表示扩大率或表示位,通过追随在实际三维空间引起的前述被拍摄物和拍摄装置的相对位置变化,拍摄装置视野内的被拍摄物的实体和虚拟的三维计算机图形影像成为一体,在拍摄装置视野内的被拍摄物和拍摄装置的空间位置变化相关的被拍摄物和三维计算机图形显示为一体化,该拍摄装置和被拍摄物、三维计算机图形影像的三维状态变化的形式表现,将三维计算机图形影像和实际的相对位置变化相同变化一样地在拍摄影像上表示,以表现统一现实感的系统。
[0132] 根据该系统,在被三维数字放大镜显示器上所表示的拍摄影像空间上三维计算机图形影像为对被拍摄物相对固定配置,所以,对在实际空间的被拍摄物的三维位置移动三维地连动,拍摄装置侧的三维数字放大镜移动的时候,和被拍摄物一样留在那个位置,依据拍摄装置的视野方向的变化而提供和被拍摄物投影方向同样的视野方向的三维计算机图形影像,所以,像透视眼镜一样视觉地认识目前的实体的内部,识别该三维认识的拍摄影像中的被拍摄物和三维计算机图形影像,同时识别全部视野讯息,藉此,不需要依靠经验及感觉,就可以正确地接近眼前的实体内部不可见部位。
[0133] 同样地,在有多个被拍摄物存在于同一空间内时,分别将三维计算机图形影像相对的地固定配置多个被拍摄物影像上,即使对象被拍摄物是一的个体且是变形的被拍摄物的时候,对应于应力或自律变形的各部位单位相对的地固定配置三维计算机图形影像,将在各个被拍摄物或者应力或自律变形的各部位单位所安装的感测标记使用安装在拍摄装置的三维位置传感器实时位置测量各被拍摄物和拍摄装置的相对位置变异,按照被拍摄物和拍摄装置的三维相对位置变化,改变安装者的惯用眼侧的显示器上所表示的拍摄空间中的各被拍摄物影像上相对的固定配置的各个三维计算机图形影像的表示方向和表示扩大率或表示位置,随着在实际三维空间引起的前述被拍摄物和拍摄装置的相对位置变化,藉此使拍摄装置视野内的被拍摄物的实体和虚拟的三维计算机图形影像成为一体,随着在拍摄装置视野内被拍摄物和拍摄装置的空间位置变化显示使得被拍摄物和三维计算机图形影像一体化,前述的拍摄装置和被拍摄物以三维计算机图形影像的三维状态变化的形式表现,拍摄装置视野内的被拍摄物的多个实体或变形的实体和多个或形状变化的虚拟的三维计算机图形影像成为一体,随着在拍摄装置视野内被拍摄物和拍摄装置的空间位置变化而显示使得被拍摄物和三维计算机图形影像一体化,关于各被拍摄物的关联性各个变形或变异互相影响的情况下,关于在实空间的被拍摄物的状态变化的仿真将三维计算机图形的状态忠实地再现为各材料的变化,也包含因为拍摄空间的状态的变化而引起的三维计算机图形的间接影响的仿真表现的多合成影像位置修正追踪系统。
[0134] 根据该系统,对三维数字放大镜显示器上所表示的拍摄影像空间上被拍摄物相对固定配置的三维计算机图形影像,对于实际空间的各被拍摄物的三维位置移动三维地连动,像透视眼镜一样视觉地认识目前的实体的内部,所以能够识别该三维认识的拍摄影像中的被拍摄物和三维计算机图形影像,同时识别全部视野讯息,以完全骨折等病例为例,在拍摄空间上透视骨折部位的接合状况,藉此一边视觉地确认,即使是不可见区域,也可以不需要依靠经验及感觉,就可以正确地进行整复。另外,特别是在齿科补缀的领域中,若以使用虚拟咬合器而设计的补缀物CAD数据为基础来制作补缀物,则可以省去像以前的间接法一样地造成尺寸精度下降的主要原因的印象采得、副模型制作、蜡模、铸造等的制造程序,而能够制作高精度且生态合适的高级补缀物。
[0135] 本发明的各种功能不仅适用于医疗领域,还是用于一般工业界,特别作为组装操作等的处理,尤其是可以取得从不同于视野方向的不可见方向的视野和内部状况,所以,能够对于不可见区域进行有效率的工作。
高效检索全球专利

专利汇是专利免费检索,专利查询,专利分析-国家发明专利查询检索分析平台,是提供专利分析,专利查询,专利检索等数据服务功能的知识产权数据服务商。

我们的产品包含105个国家的1.26亿组数据,免费查、免费专利分析。

申请试用

分析报告

专利汇分析报告产品可以对行业情报数据进行梳理分析,涉及维度包括行业专利基本状况分析、地域分析、技术分析、发明人分析、申请人分析、专利权人分析、失效分析、核心专利分析、法律分析、研发重点分析、企业专利处境分析、技术处境分析、专利寿命分析、企业定位分析、引证分析等超过60个分析角度,系统通过AI智能系统对图表进行解读,只需1分钟,一键生成行业专利分析报告。

申请试用

QQ群二维码
意见反馈