利用增强现实的刷牙指南信息提供方法以及装置
阅读：1056发布：2020-05-20
专利汇可以提供利用增强现实的刷牙指南信息提供方法以及装置专利检索，专利查询，专利分析的服务。并且根据本 发明 的一 实施例 的刷牙指南信息提供方法，可以包括：用户终端分析拍摄用户的影像，确认所述用户的脸部并识别所述脸部的地标的步骤；所述用户终端利用所述地标生成所述用户的个性化的 牙齿 模型的步骤；所述用户终端利用所述牙齿模型通过 增强现实 提供虚拟的牙齿图像的步骤；以及所述用户终端利用所述牙齿模型提供刷牙指南信息的步骤。，下面是利用增强现实的刷牙指南信息提供方法以及装置专利的具体信息内容。
1.一种刷牙指南信息提供方法，其中，包括：
用户终端分析拍摄用户的影像确认所述用户的脸部并识别所述脸部的地标的步骤；
所述用户终端利用所述地标生成所述用户的个性化的牙齿模型的步骤；
所述用户终端利用所述牙齿模型通过增强现实提供虚拟的牙齿图像的步骤；以及所述用户终端利用所述牙齿模型提供刷牙指南信息的步骤。
2.根据权利要求1所述的刷牙指南信息提供方法，其中，识别所述脸部的地标的步骤，包括：
将所述用户的眉毛、眼睛、鼻、两侧脸颊、嘴、耳朵、下颌线中的一个以上作为地标进行识别的步骤。
3.根据权利要求1所述的刷牙指南信息提供方法，其中，生成所述用户的个性化的牙齿模型的步骤，包括：
利用所述地标推测所述用户的牙齿的位置、大小、排列中的一个以上的步骤。
4.根据权利要求3所述的刷牙指南信息提供方法，其中，推测所述用户的牙齿的位置、大小、排列中的一个以上的步骤，包括：
推测在所述用户的下颌线和右侧耳朵相遇的位置和所述用户的嘴唇中央的位置的重点部位位有下颌右侧磨牙的步骤；
推测在所述用户的下颌线和左侧耳朵相遇的位置和所述用户的嘴唇中央的位置的重点部位位有下颌左侧磨牙的步骤；以及
推测在所述用户的嘴唇中央的位置位有门牙的步骤。
5.根据权利要求3所述的刷牙指南信息提供方法，其中，推测所述用户的牙齿的位置、大小、排列中的一个以上的步骤，包括：
由所述用户的下颌线推测所述用户的下颌的大小的步骤；以及
利用所述下颌的大小推测所述用户的牙齿的大小的步骤。
6.根据权利要求3所述的刷牙指南信息提供方法，其中，推测所述用户的牙齿的位置、大小、排列中的一个以上的步骤，包括：
由所述用户的下颌线推测所述用户的下颌的形状的步骤；以及
利用所述下颌的形状，将所述用户的牙齿的排列推测为四边形牙弓、椭圆形牙弓、尖端形牙弓中的任一个的步骤。
7.根据权利要求1所述的刷牙指南信息提供方法，其中，生成所述用户的个性化的牙齿模型的步骤，包括：
从所述用户输入得到包括出生日期、性别、身高、体重、牙齿数量、牙齿位置、蛀牙数量、蛀牙位置中的一个以上的个性化信息的步骤；以及
利用所述个性化信息修改所述用户的个性化的牙齿模型的步骤。
8.根据权利要求7所述的刷牙指南信息提供方法，其中，修改所述用户的个性化的牙齿模型的步骤，包括：
从所述用户的出生日期逆算月数以及年数，基于所述月数以及年数判断是否为恒牙的步骤；以及
当为乳齿时，将所述牙齿模型中包含的牙齿的数量限定为最多20个以内，当为恒牙时，将所述牙齿模型中包含的牙齿的数量限定为最多28个以内的步骤。
9.根据权利要求7所述的刷牙指南信息提供方法，其中，修改所述用户的个性化的牙齿模型的步骤，包括：
从所述用户的出生日期逆算月数以及年数，基于所述月数以及年数判断是否为恒牙的步骤；以及
根据是否为所述恒牙的判断结果，修改所述牙齿模型中包含的牙齿的大小、形状中的一个以上的步骤。
10.根据权利要求7所述的刷牙指南信息提供方法，其中，修改所述用户的个性化的牙齿模型的步骤，包括：
利用所述性别、身高、年龄、体重中的一个以上，修改所述牙齿模型中包含的牙齿的数量、大小、形状中的一个以上的步骤。
11.根据权利要求1所述的刷牙指南信息提供方法，其中，所述通过增强现实提供虚拟的牙齿图像的步骤，包括：
在所述牙齿模型中尚未萌出第一齿或者第一齿脱落的情况下，在所述虚拟的牙齿图像中，在属于所述第一齿的位置不显示牙齿的步骤。
12.根据权利要求1所述的刷牙指南信息提供方法，其中，所述通过增强现实提供虚拟的牙齿图像的步骤，包括：
通过增强现实进一步提供虚拟的牙刷图像或者仅提供虚拟的牙刷图像来代替虚拟的牙齿图像的步骤。
13.根据权利要求12所述的刷牙指南信息提供方法，其中，所述通过增强现实进一步提供虚拟的牙刷图像或者仅提供虚拟的牙刷图像来代替虚拟的牙齿图像的步骤，包括：
分析所述拍摄的影像，推测所述用户握持牙刷的手和其角度的步骤；以及基于所述手和其角度，通过增强现实显示所述虚拟的牙刷图像的位置和角度的步骤。
14.根据权利要求1所述的刷牙指南信息提供方法，其中，提供所述刷牙指南信息的步骤，包括：
将所述牙齿模型分为预设数量的部分，通过颜色显示对各个部分进行刷牙的程度的步骤。
15.根据权利要求14所述的刷牙指南信息提供方法，其中，所述通过颜色显示对各个部分进行刷牙的程度的步骤，包括：
当为乳齿时，将所述牙齿模型分为左侧牙齿的前面和后面、右侧牙齿的前面和后面共八个部分的步骤。
16.根据权利要求14所述的刷牙指南信息提供方法，其中，所述通过颜色显示对各个部分进行刷牙的程度的步骤，包括：
当为恒牙时，将所述牙齿模型分为左侧磨牙的前面、上面和后面、门牙的前面和后面、右侧磨牙的前面、上面和后面共十六个部分的步骤。
17.根据权利要求1所述的刷牙指南信息提供方法，其中，提供所述刷牙指南信息的步骤，包括：
将所述牙齿模型分为预设数量的部分，通过视觉或者听觉提示对各个部分需要刷牙的次数、方向、时间中的一个以上的步骤。
18.根据权利要求17所述的刷牙指南信息提供方法，其中，所述通过视觉或者听觉提示对各个部分需要刷牙的次数、方向、时间中的一个以上的步骤，包括：
在所述牙齿模型中尚未萌出第一齿或者第一齿脱落的情况下，对属于所述第一齿的位置不进行提示的步骤。
19.根据权利要求17所述的刷牙指南信息提供方法，其中，所述通过视觉或者听觉提示对各个部分需要刷牙的次数、方向、时间中的一个以上的步骤，包括：
当所述用户为比预设年龄小的孩童时，提示旋转法或者冯姿法的横向刷牙，除此之外，提示巴氏刷牙法或者变形巴氏刷牙法的上下方向的刷牙的步骤。
20.一种存储在计算机可读介质的计算机程序，其与硬件结合而执行权利要求1至19中任一项所述的刷牙指南信息提供方法。
21.一种利用增强现实的内容提供方法，其中，包括：
内容提供装置分析拍摄用户的影像确认所述用户的第一部分，并识别所述第一部位的地标的步骤；
所述内容提供装置利用所述地标生成所述用户的个性化的第一部位模型的步骤；
所述内容提供装置利用所述第一部位模型通过增强现实提供虚拟的第一部位图像的步骤；以及
所述内容提供装置利用所述第一部位模型提供与所述第一部位相关的内容的步骤。
利用增强现实的刷牙指南信息提供方法以及装置
技术领域
[0001] 本发明涉及利用增强现实的刷牙指南信息提供方法以及其装置。更加详细而言，涉及刷牙时利用增强现实提供与刷牙有关的指南信息，例如对各个区域进行刷牙程度的指南信息的方法以及执行所述方法的装置。
背景技术
[0002] 大部分的孩子们都厌烦刷牙。然而，牙齿是不可再生的身体部位，因此当恒牙受损时，需要其他医疗性帮助。而且，孩子们更不喜欢去牙科，其讨厌程度是刷牙的好几倍。因此，正确的牙齿管理是极其重要的。
[0003] 为此，从萌出乳齿开始养成正确的刷牙习惯很重要。刷牙是用于保持健康的生活的健康生活习惯之一。实际上，仅靠刷牙一个习惯也能保持健康的牙齿。然而，大部分的孩子们即便每日刷牙1次以上，牙齿也会受损，其理由是因为错误的刷牙习惯。
[0004] 为了解决所述问题，有通过视频等提供与正确的刷牙有关的信息的方法。然而，如上所述方法与作为刷牙的用户的孩子们没有相互间作用，只是单纯播放指定的内容。因此，观看内容期间，孩子们的注意力容易下降，且疏忽刷牙。
[0005] 为此，要求向孩子们提供与正确的刷牙习惯有关的内容的同时，相互对话以能够使孩子们对内容集中的指南信息提供方法。
发明内容
[0006] 本发明所要解决的技术课题为提供利用增强现实的刷牙指南信息提供方法以及其装置。
[0007] 本发明的技术课题并不局限于以上所提及的技术课题，尚未提及的另外的其他课题可以通过以下记载供本发明技术领域的技术人员明确理解。
[0008] 为了解决所述技术课题，根据本发明的一实施例的刷牙指南信息提供方法，可以包括：用户终端分析拍摄用户的影像确认所述用户的脸部，并识别所述脸部的地标的步骤；所述用户终端利用所述地标生成所述用户的个性化的牙齿模型的步骤；所述用户终端利用所述牙齿模型通过增强现实提供虚拟的牙齿图像的步骤；以及所述用户终端利用所述牙齿模型提供刷牙指南信息的步骤。
[0009] 优选地，识别所述脸部的地标的步骤，可以包括：将所述用户的眉毛、眼睛、鼻、两侧脸颊、嘴、耳朵、下颌线中的一个以上作为地标进行识别的步骤。
[0010] 优选地，生成所述用户的个性化的牙齿模型的步骤，可以包括：利用所述地标推测所述用户的牙齿的位置、大小、排列中的一个以上的步骤。
[0011] 优选地，推测所述用户的牙齿的位置、大小、排列中的一个以上的步骤，可以包括：推测在所述用户的下颌线和右侧耳朵相遇的位置和所述用户的嘴唇中央的位置的重点部位位有下颌右侧磨牙的步骤；推测在所述用户的下颌线和左侧耳朵相遇的位置和所述用户的嘴唇中央的位置的重点部位位有下颌左侧磨牙的步骤；以及推测在所述用户的嘴唇中央的位置位有门牙的步骤。
[0012] 优选地，推测所述用户的牙齿的位置、大小、排列中的一个以上的步骤，可以包括：由所述用户的下颌线推测所述用户的下颌的大小的步骤；以及利用所述下颌的大小推测所述用户的牙齿的大小的步骤。
[0013] 优选地，推测所述用户的牙齿的位置、大小、排列中的一个以上的步骤，可以包括：由所述用户的下颌线推测所述用户的下颌的形状的步骤；以及利用所述下颌的形状，将所述用户的牙齿的排列推测为四边形牙弓、椭圆形牙弓、尖端形牙弓中的任一个的步骤。
[0014] 优选地，生成所述用户的个性化的牙齿模型的步骤，可以包括：从所述用户输入得到包括出生日期、性别、身高、体重、牙齿数量、牙齿位置、蛀牙数量、蛀牙位置中的一个以上的个性化信息的步骤；以及利用所述个性化信息修改所述用户的个性化的牙齿模型的步骤。
[0015] 优选地，修改所述用户的个性化的牙齿模型的步骤，可以包括：从所述用户的出生日期逆算月数以及年数，基于所述月数以及年数判断是否为恒牙的步骤；以及当为乳齿时，将所述牙齿模型中包含的牙齿的数量限定为最多20个以内，当为恒牙时，将所述牙齿模型中包含的牙齿的数量限定为最多28个以内的步骤。
[0016] 优选地，修改所述用户的个性化的牙齿模型的步骤可以包括：从所述用户的出生日期逆算月数以及年数，基于所述月数以及年数判断是否为恒牙的步骤；以及根据是否为所述恒牙的判断结果，修改所述牙齿模型中包含的牙齿的大小、形状中的一个以上的步骤。
[0017] 优选地，修改所述用户的个性化的牙齿模型的步骤，可以包括：利用所述性别、身高、年龄、体重中的一个以上，修改所述牙齿模型中包含的牙齿的数量、大小、形状中的一个以上的步骤。
[0018] 优选地，所述通过增强现实提供虚拟的牙齿图像的步骤，可以包括：在所述牙齿模型中尚未萌出第一齿或者第一齿脱落的情况下，在所述虚拟的牙齿图像中，在属于所述第一齿的位置不显示牙齿的步骤。
[0019] 优选地，所述通过增强现实提供虚拟的牙齿图像的步骤，可以包括：通过增强现实进一步提供虚拟的牙刷图像或者仅提供虚拟的牙刷图像来代替虚拟的牙齿图像的步骤。
[0020] 优选地，所述通过增强现实进一步提供虚拟的牙刷图像或者仅提供虚拟的牙刷图像来代替虚拟的牙齿图像的步骤，可以包括：分析所述拍摄的影像，推测所述用户握持牙刷的手和其角度的步骤；以及基于所述手和其角度，通过增强现实显示所述虚拟的牙刷图像的位置和角度的步骤。
[0021] 优选地，提供所述刷牙指南信息的步骤，可以包括：将所述牙齿模型分为预设数量的部分，通过颜色显示对各个部分进行刷牙的程度的步骤。
[0022] 优选地，所述通过颜色显示对各个部分进行刷牙的程度的步骤，可以包括：当为乳齿时，将所述牙齿模型分为左侧牙齿的前面和后面、右侧牙齿的前面和后面总共八个部分的步骤。
[0023] 优选地，所述通过颜色显示对各个部分进行刷牙的程度的步骤，可以包括：当为恒牙时，将所述牙齿模型分为左侧磨牙的前面、上面和后面、门牙的前面和后面、右侧磨牙的前面、上面和后面总共十六个部分的步骤。
[0024] 优选地，提供所述刷牙指南信息的步骤，可以包括：将所述牙齿模型分为预设数量的部分，通过视觉或者听觉提示对各个部分需要刷牙的次数、方向、时间中的一个以上的步骤。
[0025] 优选地，所述通过视觉或者听觉提示对各个部分需要刷牙的次数、方向、时间中的一个以上的步骤，可以包括：在所述牙齿模型中尚未萌出第一齿或者第一齿脱落的情况下，对属于所述第一齿的位置不进行提示的步骤。
[0026] 优选地，所述通过视觉或者听觉提示对各个部分需要刷牙的次数、方向、时间中的一个以上的步骤，可以包括：当所述用户为比预设年龄小的孩童时，提示旋转法或者冯姿法的横向刷牙，除此之外，提示巴氏刷牙法或者变形巴氏刷牙法的上下方向的刷牙的步骤。
[0028] 为了解决所述技术课题，根据本发明的又一其他实施例的利用增强现实的内容提供方法可以包括：内容提供装置分析拍摄用户的影像，确认所述用户的第一部分，并识别所述第一部位的地标的步骤；所述内容提供装置利用所述地标，生成所述用户的个性化的第一部位模型的步骤；所述内容提供装置利用所述第一部位模型，通过增强现实提供虚拟的第一部位图像的步骤；以及所述内容提供装置利用所述第一部位模型，提供与所述第一部位相关的内容的步骤。
[0029] 根据本发明的效果为如下。
[0030] 根据本发明，利用增强现实提供刷牙指南信息，因此孩子们可以对内容更加集中。尤其，是通过与孩童的相互作用提供指南信息而不是通过单纯播放固定的内容的方式，因此可以始终保持兴趣。
[0031] 另外，通过增强现实提供内容时，可以按照个人提供定制式内容，因此能够进一步引起对内容的兴趣。由此，刷牙可以成为一种游戏，可以有助于养成正确的刷牙习惯。
[0032] 另外，不仅是孩童，成人也可以利用根据本发明的指南信息提供方法，长时间监控自己的刷牙习惯。由此，也可以帮助成人管理健康的牙齿。另外，还可以将监控刷牙的信息提供给父母或者医生等第三者，从而作为医疗信息活用。附图说明
[0033] 图1是用于说明根据本发明的一实施例的利用增强信息的刷牙指南信息提供方法的示意图。
[0034] 图2是根据本发明的一实施例的利用增强信息的刷牙指南信息提供方法的顺序图。
[0035] 图3是用于说明拍摄图2的用户刷牙的情况的步骤S1100的示例图。
[0036] 图4至图10是用于说明分析图2的脸部的地标生成个性化的牙齿模型的步骤S1200的示例图。
[0037] 图11a以及图11b是用于说明利用图2的增强现实显示牙齿模型的步骤S1300的示例图。
[0038] 图12是用于说明根据图2的刷牙的进行提供指南信息的步骤S1400的示例图。
[0039] 图13是用于说明图2的刷牙结束时提供监控结果的步骤S1500的示例图。
[0040] 图14是根据本发明的一实施例的利用增强现实的刷牙指南信息提供装置的硬件结构图。
具体实施方式
[0041] 以下，参考附图详细说明本发明的优选实施例。与附图一起参考详细后述的实施例，则可以明确本发明的优点、特征以及达成其的方法。然而，本发明并不局限于以下公开的实施例，而可以体现为互不相同的多种形态，本实施例仅是为了使本发明的公开变完整，向本发明所属技术领域的技术人员完全告知发明的范畴而提供的，本发明仅由权利要求的范围而定。在整个说明书中相同的附图标记指代相同的构成要素。
[0042] 未作其他定义时，本说明书中使用的所有术语(包括技术以及科学术语)可以使用为可供本发明所属技术领域的技术人员通常所理解的含义。另外，对于通常所使用的辞典中定义的术语，未作特别定义时，不应理想或者过分解释。本说明书中使用的术语是用于说明实施例，并不用于限定本发明。在本说明书中，在语句中未作特别提及时，单数型还包括复数型。
[0043] 以下，参考附图说明本发明的若干实施例。
[0044] 图1是用于说明根据本发明的一实施例的利用增强信息的刷牙指南信息提供方法的示意图。
[0045] 参考图1，可以确认到在智能手机200显示有刷牙的用户的图像210、通过增强现实显示的虚拟的牙齿图像220以及通过增强现实显示的虚拟的牙刷图像230。刷牙的用户是尚未萌出恒牙的孩童，通过增强现实可以确认到在画面叠加(overlay)显示有10个上牙、10个下牙的牙齿。
[0046] 在本发明中，为了通过增强现实提供刷牙指南信息，需要智能手机200等其他的装置。可以通过设置在智能手机200中的应用程序，提供如上所述功能。然而，图1的示例是为了有助于理解发明，除了智能手机200之外，可以通过与此类似的平板电脑、智能手表等可穿戴设备等，通过增强现实提供刷牙指南信息。
[0047] 然而，为了通过增强现实提供刷牙指南信息，必须具备相机等拍摄部和显示器等显示部。例如，在卫生间设置触摸屏，拍摄用户的样子，然后如镜子般提供图像，除此之外，如进一步提供附加功能的智能镜子的情况，也可以应用本发明。
[0048] 对智能镜子做进一步说明，则在用户洗脸期间，在画面的角落提供与今天的天气有关的信息、与今天一天的行程有关的信息等，并拍摄刷牙的样子，然后可以基于此，通过增强现实提供与刷牙有关的指南信息。如此，可以通过多种设备体现本发明。
[0049] 在图1中分开示出智能手机200拍摄的用户图像210、虚拟生成的牙齿图像220以及虚拟生成的牙刷图像230，然而，还可以在用户图像210叠加显示牙齿图像220和牙刷图像230。针对此，在后述的图11a以及图11b中更加详细说明。
[0050] 另外，根据情况，可以省略用户图像210，而仅提供虚拟的牙齿图像220和虚拟的牙刷图像230。该情况下，具有引导用户对虚拟的牙齿图像220和虚拟的牙刷图像230更加集中的效果。另外，还可以省略虚拟的牙齿图像220，而通过增强现实仅显示虚拟的牙刷图像230，提供刷牙指南信息。此时，具有引导用户仅对刷牙指南信息集中的效果。
[0051] 另外，在图1中示出10个上牙和10个下牙全部，然而针对根据用户而尚未萌出牙齿的部分，通过增强现实显示牙齿图像220时，可以省略该牙齿。例如，当为仅萌出门牙而尚未萌出磨牙的情况时，还可以显示5个或者6个牙齿而不是10个。
[0052] 用户刷牙时，虚拟生成的牙刷图像230会叠加显示在目前刷牙中的牙齿图像上。另外，刷牙的同时，随着用户的手的上/下/左/右的移动，虚拟的牙刷图像230也会一同移动。
[0053] 以往是通过视频或者flash动画等播放固定的内容，提供与刷牙有关的信息，与此相反地，本发明可以通过随着用户的移动而内容改变的相互作用，进一步引起对刷牙的兴趣。即，孩童可以将刷牙认为是一种游戏。
[0054] 为了通过增强现实提供与刷牙有关的指南信息，在本发明中，实时分析相机拍摄的影像，确认用户的脸部之后，掌握嘴和下颌线的位置以及脸部的位置和大小。然后，按照各个用户生成牙齿模型之后，将其通过增强现实显示在画面上。
[0055] 此时，按照各个用户生成的牙齿模型是反映牙齿的结构、牙齿大小、牙齿状态等的个性化的牙齿模型。由此，有助于用户能够对刷牙指南信息更加集中。另外，基于个性化的牙齿模型，还对指南信息进行个性化来提供。
[0056] 另外，通过增强现实显示虚拟的牙齿图像220或者虚拟的牙刷图像230时，可以进一步一同显示效果音或者视觉效果。由此，可以持续引起兴趣，有助于对刷牙集中。即，可以有助于孩童将刷牙认为是有趣的生活习惯。
[0057] 不仅如此，结束刷牙之后，可以提供与进行刷牙的结果有关的反馈。所述反馈信息可以提供给用户本人，除此之外，还可以提供给孩童的父母或者牙科医生。其事后还可以作为医疗信息来活用。
[0058] 图2是根据本发明的一实施例的利用增强信息的刷牙指南信息提供方法的顺序图。
[0059] 参考图2，首先通过智能手机200的相机拍摄用户刷牙的样子S1100。为此，一般是优选在卫生间洗脸盆的前面部分或者镜子上设置能够放置智能手机200的放置架。
[0060] 孩童为了刷牙而拿着智能手机200去卫生间之后，将智能手机200放置在放置架上，运行应用程序。然后，拿出牙刷和牙膏进行刷牙，此时智能手机200的相机拍摄所述样子，并分析影像。
[0061] 通过影像分析，在脸部识别眼睛、鼻、嘴、耳朵等地标(landmark)，基于此，掌握牙齿的位置或者结构等，生成个性化的牙齿模型S1200。即，在本发明中，按照各个用户，在画面显示互不相同的虚拟的牙齿图像220。
[0062] 将生成的牙齿模型与利用增强现实拍摄的影像一起进行显示S1300。此时，还可以在拍摄的影像的图像210上叠加显示牙齿图像220，为了更加详细显示牙齿图像，如图1所示，可以将拍摄的影像的图像210以缩略图形式较小显示，将虚拟的牙齿图像220较大显示。
[0063] 此时，显示在画面上的虚拟的牙齿图像220在用户转动脸部或者倾斜头部时，与此相符地虚拟的牙齿图像220也进行转动或者倾斜，从而能够赋予现实感。为此，可以活用人脸识别(face recognition)、模式识别(pattern recognition)等影像处理技术。
[0064] 用户刷牙时，由此通过增强现实一同显示虚拟的牙刷图像230，进一步地，一同提供指南信息S1400。指南信息可以是提示对牙齿的各个部位刷牙到何种程度的信息。或者，可以是提示刷牙的速度或者方向等的信息。或者，可以是提示进一步需要刷牙的部位的信息。
[0065] 用户结束刷牙，则通过反馈提供监控结果S1500。还可以通过影像分析掌握刷牙的结束。例如，通过影像分析，当用户放下牙刷时，可以掌握为结束刷牙。或者，可以利用用户触摸刷牙结束按钮的方式，通过用户的输入掌握刷牙的结束。
[0066] 监控结果是可以通过颜色或者图表等将对各个部位顺利刷牙到何种程度的信息进行视觉化来提供。另外，除了将反馈信息显示在智能手机200之外，还可以传送到孩童的父母或者牙科医生等指定的用户的终端。
[0067] 以上观察了本发明中提供的利用增强现实的刷牙指南信息提供方法。在本发明中，通过增强现实提供刷牙指南信息的理由是为了通过相互作用引起用户的兴趣。另外，刷牙时，由于牙齿在嘴里，因此即便通过相机拍摄刷牙的样子，牙齿也不露出。为此，将牙齿通过虚拟方式进行视觉化来显示，从而有助于养成正确的刷牙习惯。
[0068] 然而，刷牙期间，实际上不露出牙齿，因此需要通过分析影像，确认用户的脸部，然后基于地标，并以解剖学信息为基础，实时显示虚拟的牙齿图像220。如此，在本发明中，为了应用增强现实，通过影像处理技术和解剖学分析，生成个性化的牙齿模型。
[0069] 图3是用于说明拍摄图2的用户刷牙的情况的步骤S1100的示例图。
[0070] 参考图3，可以确认到在卫生间的镜子300上放置有智能手机200。当现实中的用户110拿起牙刷130进行刷牙时，通常是看着照在镜子300里的用户本身的样子310进行刷牙。
然而，镜子里的用户的样子310仅是将用户的样子110原样照射，因此，通常孩童感觉不到兴趣。
然而，镜子里的用户的样子310仅是将用户的样子110原样照射，因此，通常孩童感觉不到兴趣。
[0071] 此时，通过设置在镜子300上的智能手机200进行相互作用的同时，通过视觉或者听觉提供与刷牙有关的指南信息，则可以引起孩子们的兴趣。由此，可以有助于从萌出乳齿开始，养成正确的刷牙习惯。
[0072] 图4至图10是用于说明分析图2的脸部的地标，生成个性化的牙齿模型的步骤S1200的示例图。
[0073] 参考图4，示例出在拍摄用户的图像210中可以作为地标活用的脸部的部位。例如，可以将两只眼睛411、412、两侧脸颊413、414、鼻415、嘴角416、417、嘴唇中央部分418等作为地标活用。通过所述地标分析，即便用户闭嘴刷牙，也能推测牙齿的位置或者大小等信息。
[0074] 参考图5a，可以确认到按照各个位置在更加多样的地标上标有数字。本发明在如上所述地标结合解剖学信息，从而推测与不露出的牙齿有关的信息。
[0075] 例如，在图5中详细观察两个耳朵和下颌线相遇的支点的3号位置和29号位置。通常，该部分属于下颌骨的端部。然后，作为嘴唇中间部分的93号位置是门牙所处的位置。
[0076] 此时，如图5b所示，可以推测在3号位置和93号位置的中间位置位有下颌左侧磨牙。相同地，可以推测在29号位置和93号位置的中间位置位有下颌右侧磨牙。
[0077] 不仅是牙齿的位置，还可以基于从0号位置到33号位置为止的下颌线，计算用户的下颌的大小，基于下颌的大小，推测牙齿的大小。解剖学上，下颌的大小越大，牙齿的大小也大，因此，还可以由此推测牙齿的大小。
[0078] 参考图5c，可以看到用户的个性化的牙齿模型以虚拟的牙齿图像叠加显示在画面上。另外，除了牙齿的位置和大小之外，还可以对牙齿的数量等进行个性化来显示。尤其，当为孩童时，会根据乳齿和恒牙而牙齿的数量不同，因此可以将其反映在牙齿模型中。
[0079] 如在图5a至图5c中所示，在本发明中，可以利用解剖学信息，推测用户的牙齿的位置和大小等。将其称为个性化的牙齿模型。然而，其是用于说明利用解剖学信息来生成牙齿模型的过程的一例，除此之外，还可以利用多种信息。
[0080] 例如，通常，牙齿的大小或者位置与用户的年龄、性别、身高、体重等有相关关系。可以从用户进一步输入得到如上所述信息，从而活用于生成个性化的牙齿模型。
[0081] 不仅如此，在智能手机200的应用程序进行用户登录的过程中，向用户另外提示在“啊～”张嘴的状态下拍摄照片，从而可以直接拍摄牙齿的图像，活用为生成个性化的牙齿模型。
[0083] 参考图6，可以在生成个性化的牙齿模型的步骤S1200之前，进一步执行拍摄用户的牙齿的步骤S1210或者从用户进一步输入得到信息的步骤S1220。另外，图6中示出S1210步骤和S1220步骤为依次的步骤，然而同时执行或者改变顺序来执行也无妨，仅执行某一个步骤也无妨。
[0084] 在拍摄用户的脸部的图像中提取地标，并结合解剖学信息，从而可以推测牙齿的位置或者大小等，然而难以获得其以上的信息。例如，即便利用解剖学信息，对获得牙齿的数量、是否拔过牙、是否有蛀牙等有限制。
[0085] 当然，可以通过分析脸部影像来推测年龄等，并由此推测是否为乳齿或者恒牙程度，然而其也是有限的信息。为了对此进行完善，可以从用户进一步输入得到出生日期、性别、年龄等个人信息。
[0086] 参考图7，可以确认到乳齿和恒牙的区别。在人体中，将第一次萌出的牙齿称为乳齿。换句而言称为乳牙。由于是在哺乳期间萌出，因此称为乳牙。乳齿是出生6至7个月左右开始萌出，萌出到20至30个月为止。当为乳齿时，与臼齿的种类区分无关，仅存在乳臼齿。
[0087] 乳切牙(Deciduous incisor)是指在最前面萌出的共八颗牙齿。在上颌萌出四颗，在下颌萌出四颗，是在左右各萌出两颗。中间的四颗牙齿为乳中切牙，位于更加外侧的四颗牙齿称为乳侧切牙。乳侧切牙的大小比乳中切牙小。在出生后6至8个月内萌出。
[0088] 乳犬齿(Deciduous canine)是指位于乳侧切牙的外侧的牙齿，总共有四颗。在出生后16至20个月内萌出。
[0089] 乳臼齿(Deciduous molar)是位于乳犬齿外侧的牙齿，总共有八颗。内侧的牙齿称为第一乳臼齿，外侧的牙齿称为第二乳臼齿。第一乳臼齿的形状与恒牙的任何牙齿都不同。牙齿的根如大臼齿有三个，然而在外面露出的形状接近小臼齿。第二乳臼齿的形状与恒牙的第一大臼齿类似。在出生后12至30个月内萌出。
[0090] 与此相比，将乳齿脱落后萌出的牙齿称为恒牙。
[0091] 切牙(Incisor)是指位于最前侧的总共八颗牙齿。在乳切牙脱落的位置萌出。由于大小比乳切牙大，因此，乳切牙是稀疏萌出，而切牙萌出时会填充该位置。如果乳切牙之间的空间不充分，则切牙可能会相互重叠或者歪斜萌出或者成为重牙。起到咬断食物的作用，而且审美上起到重要作用，发音时也是不可或缺的部分。中间的称为中切牙，外侧的称为侧切牙。
[0092] 犬齿(Canine)是指位于切牙的外侧的四颗牙齿。相比切牙，具有中间尖尖的形状，常常称为尖牙。起到撕裂食物的作用，而且审美上起到非常重要的作用。这是因为犬齿在由牙齿构成的牙弓上突出。由于齿根的长度在牙齿中最长，因此耐久性也卓越，其理由是因为犬齿在咀嚼食物的过程中相互最先接触，同时指引下颌移动的路线。犬齿被磨掉或者发生脱离，则咀嚼食物的方法会发生改变。
[0093] 小臼齿(Premolar)是指位于犬齿的外侧的八颗牙齿，常常称为小磨牙。将中心侧称为第一小臼齿，将外侧称为第二小臼齿而进行区分。起到将食物细细嚼碎的作用。从小臼齿开始牙齿的牙尖会成为两个以上。上颌的小臼齿的牙尖全部为两个，然而，偶尔下颌的第二小臼齿还显示舌侧牙尖为两个的3牙尖型。
[0094] 大臼齿(Molar)是指位于最外侧的十二个牙齿。从中心侧开始依次称为第一大臼齿、第二大臼齿、第三大臼齿，将第三大臼齿常常称为智齿。起到将食物细细磨碎的作用。上颌的大臼齿其牙尖为四个的情况较多，齿根为三个，下颌的大臼齿其牙尖为五个的情况较多，齿根为两个。在上颌第一大臼齿的舌侧还会长出第五个小的牙尖，上颌第二大臼齿其舌侧的外侧牙尖还发生退化而长成如三个牙尖。下颌第一大臼齿的牙尖大体为四边形而设置有四个，而且形成为在外侧进一步设置一个的形态，第二大臼齿的牙尖也是类似，然而也经常出现外侧的第五个牙尖退化的4牙尖型。第三大臼齿的形态为多样而非常发达，从而具有与第一大臼齿类似的情况，然而还比发生退化而变小的第二大臼齿的情况更小。
[0095] 如图7所示，根据是乳齿还是恒牙，而大小和形状不同。另外，整体牙齿的数量也不同。为此，对用户的牙齿是乳齿还是恒牙进行区分，并通过增强现实进行显示，则可以进一步感受到现实感。然而，从拍摄脸部的影像中推测如上所述信息会受限。为此，可以从用户进一步输入得到出生日期来活用。
[0096] 图8a是用表整理出乳齿萌出的时期和脱落的时期的图面。参考图8a，上颌的第一门牙(＝乳中切牙)是7至8个月时萌出，6至7岁之间脱落。另外，上颌的第二门牙(＝乳侧切牙)是8至9个月时萌出，7至8岁之间脱落。另外，上颌的尖牙(＝乳犬齿)是16至20个月时萌出，10至12岁之间脱落。另外，上颌的第一磨牙(＝第一乳臼齿)是12至16个月时萌出，9至11岁之间脱落。另外，上颌的第二磨牙(＝第二乳臼齿)是20至30个月时萌出，10至12岁之间脱落。
[0097] 参考图8a，下颌的第一门牙(＝乳中切牙)是6至7个月时萌出，6至7岁之间脱落。另外，下颌的第二门牙(＝乳侧切牙)是6至7个月时萌出，7至8岁之间脱落。另外，下颌的尖牙(＝乳犬齿)是16至20个月时萌出，9至12岁之间脱落。另外，下颌的第一磨牙(＝第一乳臼齿)是12至16个月时萌出，9至11岁之间脱落。另外，下颌的第二磨牙(＝第二乳臼齿)是20至30个月时萌出，10至12岁之间脱落。
[0098] 参考图8b，可以对上颌和下颌各自确认萌出恒牙的时期。在不是特殊情况下，恒牙不会自然脱落，因此仅整理出萌出时期。
[0099] 参考图8b，上颌的第一门牙(＝中切牙)是在7至8岁之间萌出，下颌的第一门牙是在6至7岁之间萌出。另外，上颌的第二门牙(＝侧切牙)是在8至9岁之间萌出，下颌的第二门牙(＝侧切牙)是在7至8岁之间萌出。另外，上颌的尖牙(＝犬齿)是在11至12岁之间萌出，下颌的尖牙(＝犬齿)是在9至10岁之间萌出。
[0100] 另外，上颌的第一小磨牙(＝第一小臼齿)是在10至11岁之间萌出，下颌的第一小磨牙(＝第一小臼齿)是在10至12岁之间萌出。另外，上颌的第二小磨牙(＝第二小臼齿)是在10至12岁之间萌出，下颌的第二小磨牙(＝第二小臼齿)是在10至12岁之间萌出。
[0101] 另外，上颌的第一大磨牙(＝第一大臼齿)是在6至7岁之间萌出，下颌的第一大磨牙(＝第一大臼齿)是在6至7岁之间萌出。另外，上颌的第二大磨牙(＝第二大臼齿)是在12至13岁之间萌出，下颌的第二大磨牙(＝第二大臼齿)是在11至13岁之间萌出。另外，上颌的第三大磨牙(＝第三大臼齿)是在17至21岁之间萌出，下颌的第三大磨牙(＝第三大臼齿)是在17至21岁之间萌出。
[0102] 如上所述，即便是乳齿，也是根据位置而萌出的时期和脱落的时期存在差异。另外，即便是同样的门牙，也是根据上颌还是下颌而萌出的时期和脱落的时期存在差异。另外，根据是乳齿还是恒牙而牙齿的数量上存在差异。
[0103] 为此，从用户输入得到出生日期，则逆算月数或者年数，从而区分是乳齿还是恒牙，而且即便是乳齿，也能对目前萌出的牙齿和未萌出的牙齿进行区分。由此，可以生成更加准确的个性化的牙齿模型，并将其通过增强现实显示。
[0104] 本发明中提供的利用增强现实的刷牙指南信息提供方法可以通过智能手机200的应用程序等提供，该过程中，可以生成用户资料。可以基于用户资料，持续监控并反馈刷牙情况。此时，在生成用户资料的过程中，可以输入得到出生日期、性别、身高、体重、牙齿数量、牙齿位置、蛀牙数量、蛀牙位置等信息。
[0105] 另外，在生成资料的过程中，可以输入得到张嘴拍摄牙齿的照片，并将是否有蛀牙等反映在个性化的牙齿模型中。还可以反映萌出牙齿的部位、脱落部位、有蛀牙部位等信息，生成个性化的指南信息。
[0106] 例如，可以从刷牙指南信息中省略牙齿脱落的部位，或者对有蛀牙的部位刷牙更多次等生成定制式的指南信息。即，可以基于个性化的牙齿模型，生成个性化的指南信息。
[0107] 在以解剖学信息和由用户输入得到的信息为基础，生成反映牙齿的位置、大小、数量等的个性化的牙齿模型的过程中，还可以进一步反映牙齿的排列。图9a至图9c中示例出牙齿的排列。
[0108] 参考图9a，可以确认到四边形形态的牙弓(Square arch)。另外，图9b中可以确认到椭圆形形态的牙弓(Oval arch)。最后，图9c中可以确认到尖端形形态的牙弓(Triangular arch)。分别以磨牙的线条和门牙的线条所成的角度为基准，大体分为四边形、椭圆形、尖端形(＝三角形)。
[0109] 根据2010年度的统计，分析出椭圆形为44％而最多，其次四边形为30％，尖端形为26％。另外，按照年龄比较牙弓的结果，显示20岁以下中椭圆形为48％，四边形为28％，尖端形为24％，20几岁中椭圆形为42％，四边形为31％，尖端形为27％，30几岁中椭圆形为40％，四边形为35％，尖端形为25％，在30岁以下的年龄层中椭圆形分布较多。与此相比，40几岁中，显示为四边形为35％，尖端形为34％，椭圆形为31％，相比年轻人，四边形牙弓较多而椭圆形牙弓较少，因此显示韩国人的牙弓形态逐渐偏向西方化。
[0110] 如上所述，根据年龄层，牙弓的形态也显示不同特性。尤其，牙弓与下颌线的线条有密切关系，因此，可以从下颌线的解剖学信息推测牙弓的形态。
[0111] 另外，如图10所示，当生成个性化的牙齿模型时，可以从该用户的牙科医院的服务器接收X-Ray照片等，然后基于此，生成更加准确的牙齿模型。当为孩童时，有必要持续的牙齿管理，因此可以通过与医院的联系，生成更加准确的牙齿模型，而且基于此，提供个性化的指南信息。
[0112] 尤其，生成指南信息时，可以反映负责医生的意见。例如，当负责医生生成对特定部位更加集中刷牙的指南信息时，可以按照各个部位赋予加权值。
[0113] 图11a以及图11b是用于说明利用图2的增强现实，显示牙齿模型的步骤S1300的示例图。
[0114] 参考图11a，可以确认到在拍摄用户的图像210上叠加显示有虚拟的牙齿图像220。即便是用户闭嘴的状态，也可以通过增强现实显示虚拟的牙齿图像220，从而在刷牙的过程期间，通过视觉化显示牙齿的状态变化。
[0115] 尤其，如图11a所示，当用户朝右侧倾斜头部时，牙齿的位置也相同地倾斜示出。由于是增强现实，因此可以基于用户的脸部轮廓、下颌线等，并与解剖学信息进行结合，从而推测牙齿的位置并在该位置显示个性化的牙齿模型。
[0116] 由此，与单纯看着镜子刷牙的方法或者观看单纯播放的视频内容刷牙的方法相比，可以向用户提供具有现实感的刷牙指南信息。
[0117] 另外，除了虚拟的牙齿图像220和虚拟的牙刷图像230之外，还可以通过增强现实，一同显示附加图像。图11a中可以确认到将刷牙的过程与游戏进行结合，从而与游戏角色的图像240一起显示的情况。
[0118] 另外，图11b中可以确认到利用增强现实将用户的样子用啵乐乐角色的图像250进行替换并显示的情况。图11b中，用户的样子全部被啵乐乐角色的图像250进行替换，然而还可以替换一部分而不是整体。例如，可以在用户的图像210中仅合成啵乐乐的眼镜和帽子，并通过增强现实来显示。除了啵乐乐之外，通过增强现实体现孩子们喜欢的角色来显示刷牙的样子，则可以使孩子们认为刷牙是一种愉快的游戏。
[0119] 图11b中仅示出啵乐乐角色图像250，然而，除此之外，可以使用多种角色的图像。尤其，由于该种角色图像有版权，因此还可以通过签订合同得到授权后，在应用程序内有偿销售角色图像。由此，还可以通过部分收费来获得收益。
[0120] 图12是用于说明根据图2的刷牙的进行，提供指南信息的步骤S1400的示例图。
[0121] 指南信息可以包括刷牙进行信息，其是将牙齿分为一定区域，并通过颜色等显示对各个区域进行刷牙的程度。例如，以下颌为基准，将左侧磨牙分为第一区域，将门牙部分分为第二区域，将右侧磨牙分为第三区域，可以通过颜色表示第一区域的前面、上面、后面3个部分、第二区域的前面、后面2个部分和第三区域的上面、后面3个部分共8个部分。
[0122] 随着刷牙的进行，可以将8个部分的颜色以红色>黄色>绿色进行变化，以在所有部分均匀进行刷牙，从而能够向用户提供指南信息。由此，可以矫正仅对特定部分进行刷牙的习惯。
[0123] 另外，指南信息可以包括提示需要刷牙的区域的信息。例如，可以将刷牙与游戏进行结合，从而在特定区域的牙齿上叠加细菌并通过增强现实显示。将画面构成为，用户对该区域进行刷牙时，与视觉效果以及听觉效果一起，消除细菌并获得分数。除了细菌之外，还可以通过增强现实显示将食物残渣进行视觉化的图像。
[0124] 如此，仅通过使孩子们对显示细菌或者食物残渣的部分进行刷牙，也能引导对整个牙齿均匀刷牙。该过程中，将游戏构成为在有蛀牙的部分细菌更容易出现，而没有牙齿的部分是可以省略。可以通过如上定制式的指南信息，养成正确的刷牙习惯。
[0125] 另外，指南信息中可以包括提示刷牙的方向和速度等的信息。在画面上通过增强现实显示的虚拟的牙刷图像230可以是通过用户刷牙时，与此相对应地进行移动的方法来显示，除此之外，还可以在刷牙之前显示指南信息。
[0126] 例如，可以与“请刷门牙三次～”的语音提示一起，显示虚拟的牙刷图像对门牙上下刷牙的样子。可以通过拍摄孩子刷牙的样子，并进行影像分析，从而当孩子按照指南信息进行刷牙时，可以提供“太棒了～”的反馈。
[0127] 另外，考虑用户的年龄以及小肌肉的发达情况，可以将通过虚拟的牙刷图像230的指南信息显示为不同。例如，当用户的年龄为3岁至8岁时，可以主要提示简单的横向刷牙的刷牙方法(＝旋转法、冯姿法)，当用户的年龄为8岁以上时，可以主要提示复杂的上下刷牙的刷牙方法(巴氏刷牙法、变形巴氏刷牙法)。
[0128] 此时，孩童实际上刷牙的过程是可以通过影像分析，利用移动的方向和移动的距离等进行判断。然而，进一步地，如图12所示，还可以在牙刷内部内设3轴加速传感器，在智能手机200上通过无线通信接收与牙刷的移动有关的信息，并对此进行分析，从而进行判断。
[0129] 参考图12，在牙刷手柄上可以将牙刷头部分的方向定为y轴，将与刷毛平行的方向定为z轴，将与y轴和z轴垂直相交的剩余的一个轴定为x轴。然后，与x轴、y轴、z轴各自的方向的移动一起，进一步收集与x轴方向的旋转和y轴方向的旋转有关的信息，从而能够判断刷牙的方向。
[0130] 此时，判断用户拿着牙刷的方向，根据是右撇子还是左撇子，从而能够判断牙刷的方向和刷牙的牙齿的部位。另外，可以计算用户拿着牙刷的手和牙刷主体的角度，从而决定虚拟的牙刷图像230的角度。
[0131] 此时，牙刷和智能手机200之间的通信方式可以使用WiFi通信、蓝牙通信、紫峰(ZigBee)通信、3G通信、LTE通信或者NFC通信等多种通信方式。即，可以应用利用无线信号进行通信的所有通信方式。
[0132] 另外，指南信息是除了利用智能手机200以视觉以及听觉方式提供之外，还可以通过牙刷以触觉方式提供。例如，从智能手机200发送控制信号以便在用户按照智能手机200的画面上显示的牙刷的方向、次数以及时间正确刷牙时，在牙刷产生振动，牙刷接收该控制信号，从而可以向用户提供通过振动的反馈。与此相反地，当用户不能按照指南信息正确刷牙时，向牙刷赋予触感效果，从而提供反馈。
[0133] 除此之外，可以将指南信息通过增强现实，并利用多种方式显示在画面上。例如，在用户需要刷牙的区域设置虚拟的牙刷图像230，在用户目前刷牙的区域设置虚拟的效果(牙膏泡沫、牙齿颜色变化、星星等)。然后，可以将指南信息构成为，两个区域相一致时，虚拟的牙刷图像230消失。
[0134] 另外，智能手机200可以与牙刷通过通信，而在画面上显示牙刷中剩余的电池剩余量，然后需要替换电池时，提前向用户提供提示信息。除此之外，可以通过影像分析等，分析牙刷的磨损程度，然后需要替换牙刷时，提前向用户提供提示信息。
[0135] 除此之外，结束刷牙，则通过增强现实显示虚拟的杯子图像，从而可以向用户以视觉方式提供漱口的指南信息。另外，结束刷牙之后，如果在嘴周围沾有牙膏，则通过影像分析感应该情况，从而可以提供清洗嘴周围的提示信息。
[0136] 另外，可以通过增强现实改变用户的背景，从而显示不是卫生间的虚拟的空间，例如海边或者学校、游乐场等，从而感觉像是在特殊的空间刷牙。由此，可以使容易厌旧的孩子们持续产生兴趣。
[0137] 所述利用增强现实的指南信息的提供还可以在提供医疗信息时活用。例如，以往在牙科给看蛀牙时，通过X-Ray照片进行了说明，然而向后是在画面中显示蛀牙信息的脸部上叠加虚拟的牙齿，从而能够显示蛀牙。
[0138] 利用增强现实的指南信息的提供不仅是用于牙齿，还可以扩张到其他身体部位。例如，在不是牙科的小儿科向孩童说明感冒时，相比利用X-Ray照片等，可以生成个性化的虚拟的支气管图像，并叠加显示在孩子的样子上，从而说明感冒的进行过程。与上述说明一起，向孩子注射感冒针时，可以使孩子认为去医院的事情、打针的事情是一种医院类游戏，从而引导孩子不要感到负担。
[0139] 如上所述，针对多种身体部位，利用解剖学信息，生成个性化的身体部位的模型，然后对此利用增强现实进行显示，并提供相关内容，此时，具有提高用户对该内容的理解度和集中度的效果。
[0140] 另外，用户在画面触摸通过增强现实显示的牙齿图像220，则还可以在画面进一步显示该牙齿的功能、是否为恒牙等教育用内容。另外，分析用户的口腔状态(是否矫正、是否美白、拔牙、大小、数量等)，从而可以提供与牙刷或者牙膏有关的信息。由此，还可以活用为广告等，从而获得收益。
[0141] 另外，虚拟的牙刷图像230也不是仅使用相同的图像，而可以通过人脸识别进行预测，或者根据用户输入的年龄、性别、身高、体重，而将牙刷的颜色和大小设置为不同。当为孩童时，还可以在画面显示角色牙刷的图像230。
[0142] 图13是用于说明图2的刷牙结束时，提供监控结果的步骤S1500的示例图。
[0143] 参考图13，可以确认到显示有对在2017年6月25日周日晚8点10分的刷牙进行监控的结果。如上说明，以下颌为基准，将左侧磨牙分为第一区域，将门牙部分分为第二区域，将右侧磨牙分为第三区域，可以通过颜色表示第一区域的前面、上面、后面3个部分、第二区域的前面、后面2个部分和第三区域的前面、上面、后面3个部分共8个部分。
[0144] 上颌也相同，显示共8个部分，将正确完成刷牙的部分显示为白色，将刷牙的次数或者时间等不足的部分显示为黄色，从而能够向用户直观显示刷牙的结果。
[0145] 另外，当用户还是为乳齿时，以下颌为基准，可以显示左右的两个区域而不是三个区域，从而单纯显示监控结果。如上所述，当为孩童时，根据年龄提示横向刷牙的方法(＝旋转法、冯姿法)，因此，可以将刷牙结果以左/右各自分为左边的内侧和外侧，右边的内侧和外侧共4个部分进行显示。
[0146] 当为恒牙时，以下颌为基准，作为监控结果提供共8个部分，然而当为孩童的乳齿时，可以以下颌为基准，将监控结果单纯分为共4个部分进行提供。
[0147] 然而，其是为了有助于理解发明而提供的一例，因此，除此之外，可以将牙齿分为多个区域，然后将各个区域按部分细分化，提供刷牙的结果。另外，与区域的区分无关，可以按照各个牙齿提供监控结果。不仅如此，可以将各个牙齿以及牙齿和牙齿之间，也按照区域进行区分，从而提供监控结果。
[0148] 另外，图13中仅示出1次的刷牙结果，然而还可以将其进行累积，将经过多日的刷牙结果通过颜色进行显示，或者将各个进行刷牙的程度用分数进行换算，然后将其以图表形态进行提供。除了单纯的颜色之外，还可以一同提供“如上刷牙时，在下颌磨牙可能会发生蛀牙哟～”等听觉形式的监控结果。
[0149] 图14是根据本发明的一实施例的利用增强现实的刷牙指南信息提供装置的硬件结构图。
[0150] 参考图14，刷牙指南信息提供装置200可以包括一个以上的处理器510、内存520、存储器560以及界面570。处理器510、内存520、存储器560以及界面570是通过总线550收发数据。
[0151] 处理器510运行加载到内存520中的计算机程序，内存520在存储器560加载(load)所述计算机程序。所述计算机程序可以包括影像拍摄运算521、牙齿模型生成运算523以及指南信息提供运算525。
[0152] 影像拍摄运算521通过相机(未图示)拍摄要刷牙的用户的影像。此时，优选拍摄用户中包含脸部部分的上半身。本发明的目的在于，实时分析影像拍摄运算521拍摄的影像，向该影像提供个性化的牙齿模型和个性化的指南信息。
[0153] 为此，牙齿模型生成运算523分析拍摄的影像。一次感应脸部，识别脸部的轮廓线和地标等，利用解剖学信息，推测牙齿的位置、大小以及排列。
[0154] 另外，参考存储在存储器560中的个性化信息561，二次反映是否为恒牙、是否有蛀牙、牙齿的数量、牙齿的颜色等，生成个性化的牙齿模型，通过系统总线550，存储为存储器560的牙齿模型563。
[0155] 此时使用的个性化信息是事先通过界面570从用户输入得到的，包括用户的出生日期、性别、身高、体重等。除此之外，可以包括用户直接拍摄的牙齿图像或者从牙科医院的服务器提供得到的牙齿的X-Ray图像等。
[0156] 如上所述，个性化的牙齿模型563包括牙齿的位置、大小、排列、是否为恒牙、是否有蛀牙、牙齿数量、蛀牙数量等信息。由此，可以对各个用户通过增强现实在画面显示互不相同的虚拟的牙齿图像。
[0157] 指南信息提供运算525向用户提供拍摄的影像，并一同提供与如上生成的个性化的牙齿模型563相符的个性化的指南信息56。个性化的指南信息563根据每个人的牙齿状态，可以包括与刷牙进行程度、刷牙方向、次数以及时间等有关的反馈信息等。
[0158] 图14的各个构成要素可以是指软件(Software)，或者FPGA(现场可编程门阵列；Field Programmable Gate Array)或者ASIC(专用集成电路；Application-Specific Integrated Circuit)等硬件(Hardware)。然而，所述构成要素并不局限于软件或者硬件，还可以构成为存储在可进行寻址(Addressing)的存储媒介中，还可以构成为可运行一个或者其以上的处理器。所述构成要素提供的功能可以通过更加细分化的构成要素来体现，还可以由通过合成多个构成要素来执行特定功能的一个构成要素来体现。
[0159] 如上说明的根据本发明的实施例的方法可以通过运行由计算机可读取的代码体现的计算机程序来进行。所述计算机程序可以通过互联网等网络，从第一计算装置传送到第二计算装置，从而设置在所述第二计算装置中，由此，可以在所述第二计算装置使用。所述第一计算装置以及所述第二计算装置可以包括所有的服务装置、属于用于云服务的服务器池的物理服务器、桌面电脑等固定式计算装置。
[0160] 所述计算机程序还可以是存储在DVD-ROM(高密度只读光盘)、闪速存储器等记录媒介中。
[0161] 以上，参考附图说明了本发明的实施例，然而本领域技术人员可以理解本发明在不改变其技术思想或者必要特征的情况下可以实施为其他具体形态。因此，应理解以上陈述的实施例在所有面上属于示例，并不用于限定。
| 标题 | 发布/更新时间 | 阅读量 |
|---|---|---|
| 一种视频会议平台及基于视频会议平台的通讯方法 | 2020-05-08 | 243 |
| 一种基于骨骼点检测的无人机快速姿势控制系统与方法 | 2020-05-11 | 206 |
| 自组网络自校准时钟同步方法、主节点、从节点和系统 | 2020-05-08 | 519 |
| FPGA加速板卡产品静态信息固化方法及相关组件 | 2020-05-08 | 733 |
| 一种系统推荐方法、终端及可读存储介质 | 2020-05-08 | 120 |
| 基于FPGA和非线性插值的视频缩放方法 | 2020-05-08 | 969 |
| 基于伽玛表的LED显示方法及装置 | 2020-05-08 | 810 |
| 用于当取回像素核时降低存储器延迟的方法、系统和设备 | 2020-05-08 | 80 |
| 投屏方法、服务器、投屏系统和存储介质 | 2020-05-08 | 597 |
| 学生安全意识评估系统及方法 | 2020-05-08 | 256 |
高效检索全球专利专利汇是专利免费检索,专利查询,专利分析-国家发明专利查询检索分析平台，是提供专利分析，专利查询，专利检索等数据服务功能的知识产权数据服务商。
我们的产品包含105个国家的1.26亿组数据，免费查、免费专利分析。
分析报告
专利汇分析报告产品可以对行业情报数据进行梳理分析，涉及维度包括行业专利基本状况分析、地域分析、技术分析、发明人分析、申请人分析、专利权人分析、失效分析、核心专利分析、法律分析、研发重点分析、企业专利处境分析、技术处境分析、专利寿命分析、企业定位分析、引证分析等超过60个分析角度，系统通过AI智能系统对图表进行解读，只需1分钟，一键生成行业专利分析报告。
QQ群二维码
意见反馈
意见反馈