显示装置以及投影装置

申请号 CN201280070259.2 申请日 2012-10-12 公开(公告)号 CN104137173B 公开(公告)日 2017-12-19
申请人 株式会社尼康; 发明人 田中淳史; 石田久美子; 宫越彻; 斋藤千织; 小川伦代; 关口政一;
摘要 提供一种使用便利性良好的显示装置(100),具有能够向与用户 位置 相应的区域投影投影像的显示部(10)、和判断能否向所述区域投影所述投影像的判断部(70)。
权利要求

1.一种显示装置,其特征在于,具有:
拍摄部,其能够拍摄正在使用第一设备的用户,该第一设备用于与他人通话;
声音检测部,其检测与正在使用所述第一设备的所述用户的声音相关的信息;和显示部,其在基于所述拍摄部的拍摄结果而判断为有来自用户的姿势输入的情况下,基于所述声音检测部的检测结果,显示与第二设备相关的用于辅助用户的信息,其中,所述第二设备是与所述第一设备不同的设备。
2.根据权利要求1所述的显示装置,其特征在于,
所述声音检测部检测与声音的措词相关的信息。
3.根据权利要求1所述的显示装置,其特征在于,
所述拍摄部拍摄相对于与所述第二设备相关的信息的用户的手或脚,其中,该信息通过所述显示部而被显示。
4.根据权利要求3所述的显示装置,其特征在于,具有:
通信部,其基于所述拍摄部的拍摄结果,与所述第二设备通信。
5.根据权利要求4所述的显示装置,其特征在于,
所述显示部在显示了与所述第二设备相关的信息后,在所述通信部与所述第二设备在规定时间没有进行通信的情况下,结束与所述第二设备相关的信息的显示。
6.根据权利要求2所述的显示装置,其特征在于,
所述拍摄部拍摄相对于与所述第二设备相关的信息的用户的手或脚,其中,该信息通过所述显示部而被显示。
7.根据权利要求6所述的显示装置,其特征在于,具有:
通信部,其基于所述拍摄部的拍摄结果,与所述第二设备通信。
8.根据权利要求7所述的显示装置,其特征在于,
所述显示部在显示了与所述第二设备相关的信息后,在所述通信部与所述第二设备在规定时间没有进行通信的情况下,结束与所述第二设备相关的信息的显示。
9.根据权利要求1~8中任一项所述的显示装置,其特征在于,
所述拍摄部拍摄所述用户的面部,
所述显示部基于所述面部的拍摄结果,显示与所述第二设备相关的信息。
10.根据权利要求1~8中任一项所述的显示装置,其特征在于,
具有计测部,该计测部计测所述用户使用所述第一设备的时间,
所述显示部基于所述计测部的计测结果,显示与所述第二设备相关的信息。
11.根据权利要求1~8中任一项所述的显示装置,其特征在于,
所述显示部不仅显示与所述第二设备相关的信息,还显示与所述第一设备相关的信息。
12.根据权利要求1~8中任一项所述的显示装置,其特征在于,
具有检测部,该检测部检测在所述第一设备使用时正在驱动的设备。
13.根据权利要求1~8中任一项所述的显示装置,其特征在于,
所述声音检测部检测与正在使用所述第一设备的用户的对话内容相关的信息,所述显示部显示与关于所述对话内容的信息相应的信息。
14.一种显示装置,其特征在于,具有:
检测部,其检测正在使用第一设备的用户的状态,该第一设备用于与他人通话;
声音检测部,其检测与正在使用所述第一设备的所述用户的声音相关的信息;和显示部,其在根据所述检测部的检测结果而判断为有来自用户的姿势输入的情况下,基于所述声音检测部的检测结果,至少显示与第二设备相关的信息,其中,所述第二设备是与所述第一设备不同的设备。

说明书全文

显示装置以及投影装置

技术领域

[0001] 本发明涉及显示装置以及投影装置。

背景技术

[0002] 以往,提出有如下技术:为了操作照明器具等设备,向使用者的手脚能够到达的位置投影虚拟遥控器,根据用户对该投影的虚拟遥控器的虚拟键进行的操作(用手指示等)来控制照明器具(例如,专利文献1)。
[0003] 现有技术文献
[0004] 专利文献
[0005] 专利文献1:日本特开2011-9066号公报

发明内容

[0006] 发明要解决的课题
[0007] 然而,以往提出的技术停留在向使用者的手脚能够到达的位置投影虚拟遥控器,使用便利性不一定好。
[0008] 本发明是鉴于上述课题而完成的发明,其目的在于,提供一种使用便利性良好的显示装置以及投影装置。
[0009] 用于解决课题的手段
[0010] 本发明的显示装置具有:显示部,其向与用户位置相应的区域进行显示;和判断部,其判断能否向所述区域进行显示。
[0011] 在这种情况下,所述判断部可以基于检测所述区域的与热相关的物理量的热传感器的检测结果,判断能否进行所述显示。此外,所述判断部也可以基于检测所述区域的层差的距离传感器的检测结果,判断能否进行所述显示。此外,也可以是,具有危险物检测部,其基于对所述区域进行拍摄的拍摄部的拍摄结果,检测有无危险物,所述判断部基于所述危险物检测部的检测结果,判断能否进行所述显示。
[0012] 在本发明的显示装置中,也可以具有调整部,其基于拍摄所述区域的拍摄部的拍摄结果,调整所述显示部的显示部。在这种情况下,所述调整部能够调整所述显示的大小、位置、亮度的至少一个。此外,所述调整部能够根据通过所述拍摄部拍摄到的人的数量,调整所述显示的大小。此外,所述调整部能够根据所述拍摄部拍摄到的人的朝向,调整进行所述显示的位置。
[0013] 此外,在本发明的显示装置中,所述显示部能够在所述区域中显示多个电子设备的操作菜单。在这种情况下,也可以具有使所述显示部将反映了所述多个电子设备的配置的操作菜单显示在所述区域上的控制部。在这种情况下,可以具有能够与所述多个电子设备通信的通信部,所述控制部根据与所述多个电子设备的通信状态检测所述多个电子设备的配置,使反映了该配置的操作菜单通过所述显示部而显示。
[0014] 此外,本发明的投影装置具有:拍摄部,其能够拍摄用户;投影部,其能够向与所述用户的位置相应的区域投影投影像;和判断部,其判断能否通过所述拍摄部对所述投影部投影的所述投影像进行拍摄。
[0015] 在这种情况下,也可以具有物体检测传感器,其检测在包含所述拍摄部和所述区域的空间中是否有阻碍所述拍摄部的拍摄的物体。在这种情况下,所述物体检测传感器可以具有距离传感器。此外,所述物体检测传感器也可以具有图像传感器。此外,也可以具有在无法通过所述拍摄部拍摄所述投影部投影的所述投影像的至少一部分时,调整所述投影像的投影位置的调整部。
[0016] 此外,可以具有在无法通过所述拍摄部拍摄所述投影部投影的所述投影像的至少一部分时,驱动所述拍摄部的促动器。此外,也可以是所述拍摄部能够拍摄所述用户和构造物,所述判断部基于所述构造物的拍摄结果,判断所述用户的朝向。进而,所述拍摄部可以以从所述用户的上方拍摄所述用户的方式配置。在这种情况下,所述判断部也可以基于所述拍摄部的拍摄结果,判断所述用户的姿势。
[0017] 本发明的显示装置具有:检测部,其根据从上方拍摄用户的拍摄部的拍摄结果检测所述用户的姿势;和显示部,其根据所述用户的姿势,在所述用户的附近进行显示。
[0018] 在这种情况下,所述检测部能够从所述拍摄部的拍摄结果检测所述用户的大小而检测所述用户的姿势。
[0019] 本发明的显示装置具有:检测用户的位置的检测部;和根据所述检测部的检测结果,显示与多个电子设备的操作相关的菜单的显示部。
[0020] 在这种情况下,也可以具有根据所述多个电子设备的配置使所述显示部显示所述菜单的控制部。此外,所述菜单是分别与所述多个电子设备相应的分层的菜单,所述控制部可以共用所述分层菜单的显示的至少一部分。
[0021] 本发明的显示装置具有:拍摄部,其能够拍摄正在使用第一设备的用户;和显示部,其基于所述拍摄部的拍摄结果,显示投影关于与所述第一设备不同的第二设备的信息。
[0022] 在这种情况下,可以具有声音检测部,其检测与正在使用所述第一设备的所述用户的声音相关的信息,所述显示部基于所述声音检测部的检测结果,显示与所述第二设备相关的信息。此外,所述声音检测部也可以检测与声音的措词相关的信息。此外,所述拍摄部也可以拍摄相对于与所述第二设备相关的信息的用户的手或脚,该信息通过所述显示部而被显示。在这种情况下,也可以具有通信部,其基于所述拍摄部的拍摄结果,与所述第二设备通信。此外,所述显示部也可以在显示了与所述第二设备相关的信息后,在所述通信部与所述第二设备在规定时间没有进行通信的情况下,结束与所述第二设备相关的信息的显示。
[0023] 此外,在本发明的显示装置中,也可以是,所述拍摄部拍摄所述用户的面部,所述显示部基于所述面部的拍摄结果,显示与所述第二设备相关的信息。还可以是,具有计测部,其计测所述用户使用所述第一设备的时间,所述显示部基于所述计测部的计测结果,显示与所述第二设备相关的信息。此外,也可以是,所述显示部不仅显示与所述第二设备相关的信息,还显示与所述第一设备相关的信息。此外,也可以具有检测部,其检测在所述第一设备使用时正在驱动的设备。进而,也可以是,所述声音检测部检测与正在使用所述第一设备的用户的对话内容相关的信息,所述显示部显示与关于所述对话内容的信息相应的信息。
[0024] 本发明的显示装置具有:检测部,其检测正在使用第一设备的用户的状态;显示部,其根据所述检测部的检测结果,至少显示投影关于与所述第一设备不同的第二设备的信息。
[0025] 发明效果
[0026] 本发明起到能够提供使用便利性良好的显示装置以及投影装置的效果。附图说明
[0027] 图1是示意性地表示设置有第一实施方式的投影/设备控制系统的客厅的状态的图。
[0028] 图2是第一实施方式的投影/设备控制系统以及电子设备的框图
[0029] 图3的(a)~图3的(d)是表示第一实施方式的操作菜单图像的一个例子的图。
[0030] 图4的(a)是表示参考图像的一个例子的图,图4的(b)是表示由拍摄部拍摄得到的图像的一个例子的图。
[0031] 图5是表示第一实施方式的投影/设备控制系统的CPU的控制的流程图
[0032] 图6是用于对通过拍摄部无法拍摄操作菜单图像的情况下的投影区域的决定方法进行说明的图。
[0033] 图7是示意性地表示设置有第二实施方式的投影/设备控制系统的场所的状态的图。
[0034] 图8是第二实施方式的投影/设备控制系统、电话机,以及电子设备的框图。
[0035] 图9的(a)、图9的(b)是表示第二实施方式的操作菜单图像的一个例子的图。
[0036] 图10是表示第二实施方式的投影/设备控制系统的CPU的控制的流程图。

具体实施方式

[0037] 《第一实施方式》
[0038] 以下,关于第一实施方式,基于图1~图6详细地说明。图1是表示本第一实施方式的投影/设备控制系统100的概略结构的图。
[0039] 如图1所示,投影/设备控制系统100设置在客厅的天花板上,向桌子200的上表面和地板上投影用于操作电视机210、空调220、照明设备230等电子设备80的操作菜单图像。此外,投影/设备控制系统100在用户对操作菜单图像有操作(姿势)的情况下,执行与该操作相应的电子设备80的控制。
[0040] 图2是投影/设备控制系统100的框图。如图2所示,投影/设备控制系统100具有投影部10、图像系统部20、传感器部30、姿势识别部40、闪速存储器50、通信部60和CPU70。以下,关于各部分详细地说明。
[0041] (投影部10)
[0042] 投影部10具有光源11、照明光学系统12、光调制元件13、投射光学系统14、投影图像调整部15和菜单显示部16。另外,投影部10的设置数能够根据客厅的面积及/或布局而决定。
[0043] 光源11是例如射出光的灯。照明光学系统12使从光源11射出的光束向光调制元件13照明。光调制元件13是例如液晶面板,生成向桌子200的上表面等投影的图像(基于从菜单显示部16输入的图像数据的图像(后述))。投射光学系统14是将来自光调制元件13的光束朝向桌子200上表面和地板投射的光学系统,具有调整投影像的大小的变焦透镜、调整对焦位置的对焦透镜。另外,通过未图示的促动器调整包含在变焦透镜和对焦透镜中的透镜的位置。
[0044] 投影图像调整部15基于图像系统部20的拍摄结果和/或传感器部30的检测结果,决定朝向桌子200和/或地板投影的图像的区域(大小)和/或距离。投影图像调整部15根据所决定的图像的区域(大小)和/或距离,控制未图示的促动器,调整包含在投射光学系统14的变焦透镜和对焦透镜中的透镜的位置。此外,投影图像调整部15根据桌子200上表面和/或地板的颜色和/或明亮度进行对比度处理、投影的菜单的颜色的调整(变更),并调整光源11的亮度。此外,投影图像调整部15也进行与要显示的图像的内容(图标的配置等)相关的设定。
[0045] 菜单显示部16基于图像系统部20的拍摄结果和/或传感器部30的检测结果,经由投射光学系统14朝向桌子200上表面和/或地板等显示用于操作电子设备80的操作菜单图像。
[0046] 在图3的(a)~图3的(d)中示出了菜单显示部16经由投射光学系统14而显示的操作菜单图像17的一个例子。菜单显示部16所显示的操作菜单图像17为分层构造(图3的(a)~图3的(d)的图像根据操作而被显示的构造)。
[0047] 图3的(a)是初始菜单图像(起初投影的操作菜单图像)。在该图3的(a)的初始菜单图像中,包含用于选择要操作的电子设备80的图标171、用于进行图像的放大/缩小的图标172、以及投影的结束(表示“返回”的意思)图标173。在图3的(a)中,作为用于选择电子设备
80的图标171,显示与配置在图1的客厅中的设备对应的照明设备、空调、电视机的图标。另外,在图3的(a)中,以用户能够直观地选择电子设备80的方式,根据房间的布局(上下关系)来显示图标。具体地说,在最上方显示照明设备230,接着显示空调220,在最下方显示电视机210的图标。在这种情况下,存在根据一般的布局(照明设备多位于最上方,在照明设备的下方有空调,在靠近地板处有电视机等的布局)能够确定电子设备80的位置的情况和无法予以确定的情况。在无法确定电子设备80的位置的情况下,可以在闪速存储器50中预先登记各电子设备80的位置。此外,也可以如后述那样根据与电子设备80的通信结果来确定其位置。另外,对图标的配置等,设定CPU70。
[0048] 图3的(b)是在图3的(a)的初始菜单图像中选择了照明设备的图标的情况下显示的操作菜单图像。在该图3的(b)的操作菜单图像中,与照明设备的显示一起包含放大/缩小的图标181、ON/OFF开关的图标182、上下开关的图标183、表示返回的图标184。另外,上下开关的图标183是用于调整照明设备230的照度的图标。
[0049] 图3的(c)是在图3的(a)的初始菜单图像中选择了空调的情况下显示的操作菜单图像。在该图3的(c)的操作菜单图像中,包含空调的显示、放大/缩小的图标191、ON/OFF开关的图标192、上下开关的图标193、表示返回的图标194、表示模式切换(制冷、供暖、除湿等)的图标195。上下开关的图标193是用于进行与所设定的模式相应的调整(设定温度、设定湿度的变更等)的图标。
[0050] 图3的(d)是在图3的(a)的初始菜单图像中选择了电视机的情况下显示的操作菜单图像。在该图3的(d)所示的操作菜单图像中,包含电视机的显示、放大/缩小的图标161、ON/OFF开关的图标162、上下开关的图标163、表示返回的图标164、表示模式切换(频道、音量等)的图标165。上下开关的图标163是用于进行与所设定的模式相应的调整(频道变更、音量设定等)的图标。
[0051] 如图3的(b)~图3的(d)所示,菜单显示部16所显示的各电子设备80的操作菜单图像的一部分(例如,放大/缩小的图标、ON/OFF开关的图标、上下开关的图标、表示返回的图标)是共同的。由此,用户即使在所选择的电子设备80的种类不同的情况下也能够无不协调感地操作。
[0052] (图像系统部20)
[0053] 回到图2,图像系统部20既识别客厅内的用户是否要求操作菜单图像的投影,又在基于投影部10进行的操作菜单图像17的投影之前,拍摄客厅内部来决定应投影操作菜单图像17的场所。如图2所示,图像系统部20具有拍摄部21和图像比较部22。
[0054] 拍摄部21包含拍摄透镜和拍摄元件,从客厅的天花板拍摄客厅内的构造物以及用户。作为拍摄透镜,使用与客厅的大小相应的广透镜(例如,能够拍摄客厅整体的广角透镜)即可。另外,拍摄部21的数量并不限于一个,可以为与客厅的大小相应的数量(多个)。此外,可以由未图示的促动器二维地驱动拍摄部21,由此拍摄客厅内部。作为拍摄元件,能够采用CCD(Charge Coupled Device:电荷耦合器件)或CMOS(Complementary Metal Oxide Semiconductor:互补金属化物半导体晶体管)。拍摄元件具有拜排列有RGB3原色的彩色滤光片,能够得到与各色分别对应的颜色信号。另外,通过图像系统部20进行的拍摄可以是静态图像,也可以是动态图像,还可以是其组合。
[0055] 另外,拍摄部21可以与投影部10一体地设置,也可以与投影部10相独立地设置。在任一种情况下,知道拍摄部21与投影部10的机械位置关系即可,该位置关系作为系统常数预先存储在闪速存储器50等中即可。
[0056] 图像比较部22比较客厅的参考图像(参照图4的(a))与拍摄部21拍摄到的图像(参照图4的(b))。客厅的参考图像是存储在闪速存储器50中的图像,是例如拍摄客厅内部整体而得到的图像。另外,可以根据布局的变更和/或季节的更替情况来变更参考图像。在这种情况下,可以在用户的指示下变更参考图像,例如,可以在基于空调的设定变更(供暖和制冷的切换)而检测到季节转变期的情况下,自动更新参考图像。另外,在闪速存储器50中,也存储有危险物(切削刀具或菜刀,壶或壶等)的各种图像。
[0057] 图像比较部22比较拍摄部21拍摄到的图像和参考图像,判断拍摄部21拍摄到的图像是否与参考图像相同。此外,图像比较部22比较拍摄部21拍摄到的图像和危险物的各种图像,判断拍摄到的图像中是否包含危险物的图像,以及危险物在哪里。
[0058] 另外,在投影部10基于拍摄部21拍摄到的用户的位置来投影操作菜单图像17的情况下,投影的场所根据用户是站着还是坐着而不同,投影的场所应为地板或桌子。为了应对这样的情况,可以如日本特开2011-141730号所记载那样,CPU70基于拍摄图像中的头部的大小(其根据拍摄部21与用户的头部之间的距离而变化),判断用户是站着还是坐着。具体地说,在用户站着的情况下,拍摄部21与用户的头部之间的距离变短,所以用户的头部被拍摄得较大。另一方面,在用户坐着的情况下,与站着的情况相比,拍摄部21与用户的头部之间的距离变长,所以用户的头部被拍摄得较小。由此,只要CPU70根据拍摄部21拍摄到的头部的大小判断用户的姿势,投影部10基于该判断结果向地板和桌子的某一个投影操作菜单图像17即可。另外,也可以是,将用户的身高和头部的大小等信息预先存储在闪速存储器50中,CPU70使用这些信息来判断用户是站着还是坐着。另外,也可以是,代替头部的大小,CPU70基于拍摄图像中用户的肩宽宽度,来判断用户是站着还是坐着。
[0059] (传感器部30)
[0060] 如图2所示,传感器部30具有温度(热量)检测部31以及距离传感器32。
[0061] 温度检测部31具有:红外线传感器;促动器,其为了通过红外线传感器检测客厅的规定区域的温度(热量),而例如二维地驱动红外线传感器;和设定温度检测部,其对红外线传感器所检测出的温度中的规定以上的温度(例如40度以上)进行检测。在本第一实施方式中,通过温度检测部31检测客厅内的规定以上的温度是为了防止例如在桌上放置有高温锅的情况下,投影部10在锅的高温部分以及锅附近投影操作菜单图像17。
[0062] 另外,也可以通过温度检测部31检测人的体表温度来检测出用户所位于的场所。在这种情况下,可以从检测到客厅中有用户的时刻开始使投影/设备控制系统100启动。但是,在进行这样的启动控制的情况下,需要根据客厅的的开闭动作来开始(on)红外线传感器的驱动、或始终驱动红外线传感器。
[0063] 距离传感器32包含例如声波传感器,检测在地板或桌子上是否放置有小型移动设备和玩具等产生层差的物品。在本第一实施方式中进行层差检测是为了防止投影部10在有层差的部分投影操作菜单图像。
[0064] 另外,所述的图像比较部22也可以比较参考图像(无层差的图像)和拍摄部21拍摄到的图像,来进行层差检测。但是,在交换了桌子200上的桌布的情况等下,存在即使是几乎无层差的部分也被检测为层差的可能性。因此,在本第一实施方式中,对拍摄部21拍摄到的图像与参考图像之间有差异的部分进行检测,通过距离传感器32检测在该差异的部分是否有层差。另外,作为可检测的层差的高度,能够采用5mm以上或者10mm以上等各种高度。
[0065] (姿势识别部40)
[0066] 姿势识别部40与拍摄部21配合,识别用户的姿势。姿势识别部40识别用户是否要求操作菜单图像的投影,并且识别用户在操作菜单图像17上的操作状况。
[0067] 姿势识别部40获得例如通过拍摄部21拍摄到的图像,在该图像中检测到用户的面部的情况下,判断为要求操作菜单图像的投影。能够进行这样的判断是因为:如上述那样拍摄部21设置在天花板上,所以拍摄部21虽然通常能够拍摄到用户的头部,但不能拍摄到面部。另外,姿势识别部40也可以在用户进行了用手指示拍摄部21这样的动作的情况下,识别为用户要求操作菜单的投影。此外,姿势识别部40还可以通过上述面部检测和手指示动作的组合,来识别用户要求操作菜单的投影。
[0068] 另一方面,姿势识别部40获取拍摄部21拍摄到的图像,通过该图像中的颜色识别(肤色识别等),当用户的手或手指在操作菜单图像上放置规定时间(例如从1秒至5秒)的情况下,识别用户在操作菜单图像17上的操作。此外,也可以为,从用户的手或手指位于操作菜单图像上开始,拍摄动态图像或进行静态图像的连续拍摄,根据手或手指的位置的变化(轨迹)来识别用户的姿势。另外,用户的手或手指可以与操作菜单图像直接接触,但由于只要用户的身体的一部分在操作菜单图像的投影区域中,就会识别为操作,所以也可以不与操作菜单直接接触。
[0069] 另外,可以预先在闪速存储器50中存储用户的手的图像。姿势识别部40也可以使用该用户的手的图像来识别用户的手的位置。
[0070] 另外,在姿势识别部40中,可以根据图标上的用户的手指的数量来决定图3的(b)~图3的(d)所示的上下开关的图标183、193、163的操作量。例如,在图3的(d)所示的电视机的操作中,模式为音量设定。在这种情况下,在上开关的图标上放上3根手指的情况下,姿势识别部40将其识别为将音量提高3个等级的操作即可。
[0071] (闪速存储器50)
[0072] 闪速存储器50是非易失性存储器。闪速存储器50存储CPU70执行的程序、与客厅布局相关的信息、拍摄部21与投影部10的机械位置关系等的系统常数、参考图像和/或危险物等各种图像的数据、用户信息、与通信部60进行通信的电子设备80(照明设备、电视机、空调等)的信息等。
[0073] (通信部60)
[0074] 通信部60具有用于与电子设备80(电视机210、空调220、照明设备230等)通信的无线通信单元,根据姿势识别部40识别出的用户的姿势,对电子设备80发送各种控制指令。通信单元具有无线模和天线。另外,天线能够通过未图示的促动器而进行旋转/倾斜动作。通过使天线能够旋转/倾斜,能够基于旋转/倾斜后的天线所接收的来自各电子设备80的电波强度,识别各电子设备80的大概位置。例如,在新电子设备80设置于客厅的情况下,能够识别该新电子设备80的位置。另外,也可以代替使天线旋转,而设置多个天线,基于该多个天线的电波强度,识别各电子设备80的大概位置。
[0075] (CPU70)
[0076] CPU70不仅集中控制投影/设备控制系统100,还集中控制电子设备80,在本第一实施方式中,进行操作菜单图像的投影、用户对操作菜单图像的姿势的识别、与姿势对应的电子设备80的控制。
[0077] 如图1所示,电子设备80是电视机210、空调220、照明设备230等,各电子设备80的构成是各式各样的,如图2所示,各设备具有用于与通信部60通信的通信部81、根据通信部81的通信结果来控制电子设备80的CPU82、和被CPU82控制的被控制部83。另外,通信部81、CPU82、被控制部83根据各电子设备80(电视机210、空调220、照明设备230)适当地采用合适的构成。
[0078] 以下,关于通过如上述那样构成的投影/设备控制系统100的CPU70进行的控制,沿着图5的流程图详细地说明。图5表示基于CPU70的控制下的投影/设备控制系统100的各部分的动作。
[0079] 在图5的步骤S10中,CPU70基于温度检测部31的输出来判断客厅中是否有用户。当此处的判断为肯定时,移至步骤S12。
[0080] 移至步骤S12后,CPU70控制拍摄部21,开始拍摄用户。另外,在拍摄部21进行的拍摄是静态图像拍摄的情况下,可以在客厅中用户持续存在的期间几乎连续地进行拍摄,也可以每隔规定间隔(2-3秒)进行拍摄。另一方面,在通过投影部10而操作菜单图像被投影的情况下,希望几乎连续地拍摄,或者是缩短规定间隔来拍摄。同样地,在动态图像拍摄的情况下,希望提高操作菜单投影时的频。
[0081] 接着,在步骤S14中,CPU70判断是否有用户对操作菜单图像的投影请求。CPU70向姿势识别部40发出指示,使姿势识别部40根据拍摄部21拍摄到的图像识别用户是否进行了特定的动作。然后,CPU70在姿势识别部40识别出特定的动作的情况下判断成有投影请求。另外,作为特定的动作,能够如上述那样列举看天花板的动作、手指示动作、或者这些动作的组合等。
[0082] 另外,在进行步骤S14的判断的同时,CPU70能够基于拍摄部21拍摄到的图像来确认用户的位置和/或姿势。另外,CPU70能够如上述那样根据图像内的头部的大小确认用户的姿势。在本第一实施方式中,用户坐在椅子上,位于桌子附近。
[0083] 在步骤S14的判断为否定的情况下,即,在没有来自用户的请求的情况下,重复执行步骤S14,在有来自用户的请求、且步骤S14的判断为肯定的情况下,移至步骤S16。
[0084] 移至步骤S16后,CPU70从传感器部30获取用户位置附近的信息。在这种情况下,CPU70获取温度检测部31的检测结果,检测在桌子200附近是否有温度超过40℃的区域。此外,CPU70在对拍摄部21拍摄到的图像和储存在闪速存储器50中的参考图像进行比较而存在差异的情况下,从距离传感器32的检测结果判断在该存在差异的部分是否有层差,即,在桌子200上是否有器皿等。进而,CPU70对拍摄部21拍摄到的图像和储存在闪速存储器50中的危险物的各种图像进行比较,判断在桌子200上是否有叉子、餐刀、裁纸刀、剪刀、菜刀等危险物。
[0085] 接着,在步骤S18中,CPU70决定基于投影部10的操作菜单图像的投影条件。在这种情况下,CPU70从在步骤S16检测到的信息中提取对操作菜单进行投影的区域的候选。在此,说明如下情况:判断成在桌子附近没有危险物和层差、且桌子的任何部位都能够显示操作菜单图像。
[0086] 在此,在能够显示操作菜单的区域存在多个的情况下,CPU70使用户的正面或右侧的区域优先来显示操作菜单图像。这是由于很多用户是右撇子,通过在用户的正面或右侧显示操作菜单,操作变得容易。另外,也可以在姿势识别部40识别到用户频繁地以左手进行操作(左撇子)的情况下,CPU70使操作菜单图像向用户的左侧投影。另外,可以在识别到用户为左撇子的情况下,按每一个用户对应地将头部的大小和/或肩宽、表示为左撇子的信息存储在闪速存储器50中。在这种情况下,CPU70可以根据从拍摄部21拍摄到的图像检测出的头部的大小和/或肩宽、和存储在闪速存储器50中的信息来辨别图像中的用户是否为左撇子。
[0087] 在此,用户的朝向可以从拍摄部21拍摄到的图像判断,坐在椅子上的情况下可以将与椅子的背靠相反的一侧的方向判断为用户的正面。此外,在用户位于电视机附近时,通常情况下,用户与电视机正对,因此,可以将从用户来看电视机的存在方向判断为用户的朝向。另外,在用户正在移动的情况下,也可以将该移动方向判断为用户的朝向。
[0088] 另外,投影图像调整部15调节投射光学系统14的变焦透镜,使得操作菜单图像17以默认为150mm×150mm或100mm×200mm左右的大小向桌子200投影。在这种情况下,通过距离传感器32检测从投射光学系统14至投影面的距离即可。
[0089] 此外,投影图像调整部15根据来自拍摄部21的拍摄元件的颜色信号,调整操作菜单图像的颜色。在这种情况下,可以通过使操作菜单图像的外缘部为暗色,来提高操作菜单图像的可视性。另外,也可以取而代之,CPU70在投影操作菜单图像的区域的候选存在多个的情况下,可以根据来自拍摄元件的颜色信号,确定白色系(例如白桌布)或无彩色系(例如无彩色的地毯)的区域为投影区域。因此,也能够提高操作菜单的可视性。
[0090] 此外,投影图像调整部15也可以根据时刻和/或照明设备的照度来调整光源11的亮度,以提高操作菜单的可视性。此外,也可以取而代之,在客厅内设置照度计,根据照度计的检测结果调整光源11的亮度,或者调整照明设备230的照度。此外,与此相反,在通过投影部10投影操作菜单图像17的情况下,也可以使操作菜单图像投影部分的照明变暗来提高操作菜单的可视性。
[0091] 此外,在操作菜单图像的投影区域中有危险物和/或层差的情况下,投影图像调整部15基于危险物的位置和/或层差来调节操作菜单图像的大小,并且不接受操作菜单图像的放大。在例如图4的(b)的情况下,为了避开作为危险物的锅132和形成层差的箱136,调整操作菜单图像,关于桌布134(不是危险物,也不形成层差),在操作菜单图像的调整中不予考虑。
[0092] 在如上述那样进行了图5的步骤S18的处理后,移至步骤S20,CPU70基于在步骤S18中决定的投影条件,向投影部10发出指示。然后,投影部10根据该指示,将操作菜单图像投影到桌子200上。在此,作为初始操作菜单图像,图3的(a)的操作菜单图像(初始菜单图像)投影在桌子200上。另外,CPU70为了向用户报告投影了操作菜单图像这一情况,可以通过未图示的扬声器产生“操作菜单画面已投影”等声音。
[0093] 接着,在步骤S22中,CPU70为了计测通过投影部10投影操作菜单图像的时间而开始计时。
[0094] 接着,在步骤S24中,CPU70判断是否有用户的姿势(基于操作菜单图像的操作)。在此的判断为肯定的情况下,移至步骤S30,在为否定的情况下,移至步骤S26。
[0095] 在移至步骤S26的情况下,判断从投影了操作菜单图像起(从开始计时起)是否经过了规定时间(姿势的受理等待时间(例如10秒))。在此的判断为否定的情况下,返回至步骤S24。另一方面,在步骤S26的判断为肯定的情况下,即,在10秒以上无用户的姿势的情况下,移至步骤S28,为用户没有进行菜单操作的意向而结束操作菜单图像的投影,结束图5的全部处理。另外,步骤S26的姿势的受理等待时间并不限于10秒,能够适当地设定。
[0096] 另一方面,在用户进行了姿势(基于操作菜单图像的操作)、且步骤S24的判断为肯定的情况下,在步骤S30中,CPU70向姿势识别部40发出指示,使姿势识别部40识别用户进行的姿势。在此,由于如上述那样,图3的(a)的操作菜单图像通过投影部10而被投影,因此,姿势识别部40识别在图3的(a)的操作菜单图像的哪个图标上放置有用户的手指(或者身体的一部分)。例如,在通过拍摄部21而拍摄到用户的手放置在图3的(a)的电视机的图标上的状态的情况下,姿势识别部40识别为用户选择了电视机的操作。另外,姿势识别部40在拍摄部21以规定张数(2~5张)或者规定时间(1~3秒)拍摄相同的图标上的手指的阶段,识别为用户进行了姿势即可。
[0097] 接着,在步骤S32中,CPU70结束在步骤S22中开始的计时。接着,在步骤S34中,CPU70判断接下来的操作菜单图像的显示是否必要。在此,由于是从初始菜单图像选择了电视机的阶段,所以CPU70判断成接下来的操作菜单图像的显示是必要的,返回至步骤S20。以下,CPU70直到对电视机的操作决定之前,重复步骤S20至步骤S34,在对电视机的操作决定了的阶段(步骤S34的判断为否定的阶段)移至步骤S36。
[0098] 然后,在步骤S36中,CPU70基于通过操作菜单图像而被选择的电视机的操作(例如,变更频道),使该操作的指令通过通信部60向电视机210的通信部81通信。电视机210的CPU82基于通信部81接收到的操作的指令,进行电视机210的控制。
[0099] 然后,CPU70返回至步骤S24,在继续有用户的姿势的情况下,执行与该姿势相应的处理,在基于姿势的处理结束的情况(步骤S26的判断为肯定的情况)下,经由步骤S28,结束图5的全部处理。
[0100] 另外,在上述步骤S18中,也可以从拍摄部21能否拍摄所投影的操作菜单图像的观点出发,来决定操作菜单图像的投影位置。图6是表示在桌子200上放置有物体(瓶子)110的状态的图。在这种情况下,由于在参考图像(参照图4的(a))中没有物体(瓶子)110,因此,通过距离传感器32检测至物体的距离。
[0101] 在此,在图6的情况下,设定为存在能够向物体(瓶子)110的左右投影操作菜单图像的区域。然而,根据包含在投影/设备控制系统100中的拍摄部21与物体(瓶子)110的位置关系和/或物体(瓶子)110的高度,而存在若向物体(瓶子)110的右侧投影操作菜单图像则无法通过拍摄部21拍摄操作菜单图像的情况。
[0102] 这样的情况下,CPU70基于拍摄部21与物体(瓶子)110的位置关系,向物体(瓶子)110的左侧的区域投影操作菜单图像。另外,在物体的高度较低,能够通过拍摄部21进行操作菜单图像的拍摄的情况下,也可以向物体的右侧投影操作菜单。在这种情况下,CPU70也可以根据距离传感器32检测到的物体距桌面的高度、拍摄部21的安装位置和视场角,判断能否进行基于拍摄部21的操作菜单图像的拍摄,实际上还可以通过投影部10向物体的右侧投影操作菜单图像,尝试能否进行基于拍摄部21的操作菜单图像的拍摄。此外,也可以为,在图像系统部20中预先设置驱动拍摄部21的促动器,在无法通过拍摄部21拍摄操作菜单图像的情况下,通过该促动器调整拍摄部21的位置和/或姿势,来尝试能否拍摄操作菜单图像。
[0103] 另外,也可以是,CPU70在接下来的步骤S20中,确认能否通过拍摄部21拍摄所投影的操作菜单图像。还可以是,CPU70在能够通过拍摄部21拍摄操作菜单的情况下进入下一个步骤S22,在一部分(10%~25%左右)无法拍摄的情况下,调整投影部10的投影位置,例如在操作菜单的一半以上无法拍摄的情况下返回至步骤S18。
[0104] 另外,虽然在图5的流程图中省略了说明,但在用户操作操作菜单图像17的放大/缩小的图标的情况下,投影图像调整部15在步骤S30中,根据用户的操作,变更操作菜单图像17的大小。
[0105] 以上,如详细地说明那样,根据本第一实施方式,投影部10向与用户的位置相应的区域投影操作菜单图像17,CPU70判断在与用户的位置相应的区域能否进行操作菜单图像17的投影,所以能够在与用户的位置相应的适于投影的位置投影操作菜单图像。由此,操作菜单图像的使用便利性变得良好。
[0106] 此外,在本第一实施方式中,由于CPU70基于用于检测客厅的规定区域的温度(热量)的温度检测部31的检测结果,判断能否投影操作菜单图像17,所以能够防止向温度较高的物体投影操作菜单图像。由此,能够使操作菜单图像向安全的位置投影。
[0107] 此外,在本第一实施方式中,由于CPU70基于检测区域的层差的距离传感器32的检测结果,判断能否投影操作菜单图像17,所以能够防止在有层差的区域投影操作菜单图像17。由此,能够向使用便利性良好的位置投影操作菜单图像17。
[0108] 此外,在本第一实施方式中,图像比较部22基于拍摄部21的拍摄结果,检测有无危险物,CPU70基于该检测结果,判断能否投影操作菜单图像17,所以能够防止对危险物投影操作菜单图像。由此,能够将操作菜单图像向安全的位置投影。
[0109] 此外,在本第一实施方式中,由于投影图像调整部15基于拍摄部21的拍摄结果进行投射光学系统14的调整,所以能够以适当的位置、大小、亮度投影操作菜单图像。
[0110] 此外,在本第一实施方式中,投影部10由于投影多个电子设备80的操作菜单图像,所以能够进行使用了该操作菜单图像的多个电子设备80的操作。
[0111] 此外,在本第一实施方式中,具有能够与多个电子设备80通信的通信部60,菜单显示部16根据与多个电子设备80的通信状态检测电子设备的配置,且使投影部10投影反映了该配置的操作菜单图像。由此,能够根据通信状态自动检测多个电子设备80的配置,并且通过投影反映了该配置的操作菜单图像,能够使用户的使用便利性良好。
[0112] 此外,在本第一实施方式中,由于CPU70判断能否通过拍摄部21拍摄投影部10所投影的操作菜单图像,所以能够将操作菜单图像向适当的位置(能够识别用户的操作(姿势)的位置)投影。
[0113] 此外,在本第一实施方式中,CPU70使用距离传感器32和图像系统部20(图像比较部22),检测是否有阻碍通过拍摄部21对操作菜单图像进行的拍摄的物体。由此,能够在操作菜单图像投影前,确定能够通过拍摄部21拍摄操作菜单图像的区域,并向该区域投影操作菜单图像。
[0114] 此外,在本第一实施方式中,拍摄部21拍摄用户、桌子200和/或电视机210等构造物,CPU70基于桌子200和/或电视机210的拍摄结果判断用户的朝向。由此,不用确认用户的身体形状等,就能够判断用户的朝向。
[0115] 此外,在本第一实施方式中,由于拍摄部21从用户的上方拍摄用户,所以能够一边保护用户的隐私,一边进行使用了拍摄部21的拍摄结果的各种控制。
[0116] 此外,在本第一实施方式中,CPU70根据从上方拍摄用户的拍摄部21的拍摄结果检测用户的姿势,投影部10根据用户的姿势,向用户附近投影操作菜单图像17,所以能够向对用户来说使用便利性良好的位置投影操作菜单图像17。此外,在本第一实施方式中,由于投影部10根据用户的位置而投影多个电子设备80的操作菜单图像17,所以能够向对用户来说使用便利性良好的位置投影多个电子设备80的操作菜单图像17。
[0117] 另外,在上述第一实施方式中,关于CPU70在步骤S14中基于面部或手的动作来判断用户进行操作菜单图像的投影请求的情况进行了说明。然而,并不限定于此,CPU70也可以在从用户对麦克输入有特定的声音的情况下,判断为有投影请求。
[0118] 另外,在上述第一实施方式中,在客厅中存在多人的情况下,可以以该多人能够操作操作菜单图像的方式,将操作菜单图像显示得较大。在这种情况下,只要在进行了投影请求的人的正面或者右侧显示操作菜单图像即可。另外,操作菜单图像的操作可以是全体人员均能够进行,也可以是仅特定的人(例如请求投影的人)能够进行。在仅请求投影的人能够操作的情况下,CPU70只要从手的朝向和/或手指的指示方向辨别是否是请求投影的人的手即可。另外,在上述第一实施方式中,也可以限制小孩通过操作菜单图像进行的操作。在这种情况下,CPU70只要从手的大小和/或形状等辨别是否是小孩的手即可。
[0119] 另外,在上述第一实施方式中,关于电子设备80是客厅内的设备(电视机210、空调220、照明设备230等)的情况进行了说明,但并不限于此,只要能够与通信部60通信,则电子设备80配置在与客厅不同的房间也是可以的。由此,也能够进行在客厅里将相邻房间的照明设备关闭等操作。
[0120] 另外,在上述第一实施方式中,关于在客厅中适用了投影/设备控制系统100的情况进行了说明,但并不限于此。例如,也能够在商业设施中适用投影/设备控制系统100。例如,在餐厅中设有投影/设备控制系统100的情况下,可以在客人落座的时机或有基于姿势的请求时将菜单向桌子投影。此外,也可以将客人选择的商品登记到POS系统等中。
[0121] 另外,在上述第一实施方式中,如图3的(b)~图3的(d)所示,关于各电子设备80的操作菜单图像的一部分共同的情况进行了说明,但并不限于此。即,各电子设备80的操作菜单图像也可以对各电子设备80特殊化。例如,在电视机的操作菜单的情况下,也可以在操作菜单图像中包含数字键等。
[0122] 《第二实施方式》
[0123] 接下来,关于第二实施方式的投影/设备控制系统100′,基于图7~图10进行说明。本第二实施方式的投影/设备控制系统100′是对使用电话机的用户投影用于辅助用户的菜单图像、并基于用户对菜单图像的动作(姿势)来控制电子设备的系统。
[0124] 图7是表示本第二实施方式的投影/设备控制系统100′的概略结构的图。在图7中,除了投影/设备控制系统100′以外,还图示了设置有面部拍摄部94的电话机90。
[0125] 图8是投影/设备控制系统100′和电话机90的框图。另外,以下,以与第一实施方式的投影/设备控制系统100(图2)不同的部分为中心进行说明。另外,对与图2的框图相同或者等同的构成标注相同的附图标记,省略其说明。
[0126] 如图8所示,在本第二实施方式中,电话机90能够与投影/设备控制系统100′通信,并且投影/设备控制系统100′具有声音解析部71和表情检测部72。此外,作为投影/设备控制系统100′所控制的对象的电子设备80,为门铃电话(door phone)85、气灶86、录像机87。
[0127] (电话机90)
[0128] 电话机90具有电话功能部91、留言功能部92、接口部93、面部拍摄部94和通信部95。
[0129] 电话功能部91实现发送/接收功能、麦克风、扬声器功能等一般的电话机应该有的功能。在本第二实施方式中,用户向麦克风输入的声音经由通信部95向投影/设备控制系统100′发送。
[0130] 留言功能部92控制留言功能的启动和停止,并且具有传话功能。此外,留言功能部92如后述那样通过用户选择由投影/设备控制系统100′投影的留言功能的图标,即使在通话中,也会移至留言功能,或发送拒绝通知的转告。
[0131] 接口部93是用于与电话机90的各种开关、按钮协作地进行声音输入输出、LED点亮、各种显示的接口。
[0132] 面部拍摄部94是用于拍摄用户的表情的拍摄部。在图7中,面部拍摄部94以易于拍摄用户的表情的方式安装在电话机90上,但并不限于此,只要是能够拍摄用户的表情的位置即可,也可以配置在电话机以外的场所。此外,可以配置多个面部拍摄部94。
[0133] 通信部95能够采用有线、无线等各种通信方式,进行与投影/设备控制系统100′的通信部60之间的双向通信。通信部95将输入到电话功能部91的麦克风中的用户声音和面部拍摄部94拍摄到的用户的表情对投影/设备控制系统100′发送。
[0134] (声音解析部71)
[0135] 声音解析部71解析输入到电话功能部91的麦克风中的用户的声音。声音解析部71具有声音识别词典,将输入的声音分类为是敬语、礼貌语、谦让语、还是日常用语(平语)、或是其以外的俚语的措词。另外,在本实施方式中,声音解析部71设置在投影/设备控制系统100′侧,但也可以设置在电话机90侧。
[0136] (表情检测部72)
[0137] 表情检测部72检测面部拍摄部94拍摄到的用户的表情,检测在眉间有皱纹的表情或不是笑脸而是眼睛眯着的表情,辨别用户是否正处于困惑中。
[0138] 在此,表情检测部72使眉间有皱纹的图像作为参考图像而预先储存在闪速存储器50中,通过进行该参考图像与拍摄图像的图案匹配,能够检测眉间的皱纹。此外,表情检测部72可以从左眼与右眼之间的部分的阴影分布来检测眉间的皱纹。另外,关于眉间的皱纹的检测,在美国专利申请公开第2008-292148号中也有所公开。
[0139] 此外,表情检测部72使通过面部拍摄部94拍摄的平均的眼睛大小预先存储在闪速存储器50中,通过对该存储的眼睛大小比较通过面部拍摄部94拍摄到的眼睛的大小,能够检测眼睛眯着的表情。
[0140] 另外,如日本特开2002-258682号公报中所记载那样,也可以从用户的动态图像中的面部构成要素的特征点坐标变化来检测面部肌肉的收缩量,以辨别用户是否正处于困惑中。
[0141] (电子设备80)
[0142] 门铃电话85能够通过未图示的通信部与投影/设备控制系统100′通信。门铃电话85具有根据投影/设备控制系统100′的CPU70的指示,产生类似门铃的声音的功能。
[0143] 煤气灶86能够通过未图示的通信部与投影/设备控制系统100′通信。煤气灶86具有根据投影/设备控制系统100′的CPU70的指示,将未图示的开关关闭、减弱火的功能。
[0144] 录像机87能够通过未图示的通信部与投影/设备控制系统100′通信。录像机87具有根据投影/设备控制系统100′的CPU70的指示,对电视机画面中正在播放的节目进行录像的功能。
[0145] 图9的(a)、图9的(b)表示在第二实施方式中菜单显示部16所显示的操作菜单图像17a、17b。在图9的(a)的操作菜单图像17a中,门铃电话、煤气灶、录像机的图标被显示,在图
9的(b)的操作菜单图像17b中,除了门铃电话、煤气灶、录像机的图标以外,还显示有留言电话的图标。在本第二实施方式中,菜单显示部16根据用户的措词,使图9的(a)、图9的(b)的操作菜单图像的某一个经由投射光学系统14投影。
[0146] 以下,沿着图10的流程图,关于在CPU70的控制下的图2的各部分的动作,进行详细的说明。图10的流程图从用户接听电话的阶段开始。
[0147] 在图10中,步骤S50中,CPU70开始用于计测通话时间的计时。接着,在步骤S52中,CPU70开始基于拍摄部21以及面部拍摄部94的拍摄。拍摄部21拍摄包含正在使用电话机90的用户的上半身的区域。面部拍摄部94如上述那样,拍摄用户的表情。另外,面部拍摄部94拍摄到的图像向表情检测部72发送。然后,在表情检测部72中,基于该图像检测用户的表情,辨别用户是否正处于困惑中。
[0148] 接着,在步骤S54中,CPU70基于步骤S52的拍摄结果,判断是否有来自用户的姿势输入。在此,在姿势识别部40识别为通过拍摄部21拍摄到的用户正有意识地进行规定的姿势的情况下,或者,在表情检测部72辨别用户正处于困惑中的情况下,判断为有来自用户的姿势输入。另外,姿势识别部40在接到的电话是骚扰电话时,基于用户进行的姿势的参考图像(预先存储在闪速存储器50中),识别用户的姿势。另外,在骚扰电话时用户进行的姿势中,包含大拇指向下、手掌朝向拍摄部21、用两个食指做出“X”标记等姿势。
[0149] 在步骤S54的判断为否定的情况下,移至步骤S56,CPU70判断在步骤S50中开始的计时是否经过了规定时间(例如10分钟以上),如果经过了规定时间,则移至步骤S58,如果没有经过规定时间,则返回至步骤S52。另外,在经过了规定时间的情况下移至步骤S58是由于存在根据用户的不同对骚扰电话感到困惑但不显露表情的情况。另外,在表情检测部72检测到用户的笑脸的情况下,可以不移至步骤S58,而返回至步骤S52。关于笑脸检测,例如,在日本专利第4、453、721号(日本特开2008-311817号公报)等中有所公开。
[0150] 另一方面,在步骤S54或者步骤S56的判断为肯定(有姿势输入的情况或者经过了规定时间的情况)、而移至步骤S58后,CPU70进行与用户的说话方式相应的投影菜单的选择。
[0151] 例如,声音解析部71解析为用户用“です”、“ます”等的礼貌的口吻说话、或者使用“おっしゃる”、“お持ちですか”等敬语。在这种情况下,CPU70判断为是来自长辈的长时间通话(骚扰电话),作为投影的菜单,选择图9的(a)的操作菜单图像17a。另一方面,声音解析部71解析为用户没有用礼貌的用语说话(用日常用语(平语)说话)。在这种情况下,CPU70判断为推销等骚扰电话,作为投影的菜单,选择图9的(b)的操作菜单图像17b。另外,在用户用俚语的用语说话的情况下,CPU70可以选择图9的(a)的操作菜单图像17a,判断为是与朋友的长时间通话,结束图10的全部处理。
[0152] 接着,在步骤S60中,CPU70基于步骤S58的选择结果,在电话机90的附近投影操作菜单图像17a或者17b。在这种情况下,CPU70与第一实施方式相同,只要基于传感器部30的检测结果和/或拍摄部21的拍摄结果来决定投影区域即可。
[0153] 接着,在步骤S62中,CPU70开始用于计测操作菜单图像17a或者17b的投影时间的计时。
[0154] 接着,在步骤S64中,CPU70判断对在步骤S60中所投影的操作菜单图像是否有用户的姿势输入。在此处的判断为肯定的情况下,移至步骤S66,在为否定的情况下,移至步骤S70。
[0155] 在移至步骤S70的情况下,CPU70判断是否经过了规定时间(例如10秒),在判断为肯定的情况下,移至步骤S72,在判断为否定的情况下,返回至步骤S64。此外,在移至步骤S72的情况下,CPU70结束操作菜单图像的投影,结束图10的全部处理。
[0156] 另一方面,在步骤S64的判断为肯定而移至步骤S66的情况下,CPU70基于用户的姿势输入,进行门铃电话85、煤气灶86、录像机87、或者留言功能部92的控制。
[0157] 例如,在用户想不出挂断电话的借口的情况下,用户碰触操作菜单图像17a或者17b的门铃电话的图标。在这种情况下,CPU70向门铃电话85发出指示,使门铃电话85发出类似门铃的响声。由此,用户能够以不得不对门铃电话85进行回应作为借口,挂断电话。
[0158] 此外,在有推销等电话的情况下,用户碰触留言电话的图标。在这种情况下,CPU70强制启动留言功能,使通话结束,或播放谢绝的传话。由此,用户能够强制挂断推销等电话。
[0159] 此外,在用户虽然想继续通话但煤气灶86正在点燃、或有想看的电视节目等情况下,用户碰触煤气灶或录像机的图标。在这种情况下,CPU70关上煤气灶86的火、或通过录像机87开始对电视机中正放映的节目的录像。由此,用户能够确保煤气灶86的安全、对正在收看的节目进行录像。另外,在用户碰触到煤气灶86或录像机87的图标的情况下,可以如第一实施方式那样,通过显示分层的菜单来实现煤气灶86或录像机87的详细操作。
[0160] 如以上那样,当步骤S66的处理结束时,移至步骤S72。在步骤S72中,CPU70结束操作菜单图像的投影。而且,然后结束图10的全部处理。
[0161] 以上,如详细说明那样,根据本第二实施方式,投影/设备控制系统100′具有:能够拍摄正在使用电话机90的用户的面部拍摄部94;和基于面部拍摄部94的拍摄结果,投影与电话机90不同的电子设备80的操作菜单图像17a、17b的投影部10。由此,由于能够基于正在使用电话机90的用户的面部表情,在适当的时机投影电子设备80的操作菜单图像,所以能够使用户的使用便利性良好。此外,通过进行基于面部表情的投影,用户即使不进行规定的姿势,也能够在适当的时机投影操作菜单图像。即,由于用户可以不用记住姿势,从该点出发也能够提高用户的使用便利性。
[0162] 此外,根据本第二实施方式,声音解析部71检测与正在使用电话机90的用户的声音相关的信息,投影部10基于声音解析部71的解析结果,投影操作菜单图像,所以能够基于正在使用电话机90的用户的声音来投影合适的操作菜单图像。
[0163] 此外,根据本第二实施方式,由于声音解析部71解析用户的声音的措词,所以能够投影与电话中用户的措词相应的适当的操作菜单图像。
[0164] 此外,在本第二实施方式中,拍摄部21拍摄用户的手相对于通过投影部10而投影的操作菜单的状态,CPU70基于该拍摄结果控制电子设备80,所以通话中的用户通过使手相对于操作菜单图像动作,就能够操作电子设备80。
[0165] 此外,在本第二实施方式中,投影部10在投影操作菜单图像后,在规定时间的期间,通信部60与电子设备80不进行通信(CPU70没有控制电子设备80)的情况下,结束操作菜单图像的投影(步骤S70:否),因此,尽管用户没有使用操作菜单图像,但也能够抑制操作菜单图像被长时间持续投影的情况的产生。
[0166] 此外,在本第二实施方式中,CPU70计测用户使用电话机90的时间,投影部10基于计测时间投影操作菜单图像(S56)。由此,能够在长时间通话的情况下在适当的时机投影操作菜单图像。
[0167] 此外,在本第二实施方式中,由于在操作菜单图像中也包含与电话机90的操作相关的图标(图9的(b)),因此,用户能够在操作菜单图像内进行电话机90和电话机以外的电子设备80的操作。
[0168] 此外,在本第二实施方式中,根据正在使用电话机90的用户的状态,投影部10投影与电话机90和/或电子设备80相关的信息,因此,能够进行与用户的状态(正处于困惑中等)相应的信息的提供。
[0169] 另外,在上述第二实施方式中,作为电子设备80,也可以采用录音了婴儿的声音和/或鸣音水壶的声音的录音/播放装置。在这种情况下,在骚扰电话时,通过用户经由操作菜单图像而操作录音/播放装置,也能够作为挂断电话的借口。
[0170] 另外,在上述第二实施方式中,关于包含在操作菜单图像中的图标如图9的(a)或图9的(b)所示那样被预先确定的情况进行了说明,但并不限定于此。例如,能够仅显示用户在接电话前所使用的设备。在这种情况下,在使用电话机90时,仅显示能够与通信部60通信的电子设备80即可。例如,当在使用电话机90时没有使用煤气灶的情况下,可以从图9的(a)和图的9(b)的菜单除去煤气灶的图标。
[0171] 另外,在上述第二实施方式中,CPU70在能够获取对话内容来作为声音解析部71的解析结果的情况下,可以经由投影部10投影基于该对话内容的信息。例如,CPU70可以归纳对话的内容并投影,或者在对话中出现与日期相关的内容的情况下投影日历的图像等。
[0172] 另外,在上述第二实施方式中,关于基于措词选择投影的操作菜单图像的情况进行了说明,但也可以基于措词和来电号码,选择投影的操作菜单图像。
[0173] 另外,在上述第二实施方式中,对根据情况,选择图9的(a)、图9的(b)的操作菜单图像并投影的情况进行了说明,但并不限于此。例如,可以始终投影图9的(a)或者图9的(b)的操作菜单图像。
[0174] 另外,在上述第二实施方式中,虽然采用用户使用的设备是电话机90的情况作为例子进行了说明,但并不限于此。例如,用户使用的设备也可以是门铃电话。在这种情况下,在有基于门铃电话85进行的推销的情况下投影操作菜单图像。由此,例如,通过使用操作菜单图像的操作产生类似电话的呼叫等,能够作为拒绝推销的借口。
[0175] 另外,在上述各实施方式中,关于CPU70基于手相对于操作菜单图像17、17a、17b的状态,控制电子设备80的情况进行了说明,但并不限于此。即,CPU70也可以基于身体的一部分(包含脚等、穿在身上的衣服等)相对于操作菜单图像17、17a、17b的状态,控制电子设备80。
[0176] 另外,援用在至此的说明中引用的全部公报、国际公开公报、美国专利申请公开说明书以及美国专利说明书的公开,并作为本说明书记载的一部分。
[0177] 上述的各实施方式是本发明的优选实施例。但是,并不限定于此,能够在不脱离本发明的要旨的范围内实施各种变形
QQ群二维码
意见反馈