图像获取和显示设备以及图像获取和显示方法
阅读：1014发布：2021-02-08
专利汇可以提供图像获取和显示设备以及图像获取和显示方法专利检索，专利查询，专利分析的服务。并且公开了一种图像获取和显示设备。该图像获取和显示设备包括图像获取部分、显示部分、用户信息获得部分、和控制部分。图像获取部分这样获取图像，以便使用户看到被摄对象的方向是被摄对象的方向。显示部分布置在用户眼睛的前面，并且显示由图像获取部分获取的图像。用户信息获得部分获得有关用户的运动和身体情况的信息。控制部分与由用户信息获得部分获得的信息相对应地控制图像获取部分的操作或者显示部分的操作。，下面是图像获取和显示设备以及图像获取和显示方法专利的具体信息内容。
1.一种图像获取和显示设备，包含：
图像获取装置，用于这样获取图像以便使用户看到被摄对象的方向为所述被摄对象的方向；
显示装置，布置在用户眼睛的前面，并且用于显示由图像获取装置获取的图像；
用户信息获得装置，用于获得有关用户的运动和身体情况的信息；以及
控制装置，用于与由用户信息获得装置获得的信息相对应地控制图像获取装置的操作或者显示装置的操作，
其中所述显示装置能够将显示状态从通过状态切换到图像显示状态或者反过来将显示状态从图像显示状态切换到通过状态，其中所述通过状态为透明或者半透明的，而在所述图像显示状态中，显示由所述图像获取装置获取的图像，并且，
其中所述控制装置控制所述显示装置的透射率，以将显示状态从通过状态切换到图像显示状态或者反过来将显示状态从图像显示状态切换到通过状态。
2.如权利要求1所述的图像获取和显示设备，
其中所述控制装置确定与由用户信息获得装置所获得的信息相对应的用户希望或者用户情况，并且与确定结果相对应地控制所述图像获取装置的操作或者所述显示装置的操作。
3.如权利要求1所述的图像获取和显示设备，
其中所述用户信息获得装置是检测加速度、角速度、或者振动的传感器。
4.如权利要求1所述的图像获取和显示设备，
其中所述用户信息获得装置是检测用户头部的运动、用户臂部的运动、用户手部的运动、用户腿部的运动、或者用户整个身体的运动的传感器。
5.如权利要求1所述的图像获取和显示设备，
其中所述用户信息获得装置是检测用户的不行走状态、行走状态、以及跑步状态的传感器。
6.如权利要求1所述的图像获取和显示设备，
其中所述用户信息获得装置是检测用户视觉信息的视觉传感器。
7.如权利要求1所述的图像获取和显示设备，
其中所述用户信息获得装置是检测用户的视线、用户的焦距、用户的瞳孔扩张、用户的眼底模式、或者用户的眼皮运动作为用户视觉信息的传感器。
8.如权利要求1所述的图像获取和显示设备，
其中所述用户信息获得装置是检测用户的生物学信息的生物学传感器。
9.如权利要求1所述的图像获取和显示设备，
其中所述用户信息获得装置是检测心率信息、脉搏信息、出汗信息、脑电波信息、皮肤电反应信息、血压信息、体温信息、或者呼吸活动信息作为用户的生物学信息的传感器。
10.如权利要求1所述的图像获取和显示设备，
其中所述用户信息获得装置是检测代表用户的紧张状态或者用户的兴奋状态的信息的生物学传感器。
11.如权利要求1所述的图像获取和显示设备，
其中所述用户信息获得装置被形成为能够至少输入视野信息的输入部分。
12.如权利要求1所述的图像获取和显示设备，
其中所述控制装置控制所述图像获取装置启动和停止图像获取操作。
13.如权利要求1所述的图像获取和显示设备，
其中所述控制装置可变地控制图像获取装置，以执行从远景图像获取操作到广角图像获取操作的图像获取操作。
14.如权利要求1所述的图像获取和显示设备，
其中所述控制装置控制所述图像获取装置的焦距。
15.如权利要求1所述的图像获取和显示设备，
其中所述控制装置可变地控制所述图像获取装置的图像获取灵敏度。
16.如权利要求1所述的图像获取和显示设备，
其中所述控制装置可变地控制所述图像获取装置的红外图像获取灵敏度。
17.如权利要求1所述的图像获取和显示设备，
其中所述控制装置可变地控制所述图像获取装置的紫外图像获取灵敏度。
18.如权利要求1所述的图像获取和显示设备，
其中所述控制装置可变地控制所述图像获取装置的帧频。
19.如权利要求1所述的图像获取和显示设备，
其中所述控制装置控制所述图像获取装置中的图像获取透镜系统的操作。
20.如权利要求1所述的图像获取和显示设备，
其中所述控制装置控制图像获取信号处理部分的操作，该图像获取信号处理部分处理由所述图像获取装置的图像传感器所获得的获取图像信号。
21.如权利要求1所述的图像获取和显示设备，
其中所述控制装置控制所述显示装置以扩大或者缩小在其上显示的图像。
22.如权利要求1所述的图像获取和显示设备，
其中所述控制装置控制所述显示装置以分离在其上显示的图像。
23.如权利要求1所述的图像获取和显示设备，
其中所述控制装置控制所述显示装置上显示的图像的显示亮度。
24.如权利要求1所述的图像获取和显示设备，
其中所述控制装置控制对所述显示装置上显示的图像信号的信号处理。
25.如权利要求1所述的图像获取和显示设备，还包含：
照明装置，用于沿被摄对象方向照亮该被摄对象，
其中所述控制装置控制所述照明装置以便与由所述用户信息获得装置所获得的信息相对应地执行所述照明装置的照明操作。
26.一种图像获取和显示设备中的图像获取和显示方法，该图像获取和显示设备具有：
图像获取装置，用于这样获取图像以便使用户看到被摄对象的方向是所述被摄对象的方向；以及显示装置，布置在用户的前面并用于显示由图像获取装置所获取的图像，其中所述显示装置能够将显示状态从通过状态切换到图像显示状态或者反过来将显示状态从图像显示状态切换到通过状态，其中所述通过状态为透明或者半透明的，而在所述图像显示状态中，显示由所述图像获取装置获取的图像，所述方法包含步骤：
获得有关用户的运动或者用户的身体情况的信息；以及
与在用户信息获得步骤中获得的信息相对应地控制所述图像获取装置的操作或者所述显示装置的操作，
其中，控制所述图像获取装置的操作包括：控制所述显示装置的透射率，以将显示状态从通过状态切换到图像显示状态或者反过来将显示状态从图像显示状态切换到通过状态。
27.一种图像获取和显示设备，包含：
图像获取部分，这样获取图像以便使用户看到被摄对象的方向是该被摄对象的方向；
显示部分，布置在用户眼睛的前面，并且显示由图像获取部分获取的图像；
用户信息获得部分，获得有关用户的运动和身体情况的信息；以及
控制部分，与由所述用户信息获得部分获得的信息相对应地控制所述图像获取部分的操作或者所述显示部分的操作，
其中，所述显示部分能够将显示状态从通过状态切换到图像显示状态或者反过来将显示状态从图像显示状态切换到通过状态，其中所述通过状态为透明或者半透明的，而在所述图像显示状态中，显示由所述图像获取部分获取的图像，并且，
其中，所述控制部分控制所述显示部分的透射率，以将显示状态从通过状态切换到图像显示状态或者反过来将显示状态从图像显示状态切换到通过状态。
图像获取和显示设备以及图像获取和显示方法
[0001] 相关申请的交叉引用
技术领域
[0003] 本发明涉及图像获取和显示设备以及图像获取和显示方法，它们被配置为沿着作为被摄对象方向的用户可视方向捕获被摄对象图像，并且在他或者她戴上例如作为眼镜型安装单元或者头盔型安装单元的设备时，在他或者她的眼睛前面显示所捕获的图像。
背景技术
[0004] 已经在日本专利申请公开HEI 8-126031、HEI 9-27970、和HEI 9-185009中提出了许多使用眼镜型安装单元或者头盔型安装单元的设备，它们具有布置在用户眼睛前面并且显示图像的显示部分。
发明内容
[0005] 然而，特别是从帮助用户视觉以及扩展他或者她的视觉能力的观点上看，相关技术中的设备不控制图像获取操作和显示操作。
[0006] 考虑到上述情形，所期望的是协助用户的视野以及扩展他或者她的视觉能力。此外，还期望恰当地控制显示操作和图像获取操作以便与用户的情况(例如，希望、视觉状态、身体情况等)相对应地协助用户的视野以及扩展他或者她的视觉能力。此外，还期望恰当地控制显示操作和图像获取操作以便与外部情况(例如，周围环境、被摄对象、日期与时间、位置等)相对应地进行这些操作。
[0007] 根据本发明的实施例，提供了一种图像获取和显示设备。该图像获取和显示设备包括图像获取部分、显示部分、用户信息获得部分、和控制部分。图像获取部分这样获取图像，以便使用户看到被摄对象的方向就是被摄对象的方向。显示部分布置在用户眼睛的前面并且显示由图像获取部分获取的图像。用户信息获得部分获得有关用户的运动和身体情况的信息。控制部分与由用户信息获得部分获得的信息相对应地控制图像获取部分的操作或者显示部分的操作。
[0008] 根据本发明的实施例，提供了一种图像获取和显示设备的图像获取和显示方法。该图像获取和显示设备包括图像获取部分和显示部分。图像获取部分这样获取图像，以便使用户看到被摄对象的方向就是被摄对象的方向。显示部分布置在用户眼睛的前面并且显示由图像获取部分获取的图像。获得有关用户运动或者用户身体情况的信息。与所获得的信息相对应地控制图像获取部分的操作或者显示部分的操作。
[0009] 根据本发明的实施例，提供了一种图像获取和显示设备。该图像获取和显示设备包括图像获取部分、显示部分、外部信息获得部分、和控制部分。图像获取部分这样获取图像，以便使用户看到被摄对象的方向就是被摄对象的方向。显示部分布置在用户眼睛的前面并且显示由图像获取部分获取的图像。外部信息获得部分获得外部信息。控制部分与由外部信息获得部分获得的信息相对应地控制图像获取部分的操作或者显示部分的操作。
[0010] 根据本发明的实施例，提供了一种图像获取和显示设备的图像获取和显示方法。该图像获取和显示设备包括图像获取部分和显示部分。图像获取部分这样获取图像，以便使用户看到被摄对象的方向就是被摄对象的方向。显示部分布置在用户眼睛的前面并且显示由图像获取部分获取的图像。获得外部信息。与所获得的信息相对应地控制图像获取部分的操作或者显示部分的操作。
[0011] 根据本发明的实施例，当用户戴上例如眼镜型安装单元或者头盔型安装单元这样的图像获取和显示设备时，用户看到布置在他或者她前面的显示部分。当使显示部分显示由图像获取部分获取的图像时，用户可以利用显示部分在他或者她的正常视觉方向看见所获取的场景图像。
[0012] 在这种情况下，虽然用户通过本发明实施例中的图像获取和显示设备在他或者她的正常视觉方向上看到场景，但是他或者她看到在显示部分上显示的图像作为他或者她的正常视觉场景中的场景。当与例如用户的希望、视野、身体情况等这样的用户情况相对应地改变显示部分上显示的图像的显示模式时，可以帮助或者扩展他或者她的可视能力。
[0013] 当例如显示远景图像(telescopic image)时，用户可以看见他或者她通常不能看见的远处场景。当用户用他或者她的弱视力眼睛阅读书本或者报纸时，如果显示部分放大了其中的字符，则他或者她可以清楚地看到它们。
[0014] 换句话说，当与用户的情况相对应地控制图像获取部分和显示部分的操作以及所获取的图像的显示模式时，可以提供其中用户感觉舒服的视觉情况。
[0015] 根据本发明的实施例，当用户戴上作为例如眼镜型安装单元或者头盔型安装单元的图像获取和显示设备时，用户看到布置在他或者她前面的显示部分。当使显示部分显示由图像获取部分获取的图像时，用户可以利用显示部分在他或者她的正常视觉方向上看见所获取的场景图像。
[0016] 在这种情况下，虽然用户通过本发明实施例中的图像获取和显示设备在他或者她的正常视觉方向上看到场景，但是他或者她看到显示部分上显示的图像作为他或者她的正常视觉场景中的场景。当与例如周围环境状态、被摄对象情况等这样的外部情况相对应地改变在显示部分上显示的图像的显示模式时，可以帮助或者扩展他或者她的视觉能力。
[0017] 当例如显示远景图像时，用户可以看见他或者她通常不能看见的远处场景。当用户用他或者她的弱视力眼睛阅读书本或者报纸时，如果显示部分放大了其中的字符并且调整了其亮度和对比度，则他或者她可以清楚地看到它们。
[0018] 换句话说，当与外部信息相对应地控制图像获取部分和显示部分的操作以及所获取的图像的显示模式时，可以向用户提供其中用户感觉舒服或者感兴趣的视觉情况。
[0019] 根据本发明的实施例，由布置在用户前面的显示部分显示由图像获取部分获取的图像，即，在作为被摄对象方向的用户视觉方向上获取的图像。当与用户的操作或者有关他或者她的身体情况的信息相对应地控制图像获取部分的操作或者显示部分的操作时，实质上可以协助和扩展他或者她的视觉能力。
[0020] 因为通过与用户的希望或者所确定的与代表他或者她的运动或者身体情况的信息相对应的情况相对应地控制图像获取部分或者显示部分来改变显示模式，所以没有向他或者她施加操作负担。此外，因为恰当地控制了图像获取部分和显示部分，所以图像获取和显示设备具有高度的用户友好性。
[0021] 此外，因为显示部分可以变为通过状态(through state)，即透明或者半透明，而不是显示由图像获取部分获取的图像，所以携带图像获取和显示设备的用户可以没有困难地生活。因此，在用户的正常生活中，可以有效地获得本发明实施例的益处。
[0022] 根据本发明的实施例，由布置在用户前面的显示部分显示由图像获取部分获取的图像，即，在作为被摄对象方向的用户视觉方向中获取的图像。当与外部信息相对应地控制图像获取部分的操作或者显示部分的操作时，实质上可以协助和扩展他或者她的视觉能力。
[0023] 因为通过与所确定的、与外部信息相对应的周围环境、被摄对象类型、它的情况等相对应地控制图像获取部分或者显示部分来改变显示模式，所以没有向他或者她施加操作负担。此外，因为恰当地控制了图像获取部分和显示部分，所以图像获取和显示设备具有高度的用户友好性。
[0024] 此外，因为显示部分可以变为通过状态，即透明或者半透明，而不是显示由图像获取部分获取的图像，所以戴上图像获取和显示设备的用户可以没有困难地生活。因此，在用户的正常生活中，可以有效地获得本发明实施例的益处。
附图说明
[0026] 图1是描述根据本发明实施例的图像获取和显示设备的示范性外观的示意图；
[0027] 图2是示出根据本发明第一实施例的图像获取和显示设备的框图；
[0028] 图3A、图3B、和图3C是分别描述根据本发明实施例的通过状态、正常获取图像显示状态、和远景图像显示状态的示意图；
[0029] 图4A和图4B是分别描述根据本发明实施例的通过状态和广角变焦图像显示状态的示意图；
[0030] 图5A和图5B是分别描述根据本发明实施例的正常获取图像显示状态/通过状态和放大图像显示状态的示意图；
[0031] 图6A和图6B是分别描述根据本发明实施例的正常获取图像显示状态/通过状态和调整图像显示状态的示意图；
[0032] 图7A和图7B是分别描述根据本发明实施例的正常获取图像显示状态/通过状态和增加了红外灵敏度的获取图像显示状态的示意图；
[0033] 图8A和图8B是分别描述根据本发明实施例的正常获取图像显示状态/通过状态和增加了紫外灵敏度的获取图像显示状态的示意图；
[0034] 图9A、图9B和图9C是分别描述根据本发明的实施例的通过状态、两个分离图像显示状态、和四个分离图像显示状态的示意图；
[0035] 图10是示出根据本发明第一实施例的控制处理的流程图；
[0036] 图11A和图11B是示出根据本发明第一实施例的监视显示启动触发确定处理的流程图；
[0037] 图12A和图12B是示出根据本发明第一实施例的图像控制触发确定处理的流程图；
[0038] 图13A和图13B是示出根据本发明第一实施例的图像控制触发确定处理的流程图；
[0039] 图14是示出根据本发明第一实施例的图像控制触发确定处理的流程图；
[0040] 图15是示出根据本发明第一实施例的图像控制触发确定处理的流程图；
[0041] 图16是示出根据本发明第一实施例的图像控制触发确定处理的流程图；
[0042] 图17A和图17B是示出根据本发明第一实施例的图像控制触发确定处理的流程图；
[0043] 图18A和图18B是示出根据本发明第一实施例的监视显示完成触发确定处理的流程图；
[0044] 图19是示出根据本发明第一实施例的监视显示完成触发确定处理的流程图；
[0045] 图20是示出根据本发明第二实施例的图像获取和显示设备的框图；
[0046] 图21A和图21B是分别描述根据本发明第二实施例的未调整图像显示状态和调整图像显示状态的示意图；
[0047] 图22A和图22B是描述根据本发明第二实施例的突出显示图像显示状态的示意图；
[0048] 图23是示出根据本发明第二实施例的图像控制触发确定处理的流程图；
[0049] 图24A和图24B是示出根据本发明第二实施例的图像控制触发确定处理的流程图；
[0050] 图25是示出根据本发明第二实施例的图像控制触发确定处理的流程图；
[0051] 图26是示出根据本发明第二实施例的图像控制触发确定处理的流程图；
[0052] 图27是示出根据本发明第二实施例的图像控制触发确定处理的流程图；
[0053] 图28A和图28B是示出根据本发明第二实施例的图像控制触发确定处理的流程图；
[0054] 图29A和图29B是示出根据本发明第二实施例的图像控制触发确定处理的流程图；以及
[0055] 图30A和图30B是示出根据本发明第二实施例的图像控制触发确定处理的流程图。
具体实施方式
[0056] 接下来，将以下列次序描述根据本发明第一实施例的图像获取和显示设备以及图像获取和显示方法。
[0057] [1.图像获取和显示设备的示范性外观]
[0058] [2.图像获取和显示设备的示范性结构]
[0059] [3.示范性显示图像]
[0060] [4.用户情况的确定]
[0061] [5.示范性操作]
[0063] [1.图像获取和显示设备的示范外观]
[0064] 图1示出了根据本发明第一实施例的、作为眼镜型显示相机的图像获取和显示设备1的示范性外观。图像获取和显示设备1包括具有半圆形状的安装单元，其从两个头侧面部分中的每一个到头后面部分围绕用户的头部。如图1所示，用户通过将图像获取和显示设备1的预定部分悬挂在他或者她耳朵的两个耳廓上来戴上该图像获取和显示设备1。
[0065] 在图1所示的安装状态下，用于左眼和右眼的一对显示部分2刚好布置在用户眼睛的前面，即，在常规眼镜的透镜位置处。显示部分2包括例如液晶面板。通过控制显示部分2的透射率，它们可以变为如图1所示的通过状态、即透明或者半透明。当显示部分2已经变为通过状态时，即使用户象戴眼镜那样连续戴上图像获取和显示设备1，该设备也不会影响他或者她的正常生活。
[0066] 在用户戴上图像获取和显示设备1的状态下，图像获取透镜3a被前向布置，以便使它沿着作为被摄对象方向的用户视觉方向获取被摄对象的图像。
[0068] 还布置了在图像获取和显示设备1的安装状态下被插入到用户的左右耳孔中的一对耳机扬声器5a(图1中仅仅示出了左侧耳机扬声器5a)。
[0070] 图1仅仅是示例性的。因此，可以有许多用户戴上图像获取和显示设备1的结构。只要图像获取和显示设备1是眼镜型安装单元或者头盔型安装单元，并且只要至少根据这个实施例、显示部分2刚好布置在用户眼睛的前面而且图像获取透镜3a的图像获取方向是用户的视觉方向，即在用户的前面，则图像获取和显示设备1的结构就不局限于图1所示的那个。此外，虽然示出了其中两个显示部分2与用户的两只眼睛相对应地布置的结构，但是可以与用户的一只眼睛相对应地布置一个显示部分2。
[0071] 同样地，耳机扬声器5a可以不必是左右立体声扬声器。作为替代，可以与用户的一只耳朵相对应地布置一个耳机扬声器。类似地，可以布置麦克风6a和6b之一。另外，图像获取和显示设备1可以不必具有任何麦克风和任何耳机扬声器。
[0072] 另外，图像获取和显示设备1可以不必具有发光部分4a。
[0073] [2.图像获取和显示设备的示范性结构]
[0074] 图2示出了图像获取和显示设备1的示范性内部结构。
[0075] 系统控制器10包含微计算机，其包括例如CPU(中央处理单元)、ROM(只读存储器)、RAM(随机存取存储器)、非易失性存储器部分、和接口部分。系统控制器10是控制图像获取和显示设备1中的全部部分的控制部分。
[0076] 系统控制器10与用户情况相对应地控制图像获取和显示设备1的每个部分。换句话说，系统控制器10与检测和确定用户情况的操作程序相对应地进行操作，并且与确定结果相对应地操作和控制每个部分。因此，如图2所示，系统控制器10在功能上包括确定用户情况的用户情况确定功能10a和与确定结果相对应地控制和命令每个部分的操作控制功能10b。
[0078] 图像获取部分3包括透镜系统(其具有图像获取透镜3a(如图1所示)、光圈、变焦透镜、聚焦透镜等)，使透镜系统执行聚焦操作和变焦操作的驱动系统，以及固态图像传感器阵列，其中固态图像传感器阵列检测由透镜系统获得的获取图像的光、将光转换为电、并且生成与电相对应的获取图像信号。固态图像传感器阵列包含例如CCD(电荷耦合器件)传感器阵列或者CMOS(互补金属氧化物半导体)传感器阵列。
[0079] 获取图像信号处理部分15包括采样保持/AGC(自动增益控制)电路和视频A/D转换器，其中该采样保持/AGC电路调整由图像获取部分3中的固态图像传感器阵列所获得的信号的增益并且修整该信号的波形。获取图像信号处理部分15获得获取图像信号作为数字数据。获取图像信号处理部分15为所获取的图像信号执行白平衡处理、亮度处理、彩色信号处理、振动校正处理等。
[0080] 图像获取控制部分11与从系统控制器10接收的命令相对应地控制图像获取部分3和获取图像信号处理部分15的操作。图像获取控制部分11例如开启和关闭图像获取部分3和获取图像信号处理部分15的操作。另外，图像获取控制部分11控制图像获取部分
3以(通过马达)执行自动聚焦操作、自动曝光调整操作、光圈调整操作、变焦操作等。
3以(通过马达)执行自动聚焦操作、自动曝光调整操作、光圈调整操作、变焦操作等。
[0081] 另外，图像获取控制部分11包括定时发生器。图像获取控制部分11利用由定时发生器生成的定时信号，控制固态图像传感器阵列和图像获取控制部分11中的采样保持/AGC电路和视频A/D转换器。另外，图像获取控制部分11可以利用定时信号改变获取图像的帧频。
[0082] 另外，图像获取控制部分11控制固态图像传感器阵列和获取图像信号处理部分15的图像获取灵敏度和信号处理。为了控制图像获取灵敏度，图像获取控制部分11控制例如已经从固态图像传感器阵列读取的信号的增益、黑电平设置、获取图像信号处理中的数字数据的各种类型的系数、振动校正处理的校正量等。关于图像获取灵敏度调整，图像获取控制部分11可以执行总灵敏度调整，而与波段和用于诸如红外线区和紫外线区之类的特定波段的特定灵敏度调整无关。可以通过在图像获取透镜系统中插入波长滤波器，以及通过为所获取的图像信号执行波长滤波计算处理，来执行波长特定的灵敏度调整。在这些情况下，图像获取控制部分11可以通过插入波长滤波器和/或指定滤波计算系数来控制灵敏度。
[0083] 作为向用户显示数据的结构，图像获取和显示设备1包括显示部分2、显示图像处理部分12、显示驱动部分13、和显示控制部分14。
[0084] 将其图像已经由图像获取部分3获取并然后由获取图像信号处理部分15处理的获取图像信号提供给显示图像处理部分12。显示图像处理部分12例如是所谓的视频处理器。显示图像处理部分12为所提供的获取图像信号执行各种类型的显示处理。显示图像处理部分12可以为获取图像信号执行例如亮度级调整、色彩校正、对比度调整、锐度(边缘增强)调整等。另外，显示图像处理部分12可以生成其中放大获取图像信号的一部分的放大图像和缩小图像，分离图像以便进行分离显示，组合图像，生成字符图像和图形图像，以及将所生成的图像和获取图像相叠加。换句话说，显示图像处理部分12可以为作为获取图像信号的数字图像信号执行各种类型的处理。
[0085] 显示驱动部分13包含像素驱动电路，其在例如为液晶显示器的显示部分2上显示从显示图像处理部分12提供的图像信号。换句话说，显示驱动部分13以预定的水平/垂直驱动定时将基于图像信号的驱动信号施加到显示部分2中以矩阵形状形成的每个像素中，以导致显示部分2显示图像。另外，显示驱动部分13控制每个像素的透射率，以导致显示部分2变为通过状态。
[0086] 显示控制部分14与从系统控制器10接收的命令相对应地控制显示图像处理部分12的处理和操作以及显示驱动部分13的操作。换句话说，显示控制部分14使显示图像处理部分12执行上述各种类型的处理。另外，显示控制部分14控制显示驱动部分13，以导致显示部分2在通过状态和图像显示状态之间切换显示状态。
[0087] 在以下的描述中，其中显示部分2变为透明或者半透明的状态被称为“通过状态”，而其中显示部分2显示图像的操作(及其状态)被称为“监视显示状态”。
[0089] 声音输入部分6包括图1所示的麦克风6a和6b，以及麦克风放大部分，其处理由麦克风6a和6b获得的声音信号。
[0090] 声音信号处理部分16包含例如A/D转换器、数字信号处理器、D/A转换器等。声音信号处理部分16将从声音输入部分6提供的声音信号转换为数字数据，并且在系统控制器10的控制下执行音量调整、音质调整、音响效果等处理。声音信号处理部分16将产生的声音信号转换为模拟信号，并且将模拟信号提供给声音输出部分5。声音信号处理部分16不局限于执行数字信号处理的结构。相反，声音信号处理部分16可以利用模拟放大器和模拟滤波器执行信号处理。
[0091] 声音输出部分5包括图1所示的一对耳机扬声器5a以及用于耳机扬声器5a的放大器电路。
[0092] 声音输入部分6、声音信号处理部分16、和声音输出部分5允许用户通过图像获取和显示设备1听到外部声音。
[0093] 声音输出部分5可以被构造为所谓的骨质(osseous)传导扬声器。
[0094] 另外，图像获取和显示设备1包括照明(lighting)部分4和照明控制部分18。照明部分4包含图1所示的发光部分4a(例如，发光二极管)以及导致发光部分4a发光的发光电路。照明控制部分18使照明部分4与从系统控制器10提供的命令相对应地执行发光操作。
[0095] 因为照明部分4中的发光部分4a被布置为使发光部分4a向前方照亮，所以照明部分4在用户的视觉方向上执行照明操作。
[0097] 视觉传感器19检测有关用户视觉的信息。视觉传感器19是能够检测有关用户视觉的信息的传感器，这些信息诸如为视线方向、焦距、瞳孔扩张、眼底模式、眼皮开/合等。
[0098] 加速度传感器20和陀螺仪21输出与用户运动相对应的信号。加速度传感器20和图像获取控制部分11是检测用户的头部、颈部、整个身体、臂、腿等的运动的传感器。
[0099] 生物学传感器22检测用户的生物学信息。生物学传感器22是检测例如用户的心率信息、脉搏信息、出汗信息、脑波信息、皮肤电反应(GSR)、体温、血压、呼吸活动信息等的传感器。生物学传感器22的检测信号变为这样的信息，利用该信息来确定紧张状态、兴奋状态、平静状态、催眠状态、舒适状态、不舒适状态等。
[0101] 利用视觉传感器19、加速度传感器20、陀螺仪21、生物学传感器22、和输入部分17，获得有关戴上图像获取和显示设备1的用户的运动或者身体情况的信息作为用户信息，并且将其提供给系统控制器10。
[0102] 在用户情况确定功能10a的处理中，系统控制器10确定与所获得的用户信息相对应的用户希望或者情况。在操作控制功能10b的处理中，系统控制器10与所确定的用户希望或者情况相对应地控制图像获取操作和显示操作。换句话说，系统控制器10命令图像获取控制部分11控制获取图像信号处理部分15的操作，并且命令显示控制部分14控制显示图像处理部分12和显示驱动部分13的操作。
[0103] 作为图像获取和显示设备1中获得用户信息的结构，已经示范性地说明了视觉传感器19、加速度传感器20、陀螺仪21、生物学传感器22、和输入部分17。然而，图像获取和显示设备1可以不必包括全部这些传感器。另外，图像获取和显示设备1可以包括诸如检测用户的语音的传感器和检测嘴唇的运动的传感器之类的其它传感器。
[0104] [3.示范性显示图像]
[0105] 系统控制器10与用户希望或者情况相对应地控制图像获取操作和显示操作。因此，用户识别显示部分2的各种显示模式。图3A到图3C至图9A到图9C示范性地说明了各种显示模式。
[0106] 图3A示出了其中显示部分2处于通过状态下的状态。换句话说。在这个状态下，显示部分2是简单的透明平面部件，而且用户可通过透明的显示部分2看到视野中的场景。
[0107] 图3B示出了其中由图像获取部分3获取的图像被显示在处于监视显示状态下进行操作的显示部分2上的状态。图像获取部分3、获取图像信号处理部分15、显示图像处理部分12、和显示驱动部分13在图3A所示的状态下进行操作，以便使它们正常地在显示部分2上显示获取的图像。在这种情况下，显示部分2上显示的获取图像(正常获取的图像)几乎与在通过状态下进行操作的显示部分2上显现的图像相同。换句话说，在这个状态下，用户可看到正常的视野作为获取的图像。
[0108] 图3C示出了其中系统控制器10导致图像获取部分3通过图像获取控制部分11获取远景图像并且将远景图像显示在显示部分2上的状态。
[0109] 相比之下，当系统控制器10导致图像获取部分3通过图像获取控制部分11获取广角图像时，在显示部分2上显示近距离广角图像(未示出)。虽然图像获取部分3通过驱动图像获取部分3的变焦透镜来执行远景和广角控制，但是获取图像处理部分15可以通过处理信号来执行这些控制。
[0110] 图4A示出了其中显示部分2处于通过状态、例如用户正在读取报纸的状态。
[0111] 图4B示出了所谓的广角变焦状态。换句话说，图4B示出了这样的状态，在该状态下，获取近焦距变焦图像并且将其显示在显示部分2上，以便例如放大报纸中的字符。
[0112] 图5A示出了这样的状态，其中显示部分2显示正常获取的图像或者显示部分2处于通过状态下。
[0113] 此时，当系统控制器10命令显示图像处理部分12通过显示控制部分14执行图像放大处理时，在显示部分2上显示如图5B所示的放大图像。
[0114] 图6A示出了这样的状态，其中显示部分2显示正常获取的图像或者显示部分2处于通过状态下。特别地，图6A示出了其中用户正在读取报纸或者书本的状态。在这种情况下，假定因为周围是昏暗的，所以用户不能用正常获取的图像或者在显示部分2的通过状态下看见报纸等中的字符。
[0115] 在这种情况下，系统控制器10命令图像获取控制部分11(图像获取部分3和获取图像信号处理部分15)增加图像获取灵敏度，和/或使显示控制部分14(显示图像处理部分12和显示驱动部分13)增加亮度和调整对比度和锐度，以便在显示部分2上显示比图6A所示的图像更锐化的、如图6B所示的图像。相反，当系统控制器10使照明部分4执行照明操作时，可以在显示部分2上锐利地显示图像。
[0116] 图7A示出了这样的状态，其中显示部分2显示正常获取的图像或者显示部分2处于通过状态下。在这种情况下，用户正处于其中孩子正在睡觉的黑暗卧室中。因为用户正处于黑暗房间中，所以他或者她不能利用正常获取的图像或者在显示部分2的通过状态下清楚地看见孩子。
[0117] 此时，当系统控制器10命令图像获取控制部分11(图像获取部分3和获取图像信号处理部分15)增加红外图像获取灵敏度时，在显示部分2上显示如图7B所示的红外获取图像，以便使用户能够看见孩子们的睡着面部等。
[0118] 图8A示出了这样的状态，其中显示部分2显示正常获取的图像或者显示部分2处于通过状态下。
[0119] 当系统控制器10命令图像获取控制部分11(图像获取部分3和获取图像信号处理部分15)增加紫外图像获取灵敏度时，在显示部分2上显示如图8B所示的、具有紫外线分量的获取图像。
[0120] 图9A示出了其中显示部分2处于通过状态下的状态。
[0121] 当系统控制器10命令显示控制部分14(显示图像处理部分12和显示驱动部分13)分别显示图像或者分别显示图像和部分地放大图像时，可以在显示部分2上显示图9B所示的图像。换句话说，显示部分2的屏幕被分离为区域AR1和AR2，其中区域AR1处于通过状态或者处于正常图像显示状态，而区域AR2处于放大图像显示状态。
[0122] 图9C示出了另一个示范性分离显示。在这种情况下，显示部分2的屏幕被分离为区域AR1、AR2、AR3、和AR4，这些区域显示以预定时间段间隔获取的图像的帧。系统控制器10使显示图像处理部分12以0.5秒的间隔从所获取的图像信号中提取一帧，并且以区域AR1、AR2、AR3、AR4、AR1、AR2等的次序显示所提取的帧。在这种情况下，分离地在显示部分
2上显示所谓的闪烁显示模式(strobedisplay mode)的图像。
2上显示所谓的闪烁显示模式(strobedisplay mode)的图像。
[0123] 在上文中已经示范性地说明了各种类型的显示图像。然而，在这个实施例中，通过控制图像获取部分3、获取图像信号处理部分15、显示图像处理部分12、和显示驱动部分13的每个处理和每个操作，可以实现各种类型的显示模式。
[0124] 例如，预计有许多类型的显示模式，诸如远景显示模式、广角显示模式、在从远景显示模式到广角显示模式的范围中变化的缩小显示模式和放大显示模式、图像放大显示模式、图像缩小显示模式、可变帧频显示模式(以高帧频获取图像)、高亮度显示模式、低亮度显示模式、可变对比度显示模式、可变锐度显示模式、增加了灵敏度的获取图像显示模式、增加了红外灵敏度的获取图像显示模式、增加了紫外灵敏度的获取图像显示模式、图像效果显示模式(诸如马赛克图像、亮度反转图像、柔焦图像、部分屏幕突出显示图像、具有可变颜色氛围图像等)、缓慢显示模式、逐帧显示模式、与这些显示模式相结合的分离显示模式、与通过状态和获取图像相结合的分离显示模式、闪烁显示模式、具有所获取图像中的一个帧的静止图像显示模式等。
[0125] [4.用户情况的确定]
[0126] 如上所述，作为获得用户信息的结构，根据这个实施例的图像获取和显示设备1包括视觉传感器19、加速度传感器20、陀螺仪21、生物学传感器22、和输入部分17。
[0127] 视觉传感器19检测有关用户视觉的信息。视觉传感器19可以包括例如图像获取部分，其接近显示部分2之一布置并且用于获取用户眼睛的图像。由系统控制器10获得通过图像获取部分获取的用户眼睛的图像。用户情况确定功能10a分析该图像，并且检测与分析结果相对应的视线方向、焦距、瞳孔扩张、眼底模式、眼皮开/合等。因此，用户情况确定功能10a可以确定与所检测的结果相对应的用户情况和希望。
[0128] 作为替代，视觉传感器19可以包含发光部分和光接收部分，其中发光部分接近显示部分2之一布置并且向用户的眼睛发光，而光接收部分接收从眼睛反射的光。通过例如利用与接收的光相对应的信号来检测用户眼睛的晶状体的厚度，可以检测用户眼睛的焦距。
[0129] 通过检测用户眼睛的视线方向，系统控制器10可以确定在显示部分2上显示的图像中用户正在聚焦的部分。
[0130] 另外，系统控制器10可以识别用户眼睛的视线方向作为操作输入。例如，当用户向左和向右移动视线时，系统控制器10可以识别出这些操作作为到图像获取和显示设备1的预定操作输入。
[0131] 通过检测用户眼睛的焦距，系统控制器10可以确定用户正聚焦其上的场景是在远处还是在近处。系统控制器10可以与确定结果相对应地执行变焦控制、放大控制、缩小控制等。例如，当用户观看远处场景时，系统控制器10可以执行远景显示操作。
[0132] 当在通过状态下检测到瞳孔扩张时，可以确定周围的亮度。当在监视显示状态下检测到瞳孔扩张时，可以确定用户对所显示的图像感觉到眩目等。可以与确定的结果相对应地调整亮度、图像获取灵敏度等。
[0133] 当检测用户的眼底模式时，可以与检测结果相对应地验证用户。因为眼底模式对于每个用户而言都是唯一的，所以可以标识戴上图像获取和显示设备1的用户。可以与所标识的结果相对应地控制图像获取和显示设备1。作为替代，系统控制器10可以仅仅为预定用户控制监视显示。
[0134] 当检测到用户的眼皮开/合操作时，可以确定用户眼睛的瞪眼和疲劳。另外，可以将眼皮的开/合操作识别为用户故意的操作输入。当用户已经执行了眼皮的开/合操作三次时，这些动作可以被确定为是预定的操作输入。
[0135] 加速度传感器20和陀螺仪21输出与用户运动相对应的信息。加速度传感器20检测例如沿线性方向的运动。陀螺仪21适当地检测旋转系统的运动和振动。
[0136] 取决于加速度传感器20和陀螺仪21布置在图像获取和显示设备1中的位置，它们可以检测用户整个身体的运动或者他或者她身体的每个部分的运动。
[0137] 当加速度传感器20和陀螺仪21布置在图1所示的眼镜型图像获取和显示设备1中时，即，当加速度传感器20和陀螺仪21检测用户头部的运动时，加速度传感器20的信息变为作为用户头部或者他或者她整个身体的运动的加速度信息。在这种情况下，陀螺仪21的信息变为作为用户头部或者他或者她整个身体的运动的角速度和振动的信息。
[0138] 因此，可以检测用户从颈部移动头部的动作。例如，可以确定用户向上看的状态以及他或者她向下看的状态。当用户向下看时，可以确定他或她正在看近处的被摄对象，例如他或者她正在阅读书本等。相反，当用户向上看时，可以确定他或者她正在看远处的被摄对象。
[0139] 当系统控制器10已经检测到用户从他或者她的颈部移动他或者她的头部的动作时，系统控制器10可以将其识别为用户故意的动作。例如，如果用户已经向左边晃动他或者她的颈部两次，则系统控制器10可以将该动作确定为预定的操作输入。
[0140] 取决于加速度传感器20和陀螺仪21，它们能够确定用户是处于停止状态(非行走状态)、行走状态、还是处于跑步状态。另外，加速度传感器20和陀螺仪21能检测从站立状态到坐着状态的状态改变或者从坐着状态到站立状态的状态改变。
[0141] 当加速度传感器20和陀螺仪21与头盔安装单元分离并且布置在用户的一只手臂或者一只脚处时，它们可以仅仅检测该手臂或者脚的运动。
[0142] 生物学传感器22检测例如心率信息(心率)、脉搏信息(脉搏率)、出汗信息、脑电波信息(例如，α波、β波、θ波、和δ波的信息)、皮肤电反应、体温、血压、呼吸活动(例如，呼吸速度、深度、和肺活量)等作为用户的生物学信息。系统控制器10可以确定用户是否处于与所检测的信息相对应的紧张状态、兴奋状态、情绪平静状态、舒适状态、或不舒适状态。
[0143] 可以与所检测的生物学信息相对应地确定用户是否已经戴上了图像获取和显示设备1。例如，当用户还没有戴上图像获取和显示设备1时，系统控制器10可以控制图像获取和显示设备1以便在其中仅仅检测生物学信息的待机状态下进行操作。当系统控制器10检测到与所检测到的生物学信息相对应地用户已经戴上图像获取和显示设备1时，系统控制器10可以导通图像获取和显示设备1的电源。相反，当用户已经脱掉了图像获取和显示设备1时，系统控制器10可以将图像获取和显示设备1恢复为待机状态。
[0144] 另外，由生物学传感器22检测到的信息可用于验证用户(识别已经戴上图像获取和显示设备1的用户)。
[0145] 当生物学传感器22布置在眼镜型图像获取和显示设备1的安装框架中时，在用户的头侧面部分或者头后面部分上检测到上述信息。作为替代，生物学传感器22可以与图像获取和显示设备1的安装框架分离并且布置在用户身体的一个预定位置处。
[0146] 输入部分17是用户可以利用其输入他或者她的视野信息的部分。当用户输入他或者她的视野信息、例如视野值以及有关近视、远视、散光、老花眼等的信息时，系统控制器10可以与用户的视野相对应地控制图像的显示。
[0147] [5.示范性操作]
[0148] 在根据本发明这个实施例的图像获取和显示设备1中，系统控制器10与由视觉传感器19、加速度传感器20、陀螺仪21、生物学传感器22、和输入部分17所检测的用户信息相对应地控制图像获取操作和显示操作。因此，显示部分2执行与用户的希望和情况相对应的显示操作，以便协助和扩展用户的视觉。
[0149] 接下来，将描述在系统控制器10的控制下的各种类型的示范性操作。
[0150] 图10示出了作为系统控制器10的操作控制功能10b的控制处理。
[0151] 在步骤F101，系统控制器10控制显示控制部分14以使显示部分2变为通过状态。当最初导通图像获取和显示设备1时，流程前进到步骤F101。在步骤F101，系统控制器10控制显示部分2变为通过状态。
[0152] 当显示部分2处于通过状态时，流程前进到步骤F102。在步骤F102，系统控制器10确定是否已经出现了监视显示状态启动触发。当系统控制器10确定已经与由用户情况确定功能10a确定的用户希望或者情况相对应地启动了监视显示状态时，出现监视显示状态启动触发。系统控制器10确定是否已经与用户的操作、用户的有意运动(被识别为操作的运动)、或者用户的无意运动或者情况(包括对用户的识别)相对应地出现了监视显示状态启动触发。稍后将描述这些具体示例。
[0153] 当确定结果表示已经出现了监视显示状态启动触发时，流程前进到步骤F103。在步骤F103，系统控制器10执行监视显示启动控制。换句话说，系统控制器10命令图像获取控制部分11使图像获取部分3和获取图像信号处理部分15执行正常的图像获取操作。另外，系统控制器10命令显示控制部分14使显示图像处理部分12和显示驱动部分13导致显示部分2显示所获取的图像信号作为正常获取的图像。
[0154] 在这个处理过程中，将如图3A所示的通过状态切换为如图3B所示的、用于正常获取图像的监视显示状态。
[0155] 当显示部分2显示正常获取的图像(其与用户在通过状态下所看到的场景相同)时，流程前进到步骤F104。在步骤F104，系统控制器10监控是否已经出现了图像控制触发。在步骤F105，系统控制器10监控是否已经出现了监视显示状态完成触发。
[0156] 当系统控制器10确定需要与由用户情况确定功能10a确定的用户希望或者情况相对应地在监视显示状态中改变显示图像模式时，出现了图像控制触发。当系统控制器10确定需要与由用户情况确定功能10a所确定的用户希望或者情况相对应地完成监视显示状态并且将监视显示状态切换到通过状态时，出现监视显示状态完成触发。系统控制器10确定是否已经与用户的操作、用户的有意运动(被识别为操作的运动)、或者用户的无意运动或者情况(用户的身体情况、用户的识别等)相对应地出现了监视显示状态完成触发。稍后将描述这些具体示例。
[0157] 当确定结果表示已经出现了图像控制触发时，流程从步骤F104前进到步骤F106。在步骤F106，系统控制器10控制获取图像的显示操作。换句话说，系统控制器10命令图像获取控制部分11和显示控制部分14使显示部分2以与在这个时间点上的用户希望或者情况相对应的显示模式显示图像。
[0158] 在步骤F106系统控制器10已经控制了显示模式之后，流程返回到步骤F104或者F105。在步骤F104或者步骤F105，系统控制器10监控是否已经出现了触发。
[0159] 当确定结果表示已经出现了监视显示状态完成触发时，流程从步骤F105返回到步骤F101。在步骤F101，系统控制器10命令图像获取控制部分11完成图像获取操作，并且命令显示控制部分14使显示部分2变为通过状态。
[0160] 在用户戴上图像获取和显示设备1并且导通其电源时，系统控制器10中的操作控制功能10b执行图10所示的控制处理。
[0161] 在这个处理过程中，与监视显示状态启动触发是否已经出现的确定结果相对应地执行监视显示启动控制。与图像控制触发是否已经出现的确定结果相对应地控制显示模式。与监视显示状态完成触发是否已经出现的确定结果相对应地执行监视显示停止和通过状态控制。稍后将参考图11A和图11B到图19A和图19B描述触发确定和控制的具体示例。
[0162] 图11A和图11B到图19A和图19B示出了系统控制器10的用户情况确定功能10a的示范性处理。假定这些处理与图10所示的操作控制功能10b的处理并行地执行。执行这些并行处理，以便例如当系统控制器10正在执行图10所示的处理时，作为中断处理定期地执行图11A和图11B到图19A和图19B所示的检测处理。图11A和图11B到图19A和图19B所示的处理的程序可以内置于执行图10所示的处理的程序中。作为替代，这些程序可以是定期调用的其它程序。换句话说，这些程序的结构不局限于特定的结构。
[0163] 参考图11A和图11B，描述确定是否已经出现了导致将通过状态切换到监视显示状态的监视显示状态启动触发的示范性处理。
[0164] 图11A和图11B示出了检测作为监视显示启动操作的用户运动的示范性处理。
[0165] 在图11A所示的步骤F200，系统控制器10监控由加速度传感器20或者陀螺仪21检测的信息(加速度信号或者角速度信号)。
[0166] 定义了诸如上下晃动颈部两次、横向晃动颈部一次、转动颈部一次等之类的预定运动为表示用户命令图像获取和显示设备1在监视显示状态下进行操作的操作。当系统控制器10确定用户已经执行了表示他或者她命令图像获取和显示设备1与加速度传感器20和/或陀螺仪21所检测的信息相对应地启动监视显示状态的运动时，流程从步骤F201前进到步骤F202。在步骤F202，系统控制器10确定已经出现了用于所获取图像信号的监视显示状态启动触发。
[0167] 当在步骤F202的确定结果表示已经出现了监视显示状态启动触发时，流程从图10所示的步骤F102前进到步骤F103。在步骤F103，系统控制器10控制显示部分2启动所获取图像的显示操作。
[0168] 作为加速度传感器20和/或陀螺仪21的信息而被检测的并且命令图像获取和显示设备1在监视显示状态下进行操作的用户预定运动的其它示例为跳跃、摆手、晃动手臂、晃动脚等。
[0169] 图11B是确定是否已经与视觉传感器19的信息相对应地出现了监视显示状态启动触发的示范性处理。
[0170] 在步骤F210，系统控制器10分析由视觉传感器19检测的信息。当将获取用户眼睛图像的图像获取部分布置为视觉传感器19时，系统控制器10分析由该图像获取部分获取的图像。
[0171] 当假定用户连续眨眼三次的特定动作已经被定义为用户命令图像获取和显示设备1以监视显示状态进行操作的一个操作时，系统控制器10通过分析所获取的图像来监控动作。
[0172] 当系统控制器10已经检测到用户已经连续眨眼三次时，流程从步骤F211前进到步骤F212。在步骤F212，系统控制器10确定已经出现了用于所获取图像信号的监视显示状态启动触发。
[0173] 当在步骤F212的确定结果表示已经出现了监视显示状态启动触发时，流程从图10所示的步骤F102前进到步骤F103。在步骤F103，系统控制器10控制显示部分2以便以监视显示状态启动所获取图像的显示操作。
[0174] 与由视觉传感器19检测的信息相对应地被检测并且命令图像获取和显示设备1以监视显示状态进行操作的用户动作的其它示例包括转动眼球、横向移动它们两次、上下移动它们两次等。
[0175] 除了与用户的有意动作相对应地将图像获取和显示设备1从通过状态切换到监视显示状态的这些示范性处理之外，还可以有其它动作。
[0176] 为了将通过状态切换到监视显示状态，例如，可以布置开关。可以与开关的操作相对应地切换显示状态。
[0177] 当用户已经从输入部分17输入了视野信息时，系统控制器10可以确定已经出现了监视显示状态启动触发。
[0178] 作为替代，当用户已经戴上图像获取和显示设备1时，系统控制器10可以确定已经出现了监视显示状态启动触发。因为系统控制器10可以确定用户是否已经与生物学传感器22检测的信息相对应地戴上了图像获取和显示设备1，所以当生物学传感器22已经检测到例如脉搏、脑电波、皮肤电反应等时，系统控制器10可以确定已经出现了监视显示状态启动触发。在这种情况下，当用户刚好戴上了图像获取和显示设备1时，图像获取和显示设备1以监视显示状态进行操作。
[0179] 作为替代，当预定用户已经戴上了图像获取和显示设备1时，它可以以监视显示状态开始操作。可以与由视觉传感器19检测到的眼底模式以及由生物学传感器22检测到的信号相对应地识别用户。当已经登记了使用图像获取和显示设备1的用户的眼底模式和生物学信息时，系统控制器10可以确定该预定用户是否已经戴上了图像获取和显示设备1。
[0180] 因此，当预定用户戴上图像获取和显示设备1时，系统控制器10对他或者她进行验证。当图像获取和显示设备1已经识别出预定用户时，系统控制器10确定已经出现了监视显示状态启动触发，并且控制图像获取和显示设备1以监视显示状态进行操作。
[0181] 当允许将图像获取和显示设备1的功能仅仅用于预定用户时，可以将这样的个人验证添加为确定是否已经出现了监视显示状态启动触发的条件。
[0182] 当与上述监视显示启动触发相对应地在显示部分2上显示获取的图像时，如图9B所示，区域AR1可以在显示部分2的屏幕上处于通过状态，而且可以在作为屏幕一部分的区域AR2中显示所获取的图像。
[0183] 接下来，参考图12A和图12B到图17A和图17B，描述作为图10所示的步骤F104中的处理的、确定是否已经出现了图像控制触发的示范性处理。
[0184] 图12A示出了与用户视线的移动相对应地控制变焦操作的示范性处理。
[0185] 在图12A所示的步骤F300，系统控制器10分析由视觉传感器19检测到的信息。例如，当将获取用户眼睛图像的图像获取部分布置为视觉传感器19时，系统控制器10分析所获取的图像。
[0186] 当系统控制器10已经检测到用户的视觉方向已经向下移动时，流程从步骤F301前进到步骤F302。在步骤F302，系统控制器10确定已经出现了放大(广角变焦)显示切换触发。
[0187] 当在步骤F302的确定结果表示已经出现了广角变焦切换触发时，流程从图10所示的步骤F104前进到F106。在步骤F106，系统控制器10命令图像获取控制部分11执行放大操作。因此，显示部分2显示如图4B所示的图像。
[0188] 当用户的视线向下移动时，他或者她正在阅读报纸或者书本或者正在观看非常接近眼睛的位置。因此，当放大图像时，它为近视或者老花眼的用户进行了适当的显示。
[0189] 图12B是与用户颈部(头部)的运动以及他或者她眼睛的焦距相对应地控制变焦操作的示范性处理。
[0190] 在图12B所示的步骤F310，系统控制器10分析由视觉传感器19检测到的信息，并且检测与分析结果相对应的用户眼睛的焦距和视觉方向。在步骤F311，系统控制器10监控由加速度传感器20和陀螺仪21检测的信息(加速度信号和角速度信号)，并且确定与所检测的信息相对应的、用户颈部的运动。
[0191] 此后，在步骤F312和步骤F313，系统控制器10与有关用户眼睛的焦距和他或者她颈部的定向的检测结果相对应地确定用户是正在看近处位置还是在看远处位置。
[0192] 当系统控制器10确定用户正在看近处位置(特别是，他或者她的手)时，流程从步骤F312前进到步骤F314。在步骤F314，系统控制器10确定已经出现了放大(广角变焦)显示切换触发。在步骤F316，系统控制器10计算与用户眼睛的焦距以及他或者她颈部(头部)的定向相对应的恰当变焦放大率。
[0193] 当系统控制器10确定用户正在看远处位置时，流程从步骤F313前进到步骤F315。在步骤F315，系统控制器10确定已经出现了远景变焦显示切换触发。在步骤F316，系统控制器10计算与用户眼睛的焦距以及他或者她颈部(头部)的定向相对应的恰当变焦放大率。
[0194] 当已经执行了步骤F314和步骤F316的处理或者步骤F315和步骤F316的处理时，流程从如图10所示的步骤F104前进到步骤F106。在步骤F106，系统控制器10命令图像获取控制部分11利用所计算的放大率执行变焦操作。
[0195] 因此，显示部分2显示与用户正在看的场景相对应的、如图4B所示的放大图像或者如图3C所示的远景图像。
[0196] 这样的操作变为协助近视和远视的用户的功能。
[0197] 在图12A和图12B中，示范性地说明了由显示驱动部分13的变焦操作改变显示图像的处理。作为替代，系统控制器10可以导致显示图像处理部分12与用户的视觉方向、他或者她眼睛的焦距、他或者她颈部的定向等相对应地执行图像放大处理、图像缩小处理等。
[0198] 图13A示出了从输入部分17输入有关用户视野的信息的示范性处理。当已经从输入部分17输入了有关用户视野的信息时，流程从图13A所示的步骤F400前进到步骤F401。在步骤F401，系统控制器10确定已经出现了视野基础显示切换触发。在步骤F402，系统控制器10计算与视野的值相对应的放大率。
[0199] 当已经执行了步骤F401和步骤F402的处理时，流程从图10所示的步骤F104前进到步骤F106。在步骤F106，系统控制器10命令显示图像处理部分12以所计算的放大率执行放大显示操作。在这个处理过程中，显示部分2显示与用户视野相对应的放大图像。
[0200] 作为替代，系统控制器10可以将用户的眼底模式和视野信息相关联地预先存储到例如内部存储器中。通过检测用户他或者她的眼底模式来识别用户。系统控制器10可以命令显示部分2显示与用户视野相对应的放大图像。
[0201] 图13B示出了对例如老花眼和散光并且应对黑暗环境的用户而言应对降低了的对于亮度、模糊度等的灵敏度的示范性处理。
[0202] 在步骤F410，系统控制器10监控由加速度传感器20和陀螺仪21检测的信息(加速度信号和角速度信号)，并且确定与所检测的结果相对应的用户运动。例如，系统控制器10确定用户是否与检测结果相对应地处于其中他或者她不在行走的休息状态下。在步骤F411，系统控制器10分析由视觉传感器19检测的信息，并且检测与分析结果相对应的用户眼睛的焦距、他或者她眼睛的瞳孔扩张、以及眼皮开合(screw-up)(他或者她的眼皮状态)。
[0203] 当确定结果表示用户处于休息状态并且正在看近距离或者正闭合(screw up)他或者她的眼皮时，流程从步骤F412前进到步骤F413。在步骤F413，系统控制器10确定已经出现了老花眼等应对显示触发。
[0204] 当在步骤F413的确定结果表示已经出现了触发时，流程从图10所示的步骤F104前进到F106。在这种情况下，系统控制器10命令显示驱动部分13提高图像获取灵敏度，并且命令获取图像信号处理部分15或者显示图像处理部分12执行增加亮度和对比度以及增强边缘(锐度)的处理。因此，在这个处理过程中，显示部分2清楚地显示如图6B所示的图像。因此，这个处理在有老花眼或者处于暗处的用户阅读例如报纸时可在视觉上协助用户。
[0205] 在这种情况下，如图4B所示，系统控制器10可以导致显示部分2执行图像放大操作。
[0206] 当系统控制器10确定用户处于与他或者她眼睛的瞳孔扩张相对应的暗处时，系统控制器10可以控制照明部分4进行照明。
[0207] 图14示出了取决于用户他或者她是舒服还是不舒服来应对用户视觉的示范性处理。
[0208] 在图14所示的步骤F420，系统控制器10分析由视觉传感器19检测的信息，并且检测与分析结果相对应的、用户眼睛的瞳孔扩张和他或者她眼睛的眨眼(每单位时间的次数)。
[0209] 在步骤F421，系统控制器10检查由生物学传感器22检测的脑电波、心率、出汗量、血压等的信息。
[0210] 系统控制器10与由视觉传感器19和生物学传感器22检测到的信息相对应地确定用户对于观看显示部分2上显示的图像是感到舒服还是感到不舒服。
[0211] 当确定结果表示用户对于观看图像没有感到舒服时，流程从步骤F422前进到步骤F423。在步骤F423，系统控制器10确定已经出现了图像调整控制触发。在这种情况下，流程前进到步骤F424。在步骤F424，系统控制器10计算与用户情况(例如，亮度、对比度、锐度、图像获取灵敏度、照明亮度等的情况)相对应地被认为是舒服的调整值。
[0212] 当已经执行了步骤F423和步骤F424的处理时，流程从图10所示的步骤F104前进到步骤F106。在这种情况下，在步骤F106，系统控制器10命令图像获取部分13调整图像获取灵敏度，并且命令获取图像信号处理部分15或者显示图像处理部分12执行调整亮度、对比度、锐度等的处理。在这个处理过程中，调整在显示部分2上显示的图像质量，以便使用户对于观看在显示部分2上显示的图像感到舒服。当确定结果表示用户处于暗处时，系统控制器10可以控制照明部分4进行照明。
[0213] 当因为例如用户视野、周围亮度、和他或者她眼睛的疲劳的情况而导致用户对观看显示部分2上显示的图像感觉不舒适时，这个处理过程向他或者她提供了舒适的可见情况。例如，当用户处于暗处并且他或者她不能清楚地看到图像时，这个处理过程向他或者她提供了清晰的图像。当用户的眼睛疲劳时，这个处理过程向他或者她提供了柔和的图像。
[0214] 用这样的方式执行图12A和图12B、图13A和图13B、以及图14所示的处理而不用用户进行有意的操作，以便使系统控制器10确定他或者她的情况并且与他或者她的情况相对应地控制显示图像模式。相反，用这样的方式执行图15、图16、以及图17A和图17B所示的处理，以便将用户的有意动作当作图像控制触发(或者一种触发条件)。接下来，将参考图15、图16、以及图17A和图17B描述这些处理。
[0215] 图15示出了将用户颈部(头部)的运动当作一个操作的处理。
[0216] 在步骤F500，系统控制器10监控由加速度传感器20以及陀螺仪21检测的信息(加速度信号以及角速度信号)。在步骤F501，系统控制器10确定与所检测的信息相对应的用户头部运动。例如，系统控制器10确定用户是否已经向后倾斜他或者她的头部两次，他或者她是否已经向前倾斜他或者她的头部两次，或者他或者她是否已经向左晃动他或者她的颈部两次。
[0217] 当系统控制器10检测到用户已经向后倾斜他或者她的头部两次时，流程从步骤F502前进到步骤F505。在步骤F505，系统控制器10确定已经出现了2倍远景放大率的图像切换触发。
[0218] 在这种情况下，流程从图10所示的步骤F104前进到步骤F106。在步骤F106，系统控制器10命令图像获取控制部分11执行具有2倍远景放大率的变焦操作。因此，如图3C所示，显示部分2显示具有2倍远景放大率的图像。
[0219] 当系统控制器10检测到用户已经向前倾斜他或者她的头部两次时，流程从步骤F503前进步骤F506。在步骤F506，系统控制器10确定已经出现了1/2倍远景放大率的图像切换触发。在这种情况下，流程从图10所示的步骤F104前进到步骤F106。在步骤F104，系统控制器10命令图像获取控制部分11执行具有1/2倍远景放大率的变焦操作。因此，显示部分2显示具有1/2倍远景放大率的图像。
[0220] 当系统控制器10检测到用户已经向左晃动他或者她的颈部两次时，流程从步骤F504前进到步骤F507。在步骤F507，系统控制器10确定已经出现了导致重置远景放大率的图像切换触发。在这种情况下，流程从图10所示的步骤F104前进到步骤F106。在步骤F104，系统控制器10命令图像获取控制部分11执行具有标准放大率的变焦操作。因此，显示部分2显示具有标准放大率的图像。
[0221] 因为将用户的有意运动确定为触发，并且与此对应地切换显示图像模式，所以向他或者她提供了他或者她所期望的视野。
[0222] 除了用户颈部的运动之外，还可以将诸如跳跃和他或者她的手、手臂、以及腿的运动之类的他或者她整个身体的运动确定为预定操作。
[0223] 除了变焦操作之外，还可以与用户的动作或者运动相对应地执行图5B所示的图像放大操作、图像缩小操作、图像获取灵敏度操作、获取图像帧频选择操作、图7B所示的增加红外图像获取灵敏度显示操作、图8B所示的增加紫外图像获取灵敏度显示操作、图9B所示的分离显示操作、图9C所示的闪烁(strobe)显示操作等。
[0224] 图16示出了将用户的动作当作与他或者她的情况和周围环境相对应的预定控制触发的处理。
[0225] 在图16所示的步骤F600，系统控制器10分析由视觉传感器19检测的信息，并且检测与分析结果相对应的、他或者她的眼睛的瞳孔扩张和眨眼。在步骤F601，系统控制器10监控由加速度传感器20和陀螺仪21检测的信息(加速度信号和角速度信号)，并且确定用户是否正在运动(停止)他或者她的颈部或者整个身体(未行走状态)。
[0226] 在步骤F602，系统控制器10确定用户是否处于休息状态并且让他或者她的颈部向下倾斜，周围环境是否是黑的，以及他或者她是否已经执行了诸如他或者她已经眨眼三次之类的特定动作。
[0227] 换句话说，系统控制器10与由加速度传感器20和陀螺仪21所检测的信息相对应地确定用户是否处于休息状态并且让他或者她的颈部向下倾斜。另外，系统控制器10与用户眼睛的瞳孔扩张相对应地确定他或者她是否处于黑暗环境中。当已经满足了这些条件时，系统控制器10确定用户是否已经连续眨眼三次。
[0228] 当用户处于休息状态并让他或者她的颈部向下倾斜并且他或者她处于黑暗环境中时，他或者她正在黑暗房间中阅读某物。当在这种情况下用户已经有意地连续眨眼三次时，系统控制器10确定他或者她希望一个明亮且清晰的图像。因此，当在这样的情况下系统控制器10检测到用户已经连续眨眼三次时，流程前进到步骤F603。在步骤F603，系统控制器10确定已经出现了图像调整控制触发。
[0229] 当已经执行了步骤F603的处理时，流程从图10所示的步骤F104前进到步骤F106。在这种情况下，在步骤F106，系统控制器10命令显示驱动部分13提高图像获取灵敏度，并且命令获取图像信号处理部分15或者显示图像处理部分12执行增加亮度、增强对比度和锐度等的处理。作为替代，系统控制器10可以命令照明部分4进行照明。
[0230] 因此，用户可以在舒服的情况下看见图像。
[0231] 在这个示例中，只要已经满足了用户的情况和周围环境条件，就允许用户眼睛眨眼的操作。这个处理过程是有效的，这是因为，甚至在用户已经无意地执行了相关动作之后，也不会改变图像。
[0232] 图17A示出了获取参考图7B所述的具有增加红外灵敏度的图像的示范性处理。与用户的身体情况相对应地允许或者禁止与用户动作相对应的操作。
[0233] 在图17A所示的步骤F700，系统控制器10监控由加速度传感器20和陀螺仪21检测的信息(加速度信号和角速度信号)，并且确定与所检测的结果相对应的、用户颈部的运动和他或者她整个身体的运动。
[0234] 在步骤F701，系统控制器10检查由生物学传感器22检测的脑电波、心率、出汗量、血压等。系统控制器10与由生物学传感器22所检测的信息相对应地确定用户是否紧张或者兴奋。
[0235] 当系统控制器10检测到导致图像获取和显示设备1执行红外图像获取操作的预定动作(例如，他或者她已经晃动了其颈部)时，流程从步骤F702前进到步骤F703。在步骤F703，系统控制器10确定用户是否紧张或者兴奋。
[0236] 当系统控制器10确定用户既不紧张又不兴奋时，系统控制器10确定用户动作是有效操作。此后，流程前进到步骤F704。在步骤F704，系统控制器10确定已经出现了增加红外灵敏度的图像获取操作触发。
[0237] 当已经执行了步骤F704的处理时，流程从图10所示的步骤F104前进到步骤F106。在这种情况下，在步骤F106，系统控制器10命令图像获取部分3增加红外图像获取灵敏度。因此，显示部分2显示如图7B所示的图像。
[0238] 相反，当步骤F703的确定结果表示用户紧张或者兴奋时，系统控制器10确定还没有出现增加红外灵敏度的图像获取操作触发。换句话说，系统控制器10禁止与用户动作相对应的操作。
[0239] 因此，可以连同用户的身体情况的条件一起确定与他或者她的动作相对应的操作的有效性。在这种情况下，可以有效地防止诸如增加红外灵敏度的图像获取操作之类的特殊图像获取功能被不恰当地使用。
[0240] 图17B示出了获取参考图8B所述的具有增加紫外灵敏度的图像的示范性处理。
[0241] 在图17B所示的步骤F710，系统控制器10监控由加速度传感器20和陀螺仪21检测的信息(加速度信号和角速度信号)，并且确定与所检测的结果相对应的、用户颈部的运动或他或者她整个身体的运动等。
[0242] 当系统控制器10检测到用户已经执行了导致图像获取和显示设备1执行紫外图像获取操作的预定动作时，流程从步骤F711前进到步骤F712。在步骤F712，系统控制器10确定已经出现了增加紫外灵敏度的图像获取操作触发。
[0243] 在已经执行了步骤F712的处理之后，流程从图10所示的步骤F104前进到步骤F106。在这种情况下，在步骤F106，系统控制器10命令图像获取部分3增加紫外图像获取灵敏度。因此，显示部分2显示如图8B所示的图像。
[0244] 在上文中已经示范性地说明了用于获取图像的显示模式切换触发和显示模式。应当注意到，可以有其它示例。
[0245] 当与图像控制触发相对应地切换显示部分2的显示模式时，如图9B所示，显示部分2的屏幕中的区域AR1可以是通过状态或者显示正常获取的图像，而作为屏幕一部分的区域AR2可以以另一种显示模式显示图像。作为替代，作为宽阔区域的AR1可以显示与图像控制触发相对应的图像。作为替代，可以相等地划分屏幕，并且可以在其中显示正常获取的图像和与图像控制触发相对应的图像。
[0246] 接下来，将参考图18A、图18B、图19A、和图19B描述在图10所示的步骤F105中检测到的触发，即，导致监视显示状态被切换到获取图像的通过状态的触发。
[0247] 图18A示出了与用户的有意动作相对应地完成监视显示状态的示范性处理。
[0248] 在图18A所示的步骤F800，系统控制器10监控由加速度传感器20和陀螺仪21检测的信息，并且确定与所检测的信息相对应的、用户颈部的运动或他或者她整个身体的运动等。
[0249] 当系统控制器10检测到用户已经执行了导致图像获取和显示设备1完成监视显示状态的预定动作时，流程从步骤F801前进到步骤F802。在步骤F802，系统控制器10确定已经出现了获取图像监视显示完成触发。
[0250] 当已经执行了步骤F802的处理时，流程从图10所示的步骤F105前进到步骤F101。在这种情况下，在步骤F101，系统控制器10命令显示控制部分14将显示状态切换为通过状态。因此，如图3A所示，显示部分2将显示状态恢复为通过状态。
[0251] 图18B示出了与用户的有意动作相对应地完成监视显示状态的示范性处理。
[0252] 在图18B所示的步骤F810，系统控制器10分析由视觉传感器19检测的信息。当用户连续眨眼三次的预定动作已经被定义为导致图像获取和显示设备1完成监视显示状态的用户操作时，系统控制器10通过分析图像来监控动作。
[0253] 当系统控制器10检测到用户已经连续眨眼三次时，流程从步骤F811前进到步骤F812。在步骤F812，系统控制器10确定已经出现了用于所获取图像信号的监视显示状态完成触发。
[0254] 当已经执行了步骤F812的处理时，流程从图10所示的步骤F105前进到步骤F101。在步骤F101，系统控制器10命令显示控制部分14将显示状态切换为通过状态。因此，如图3A所示，显示部分2将显示状态恢复为通过状态。
[0255] 在图18A和图18B所示的处理中，当用户导致图像获取和显示设备1以通过状态进行操作时，显示部分2与他或者她的希望相对应地变为通过状态。
[0256] 当然，可以有导致显示部分2将显示状态恢复为通过状态的其它类型的用户动作。
[0257] 图19A示出了与用户运动(他或者她的不被认为是操作的运动)相对应地将显示状态自动恢复为通过状态的示范性处理。
[0258] 在图19A所示的步骤F900，系统控制器10监控由加速度传感器20和陀螺仪21检测的信息，并且确定是否有用户整个身体的运动。特别地，系统控制器10检测用户是正在休息、行走、还是正在跑步。
[0259] 当系统控制器10确定用户已经开始行走或者跑步时，流程从步骤F901前进到步骤F902。在步骤F902，系统控制器10确定已经出现了用于所获取图像信号的监视显示状态完成触发。
[0260] 当已经执行了步骤F902的处理时，流程从图10所示的步骤F105返回到步骤F101。在这种情况下，在步骤F101，系统控制器10命令显示控制部分14将显示状态切换为通过状态。因此，如图3A所示，显示部分2将显示状态恢复为通过状态。
[0261] 在用户正在行走或者跑步时，从安全的角度看，优选为将显示状态恢复为通过状态。
[0262] 并不是将显示状态恢复为通过状态，而是当用户正在行走或者跑步时，系统控制器10可以命令显示控制部分14将显示状态切换为正常获取图像的监视显示状态，其中该正常获取图像类似于如图3B所示的用户在通过状态下看到的那个图像。
[0263] 图19B示出了与用户的身体情况相对应地将显示状态自动恢复为通过状态以便防止不恰当地使用红外图像获取操作的示范性处理。
[0264] 在图19B所示步骤F910，系统控制器10检查有关由生物学传感器22检测的例如脑电波、心率、出汗量、血压等的信息。系统控制器10与由生物学传感器22所检测的信息相对应地确定用户是否紧张或者兴奋。
[0265] 当正在执行增加红外灵敏度的图像获取操作时，流程从步骤F911前进到步骤F912。在步骤F912，系统控制器10确定用户是否紧张或者兴奋。
[0266] 当确定结果表示用户既不紧张又不兴奋时，系统控制器10允许图像获取和显示设备1继续该增加红外灵敏度的图像获取操作。相反，当确定结果表示用户紧张或者兴奋时，流程前进到步骤F913。在步骤F913，系统控制器10确定已经出现了用于所获取图像的监视显示状态完成触发。
[0267] 当已经执行了步骤F913的处理时，流程从图10所示的步骤F105返回到步骤F101。在这种情况下，在步骤F101，系统控制器10命令显示控制部分14将显示状态切换为通过状态。换句话说，系统控制器10命令显示控制部分14完成增加红外灵敏度的图像获取操作的监视显示状态。因此，显示部分2将显示状态恢复为通过状态。
[0268] 优选为与用户的身体情况相对应地完成增加红外灵敏度的图像获取操作，并且将显示状态恢复为通过状态，以防止他或者她不正确地使用增加了红外灵敏度的图像获取操作。
[0269] 并不是将显示状态恢复为通过状态，而是可以完成增加红外灵敏度的图像获取操作，并且可以显示正常获取的图像。
[0270] [6.第一实施例的效果、修改、和扩展]
[0271] 根据这个实施例，由布置在眼镜型安装单元或者头盔型安装单元中的图像获取部分3获取的图像，即，在作为被摄对象方向的用户眼睛方向中的获取图像，被显示在他或者她的眼睛前面的显示部分2上。在这种情况下，与有关他或者她的运动或者身体情况相对应地控制图像获取操作或者显示操作。因此，可以创建实质上协助或者扩展用户视觉能力的情况。
[0272] 因为图像获取部分3的图像获取操作以及与获取图像信号处理部分15和显示图像处理部分12的信号处理相对应的显示模式改变是与和用户的运动或者身体情况有关的信息相对应地确定的用户希望或者情况相对应地执行的。因此，没有向用户施加操作负担。另外，因为恰当地控制了图像获取和显示设备1，所以用户可以容易地使用它。
[0273] 另外，因为通过控制显示部分2的透射率使其变为透明或者半透明的通过状态，所以当用户戴上安装单元时，它不会扰乱他或者她的正常生活。因此，在用户的正常生活中，可以有效地使用根据这个实施例的图像获取和显示设备1的益处。
[0274] 在这个实施例中，已经主要描述了图像获取部分3的图像获取操作和通过获取图像信号处理部分15和显示图像处理部分12的信号处理实现的显示模式。例如，可以与用户的动作和/或身体情况相对应地控制通电、断电和待机的切换，以及从声音输出部分5输出的声音的音量和音质。例如，可以与例如生物学传感器22所检测的信息相对应地考虑到用户的舒适度来调整音量。
[0275] 图像获取和显示设备1的外观和结构不局限于图1和图2所示的那些。作为替代，可以进行各种修改。
[0276] 例如，可以在图像获取和显示设备1中布置存储由图像获取部分3获取的图像信号的存储部分，以及将图像信号发送到其它设备的传输部分。
[0277] 除了作为显示部分2上显示的图像的来源的图像获取部分3之外，可以在图像获取和显示设备1中布置从外部设备输入图像的输入部分和接收部分。
[0278] 另外，可以在图像获取和显示设备1中布置识别图像中包含的字符的字符识别部分，和执行声音合成处理的声音合成部分。当获取的图像包含字符时，声音合成部分可以生成阅读语音信号，而且声音输出部分5可以输出与该信号相对应的语音。
[0279] 在这个实施例中，描述了其中图像获取和显示设备1是眼镜型安装单元或者头盔型安装单元的示例。然而，只要图像获取和显示设备沿用户眼睛的方向获取图像并且在他或者她的眼睛前面显示图像，该设备可以是用户可戴上的任何类型，诸如头戴耳机型、领口型、耳挂型等。作为替代，图像获取和显示设备1可以是使用诸如回形针之类的安装部件附着于眼镜、帽舌、头戴耳机等的单元。
[0280] (第二实施例)
[0281] 接下来，将以下列次序描述根据本发明第二实施例的图像获取和显示设备以及图像获取和显示方法。
[0282] [1.图像获取和显示设备的示范性外观]
[0283] [2.图像获取和显示设备的示范性结构]
[0284] [3.示范性显示图像]
[0285] [4.用户情况的确定]
[0286] [5.示范性操作]
[0287] [6.第二实施例的效果、修改、和扩展]
[0288] [1.图像获取和显示设备的示范外观]
[0289] 根据第二实施例的图像获取和显示设备的示范性外观与根据第一实施例的示范性外观相同。
[0290] [2.图像获取和显示设备的示范示范性外观结构]
[0291] 图20示出了根据本发明第二实施例的图像获取和显示设备101的示范性内部结构。
[0292] 系统控制器110包含微计算机，其包括例如CPU(中央处理单元)、ROM(只读存储器)、RAM(随机存取存储器)、非易失性存储器部分、和接口部分。系统控制器110是控制图像获取和显示设备101中的全部部分的控制部分。
[0293] 系统控制器110与外部情况相对应地控制图像获取和显示设备101中的每个部分。换句话说，系统控制器110与用于检测和确定外部情况的操作程序相对应地进行操作，并且与所检测和确定的情况相对应地控制每个部分。因此，如图20所示，系统控制器110在功能上包括确定外部情况的外部情况确定功能110a和与外部情况确定功能110a的确定结果相对应地控制和命令每个部分的操作控制功能110b。
[0294] 在图像获取和显示设备101中布置了图像获取部分103、图像获取控制部分111、和获取图像信号处理部分115，作为用于获取在用户前面的图像的结构。
[0295] 图像获取部分103包括透镜系统(其具有图像获取透镜103a(如图1所示)、光圈、变焦透镜、聚焦透镜等)，使透镜系统执行聚焦操作和变焦操作的驱动系统，以及固态图像传感器阵列，其中固态图像传感器阵列检测由透镜系统获得的获取图像的光、将光转换为电、并且生成与电相对应的获取图像信号。固态图像传感器阵列包含例如CCD(电荷耦合器件)传感器阵列或者CMOS(互补金属氧化物半导体)传感器阵列。
[0296] 获取图像信号处理部分115包括采样保持/AGC(自动增益控制)电路和视频A/D转换器，其中该采样保持/AGC电路调整由图像获取部分103中的固态图像传感器阵列所获得的信号的增益并且修整该信号的波形。获取图像信号处理部分115获得获取图像信号作为数字数据。获取图像信号处理部分115为所获取的图像信号执行白平衡处理、亮度处理、彩色信号处理、振动校正处理等。
[0297] 图像获取控制部分111与从系统控制器110接收的命令相对应地控制图像获取部分103和获取图像信号处理部分115的操作。图像获取控制部分111例如开始和停止图像获取部分103和获取图像信号处理部分115的操作。另外，图像获取控制部分111控制图像获取部分103以(通过马达)执行自动聚焦操作、自动曝光调整操作、光圈调整操作、变焦操作等。
[0298] 另外，图像获取控制部分111包括定时发生器。图像获取控制部分111利用由定时发生器生成的定时信号控制固态图像传感器阵列和图像获取控制部分111中的采样保持/AGC电路和视频A/D转换器。另外，图像获取控制部分111可以利用定时信号改变获取图像的帧频。
[0299] 另外，图像获取控制部分111控制固态图像传感器阵列和获取图像信号处理部分115的图像获取灵敏度和信号处理。为了控制图像获取灵敏度，图像获取控制部分111控制例如已经从固态图像传感器阵列读取的信号的增益、黑电平设置、获取图像信号处理中的数字数据的各种类型的系数、振动校正处理的校正量等。对于图像获取灵敏度调整，图像获取控制部分111可以执行总灵敏度调整，而不考虑波段和用于诸如红外线区和紫外线区之类的特定波段的特定灵敏度调整(例如，可以这样获取图像以便截取预定波段)。可以通过在图像获取透镜系统中插入波长滤波器，以及通过为所获取的图像信号执行波长滤波计算处理，来执行波长特定的灵敏度调整。在这些情况下，图像获取控制部分111可以通过插入波长滤波器和/或指定滤波计算系数来控制灵敏度。
[0300] 作为向用户显示数据的结构，图像获取和显示设备101包括显示部分102、显示图像处理部分112、显示驱动部分113、和显示控制部分114。
[0301] 将其图像已经由图像获取部分103获取并然后由获取图像信号处理部分115处理的获取图像信号提供给显示图像处理部分112。显示图像处理部分112例如是所谓的视频处理器。显示图像处理部分112为所提供的获取图像信号执行各种类型的显示处理。显示图像处理部分112可以为所获取的图像信号执行例如亮度级调整、彩色校正、对比度调整、锐度(边缘增强)调整等。另外，显示图像处理部分112可以生成其中放大获取图像信号的一部分的放大图像和缩小图像，突出显示一部分图像，分离图像以便进行分离显示，组合图像，生成字符图像和图形图像，以及将所生成的图像和获取图像相叠加。换句话说，显示图像处理部分112可以为作为获取图像信号的数字图像信号执行各种类型的处理。
[0302] 显示驱动部分113包含像素驱动电路，其在例如为液晶显示器的显示部分102上显示从显示图像处理部分112提供的图像信号。换句话说，显示驱动部分113以预定的水平/垂直驱动定时将基于图像信号的驱动信号施加到显示部分102中以矩阵形状形成的每个像素中，以导致显示部分102显示图像。另外，显示驱动部分113控制每个像素的透射率以导致显示部分102变为通过状态。
[0303] 显示控制部分114与从系统控制器110接收的命令相对应地控制显示图像处理部分112的处理和操作以及显示驱动部分113的操作。换句话说，显示控制部分114使显示图像处理部分112执行上述各种类型的处理。另外，显示控制部分114控制显示驱动部分113，以导致显示部分102在通过状态和图像显示状态之间切换显示状态。
[0304] 在以下的描述中，其中显示部分102变为透明或者半透明的状态被称为“通过状态”，而其中显示部分102显示图像的操作(及其状态)被称为“监视显示状态”。
[0305] 另外，图像获取和显示设备101包括声音输入部分106、声音信号处理部分106、和声音输出部分105。
[0306] 声音输入部分106包括图1所示的麦克风106a和106b，以及麦克风放大部分，其处理由麦克风106a和106b获得的声音信号。
[0307] 声音信号处理部分116包含例如A/D转换器、数字信号处理器、D/A转换器等。声音信号处理部分116将从声音输入部分106提供的声音信号转换为数字数据，并且在系统控制器110的控制下执行音量调整、音质调整、音响效果等处理。声音信号处理部分116将产生的声音信号转换为模拟信号，并且将模拟信号提供给声音输出部分105。声音信号处理部分116不局限于执行数字信号处理的结构。相反，声音信号处理部分116可以利用模拟放大器和模拟滤波器执行信号处理。
[0308] 声音输出部分105包括图1所示的一对耳机扬声器105a，以及用于耳机扬声器105a的放大器电路。
[0309] 声音输入部分106、声音信号处理部分116、和声音输出部分105允许用户通过图像获取和显示设备101听到外部声音。
[0310] 声音输出部分105可以被构造为所谓的骨质(osseous)传导扬声器。
[0311] 另外，图像获取和显示设备101包括声音合成部分127。声音合成部分127合成与从系统控制器110发布的命令相对应的声音，并且输出所合成的声音信号。
[0312] 声音合成部分127将合成的声音信号输出到声音信号处理部分116。声音信号处理部分116处理合成的声音信号，并且将产生的信号提供给声音输出部分105。声音输出部分105将声音输出给用户。
[0313] 声音合成部分127生成将在稍后描述的阅读语音的声音信号。
[0314] 另外，图像获取和显示设备1包括照明部分104和照明控制部分118。照明部分104包含图1所示的发光部分104a(例如，发光二极管)以及导致发光部分104a发光的发光电路。照明控制部分118使照明部分104与从系统控制器110提供的命令相对应地执行发光操作。
[0315] 因为照明部分104中的发光部分104a被布置为使发光部分104a向前方照明，所以照明部分104在用户的视觉方向上执行照明操作。
[0318] 获取目标传感器120是检测有关图像获取部分103的图像获取操作的获取目标的信息的传感器。获取目标传感器120可以是测距传感器，其检测有关例如从图像获取和显示设备101到获取目标的距离的信息。
[0319] 获取目标传感器120可以是诸如红外传感器之类的传感器，其是检测获取目标的红外线发射的预定波长和能量的信息的热电传感器。在这种情况下，获取目标传感器120可以检测获取目标是否为诸如人或者动物之类的活体。
[0320] 作为替代，获取目标传感器120可以是诸如各种类型的UV(紫外线)传感器之一这样的传感器，其检测获取目标的紫外线发射的预定波长和能量的信息。在这种情况下，获取目标传感器120可以检测获取目标是否是荧光材料或者磷光体，并且检测对抗太阳晒黑所必需的外部紫外线发射量。
[0321] GPS接收部分121从GPS(全球定位系统)卫星接收无线电波，获得图像获取和显示设备101的当前位置，并且输出当前位置的经纬度信息。
[0322] 日期与时间计数部分122是所谓的时钟部分，其对日期与时间(年、月、日、小时、分钟和秒)进行计数，并且输出当前日期与时间的信息。
[0323] 图像分析部分128分析由图像获取部分103和获取图像信号处理部分115获取和处理的图像。换句话说，图像分析部分128分析作为被摄对象的图像，并且获得包含在获取图像中的被摄对象的信息。
[0325] 另外，外部设备的示例可以包括连接到诸如国际互联网之类的网络的终端设备和服务器设备。
[0326] 另外，外部设备的示例可以包括非接触型通信IC卡，其具有内置IC芯片、诸如QR码之类的二维条型码、以及通信部分126从中获得信息的全息图存储器。
[0327] 另外，外部设备的示例可以包括另一个图像获取和显示设备101。
[0328] 通信部分126可以与例如与无线LAN系统、蓝牙系统等相对应的附近接入点进行通信。作为替代，通信部分126可以直接与具有相应通信功能的外部设备进行通信。
[0329] 这些周围环境传感器119、获取目标传感器120、GPS接收部分121、日期与时间计数部分122、图像分析部分128、和通信部分126获得图像获取和显示设备101的外部信息，并且将所获得的信息提供给系统控制器110。
[0330] 系统控制器110执行操作控制功能110b的处理，以便与由外部情况确定功能110a获得的外部信息相对应地控制图像获取操作和显示操作。换句话说，系统控制器110命令图像获取控制部分111控制图像获取部分103和获取图像信号处理部分115的操作。另外，系统控制器110命令显示控制部分114控制显示图像处理部分112和显示驱动部分113的操作。
[0331] 在这个实施例中，获得外部信息的结构包括周围环境传感器119、获取目标传感器120、GPS接收部分121、日期与时间计数部分122、图像分析部分128、以及通信部分126。然而，在该结构中，可以省略它们中的一些。另外，可以在图像获取和显示设备101中布置其它传感器，诸如检测和分析周围语音的语音分析部分。
[0332] [3.示范性显示图像]
[0333] 系统控制器110与所获得的外部信息相对应地控制图像获取操作和显示操作。因此，用户识别显示部分102的各种显示模式。图3A到图3C至图9A到图9C、图21A和图21B、以及图22A到图22B示范性地说明了各种显示模式。
[0334] 图3A示出了其中显示部分102处于通过状态的状态。换句话说，在这个状态下，显示部分102是简单的透明平面部件，而且用户可通过透明的显示部分102看到视野中的场景。
[0335] 图3B示出了其中由图像获取部分103获取的图像被显示在处于监视显示状态下进行操作的显示部分102上的状态。图像获取部分103、获取图像信号处理部分115、显示图像处理部分112、和显示驱动部分113以图3A所示的状态进行操作，以便使它们正常地在显示部分102上显示获取的图像。在这种情况下，显示部分102上显示的获取图像(正常获取的图像)几乎与在通过状态下进行操作的显示部分102上显现的图像相同。换句话说，在这个状态下，用户看到正常的视野作为获取的图像。
[0336] 图3C示出了其中系统控制器110使图像获取部分103通过图像获取控制部分111获取远景图像的状态。
[0337] 相比之下，当系统控制器110导致图像获取部分103通过图像获取控制部分111获取广角图像时，在显示部分102上显示近距离广角图像(未示出)。虽然图像获取部分103通过驱动图像获取部分103的变焦透镜来执行远景和广角控制，但是获取图像处理部分115可以通过处理信号来执行这些控制。
[0338] 图4A示出了其中显示部分102处于通过状态下、例如用户正阅读报纸的状态。
[0339] 图4B示出了所谓的广角变焦状态。换句话说，图4B示出了这样的状态，在该状态下，获取近焦距变焦图像，并且将其显示在显示部分102，以便例如放大报纸中的字符。
[0340] 图5A示出了这样的状态，其中显示部分102显示正常获取的图像或者显示部分102处于通过状态下。
[0341] 此时，当系统控制器110命令显示图像处理部分112通过显示控制114执行图像放大处理时，在显示部分102上显示如图5B所示的放大图像。
[0342] 图6A示出了这样的状态，其中显示部分102显示正常获取的图像或者显示部分102处于通过状态下。特别地，图6A示出了其中用户正在阅读报纸或者书本的状态。在这种情况下，假定因为周围是昏暗的，所以用户不能用正常获取的图像或者在显示部分102的通过状态下看见报纸等中的字符。
[0343] 在这种情况下，系统控制器110命令图像获取控制部分111(图像获取部分103和获取图像信号处理部分115)增加图像获取灵敏度，和/或使显示控制部分114(显示图像处理部分112和显示驱动部分113)增加亮度和调整对比度和锐度，以便在显示部分102上显示比图6A所示的图像更锐化的、如图6B所示的图像。相反，当系统控制器110使照明部分104执行照明操作时，可以在显示部分102上锐利地显示图像。
[0344] 图7A示出了这样的状态，其中显示部分102显示正常获取的图像或者显示部分102处于通过状态下。在这种情况下，用户处于其中孩子正在睡觉的黑暗卧室中。因为用户处于黑暗房间中，所以他或者她不能利用正常获取的图像或者在显示部分102的通过状态下清楚地看见孩子。
[0345] 此时，当系统控制器110命令图像获取控制部分111(图像获取部分103和获取图像信号处理部分115)增加红外图像获取灵敏度时，在显示部分102上显示如图7B所示的红外获取图像，以便使用户能够看见孩子的睡着面部等。
[0346] 图8A示出了这样的状态，其中显示部分102显示正常获取的图像或者显示部分102处于通过状态下。
[0347] 当系统控制器110命令图像获取控制部分111(图像获取部分103和获取图像信号处理部分115)增加紫外图像获取灵敏度时，在显示部分102上显示如图8B所示的、具有紫外线分量的获取图像。
[0348] 图9A示出了其中显示部分102处于通过状态下的状态。
[0349] 当系统控制器110命令显示控制部分114(显示图像处理部分112和显示驱动部分113)分别显示图像或者分别显示图像和部分地放大图像时，可以在显示部分102上显示图9B所示的图像。换句话说，显示部分102的屏幕被分离为区域AR1和AR102，其中区域AR1处于通过状态或者处于正常图像显示状态下，而区域AR102处于放大图像显示状态下。
[0350] 图9C示出了另一个示范性分离显示。在这种情况下，显示部分102的屏幕被分离为区域AR1、AR102、AR3、和AR4，这些区域显示以预定时间段间隔获取的图像的帧。系统控制器110使显示图像处理部分112以0.5秒的间隔从所获取的图像信号中提取一帧，并且以区域AR1、AR2、AR3、AR4、AR1、AR2等的次序显示所提取的帧。在这种情况下，分离地在显示部分102上显示所谓的闪烁显示模式的图像。
[0351] 图21A示出了这样的状态，其中显示部分102显示正常获取的图像或者显示部分102处于通过状态下。因为图21A所示的图像是其中在屋顶上有阳光和阴影边界的英式足球体育场的场景，所以很难看见图像。
[0352] 系统控制器110为CCID传感器或者CMOS传感器上与阴影部分相对应的像素增加图像获取灵敏度或者显示亮度。相反，系统控制器110为与阳光相对应的像素降低图像获取灵敏度或者显示亮度。因此，如图21B所示，显示其中降低了阳光和阴影影响的图像。
[0353] 图22A和图22B示出了其中显示包含例如小鸟的图像以便突出显示小鸟的状态。
[0354] 当在图像中检测到小鸟时，如果突出显示小鸟，则可防止用户遗漏作为被摄对象的小鸟。
[0355] 作为突出显示图像的处理，可以降低感兴趣的部分的亮度。作为替代，可以降低不同于感兴趣部分的部分的亮度。可以用彩色显示感兴趣的部分。可以单色显示不同于感兴趣部分的部分。作为替代，可以利用诸如框架、光标、指针标记等之类的任意字符图像来突出显示感兴趣的部分。
[0356] 上述显示图像仅仅是示范性的。换句话说，当控制图像获取部分103、获取图像信号处理部分115、显示图像处理部分112、和显示驱动部分113的处理和操作时，可以实现各种显示模式。
[0357] 例如，预计有许多类型的显示模式，诸如，远景显示模式、广角显示模式、在从远景显示模式到广角显示模式的范围中变化的缩小显示模式和放大显示模式、图像放大显示模式、图像缩小显示模式、可变帧频显示模式(以高帧频获取图像或者以低帧频获取图像)、高亮度显示模式、低亮度显示模式、可变对比度显示模式、可变锐度显示模式、增加了灵敏度的获取图像显示模式、增加了红外灵敏度的获取图像显示模式、增加了紫外灵敏度的获取图像显示模式、其中截取了预定波段的图像显示模式、图像效果显示模式(诸如马赛克图像、亮度反转图像、柔焦图像、部分屏幕突出显示图像、具有可变颜色氛围的图像等)、缓慢显示模式、逐帧显示模式、与这些显示模式相结合的分离显示模式、与通过状态和获取图像相结合的分离显示模式、闪烁显示模式、具有所获取图像中的一帧的静止图像显示模式等。
[0358] [4.对外部信息的检测1
[0359] 如上所述，作为获得外部信息的结构，图像获取和显示设备101包括周围环境传感器119、获取目标传感器120、GPS接收部分121、日期与时间计数部分122、图像分析部分128、以及通信部分126。
[0360] 周围环境传感器119的示例可以包括亮度传感器、温度传感器、湿度传感器、大气压力传感器等。
[0361] 亮度传感器检测图像获取和显示设备101的周围亮度信息。
[0362] 温度传感器、湿度传感器、和大气压力传感器获得可以利用其确定温度、湿度、大气压力、和天气的信息。
[0363] 因为周围环境传感器119可以确定周围亮度、户外天气情况等，所以系统控制器110可以与被确定为外部信息的周围亮度和天气情况相对应地控制图像获取操作和显示操作。
[0364] 获取目标传感器120检测有关获取目标的信息。获取目标传感器120可以是测距传感器或者热电传感器。获取目标传感器120可以获得到获取目标的距离以及利用其确定获取目标的信息。
[0365] 当获取目标传感器120已经检测了到获取目标的距离时，系统控制器110可以与所检测的距离相对应地控制图像获取操作和显示操作。当获取目标传感器120已经检测到获取目标是诸如人之类的活体时，系统控制器110可以与获取目标相对应地控制图像获取操作和显示操作。
[0366] GPS接收部分121获得当前位置的经纬度信息。当GPS接收部分121已经参考地图数据库等检测到当前位置的经纬度时，可以获得有关当前位置的信息(有关当前位置邻近的信息)。当图像获取和显示设备101包括系统控制器110可以访问并且具有相对大的记录容量的记录介质(诸如HDD(硬盘驱动器)或者闪速存储器)(未在图20示出)，而且记录介质已经记录了地图数据库时，可以获得有关当前位置的信息。
[0367] 即使图像获取和显示设备101不具有内置的地图数据库，图像获取和显示设备101也可以导致通信部分126访问例如具有内置地图数据库的网络服务器或者设备，将当前位置的经纬度信息发送到该网络服务器或者设备，请求该网络服务器或者设备将有关当前位置的信息发送到通信部分126，并且接收该信息。
[0368] 有关当前位置的信息示例包括地名、建筑物名称、机构名称、商店名称、站名等。
[0370] 另外，有关当前位置的信息示例包括诸如海滨、河流、山脉、山顶、森林、湖、和草原之类的、自然事物的类型和名称。
[0371] 有关更详细位置的信息示例包括主题游乐园中的区域、棒球场和英式足球体育场中的区域、以及音乐厅中的区域。
[0372] 当已经获得了有关当前位置的信息时，系统控制器110可以与当前位置、当前位置附近的地理条件、机构等相对应地控制图像获取操作和显示操作。
[0373] 日期与时间计数部分122对例如年、月、日、小时、分钟、和秒进行计数。系统控制器110可以识别出与由日期与时间计数部分122所计数的值相对应的当前时间、白天或者晚上、月、季节等。因此，系统控制器110可以与白天或者晚上(时间)相对应地控制图像获取操作和显示操作，并且与当前季节相对应地控制这些操作。
[0374] 图像分析部分128可以从获取的图像中检测出有关获取目标的各种类型的信息。
[0375] 首先，图像分析部分128可以从获取的图像中识别出人、动物、自然事物、建筑物、机器等作为获取目标的类型。对于动物而言，图像分析部分128可以识别其中已经获取小鸟作为被摄对象的情况，其中已经获取小猫作为被摄对象的情况等。对于自然事物而言，图像分析部分128可以从获取的图像中识别出海、山脉、树、河流、湖、天空、太阳、月亮等。对于建筑物而言，图像分析部分128可以从获取的图像中识别出房子、建筑物、体育场等。对于设备而言，图像分析部分128可以从获取的图像中识别出个人计算机、AV(视听)设备、移动电话、PDA、IC卡、二维条形码等作为获取目标。
[0376] 当将各种类型的获取目标的形状特征预先登记到图像分析部分128中时，可以与所登记的特征相对应地确定获取图像中所包含的被摄对象。
[0377] 另外，图像分析部分128可以例如通过检测图像的相邻帧的差别来从获取的图像中检测出被摄对象的运动，例如被摄对象的快速运动。例如，图像分析部分128可以检测其中正在获取被摄对象(例如，在体育比赛或者正在运行的汽车中的选手)的情况。
[0378] 另外，图像分析部分128可以通过分析图像来确定周围情况。例如，图像分析部分128可以确定由于白天、晚上或者天气导致的亮度。另外，图像分析部分128可以识别出下雨的强度等。
[0379] 另外，图像分析部分128可以通过分析图像来确定其中例如正在获取书本或者报纸的情况。例如，图像分析部分128可以通过从图像中识别出字符或者识别出书本或者报纸的形状来确定这样的情况。
[0380] 当图像分析部分128已经识别出字符时，系统控制器110可以将所识别出的字符作为文本数据提供给声音合成部分127。
[0381] 另外，当人作为被摄对象时，图像分析部分128可以通过分析图像来根据面部识别人。众所周知的是，可以将人的面部登记为个人特征数据，其是面部的结构单元的相对位置信息。例如，在眼睛的中心和鼻子之间的距离EN和眼睛的距离Ed的比值(Ed/EN)，以及在眼睛的中心和嘴之间的距离EM和眼睛的距离Ed的比值(Ed/EM)，对于每个人来说是唯一的。另外，人的面部不会受诸如发型、眼镜等之类的穿戴物的影响。另外，众所周知的是，人的面部不会随着他或者她的年龄而改变。
[0382] 因此，当获取的图像包含人的面部时，图像分析部分128可以通过分析图像来检测上述个人特征数据。
[0383] 当图像分析部分128已经从所获取的图像中检测到个人特征数据时，如果系统控制器110具有例如HDD(硬盘驱动器)、闪速存储器等作为系统控制器110可以访问并且其中已经记录了个人数据库的记录介质，则图像分析部分128可以从个人数据库中获得被摄对象的个人信息。即使图像获取和显示设备101不具有内置的个人数据库，系统控制器110也可以使通信部分126访问例如具有内置个人数据库的网络服务器或者设备，请求该服务器或者设备将信息发送到通信部分126，并且接收来自其的特定个人信息。
[0384] 当用户已经连同个人特征数据一起向个人数据库登记了用户已经遇到的、诸如每个人的姓名、单位等之类的个人信息时，如果用户遇到了特定人员(已经获取了他或者她的图像)的话，则图像获取和显示设备101可以从个人数据库中检索有关该个人的信息。
[0385] 当已经准备了其中已经登记了有关名人的信息和个人特征数据的个人数据库时，如果用户遇到了某一名人，则图像获取和显示设备101可以从个人数据库中检索有关该个人的信息。
[0386] 通信部分126可以获得各种类型的外部信息。
[0387] 例如，如上所述，通信部分126可以获得与从图像获取和显示设备101传送过来的经纬度信息、个人特征数据等相对应的、由外部设备检索的信息。
[0388] 另外，通信部分126可以从外部设备获得诸如天气信息、温度信息、和湿度信息之类的气象信息。
[0389] 另外，通信部分126可以从外部设备获得机构使用信息、禁止/许可摄影信息、机构引导信息等。
[0390] 另外，通信部分126可以获得外部设备的标识信息。标识信息的示例包括在预定通信协议中被标识为网络设备的设备类型和设备ID。
[0391] 另外，通信部分126可以获得存储在外部设备中的图像数据，由外部设备再现或者显示的图像数据，以及由外部设备收到的图像数据。
[0392] 在上文中，已经示范性地说明了周围环境传感器119、获取目标传感器120、GPS接收部分121、日期与时间计数部分122、图像分析部分128、以及通信部分126可以单独获得的信息。作为替代，这些部分中的多个可以检测和确定预定外部信息。
[0393] 结合由周围环境传感器119获得的湿度信息等以及由通信部分126接收的天气信息，可以更准确地确定当前时间的天气。
[0394] 另外，与上述结构相比，可以与有关由GPS接收部分121和通信部分126获得的当前位置的信息以及由图像分析部分117获得的信息相对应地、更准确地确定获取目标的当前位置和情况。
[0395] [5.示范性操作]
[0396] 在这个实施例的图像获取和显示设备101中，系统控制器110与由周围环境传感器119、获取目标传感器120、GPS接收部分121、日期与时间计数部分122、图像分析部分128、以及通信部分126所获得的外部信息相对应地确定周围环境、获取目标等的情况，并且与确定结果相对应地控制图像获取操作和显示操作，以便协助和扩展用户的视觉。
[0397] 接下来，将描述在系统控制器110的控制下执行的各种示范性操作。
[0398] 图10示出了作为系统控制器110的操作控制功能110b的控制处理。
[0399] 在步骤F101，系统控制器110控制显示控制部分114使显示部分102变为通过状态。当最初导通图像获取和显示设备1时，流程前进到步骤F101。在步骤F101，系统控制器110控制显示部分102以变为通过状态。
[0400] 在显示部分2处于通过状态时，在步骤F102，系统控制器110确定是否已经出现监视显示状态启动触发。可以在图像获取和显示设备101中布置监视显示启动开关(未示出)。当用户已经操作了这个开关时，系统控制器110可以确定已经出现了监视显示状态启动触发。作为替代，如将在稍后描述的那样，系统控制器110可以与外部信息相对应地确定已经出现了监视显示状态启动触发。
[0401] 当确定结果表示已经出现了监视显示状态起动触发时，流程前进到步骤F103。在步骤F103，系统控制器110执行监视显示启动控制。换句话说，系统控制器110命令图像获取控制部分111使图像获取部分103和获取图像信号处理部分115执行正常的图像获取操作。另外，系统控制器110命令显示控制部分114促使显示图像处理部分112和显示驱动部分113使显示部分102显示所获取的图像信号作为正常获取的图像。
[0402] 在这个处理过程中，将如图3A所示的通过状态切换为如图3B所示的正常获取图像的监视显示状态。
[0403] 当显示部分102显示正常获取的图像(其与用户在通过状态下所看到的场景相同)时，流程前进到步骤F104。在步骤F104，系统控制器110监控是否已经出现了图像控制触发。在步骤F105，系统控制器110监控是否已经出现了监视显示状态完成触发。
[0404] 当系统控制器110确定必须与由外部情况确定功能110a确定的外部情况(周围环境、被摄对象、当前日期和时间、当前位置等)相对应地改变监视显示模式时，系统控制器110在步骤F104确定已经出现了图像控制触发。
[0405] 当用户已经利用预定开关执行了监视显示模式完成操作时，系统控制器110在步骤F105确定已经出现了监视显示状态完成触发。类似于步骤F102中的触发，系统控制器110可以确定与所检测的外部信息相对应地已经出现了监视显示状态完成触发。
[0406] 当确定结果表示已经出现了图像控制触发时，流程从步骤F104前进到步骤F106。在步骤F106，系统控制器110控制获取图像的显示操作。换句话说，系统控制器110命令图像获取控制部分111和显示控制部分114使显示部分102以与在这个时间点上的外部情况相对应的显示模式显示图像。
[0407] 在系统控制器110已经在步骤F106控制了显示模式之后，流程前进到步骤F104或者F105。在步骤F104或者步骤F105，系统控制器110监控是否已经出现了触发。
[0408] 当确定结果表示已经出现了监视显示状态完成触发时，流程从步骤F105返回到步骤F101。在步骤F101，系统控制器110命令图像获取控制部分111完成图像获取操作，并且命令显示控制部分114使显示部分102变为通过状态。
[0409] 在用户戴上图像获取和显示设备101并且已经导通了其电源时，系统控制器110中的操作控制功能110b执行图10所示的控制处理。
[0410] 在这个处理过程中，与在步骤F104中显示控制触发是否已经出现的确定结果相对应地执行显示模式控制。稍后将参考图23到图30A和图30B描述触发确定和控制的具体示例。
[0411] 图23到图30A和图30B示出了系统控制器110的外部情况确定功能110a的示范性处理。假定这些处理与图10所示的操作控制功能110b的处理并行地执行。执行这些并行处理，以便例如当系统控制器110正在执行图10所示的处理时，作为中断处理定期地执行图23到图30A和图30B所示的检测处理。图23到图30A和图30B所示的这些处理的程序可以内置于执行图10所示的处理的程序中。作为替代，这些程序可以是定期调用的其它程序。换句话说，这些程序的结构不局限于特定的结构。
[0412] 图23到图30A和图30B示出了在图10所示的步骤F104中确定是否已经出现图像控制触发的示范性处理。图23示出了确定是否已经与从周围环境传感器119或者图像分析部分128提供的信息相对应地出现了图像控制触发的示范性处理。
[0413] 在图23所示的步骤F1201，系统控制器110监控由周围环境传感器119检测的信息以及由图像分析部分117获得的信息中的一个或者这二者。在这个示例中，周围环境传感器119是亮度传感器。图像分析部分128分析与获取的图像相对应的周围亮度。
[0414] 系统控制器110确定与从周围环境传感器119和图像分析部分128之一或者这二者获得的信息相对应地周围是黑暗的还是太亮了。例如，量化所检测到的亮度。当检测的亮度是x勒克斯或者更少时，系统控制器110确定周围是黑暗的。当检测的亮度是y勒克斯或更多时，系统控制器110确定周围太亮了。
[0415] 当确定结果表示周围是黑暗的时，流程从步骤F1202前进到步骤F1204。在步骤F1204，系统控制器110确定已经出现了图像控制触发。
[0416] 在步骤F1205，系统控制器110计算与周围的当前亮度(暗度)相对应的调整值。例如，系统控制器110获得例如显示亮度、对比度、锐度、图像获取灵敏度等的调整值，以便使用户可以用获取的图像舒服地看到周围。
[0417] 当已经执行了步骤F1204和步骤F1205的处理时，流程从图10所示的步骤F104前进到步骤F106。在步骤F106，系统控制器110命令图像获取部分103调整图像获取灵敏度，并且命令获取图像信号处理部分115或者显示图像处理部分12调整亮度、对比度、锐度等。当这些部分已经执行了这些处理时，调整显示部分102上显示的图像的质量。因此，即使周围是黑暗的，用户也可以用显示部分102上显示的图像来清楚地看到周围。例如，其中周围是黑暗的而且在显示部分102上显示如图6A所示的图像的情况被改变为其中用户可以清楚地看到该图像的情况。
[0418] 当确定结果表示周围是黑暗的时，系统控制器110可以控制照明部分104进行照明。
[0419] 当确定结果表示周围太亮时，流程从步骤F1203前进到步骤F1206。在步骤F1206，系统控制器110确定已经出现了图像控制触发。
[0420] 在步骤F1207，系统控制器110计算与周围的当前亮度相对应的调整值。系统控制器110获得例如显示亮度、对比度、锐度、图像获取灵敏度等的调整值，以便使用户可以舒服地看到周围。在这种情况下，因为周围太亮了，所以用户感觉眩目。因此，系统控制器110获得这样的调整值，利用该调整值降低了图像获取灵敏度和显示亮度。
[0421] 当已经执行了步骤F1206和步骤F1207的处理时，流程从图10所示的步骤F104前进到步骤F106。在这种情况下，在步骤F106，系统控制器110命令图像获取部分103调整图像获取灵敏度，并且命令获取图像信号处理部分115或者显示图像处理部分12调整亮度、对比度、锐度等。在这些处理中，调整显示部分102上显示的图像的质量。因此，即使周围太亮，用户也可以用显示部分102上显示的图像来看到周围而没有感觉眩目。
[0422] 图24A示出了确定是否已经与从周围环境传感器119所检测的或者从通信部分126提供的信息相对应地出现了图像控制触发的示范性处理。
[0423] 在图24A所示的步骤F1301，系统控制器110监控由周围环境传感器119检测的信息以及由通信部分126接收的信息中的一个或者这二者。周围环境传感器119的示例包括温度传感器、湿度传感器、和大气压力传感器。通信部分126从例如网络服务器等连续地接收气象信息。
[0424] 系统控制器110可以确定与由例如周围环境传感器119检测的大气压力、湿度、和温度相对应的周围天气情况。另外，系统控制器110可以确定与由通信部分126接收的气象信息相对应的天气情况。为了从网络服务器接收天气情况，系统控制器110将由GPS接收部分121获得的当前位置信息连续地发送到网络服务器，并且从网络服务器接收与当前位置相对应的区域的气象信息。
[0425] 虽然系统控制器110可以确定与由周围环境传感器119检测到的信息或者由通信部分126接收的信息相对应的周围天气情况，但是系统控制器110可以比上述结构更准确地确定与两种类型的信息相对应的天气情况。
[0426] 系统控制器110确定是否必须与诸如晴空、多云天、雨天、闪电、台风、下雪等之类的天气情况或者诸如开始下雨、停止下雨、乌云密布等天气情况改变相对应地调整图像。当确定结果表示必须调整图像时，流程从步骤F1302前进到步骤F1303。在步骤F1303，系统控制器110确定已经出现了图像控制触发。在步骤F1304，系统控制器110计算与当前天气相对应的调整值。系统控制器110获得例如显示亮度、对比度、锐度、图像获取灵敏度等的调整值，以便使用户可以用获取的图像清楚地看到周围。
[0427] 当已经执行了步骤F1303和F1304的处理时，流程从图10所示的步骤F104前进到步骤F106。在步骤F106，系统控制器110命令图像获取部分103调整图像获取灵敏度，并且命令获取图像信号处理部分115或者显示图像处理部分12调整亮度、对比度、锐度等。在这些处理中，与天气情况相对应地调整显示部分102上显示的图像的质量。用户可以用显示部分102上显示的图像清楚地看见周围。
[0428] 作为替代，系统控制器110可以与天气情况相对应地控制照明部分104进行照明。
[0429] 在这个示例中，系统控制器110确定与由周围环境传感器119检测的信息或者由通信部分126接收的信息相对应的天气情况。当图像分析部分128识别出雨天的图像时，系统控制器110可以准确地检测开始下雨、结束下雨、闪电出现等。
[0430] 图24B示出了确定是否已经与由周围环境传感器119检测的信息相对应地出现了导致夜视功能进行操作的图像控制触发的示范性处理。
[0431] 在图24B所示的步骤F1310，系统控制器110监控由周围环境传感器119检测的信息。在这个示例中，周围环境传感器119是亮度传感器。
[0432] 系统控制器110与由周围环境传感器119检测的信息相对应地确定周围是否是黑暗的。系统控制器110数字化所检测到的亮度。当检测的亮度是x勒克斯或者更少时，系统控制器110确定周围是黑暗的。
[0433] 当确定结果表示周围是黑暗的时，流程从步骤F1311前进到步骤F1313。在步骤F1313，系统控制器110确定已经出现了导致夜视功能开启的图像控制触发。
[0434] 当已经执行了步骤F1313的处理时，流程从图10所示的步骤F104前进到步骤F106。在这种情况下，在步骤F106，系统控制器110控制图像获取和显示设备101开启夜视功能。换句话说，系统控制器110命令图像获取控制部分111增加图像获取部分103的红外图像获取灵敏度。
[0435] 在这个处理过程中，执行夜视功能。在其中如图7A所示因为周围是黑暗的而使用户不能看见周围的情况下，在显示部分102上显示如图7B所示的增加了红外灵敏度的获取图像。因此，用户可以看见暗处中的周围情况。
[0436] 当确定结果表示周围不暗时，流程从步骤F1311前进到步骤F1312。在这种情况下，在步骤F1312，当已经开启了夜视功能(增加红外灵敏度的图像获取操作)时，流程前进到步骤F1314。在这种情况下，在步骤F1314，系统控制器110确定已经出现了导致夜视功能关闭的图像控制触发。当已经执行了步骤F1314的处理时，流程从图10所示的步骤F104前进到步骤F106。在这种情况下，在步骤F106，系统控制器110控制图像获取和显示设备101关闭夜视功能。换句话说，系统控制器110命令图像获取控制部分111将红外图像获取灵敏度恢复为正常的图像获取灵敏度并执行正常的图像获取操作。
[0437] 在图24B所示的处理中，当用户处于暗室等中时，自动地开启夜视功能，以使得他或者她在暗室中能够清楚地看见周围。相反，当用户已经离开了暗室等时，自动地关闭夜视功能。换句话说，实现了与周围情况相对应地增加用户视觉能力的处理。
[0438] 作为替代，图像分析部分128可以通过分析获取的图像来检测周围是否是黑暗的。当已经大大地降低了整个获取图像的亮度时，确定周围是黑暗的，系统控制器110可以确定已经出现了导致夜视功能开启的图像控制触发。
[0439] 图25示出了确定是否已经与由获取目标传感器120检测的信息或者由图像分析部分128获得的信息相对应地出现了图像控制触发的示范性处理。
[0440] 在图25所示的步骤F1401，系统控制器110监控由获取目标传感器120检测的信息以及由图像分析部分128获得的信息中的一个或者这二者。获取目标传感器120例如为测距传感器。图像分析部分128通过分析所获取的图像来计算到被摄对象的距离。
[0441] 换句话说，系统控制器110与由获取目标传感器120检测的信息和/或图像分析部分128获得的信息相对应地确定用户正在观看的目标(获取目标)是远离例如他或者她的手还是与之接近。
[0442] 当用户在远离体育场场区的座位处观看远处场景或者比赛，而且系统控制器110已经确定获取目标在远处时，流程从步骤F1402前进到步骤F1404。在步骤F1404，系统控制器110确定已经出现了导致显示模式被切换到远景变焦显示模式的图像控制触发。此后，流程前进到步骤F1405。在步骤F1405，系统控制器110计算与到获取目标的距离相对应的恰当变焦放大率。
[0443] 当用户正在观看近处场景或者在他或者她手上的报纸，而且系统控制器110已经确定了获取目标在近处时，流程从步骤F1403前进到步骤F1406。在步骤F1406，系统控制器110确定已经出现了导致显示模式被切换到放大(张开变焦)显示模式的图像控制触发。此后，流程前进到步骤F1407。在步骤F1407，系统控制器110计算与到获取目标的距离相对应的恰当变焦放大率。
[0444] 当已经执行了步骤F1404和步骤F1405的处理或者步骤F1406和步骤F1407的处理时，流程从图10所示的步骤F104前进到步骤F106。在步骤F106，系统控制器110命令图像获取控制部分111执行具有所计算的放大率的变焦操作。
[0445] 因此，显示部分102显示与用户正看到的场景相对应的、如图3C所示的远景图像或者如图4B所示的广角变焦图像。
[0446] 在这个示例中，系统控制器110控制远景/广角变焦操作。作为替代，系统控制器110可以控制图像获取和显示设备101与到获取目标的距离相对应地改变聚焦位置以及放大/缩小图像。
[0447] 图26示出了确定是否已经与由获取目标传感器120检测的信息和由图像分析部分128获得的信息相对应地出现了图像控制触发的示范性处理。特别地，在该示范性处理中，确定获取目标是否包含报纸、书本等中的字符。
[0448] 在图26所示的步骤F1501，系统控制器110监控由获取目标传感器120检测的信息以及由图像分析部分128获得的信息。在这个示例中，获取目标传感器120是测距传感器。图像分析部分128通过分析获取的图像来检测被摄对象是否包含字符。
[0449] 系统控制器110与由获取目标传感器120检测的信息和/或由图像分析部分128获得的信息相对应地确定用户正在观看的目标(获取目标)是否在近处并且包含报纸、书本等中的字符。换句话说，系统控制器110确定用户是否正在读取在他或者她手中的报纸。
[0450] 当确定结果表示获取目标在附近并包含字符时，流程从步骤F1502前进到步骤F1503。在步骤F1503，系统控制器110确定已经出现了图像控制触发。
[0451] 在步骤F1504，系统控制器110计算用户可以利用其来舒服地阅读报纸或者书本的调整值。例如，系统控制器110获得例如显示亮度、对比度、锐度、图像获取灵敏度等的调整值，以便使用户可以舒服地阅读报纸等。
[0452] 当已经执行了步骤F1503和步骤F1504的处理时，流程从图10所示的步骤F104前进到步骤F106。在这种情况下，在步骤F106，系统控制器110命令图像获取部分103调整图像获取灵敏度，并且命令获取图像信号处理部分115或者显示图像处理部分12调整亮度、对比度、锐度等。在这个处理过程中，调整显示部分102上显示的图像的质量。因此，如图6B所示，显示部分102显示用户可以清楚阅读的图像。
[0453] 除了字符检测之外，还可以检测周围亮度，而且检测结果可能对调整值的计算有影响。
[0454] 另外，当图像分析部分128分析图像时，图像分析部分128还可以识别出报纸或者书本的形状，作为流程前进到步骤F1503的条件。
[0455] 当系统控制器110确定所获取的目标是报纸等时，系统控制器110可以控制照明部分104进行照明。
[0456] 并不是调整图像质量，而是显示图像处理部分112可以执行放大处理，并且使显示部分102显示如图4B所示的放大图像，以便使用户可以清楚地读取字符。
[0457] 当图像包含字符时，图像分析部分128可以确定这些字符，并且将它们作为文本数据提供给系统控制器110。在这种情况下，系统控制器110使声音合成部分127执行与从图像中检测的文本数据相对应的声音合成处理。
[0458] 因此，声音合成部分127生成作为获取图像中所包含的字符的阅读语音的声音信号。系统控制器110使声音输出部分105输出该阅读语音。
[0459] 因此，当用户观看报纸等时，他或者她可以听到其阅读语音。
[0460] 图27示出了确定是否已经与由日期与时间计数部分122所计数的当前日期与时间信息相对应地出现了图像控制触发的示范性处理。
[0461] 在图27所示的步骤F1601，系统控制器110检查由日期与时间计数部分122所计数的当前日期与时间。系统控制器110确定与当前时间(例如早晨)相对应的时区，例如清晨、早晨、白天、傍晚、和晚上的时区。例如，从4点钟到7点钟的时区是清晨，从7点钟到9点钟的时区是早晨，从9点钟到17点钟的时区是白天，从17点钟到19点钟的时区是傍晚，以及从19点钟到4点钟的时区是晚上。
[0462] 优选为与所确定的月份和日期相对应地改变时区。例如，因为日出时间和日落时间与月份和日期相对应地改变，所以与月份和日期相对应地改变时区。例如，在夏季，清晨的时区从4点钟到7点钟。例如，在冬季，清晨的时区从6点钟到8点钟。
[0463] 当步骤F1601的确定结果表示时区已经改变了时，流程从步骤F1602前进到步骤F1603。
[0464] 当时区已经改为清晨时，流程从步骤F1603前进到步骤F1607。在步骤F1607，系统控制器110确定已经出现了导致为清晨执行图像获取操作/显示操作的图像控制触发。
[0465] 当时区已经改为早晨时，流程从步骤F1604前进到步骤F1608。在步骤F1608，系统控制器110确定已经出现了导致为早晨执行图像获取操作/显示操作的图像控制触发。
[0466] 当时区已经改为白天时，流程从步骤F1605前进到步骤F1609。在步骤F1609，系统控制器110确定已经出现了导致为白天执行图像获取操作/显示操作的图像控制触发。
[0467] 当时区已经改为傍晚时，流程从步骤F1606前进步骤F1610。在步骤F1610，系统控制器110确定已经出现了导致为傍晚执行图像获取操作/显示操作的图像控制触发。
[0468] 当时区已经改为晚上时，流程前进到步骤F1611。在步骤F1611，系统控制器110确定已经出现了导致为晚上执行图像获取操作/显示操作的图像控制触发。
[0469] 当在步骤F1607、F1608、F1609、F1610、或者F1611的确定结果表示已经出现了图像控制触发时，流程从图10所示的步骤F104前进到步骤F106。在步骤F106，系统控制器110命令图像获取控制部分111和显示控制部分114执行与时区相对应的图像获取操作/显示操作。例如，系统控制器110命令图像获取控制部分111和显示控制部分114调整例如图像获取灵敏度、亮度、对比度、锐度等。作为替代，系统控制器110可以命令图像获取控制部分111和显示控制部分114执行诸如柔焦显示操作之类的图像效果操作。
[0470] 在这个处理过程中，将与时区相对应的图像提供给用户。例如，在清晨，将柔化图像提供给用户。在早晨，向用户提供具有强对比度的清晰图像。在傍晚，向用户提供棕褐色的图像。在晚上，向用户提供阴暗的图像。因此，可以向用户提供与他或者她的心情和时区相对应的图像。
[0471] 当然，可以与在每个时区中发生改变的亮度相对应地调整图像质量，以便提高可见性。
[0472] 除了时区之外，还可以与天气情况以及用户是否在房间中的用户情况相对应地调整图像的质量。
[0473] 作为替代，可以与利用日期与时间信息所确定的季节相对应地而不是与时区相对应地调整图像的质量。在夏季，例如加重图像的蓝色分量。在秋天，例如加重图像的红色分量。在冬季，例如加重图像的白色分量。在春天，例如加重绿色/粉红色分量。因此，可以向用户提供具有季节感觉的图像。
[0474] 图28A示出了确定是否已经与由GPS接收部分121和通信部分126接收的信息相对应地出现了图像控制触发的示范性处理。
[0475] 在图28A所示的步骤F1701，系统控制器110使通信部分126将从GPS接收部分121获得的当前位置的经纬度信息发送到具有内置地图数据库的网络服务器或者设备，使该服务器或者设备从数据库检索有关当前位置的信息，并且使通信部分126从中接收有关当前位置的信息。当图像获取和显示设备101具有内置地图数据库时，系统控制器110可以与从GPS接收部分121接收的经纬度信息相对应地从内置地图数据库检索有关当前位置的信息。
[0476] 系统控制器110与所获得的当前位置信息相对应地确定用户是否处于其中必须执行预定图像控制的地点。当确定结果表示当前位置是其中必须执行预定图像控制的地点时，流程从步骤F1702前进到步骤F1703。在步骤F1703，系统控制器110确定已经出现了导致执行预定图像控制的图像控制触发。
[0477] 当确定结果表示已经出现了图像控制触发时，流程从图10所示的步骤F104前进到F106。在步骤F106，系统控制器110命令图像获取控制部分111和显示控制部分114执行预定的图像控制。
[0478] 在这种情况下，图像控制的示例如下。
[0479] 当检测结果表示当前位置是运动场、环道等时，因为用户看见的目标(获取对象)是快速移动的人、汽车等，所以系统控制器110命令图像获取控制部分111增加图像获取帧频，以便可以恰当地显示快速移动的被摄对象。
[0480] 在当前位置是演奏厅、音乐厅、娱乐会堂、运动场等时，系统控制器110可以命令图像获取控制部分111执行与到舞台上的获取目标的距离相对应的远景图像获取操作。当可以确定到诸如舞台之类的获取目标的距离作为当前位置信息时，可以与所检测的距离相对应地设置远景放大率。可以由获取目标传感器120(测距传感器)检测到获取目标的距离。可以与所检测的距离相对应地设置远景放大率。并不是执行远景操作，而是系统控制器110可以命令获取图像处理部分115或者显示图像处理部分112执行图像放大处理。
[0482] 另外，可以用与所获得的当前位置信息相对应的字符图像或者文本叠加在获取目标的机构、商店等的地名或者名称上。可以在显示部分102上显示周围区域的广告信息、机构引导信息、和警报信号。
[0483] 图28B示出了确定是否已经与由GPS接收部分121接收的信息以及由通信部分126接收的信息相对应地出现了图像控制触发的示范性处理。特别地，在正在执行增加红外灵敏度的图像获取操作的同时执行这个示范性处理。
[0484] 在图像获取部分103正在执行增加红外灵敏度的图像获取操作时，流程从图28B所示的步骤F1710前进到步骤F1711。
[0485] 在步骤F1711，系统控制器110使通信部分126将由GPS接收部分121获得的当前位置的经纬度信息发送到具有内置地图数据库的网络服务器或者设备，使该服务器或者设备从地图数据库检索有关当前位置的信息，并且使通信部分126从中接收有关当前位置的信息。当图像获取和显示设备101具有内置地图数据库时，系统控制器110与由GPS接收部分121接收的经纬度信息相对应地从内置地图数据库检索有关当前位置的信息。
[0486] 当系统控制器110已经获得了有关当前位置的信息时，系统控制器110确定在当前位置上是否必须禁止增加红外灵敏度的图像获取操作。
[0487] 当确定结果表示在当前位置上必须禁止增加红外灵敏度的图像获取操作时，流程从步骤F1712前进到步骤F1713。在步骤F1713，系统控制器110确定已经出现了导致增加红外灵敏度的图像获取操作完成的图像控制触发。
[0488] 当在步骤F1713的确定结果表示已经出现了图像控制触发时，流程从图10所示的步骤F104前进到F106。在步骤F106，系统控制器110命令图像获取控制部分111完成增加红外灵敏度的图像获取操作。
[0489] 因为与该位置相对应地禁止了增加红外灵敏度的图像获取操作，所以可以防止不正确地使用诸如增加红外灵敏度的图像获取操作之类的特殊图像获取功能。
[0490] 图29A示出了确定是否已经与由图像分析部分128获得的信息相对应地出现了图像控制触发的示范性处理。
[0491] 在图29A所示的步骤F1801，系统控制器110监控由图像分析部分128获得的信息。图像分析部分128通过分析获取的图像来检测被摄对象是否包含目标。
[0492] 当分析结果表示获取的图像包含目标时，流程从步骤F1802前进到步骤F1803。在步骤F1803，系统控制器110确定已经出现了图像控制触发。
[0493] 当在步骤F1803的确定结果表示已经出现了图像控制触发时，流程从图10所示的步骤F104前进到步骤F106。在步骤F106，系统控制器110命令图像获取控制部分111和显示控制部分114执行预定的图像控制。
[0494] 图像控制的示例如下所述。
[0495] 如果目标是小鸟，则当在获取图像中已经检测到小鸟时，系统控制器110可以命令显示图像处理部分112如图22A和图22B所示为图像中的小鸟部分执行突出显示操作。在这种情况下，当用户观看野鸟时，他或者她可以容易地找到并跟随它们。
[0496] 如果目标是小猫而且用户喜欢猫的话，则当小猫已经进入他或者她的视野时，因为在显示图像中突出显示了小猫，所以他或者她可以容易地认出它。
[0497] 如果目标是人，则当已经在所获取的图像中检测到他或者她时，系统控制器110可以命令显示图像处理部分112、获取图像信号处理部分115、或者图像获取部分103突出显示、扩大、或者放大图像中的人部分。
[0498] 如果目标是人、动物、建筑物等，则可以仅仅显示目标并不绘制背景。
[0499] 作为替代，当已经检测到作为目标的人时，可以执行仅仅从图像中擦除人的图像处理。例如，可以显示其中从自然场景中掩盖人和诸如汽车之类的人造物的图像。在这种情况下，可以通过用要被掩盖的目标的周围像素进行插值处理来执行填充目标的像素部分的处理。
[0500] 另外，可以为诸如人之类的目标执行诸如马赛克显示操作之类的图像效果操作。
[0501] 与由图像分析部分128获得的信息相对应地执行图29A所示的处理。作为替代，如果目标是诸如人或者动物之类的活体，则当作为获取目标传感器120的热电传感器已经检测到目标时，系统控制器110可以确定已经出现了图像控制触发。
[0502] 图29B示出了确定是否已经与由图像分析部分12获得的信息相对应地出现了图像控制触发的示范性处理。
[0503] 在图29B所示的步骤F1810，系统控制器110监控由图像分析部分128获得的信息。图像分析部分128通过例如利用在获取图像的帧之间的差别来分析获取图像，来检测被摄对象是否正在快速移动。
[0504] 当检测结果表示被摄对象正快速移动时，流程从步骤F1811前进到步骤F1812。在步骤F1812，系统控制器110确定已经出现了导致要执行闪烁显示操作的图像控制触发。
[0505] 当在步骤F1812的确定结果表示已经出现了图像控制触发时，流程从图10所示的步骤F104前进到F106。在步骤F106，系统控制器110命令显示控制部分114执行图像处理，以便显示如图9C所示的图像。
[0506] 在这个处理过程中，执行闪烁显示操作，以便当用户正在观看运动比赛时，如果选手正快速移动，则他或者她可以看见选手的运动。
[0507] 在这个示例中，当已经检测到快速运动时，出现导致执行闪烁显示操作的触发。作为替代，可以出现导致显示模式被切换到高帧频显示操作的触发。作为替代，当获取目标包含快速运动时，可以出现导致显示模式被切换到变焦显示模式或者突出显示模式的触发。
[0508] 图30A示出了确定是否已经与由图像分析部分128获得的信息相对应地出现了图像控制触发的示范处理。在这个示例中，当已经获取了一个人时，识别他或者她。
[0509] 在图30A所示的步骤F1901，系统控制器110监控由图像分析部分128获得的信息。图像分析部分128通过分析获取的图像来确定被摄对象是否包含人的面部。当被摄对象包含人的面部时，图像分析部分128根据面部图像生成个人特征数据。如上所述，个人特征数据例如为在眼睛中心和鼻子之间的距离EN和眼睛的距离Ed的比值(Ed/EN)，以及在眼睛中心和嘴之间的距离EM和眼睛的距离Ed的比值(Ed/EM)。
[0510] 当已经提取了个人特征数据时，流程从步骤F1902前进到步骤F1903。在步骤F1903，系统控制器110从个人数据库中检索与个人特征数据相对应的个人信息。
[0511] 例如，系统控制器110使通信部分126将个人特征数据发送到具有内置个人数据库的网络服务器或者设备，使该服务器和设备从个人数据库中检索个人信息，并且使通信部分126从中接收所检索的结果。当图像获取和显示设备101具有内置个人数据库时，系统控制器110可以从个人数据库中检索与个人特征数据相对应的个人信息。
[0512] 当外部设备或者系统控制器110已经从个人数据库检索了预定人员的个人信息时，流程从步骤F1904前进到步骤F1905。在步骤F1905，系统控制器110确定已经出现了导致显示个人信息的图像控制触发。
[0513] 当确定结果表示已经出现了图像控制触发时，流程从图10所示的步骤F104前进到F106。在步骤F106，系统控制器110命令显示控制部分114例如将所检索的个人信息叠加到获取的图像上。
[0514] 当用户在正在行走的人群中看见用户已经遇见过的一个人或者某一名人，且该人或者名人已经被登记到个人数据库中时，显示部分102连同该人的图像一起显示在个人数据库中登记的信息(姓名、单位、用户曾经相遇的地点等)。因此，用户可以准确地认出这个人。
[0515] 图30B示出了确定是否已经与由图像分析部分128获得的信息相对应地出现了图像控制触发的示范性处理。当如图21A所示、由于阳光和阴影而使得图像不易看见时，执行这个处理过程。
[0516] 在图30B所示的步骤F1910，系统控制器110监控由图像分析部分128获得的信息。图像分析部分128通过分析获取的图像来检测在所获取的图像中是否由于日照情况而出现了明亮区域和黑暗区域。
[0517] 当分析结果表示在该图像中存在阳光和阴影差别时，流程从步骤F1911前进到步骤F1912。在步骤F1912，系统控制器110确定已经出现了图像控制触发。
[0518] 当在步骤F1912的确定结果表示已经出现了图像控制触发时，流程从图10所示的步骤F104前进到步骤F106。在步骤F106，系统控制器110命令图像获取控制部分111和显示控制部分114执行图像处理或者部分地改变图像获取灵敏度，以便使阳光和阴影的差别消失。因此，如图21B所示，向用户提供不太受阳光和阴影影响并且易于看见的图像。
[0519] 当图像包含由于房间或者机构中的照明等的影响而不是由于日照情况的影响而导致亮和暗的部分差别时，或者当图像部分不清楚时，系统控制器110可以命令图像获取控制部分111和显示控制部分114部分调整亮度、图像获取灵敏度、对比度等。
[0520] 在图23到图30A和图30B中，已经描述了在图10的步骤F104中确定是否已经出现图像控制触发的示范性处理。这个示范性处理可以应用于图10所示的步骤F102中确定是否已经出现了监视显示状态启动触发的处理，以及图10所示的步骤F105中确定是否已经出现了监视显示状态完成触发的处理。
[0521] 当在图10所示的步骤F101中显示状态为通过状态时，类似于图23所示的示范性处理，如果已经检测到了周围黑暗或者太亮的情况，则可以确定出现了监视显示状态启动触发，而且通过状态可以被切换为监视显示状态。
[0522] 当像图24A所示的示例性处理那样确定结果表示由于天气情况而必须调整获取图像时，可以确定已经出现了监视显示状态启动触发。在这种情况下，在预定的天气情况下，可以执行监视显示功能。
[0523] 当像图24B所示的示例性处理那样确定结果表示周围黑暗时，可以确定已经出现了监视显示状态启动触发。在这种情况下，当周围黑暗时，可以自动地执行监视显示功能。
[0524] 当像图25所示的示范性处理那样获取目标在远处或者近处时，可以确定已经出现了监视显示状态启动触发。
[0525] 当像图26所示的示范性处理那样已经检测到了在用户附近的包含字符的图像时，可以确定已经出现了监视显示状态启动触发。
[0526] 类似与图27所示的示范性处理，可以确定已经出现了与时区相对应的监视显示状态启动触发。
[0527] 当像图28A所示的示范性处理那样当前位置是预定地点时，可以确定已经出现了监视显示状态启动触发。在这种情况下，可以与预定地点或者机构类型相对应地执行监视显示功能。
[0528] 当像图29A所示的示范性处理那样存在有预定目标时，可以确定已经出现了监视显示状态启动触发。
[0529] 当像图29B所示的示范性处理那样已经在获取目标中检测到快速运动时，可以确定已经出现了监视显示状态启动触发。
[0530] 当像图30A所示的示范性处理那样已经检测到预定人员时，可以确定已经出现了监视显示状态启动触发。
[0531] 当像图30B所示的示范性处理那样在图像中存在明亮和黑暗分布时，可以确定已经出现了监视显示状态启动触发。
[0532] 在这些示范性处理中，当确定已经出现了监视显示状态启动触发时，流程前进到图10所示的步骤F103。因此，当用户已经戴上处于通过状态下的图像获取和显示设备101而没有执行特殊操作时，图像获取和显示设备101以与情况相对应的监视显示状态进行操作，而且用户可以在与该情况相对应的监视显示状态下看见图像。
[0533] 同样地，可以确定是否已经出现了监视显示状态完成触发。
[0534] 在图23所示的示范性处理中，当检测到周围黑暗或者太亮时，在其中周围既不黑暗又不太亮的情况下，确定已经出现了监视显示状态完成触发，而且显示状态可以恢复到通过状态。
[0535] 在图24A所示的示范性处理中，确定是否必须由于天气情况而调整获取的图像。当确定结果表示不必调整获取图像时，可以确定已经出现了监视显示状态完成触发，而且显示状态可以恢复到通过状态。
[0536] 类似于图24B所示的示范性处理，可以确定周围是否是黑暗的。当周围不黑暗时，可以确定已经出现了监视显示状态完成触发，而且显示状态可以恢复到通过状态。
[0537] 类似于图25所示的示范性处理，可以确定获取目标是在远处还是在近处。当确定结果表示获取目标既不远又不近时，可以确定已经出现了监视显示状态完成触发，而且显示状态可以恢复到通过状态。
[0538] 像图26所示的示范性处理那样，当在用户附近检测到包含字符的图像时，在其中还没有检测到图像的情况下，可以确定已经出现了监视显示状态完成触发，而且显示状态可以恢复到通过状态。
[0539] 像图27所示的示范性处理那样，可以确定已经与时区、月份和/或日期、季节等相对应地出现了监视显示状态完成触发。
[0540] 像图28A所示的示范性处理那样，在当前位置是预定位置时，可以确定已经出现了监视显示状态完成触发。在这种情况下，可以与预定位置或者机构类型相对应地停止图像获取功能和监视显示功能。
[0541] 像图28B所示的示范性处理那样，当停止增加红外灵敏度的图像获取操作时，可以在步骤F1713确定已经出现了监视显示状态完成触发，而且显示状态可以恢复到通过状态。
[0542] 像图29A所示的示范性处理那样，当存在有预定被摄对象时，可以确定已经出现了监视显示状态完成触发，而且显示状态可以恢复到通过状态。例如，在这种情况下，禁止在监视显示状态下获取和/或显示预定的被摄对象。
[0543] 作为替代，当确定结果表示没有预定被摄对象时，可以确定已经出现了监视显示状态完成触发，而且显示状态可以恢复到通过状态。
[0544] 像图29B所示的示范性处理那样，当检测到获取目标的快速运动时，在其中还没有检测到快速运动的情况下，可以确定已经出现了监视显示状态完成触发，而且显示状态可以恢复到通过状态。
[0545] 像图30A所示的示范性处理那样，当已经检测到预定人员时，可以确定已经出现了监视显示状态完成触发，而且显示状态可以恢复到通过状态。在这种情况下，禁止在监视显示状态下获取和/或显示该预定人员。
[0546] 作为替代，当确定在图像中没有预定人员时，可以确定已经出现了监视显示状态完成触发，而且显示状态可以恢复到通过状态。
[0547] 像图30B所示的示范性处理那样，当在图像中检测到明亮和黑暗分布时，在其中还没有检测到亮和暗的差别的情况下，可以确定已经出现了监视显示状态完成触发，而且显示状态可以恢复到通过状态。
[0548] 在这些示范性处理中，当确定已经出现了监视显示状态完成触发而且流程返回到图10所示的步骤F101时，在其中用户对监视显示状态的需要降低或者消失的情况下，或者在其中禁止监视显示功能的情况下，显示状态可以自动地切换到通过状态。
[0549] [6.第二实施例的效果、修改、和扩展]
[0550] 根据这个实施例，由布置在眼镜型安装单元或者头盔型安装单元中的图像获取部分103获取的图像，即，在作为被摄对象方向的用户眼睛方向上的获取图像，被显示在用户他或者她眼睛前面的显示部分102上。在这种情况下，与有关作为外部情况的周围亮度、天气、情况、识别、被摄对象的运动、位置、日期与时间等有关的信息相对应地控制图像获取操作或者显示操作。因此，可以创建实质上协助或者扩展用户视觉能力的情况。
[0551] 因为与外部情况相对应地执行图像获取部分103的图像获取操作和与获取图像信号处理部分115和显示图像处理部分112的信号处理相对应的显示模式改变，所以没有向用户施加操作负担。另外，因为恰当地控制了图像获取和显示设备101，所以用户可以容易地使用它。
[0552] 另外，因为通过控制显示部分102的透射率使其变为透明或者半透明的通过状态，所以当用户戴上安装单元时，它不会扰乱他或者她的正常生活。因此，在用户的正常生活中，可以有效地使用根据这个实施例的图像获取和显示设备101的益处。
[0553] 在这个实施例中，已经主要描述了图像获取部分103的图像获取操作和由获取图像信号处理部分115和显示图像处理部分112的信号处理实现的显示模式。例如，可以与外部情况相对应地控制通电、断电和待机的切换，以及从声音输出部分105输出的声音的音量和音质。例如，可以与时间和/或地点相对应地调整音量。作为替代，可以检测周围音量，并且可以与所检测的周围音量相对应地调整扬声器的输出音量。
[0554] 图像获取和显示设备101的外观和结构不局限于图1、图2、和图20所示的那些外观和结构。作为替代，可以进行各种修改。
[0555] 例如，可以在图像获取和显示设备101中布置存储由图像获取部分103获取的图像信号的存储部分，以及将图像信号发送到其它设备的传输部分。
[0556] 除了作为显示部分102上显示的图像的来源的图像获取部分103之外，还可以在图像获取和显示设备101中布置从外部设备输入图像的输入部分和接收部分。
[0557] 在这个实施例中，描述了其中图像获取和显示设备101是眼镜型安装单元或者头盔型安装单元的示例。然而，只要图像获取和显示设备沿用户眼睛的方向获取图像并且在他或者她眼睛的前面显示图像，该设备可以是用户可戴上的任何类型，诸如头戴耳机型、领口型、耳挂型等。作为替代，图像获取和显示设备101可以是使用诸如回形针之类的安装部件附着于眼镜、帽舌、头戴耳机等上的单元。
| 标题 | 发布/更新时间 | 阅读量 |
|---|---|---|
| 一种眼底图像的结构标注方法及设备 | 2020-05-16 | 211 |
| 一种基于SIFT特征的眼底图像配准方法 | 2020-05-17 | 950 |
| 眼底观察装置、眼底图像显示装置和眼底图像显示方法 | 2020-05-12 | 362 |
| 眼底观察装置以及眼底图像处理装置 | 2020-05-11 | 399 |
| 眼底图像识别模型训练方法、眼底图像识别方法和设备 | 2020-05-14 | 73 |
| 眼底图像的配准方法、眼底图像中视盘神经、血管的测量方法及眼底图像的拼接方法 | 2020-05-14 | 962 |
| 眼底观察装置及眼底图像显示装置 | 2020-05-12 | 581 |
| 眼底图像绘制装置 | 2020-05-13 | 408 |
| 基于眼底图像的硬性渗出分割方法 | 2020-05-16 | 180 |
| 使用机器学习模型处理眼底图像 | 2020-05-16 | 748 |
高效检索全球专利专利汇是专利免费检索,专利查询,专利分析-国家发明专利查询检索分析平台，是提供专利分析，专利查询，专利检索等数据服务功能的知识产权数据服务商。
我们的产品包含105个国家的1.26亿组数据，免费查、免费专利分析。
分析报告
专利汇分析报告产品可以对行业情报数据进行梳理分析，涉及维度包括行业专利基本状况分析、地域分析、技术分析、发明人分析、申请人分析、专利权人分析、失效分析、核心专利分析、法律分析、研发重点分析、企业专利处境分析、技术处境分析、专利寿命分析、企业定位分析、引证分析等超过60个分析角度，系统通过AI智能系统对图表进行解读，只需1分钟，一键生成行业专利分析报告。
QQ群二维码
意见反馈
意见反馈