目前，HMD(头戴式显示器)等显示装置使用一种以激光直接对眼睛 视网膜进行二维扫描的成像方式(以下记作“激光扫描方式”)(例如， 参照专利文献1)。采用激光扫描方式的显示装置也被称为视网膜扫描显示 器(Retinal Scanning Display：RSD)、视网膜照射显示器、视网膜光绘显 示器、激光扫描显示器、直视型显示装置、虚拟视网膜显示器(Virtual Retinal Display：VRD)等。
图1A和图1B中表示了眼镜式HMD的构造例。在图1A和图1B中， 眼镜框上装配了用于发射激光的光源101、110、用于控制激光波阵面的波 阵面形状变更部102、109以及用于在二维方向上进行激光扫描的扫描部 103、108。激光藉由扫描部103、108投影到眼镜的镜片11、12上，被镜 片11、12的表面所具备的偏转部104、107反射。然后，该激光射入用户 眼睛，在视网膜上形成图像。这里，偏转部104、107使用了半透半反镜或 全息图光学元件(HOE：Hologram Optical Element)等，用户能够同时看 到外部景色和由激光描绘的图像这两者。另外，扫描部103、108中使用了 镜像器件等，这种镜像器件使一个单片反射镜在单轴或双轴方向上振动， 从而在二维方向上进行激光扫描。
另外，关于在双眼中显示影像的HMD类型，有一个现有专利的例子， 其通过改变在左右眼中所显示的影像像素来提高所观看到的图像的分辨率 (例如，参照专利文献2)。在该现有专利的例子中，右眼显示奇数列像素、 左眼显示偶数列像素，通过这种互补式像素显示，可以向用户呈现由左右 眼的显示像素合成后所得的图像。
【专利文献1】日本特开平10-301055号公报
【专利文献2】日本特开平9-061776号公报
但是，激光扫描方式的显示装置中存在的问题是，其难以提高所显示 的图像的分辨率、视野角度、帧率等画质。首先，如果使用使单片反射镜 振动的镜像器件作为扫描部103、108，则在试图提高显示图像的画质时， 反射镜的大小就会成为问题。
在镜像器件中，如图74所示，使单片反射镜301沿着第一旋转轴X及 与第一旋转轴X正交的第二旋转轴Y振动，由此改变入射到反射镜上的激 光304的反射方向来进行二维扫描。
在图1所示的HMD中，藉由扫描部103进行二维扫描的激光在偏转 部104上所描绘出来的轨迹实例如图75所示。如该图所示，藉由扫描部103 进行二维扫描的方式是激光通过描绘出扫描轨迹502而在用户眼中显示出 显示图像501。在该实例中，图1的HM被设计成使扫描部103的旋转轴 X方向与显示图像501的水平方向相对应、旋转轴Y方向与显示图像501 的垂直方向相对应。另外，将反射镜在旋转轴X方向(经过Y轴)上的振 动频率表示为水平方向的驱动频率Hx，将反射镜在旋转轴Y方向(经过X 轴)上的振动频率表示为垂直方向的驱动频率Hy。在图75所示的扫描轨 迹502中，激光在垂直方向上进行一次扫描的期间内，在水平方向上会进 行多次扫描。一般地，双轴反射镜的驱动频率Hx、Hy之中速度较低的一 方决定了显示图像501的帧率。在图75的实例中，光束在垂直方向上进行 一次扫描的期间内，显示出1帧图像。另外，在光束在反方向上进行扫描 的期间内也显示出1帧图像的情况下，在激光沿垂直方向往返一次的期间 内会显示出2帧影像，因此，驱动频率Hy与图像的帧率fps之间满足算式 (1)的关系。
[算式1]
fps＝2×Hy                            (1)
另外，如图76所示，入射到扫描部103上的激光304相应于反射镜的 振动进行扫描，该扫描在旋转轴X的方向上形成扫描角度α、在旋转轴Y 的方向上形成扫描角度β。这里所说的扫描角度α、β是表示扫描部103 进行扫描的激光的范围的角度。如图76所示，激光扫描到最左侧时的激光 的光路与扫描到最右侧时的激光的光路所成的角度表示为水平扫描角度 α。另外，同样地，激光扫描到最上方时的激光的光路与扫描到最下方时 的激光的光路所成的角度表示为垂直扫描角度β。
这里，假设扫描部103中包含的单片反射镜301的直径为D、图1的 HMD中所显示的显示图像501的水平分辨率为Nx、垂直分辨率为Ny，则 一般来说算式(2)及算式(3)的关系成立。
[算式2]
Nx∝D×α                                    (2)
[算式3]
Ny∝D×β                                    (3)
因此，在激光扫描型显示装置中，为了提高显示分辨率，必须加大扫 描角度α、β或扫描部103的单片反射镜301的直径D。
但是，如果加大了扫描部103的单片反射镜301的直径D，单片反射 镜301的重量就会增加。其结果是，难以加大扫描角度α、β或提高单片 反射镜301的驱动频率Hx、Hy，从而导致显示图像501的帧率fps下降。 另外，如果加大了扫描角度α、β，就必须使单片反射镜301动作幅度大， 因此，驱动频率Hx、Hy的提高变得困难。另外，也会导致用于使单片反 射镜301发生动作的致动元件(致动器)的大型化或者电力消耗的增大、 或者驱动声音增大等，从而难以将扫描部103装配到眼镜式HMD上。另 外，扫描部103的驱动频率与分辨率的关系也成为光束扫描显示装置中实 现高画质的难题。
在图1所示的HMD中，藉由扫描部103进行二维扫描的激光303在 偏转部104上所描绘出来的轨迹实例如图77所示。如该图所示，激光303 藉由扫描部103进行二维扫描，由此描绘出图77所示的扫描轨迹602c。其 结果是，在用户眼中显示出显示图像601c。此时，设定了过扫描区域Or、 Ol，使扫描轨迹602c与显示图像601c的显示行准确地重叠。对于显示图 像601c而言，一般地，将显示图像601c相对于含有过扫描区域的扫描轨 迹602c的扫描区域所占的比例表示为过扫描率A。
这里，假设在图1的HMD中显示的显示图像601b的水平分辨率为Nx、 垂直分辨率为Ny，则显示图像的垂直分辨率Ny与帧率fps及扫描部103 的水平方向的驱动频率Hx之间一般会满足算式(4)的关系。如该算式(4) 所示，当扫描部103的水平方向的驱动频率Hx存在上限时，难以同时提高 显示图像的垂直分辨率Ny和帧率fps这两者。
[算式4]
Hx＝Ny×fps/(2×A)                          (4)
另外，当为了显示视野宽广的影像而加大了扫描部103、108的扫描角 度α、β的情况下，单片反射镜301在一个周期的期间内的动作距离就会 增大，这导致驱动频率下降。因此，在使用了镜像器件的光束扫描型HMD 中，难以同时提高视野宽广的显示图像的帧率和分辨率。
另外，在如眼镜式HMD那样将图像倾斜着投影到偏转部104、107的 情况下，图像会产生梯形失真，为了校正这种失真，会导致图像的视野角 度变窄。
如图1所示，来自扫描部103、108的光线分别倾斜着投影到偏转部104、 107上。一般地，在将矩形影像从倾斜位置投影到屏幕上时，屏幕上投影产 生的图像会发生梯形失真或者被称为梯形畸变(keystone)的失真，因此， 使用眼镜式HMD也会在用户眼中投影产生梯形失真的图像。
使用图78和图79来例示将来自点光源O的矩形影像斜着入射到屏幕 S上时所产生的梯形失真。图78是从屏幕S的上方观察所得的图，图79 是从屏幕S的正面观察所得的图。在该实例中，如图78和图79所示，光 源O发出的光从屏幕S的左斜前方入射到屏幕上。因此，如图78所示，光 源O与屏幕S上的投影图像的左边L1和右边L2之间的距离不同。
另外，如图79所示，就光源O所形成的投射影像而言，由于纵向投射 角为θ，因此距离点光源O越远，屏幕上的投影图像的边就越长。因此， 屏幕S上的投影图像401a就会形成梯形失真。
但是，在向眼镜镜片斜向投影影像的眼镜式HMD的现有专利的例子 (专利文献1)中，并没有针对这种斜向投影采取对策。此外，即使在光源 O不是由激光和扫描部构成而是由液晶元件或有机EL(有机电致发光)显 示器构成的情况下，这一问题也会发生。
目前市场上所销售的前投式投影仪等通过图像处理对梯形失真进行校 正。图80表示了通过图像处理部对梯形失真进行校正的实例。相应于梯形 形状的校正前图像501a的上底边或下底边之中较短的底边长度，确定一个 矩形的显示区域。然后，在超出矩形区域的部分不显示图像，由此就能够 为用户显示出矩形的校正后图像502a。但是，利用这种方法，显示图像的 大小是根据校正前图像501a的最短边的长度决定的，因此其存在的问题是， 结果只能显示视野狭窄的图像。
这样一来，就光束扫描型显示装置而言，由于扫描部103、108的大小、 驱动频率、扫描部103、108与偏转部104、107的位置关系等的影响，难 以提高分辨率、视野角度、帧率等画质。在向眼镜镜片斜向投影影像的眼 镜式HMD的现有专利的例子(专利文献1)中，并没有同时实现视野角度 的扩大和画质的提高的对策。
专利文献2公开了一种方法，虽然左右两侧的分辨率有所下降，但能 够确保用户所看到的显示影像的分辨率。但是，其并没有触及与光束扫描 型显示装置所特有的帧率和分辨率相关的课题。另外，关于优先考虑帧率 和分辨率之中的哪一个才合适这一问题，其答案因图像内容的不同而不同。 体育节目等变化迅速的影像应优先保证帧率，而在静止图像的情况下则必 须优先保证分辨率。在专利文献2中，也没有考虑这种根据信息的内容而 改变帧率或分辨率等的做法。

本发明是为解决上述问题而作出的，其目的在于，在图像显示装置中 适当地改变左右两侧的影像的显示，利用双眼的融像效果，提高用户在识 别影像时所观看到画质。
为了解决所述的现有问题，本发明的图像显示装置是一种在用户的视 网膜上显示图像的图像显示装置，具备：左眼用图像输出部，用于输出对 构成了一部分或全部整个原图像的左眼用图像进行输出；左眼用偏转部， 用于将使所述左眼用图像输出部所输出的所述左眼用图像朝向用户的左眼 方向进行偏转；右眼用图像输出部，用于输出对构成了一部分或全部整个 原图像的右眼用图像进行输出；右眼用偏转部，用于将使所述右眼用图像 输出部所输出的所述右眼用图像朝向用户的右眼方向进行偏转；以及控制 部，对所述左眼用图像输出部和所述右眼用图像输出部进行控制，输出像 素位置、图像形状、图像大小、图像分辨率及显示帧率之中的至少一个互 不相同的所述左眼用图像和所述右眼用图像，从而利用融像效果，使用户 能够根据所述左眼用图像和所述右眼用图像识别出所述原图像。
根据本结构，在一只眼睛中显示低画质的宽视场角图像，而在另一只 眼睛中显示高画质的窄视场角图像，就可以提高所观看到的画质并扩大显 示图像的视野。
另外，也可以是，所述左眼用图像输出部包括：左眼用光源，对描绘 构成左眼用图像的各像素的光束进行输出；以及左眼用扫描部，使来自所 述左眼用光源的光束扫描所述左眼用偏转部；所述右眼用图像输出部包括： 右眼用光源，对描绘构成右眼用图像的各像素的光束进行输出；以及右眼 用扫描部，使来自所述右眼用光源的光束扫描所述右眼用偏转部。根据本 结构，既实现了装配在眼镜上的图像显示装置的小型化、节电化，又能够 防止影像的梯形失真。
另外，所述控制部也可以包括：扫描范围设定部，使所述左眼用扫描 部及所述右眼用扫描部之中的一个扫描部以仅扫描所述原图像的一部分的 第1扫描角度进行光束扫描，使另一个扫描部以第2扫描角度进行光束扫 描，所述第2扫描角度比所述第1扫描角度大且小于等于可扫描整个所述 原图像的扫描角度；画质设定部，通过控制所述左眼用图像输出部及所述 右眼用图像输出部，从而对应于所述扫描范围设定部所设定的扫描角度， 输出画质不同的所述左眼用图像及所述右眼用图像。
一个实施方式是，所述画质设定部包括帧率设定部，该帧率设定部使 所述左眼用图像输出部及所述右眼用图像输出部之中的与设定为所述第1 扫描角度的一侧相对应的图像输出部输出第1帧率的图像，使与设定为所 述第2扫描角度的一侧相对应的图像输出部输出比所述第1帧率小的第2 帧率的图像。根据本结构，就能够以高帧率显示窄视场角的图像，从而提 高用户在识别图像时所观看到的帧率。
另一个实施方式是，所述画质设定部包括分辨率设定部，该分辨率设 定部使所述左眼用图像输出部及所述右眼用图像输出部之中的与设定为所 述第1扫描角度的一侧相对应的图像输出部输出第1分辨率的图像，使与 设定为所述第2扫描角度的一侧相对应的图像输出部输出比所述第1分辨 率低的第2分辨率的图像。根据本结构，就能够以高像素显示窄视场角的 图像，从而提高用户在识别图像时所观看到的分辨率。
另外，所述左眼用扫描部和所述右眼用扫描部的大小互不相同，所述 扫描范围设定部使所述左眼用扫描部及所述右眼用扫描部两者之中尺寸较 大的一侧以所述第1扫描角度进行光束扫描，使上述两者之中尺寸较小的 一侧以所述第2扫描角度进行光束扫描。根据本结构，就能够以高像素显 示窄视场角的图像，从而提高用户在识别图像时所观看到的分辨率。
本发明的图像显示装置还包括用于检测用户视线的视线检测部，扫描 范围设定部使所述左眼用扫描部及所述右眼用扫描部之中被设定为所述第 1扫描角度的一侧基于所述视线检测部的检测结果对包含用户的视线位置 在内的区域进行光束扫描。根据本结构，即使在用户的视线发生了变动的 情况下，也能够在用户的中心视野内展示出高画质的图像。
另外，所述扫描范围设定部也可以使所述左眼用扫描部及所述右眼用 扫描部之中的与用户的眼力好的眼睛相对应的一侧以所述第1扫描角度进 行光束扫描，使另一侧以所述第2扫描角度进行光束扫描。根据本结构， 能够在用户便于观看的眼睛一侧展示出高画质的图像，从而提高用户在识 别图像时所观看到的画质。
另外，所述扫描范围设定部也可以使所述左眼用扫描部及所述右眼用 扫描部之中的与用户的视力好的眼睛相对应的一侧以所述第1扫描角度进 行光束扫描，使另一侧以所述第2扫描角度进行光束扫描。根据本结构， 能够在用户便于观看的眼睛一侧展示出高画质的图像，从而提高用户在识 别图像时所观看到的画质。
另外，所述控制部也可以包括所述扫描模式决定部，该扫描模式决定 部使所述左眼用扫描部及所述右眼用扫描部分别按照以下方式进行光束扫 描，即，将所述原图像划分为多个扫描区域，在各帧中所述左眼用扫描部 及所述右眼用扫描部的扫描区域不同，并且在相邻的帧中所述左眼用扫描 部及所述右眼用扫描部各自的扫描区域不同。根据本结构，能够防止在右 眼和左眼中持续显示不同部分的图像，从而降低用户在观看图像时的不适 感。
一个实施方式也可以是，所述左眼用扫描部及所述右眼用扫描部一边 多次重复在第1方向上扫描像素的动作，一边在与所述第1方向正交的第2 方向上依次移动位置，由此来扫描图像；所述扫描模式决定部将所述原图 像划分为多个扫描区域，以使得在各帧中所述左眼用扫描部及所述右眼用 扫描部扫描在所述第2方向上相邻的像素。根据本结构，能够利用双眼的 融像效果提高用户观看到的图像的像素连续性，从而可以提高显示图像的 流畅性。
另一个实施方式也可以是，所述左眼用扫描部及所述右眼用扫描部一 边多次重复在第1方向上扫描像素的动作，一边在与所述第1方向正交的 第2方向上依次移动位置，由此来扫描图像；所述扫描模式决定部将所述 原图像划分为多个扫描区域，以使得在各帧中所述左眼用扫描部及所述右 眼用扫描部分别扫描在所述第2方向上连续的扫描区域。根据本结构，能 够利用双眼的融像效果提高用户观看到的图像的像素连续性，从而可以提 高显示图像的流畅性。
另外也可以是，所述左眼用扫描部及所述右眼用扫描部一边多次重复 在第1方向上扫描像素的动作，一边在与所述第1方向正交的第2方向上 依次移动位置，由此来扫描图像；所述扫描模式决定部使所述左眼用扫描 部及所述右眼用扫描部按照以下方式分别进行光束扫描，即，所述左眼用 扫描部和所述右眼用扫描部在所述第2方向上的扫描方向相反。根据本结 构，能够避免在右眼和左眼中显示的像素发生重叠，从而提高双眼融像的 效果。
也可以是，所述控制部包括显示画质决定部，该显示画质决定部基于 所述左眼用扫描部及所述右眼用扫描部的最大驱动频率，生成对所述原图 像的帧率及显示像素数之中的至少任意一方进行校正后的校正图像；所述 扫描模式决定部将由所述显示画质决定部生成的所述校正图像划分为多个 扫描区域，使所述左眼用扫描部及所述右眼用扫描部分别进行光束扫描。 根据本结构，即使因扫描部的驱动频率的上限而在为了保持帧率的情况下 降低左右眼的分辨率，也能够借助于左右眼的融像效果而抑制用户所看到 的图像分辨率的下降。另外，在利用倍速驱动等以高于图像原有的帧率的 高速帧率显示图像时，也可以抑制分辨率的下降。
另外也可以是，所述左眼用扫描部及所述右眼用扫描部一边多次重复 在第1方向上扫描像素的动作，一边在与所述第1方向正交的第2方向上 依次移动位置，由此来扫描图像；所述显示画质决定部将所述原图像的帧 率校正为以下两个驱动频率之中较小一方的2倍，所述两个驱动频率是为 了显示所述原图像而必需的所述左眼用扫描部及所述右眼用扫描部在所述 第2方向上的驱动频率、以及所述左眼用扫描部及所述右眼用扫描部在所 述第2方向上的最大驱动频率。根据本结构，既能够利用双眼的融像效果 保持所观看到的分辨率，又能够设定较高的显示图像帧率。
进一步，所述显示画质决定部也可以对校正后的所述帧率进行再次校 正，以使得根据校正后的所述帧率和所述左眼用扫描部及所述右眼用扫描 部在第1方向上的驱动频率计算出来的所述第2方向上的显示像素数大于 等于预先确定的、使所述原图像的帧率大于等于1的数值，并小于等于所 述原图像在所述第2方向上的显示像素数。根据本结构，能够以最大限度 地发挥扫描部的性能的方式设定显示图像的帧率和分辨率。
另外也可以是，所述扫描模式决定部将所述原图像划分为与以下数值 相当的数量的扫描区域，该数值为用所述左眼用图像或所述右眼用图像的 任意一个的总像素数除以经所述显示画质决定部校正后的各帧的显示像素 数所得的商。根据本结构，能够以最小限度的帧数显示出显示图像的全部 像素。
另外也可以是，所述显示画质决定部还基于表示所述原图像的内容的 内容信息对所述原图像的帧率及显示像素数之中的至少一方进行校正。根 据本结构，能够选择与图像内容相适应的适当的画质，例如，对于体育运 动等动态丰富的图像提高帧率，而对于新闻等文字信息多的图像则提高分 辨率。
控制部也可以还包括用户配置管理部，该用户配置管理部保持用户对 各内容信息设定的画质校正值，所述显示画质决定部基于与所述原图像的 内容信息相对应的所述画质校正值，对所述原图像的帧率及显示像素数之 中的至少一方进行校正。根据本结构，能够针对体育运动或新闻等信息的 不同种类设定用户喜好的画质，作出相应的帧率和分辨率变更。
另外，所述用户配置管理部也可以所述用户配置管理部也可以还保持 与用户的视力相关的信息，所述显示画质决定部基于所述用户配置管理部 中保持的与用户视力相关的信息，对所述原图像的帧率及显示像素数之中 的至少一方进行校正。根据本结构，可以进行以下的处理，即，以帧率优 先于分辨率的方式为视力差的用户改变画质。
本发明的图像显示装置也可以还包括：电池，用于驱动该图像显示装 置；电源管理部，用于检测所述电池的剩余量；以及驱动频率决定部，根 据所述电源管理部的检测结果，改变所述左眼用扫描部及所述右眼用扫描 部这两者的驱动频率的最大值。根据本结构，当电池剩余电量较少时，能 够抑制扫描部的电池消耗，保证较长的显示装置驱动时间。
在由于所述左眼用扫描部所扫描的光束斜向射入所述左眼用偏转部而 导致所述左眼用图像变为在所述左眼用偏转部变形为梯形形状的左眼用失 真图像、并且由于所述右眼用扫描部所扫描的光束斜向射入所述右眼用偏 转部而导致所述右眼用图像变为在所述右眼用偏转部变形为梯形形状的右 眼用失真图像的情况下，所述控制部也可以包含：矩形区域决定部，用于 决定左眼用矩形区域以及右眼用矩形区域，所述左眼用矩形区域是以所述 左眼用失真图像的长边的一部分为第1边、以与所述第1边正交并且连结 所述第1边的端点和所述左眼用失真图像的斜边的线段为第2边的矩形形 状，所述右眼用矩形区域是以所述右眼用图像的长边的一部分作为与所述 第1边长度相等的第3边、以与所述第3边正交并且连结所述第3边的端 点和所述右眼用失真图像的斜边的线段为第4边的矩形形状；高宽比调整 部，用于调整所述原图像的高度及宽度之中的至少一方，以使得所述原图 像成为以所述第1边长为高度、以所述第2边长和所述第4边长之和为宽 度的校正图像；失真校正部，生成使所述校正图像向与所述左眼用失真图 像相反方向变形的左眼用校正图像，以便在所述左眼用偏转部上显示出所 述左眼用图像，并生成使所述校正图像向与所述右眼用失真图像相反方向 变形的右眼用校正图像，以便在所述右眼用偏转部上显示出所述右眼用图 像；以及输出图像控制部，将所述左眼用校正图像之中的与所述左眼用矩 形区域相对应的部分输出到所述左眼用图像输出部，并将所述右眼用校正 图像之中的与所述右眼用矩形区域相对应的部分输出到所述右眼用图像输 出部。
根据本结构，在对实现眼镜形状的HMD时所产生的图像梯形失真进 行校正时，能够利用双眼的融像效果，从而实现能够进行比现有的梯形校 正保持更大的垂直视角的梯形失真校正。
一个实施方式可以是，所述矩形区域决定部按照以下方式决定所述左 眼用矩形区域及所述右眼用矩形区域，即，在将所述左眼用图像和所述右 眼用失真图像以使所述左眼用失真图像的短边包含在所述右眼用图像的长 边之中、并且所述右眼用图像的短边包含在所述左眼用失真图像的长边之 中的方式重叠在一起后，所述第2及第4边成为穿过所述左眼用失真图像 及所述右眼用失真图像各斜边的交点的直线。
另外也可以是，所述控制部包含剩余区域决定部，该剩余区域决定部 用于决定左眼用剩余区域和右眼用剩余区域，该左眼用剩余区域是以所述 第1边的对边为长边、以所述左眼用失真图像的斜边的一部分为斜边的梯 形形状，其高度比所述第4边更短，该右眼用剩余区域是以所述第3边为 长边、以所述右眼用失真图像的斜边的一部分为斜边的梯形形状，其高度 比所述第2边更短；所述输出图像控制部还将所述左眼用校正图像之中的 与所述左眼用剩余区域相对应的部分输出到所述左眼用图像输出部，并将 所述右眼用校正图像之中的与所述右眼用剩余区域相对应的部分输出到所 述右眼用图像输出部。根据本结构，其具有利用双眼的融像效果使用户看 到的图像的右边和左边成为平滑的直线的效果。
一个实施方式也可以是，所述输出图像控制部通过控制所述左眼用图 像输出部及所述右眼用图像输出部，降低所述左眼用剩余区域和在所述右 眼用矩形区域中的与所述左眼用剩余区域重合的区域之中的至少一个区域 的亮度，并降低所述右眼用剩余区域和在所述左眼用矩形区域中的与所述 右眼用剩余区域重合的区域之中的至少一个区域的亮度。
另一个实施方式可以是，所述输出图像控制部通过控制所述左眼用图 像输出部及所述右眼用图像输出部，增大所述右眼用矩形区域之中的不与 所述左眼用剩余区域重合的区域的亮度，并增大所述左眼用矩形区域之中 的不与所述右眼用剩余区域重合的区域的亮度。
根据本结构，其具有能够利用双眼的融像效果防止用户看到的图像中 产生亮度斑点的效果。
另外也可以是，所述矩形区域决定部以使所述校正图像的宽高比为16∶ 9或4∶3的比率的方式决定所述左眼矩形区域及所述右眼矩形区域的形状。 根据本结构，利用双眼的融像效果，用户看到的图像的形状就成为适宜于 影像观看的16∶9或4∶3的高宽比。
另外也可以是，所述矩形区域决定部在用户左右眼的视力差异在一定 数值以上的情况下，以使视力好的眼睛所对应的矩形区域变为最大，并使 视力差的眼睛所对应的矩形区域变为0的方式决定所述左眼矩形区域和所 述右眼矩形区域的形状；所述剩余区域决定部以使视力好的眼睛所对应的 剩余区域变为0，并使视力差的眼睛所对应的剩余区域变为最大的方式决定 所述左眼剩余区域和所述右眼剩余区域的形状。根据本结构，能够消除视 力差的一侧眼睛的影响，对梯形失真作出校正。
本发明的显示方法包括：左眼用图像步骤，对构成了一部分或整个原 图像的左眼用图像进行输出；左眼用偏转步骤，使通过所述左眼用图像输 出步骤输出的所述左眼用图像朝向用户的左眼方向进行偏转；右眼用图像 输出步骤，对构成了一部分或整个原图像的右眼用图像进行输出；右眼用 偏转步骤，使通过所述右眼用图像输出步骤输出的所述右眼用图像朝向用 户的右眼方向进行偏转；以及控制步骤，对所述左眼用图像输出部和所述 右眼用图像输出部进行控制，输出像素位置、图像形状、图像大小、图像 分辨率及显示帧率之中的至少一个不相同的所述左眼用图像和所述右眼用 图像，从而利用融像效果，使用户能够根据所述左眼用图像和所述右眼用 图像识别出所述原图像。
本发明的程序使计算机执行以下步骤：左眼用图像步骤，对构成了一 部分或整个原图像的左眼用图像进行输出；左眼用偏转步骤，使通过所述 左眼用图像输出步骤输出的所述左眼用图像朝向用户的左眼方向进行偏 转；右眼用图像输出步骤，对构成了一部分或整个原图像的右眼用图像进 行输出；右眼用偏转步骤，使通过所述右眼用图像输出步骤输出的所述右 眼用图像朝向用户的右眼方向进行偏转；以及控制步骤，对所述左眼用图 像输出部和所述右眼用图像输出部进行控制，输出像素位置、图像形状、 图像大小、图像分辨率及显示帧率之中的至少一个不相同的所述左眼用图 像和所述右眼用图像，从而利用融像效果，使用户能够根据所述左眼用图 像和所述右眼用图像识别出所述原图像。
本发明的集成电路包括：左眼用图像输出部，对构成一部分或整个原 图像的左眼用图像进行输出；左眼用偏转部，使所述左眼用图像输出部所 输出的所述左眼用图像朝向用户的左眼方向进行偏转；右眼用图像输出部， 对构成一部分或整个原图像的右眼用图像进行输出；右眼用偏转部，使所 述右眼用图像输出部所输出的所述左眼用图像朝向用户的右眼方向进行偏 转；以及控制部，对所述左眼用图像输出部和所述右眼用图像输出部进行 控制，输出像素位置、图像形状、图像大小及显示帧率之中的至少一个不 相同的所述左眼用图像和所述右眼用图像，从而利用融像效果，使用户能 够根据所述左眼用图像和所述右眼用图像识别出所述原图像。
此外，本发明不仅能够作为这种光束扫描型显示装置进行实施，而且 也可以作为用于实现光束扫描型显示装置的功能的集成电路而进行实施， 或者作为使计算机执行这种功能的程序而进行实施。此外，不言而喻，这 种程序可以通过CD-ROM等记录介质及因特网等传输介质流通。另外，本 发明也可以作为用于实现这种显示装置的功能的集成电路进行实施。
本发明的眼镜式头戴式显示器包括：上述图像显示装置；左眼用镜片， 其配置在用户的左眼位置，并在用户左眼对面的位置处具有所述左眼用偏 转部；右眼用镜片，其配置在用户的右眼位置，并在用户右眼对面的位置 处具有所述右眼用偏转部；左侧镜腿，其一端连接到所述左眼用镜片，另 一端固定在用户的头部左侧；右侧镜腿，其一端连接到所述右眼用镜片， 另一端固定在用户的头部右侧。
本发明的汽车包括：上述图像显示装置；挡风玻璃，其包括所述左眼 用偏转部和所述右眼用偏转部。
本发明的双筒望远镜包括：左眼用接目镜片，其具有所述左眼用偏转 部；右眼用接目镜片，其具有所述右眼用偏转部。
本发明的台式显示器包括：上述图像显示装置；用于存放所述显示装 置的框体；在所述框体表面上由所述左眼用偏转部及所述右眼用偏转部构 成的显示面。
发明的效果
根据本发明，能够将双眼的融像效果灵活应用于提高眼镜式HMD所 观看到的画质，并能够在控制扫描部的性能的同时，提高用户在识别影像 时所观看到的帧率或所观看到的分辨率。
附图说明
图1A是本发明的第1实施方式中的光束扫描型显示装置的俯视图。
图1B是本发明的第1实施方式中的光束扫描型显示装置的侧视图。
图2是本发明的第1实施方式中的光束扫描型显示装置的详细结构图。
图3是本发明的第1实施方式中的光束扫描型显示装置的功能框图。
图4A是投影在用户左眼上的左眼用图像的实例。
图4B是投影在用户右眼上的右眼用图像的实例。
图4C示出了在对图4A及图4B进行投影时利用融像效果使用户看到 的整体图像。
图5是示出了人的视野与视力的关系的表。
图6是用于提高本发明的第1实施方式中的显示图像被观看到的帧的 处理的流程图。
图7A示出了用于在本发明的第1实施方式中的HMD中进行显示的原 图像的尺寸。
图7B示出了图7A所示的原图像的水平视场角。
图7C示出了图7A所示的原图像的垂直视场角。
图8A示出了用于在本发明的第1实施方式中的HMD中进行显示的中 心图像的尺寸。
图8B示出了图8A所示的中心图像的水平视场角。
图8C示出了图8A所示的中心图像的垂直视场角。
图9A示出了以用户的视线位置为中心设定了中心图像时的实例。
图9B示出了图9A的原图像与用户的视线之间的关系。
图10示出了在本发明的第1实施方式中扫描部的水平扫描角度与展示 给用户的图像的水平视场角之间的关系。
图11示出了用于在本发明的第1实施方式中的MD中进行显示的原 图像的帧。
图12示出了用于在本发明的第1实施方式中的HMD中进行显示的宽 阔视野图像的显示帧。
图13示出了用于在本发明的第1实施方式中的HMD中进行显示的狭 窄视野图像的显示帧。
图14示出了在本发明的第1实施方式中利用双眼的融像效果使用户看 到的图像的帧。
图15是本发明的第2实施方式中的宽阔视野用扫描部与偏转部的配置 图。
图16是本发明的第2实施方式中的狭窄视野用扫描部与偏转部的配置 图。
图17A示出了用于在本发明的第2实施方式中的HMD中进行显示的 原图像的尺寸。
图17B示出了图17A所示的原图像的水平视场角。
图17C示出了图17A所示的原图像的垂直视场角。
图18A示出了用于在本发明的第2实施方式中的HMD中进行显示的 中心图像的尺寸。
图18B示出了图18A所示的中心图像的水平视场角。
图18C示出了图18A所示的中心图像的垂直视场角。
图19是用于提高本发明的第2实施方式中的显示图像被观看到的分辨 率的处理的流程图。
图20示出了用于在本发明的第2实施方式中的HMD中进行显示的原 图像的帧。
图21示出了用于在本发明的第2实施方式中的HMD中进行显示的宽 阔视野图像的显示帧。
图22示出了用于在本发明的第2实施方式中的HMD中进行显示的狭 窄视野图像的显示帧。
图23示出了在本发明的第2实施方式中利用双眼的融像效果使用户看 到的图像的帧。
图24是本发明的第3实施方式中的光束扫描型显示装置的功能框图。
图25示出了在偏转部上产生的投影图像的失真。
图26是示出了梯形失真的校正步骤的流程图。
图27示出了扫描部与偏转部的位置关系。
图28示出了在偏转部上产生的梯形失真。
图29示出了左眼用偏转部上的投影图像的形状。
图30示出了右眼用偏转部上的投影图像的形状。
图31示出了用户看到的图像的形状。
图32示出了根据左眼用偏转部上的投影图像提取了矩形区域和剩余区 域之后的状态。
图33示出了根据右眼用偏转部上的投影图像提取了矩形区域和剩余区 域之后的状态。
图34示出了梯形失真校正后的显示影像的形状。
图35是示出了本发明的第3实施方式中的左右眼中所显示的图像的变 形步骤的流程图。
图36A示出了原图像的纵向尺寸和横向尺寸。
图36B示出了对图36A的原图像的高宽比加以调整后生成的校正图 像。
图37示出了校正图像之中显示在左眼中的图像区域。
图38示出了校正图像之中显示在右眼中的图像区域。
图39示出了对图37的图像实施了失真校正后的状态。
图40示出了对图38的图像实施了失真校正后的状态。
图41示出了从图39的图像之中提取出作为输出对象的部分之后的状 态。
图42示出了从图40的图像之中提取出作为输出对象的部分之后的状 态。
图43示出了根据左眼用偏转部上的投影图像提取出矩形区域之后的状 态。
图44示出了根据右眼用偏转部上的投影图像提取出剩余区域之后的状 态。
图45示出了梯形失真校正后的显示影像的形状。
图46示出了校正图像之中显示在左眼中的图像区域。
图47示出了校正图像之中显示在右眼中的图像区域。
图48用于说明本第3实施方式中的典型实例。
图49是本发明的第4实施方式中的光束扫描型显示装置的功能框图。
图50是用于改变显示图像的帧率和分辨率的处理的流程图。
图51示出了用于显示的原图像的尺寸。
图52示出了附加在原图像上的元数据(meta data)的实例。
图53示出了电池剩余电量与频率校正值之间的关系。
图54示出了原图像的内容信息与帧率系数之间的关系。
图55示出了内容信息与帧率系数校正值之间的关系。
图56A示出了扫描部的垂直扫描范围的一个实例。
图56B示出了扫描部的垂直扫描范围的另一个实例。
图56C示出了扫描部的垂直扫描范围的另一个实例。
图57示出了左右侧的扫描部中的扫描模式的一个实例。
图58示出了左右侧的扫描部中的扫描模式的另一个实例。
图59示出了左右侧的扫描部中的扫描模式的另一个实例。
图60示出了左右侧的扫描部中的扫描模式的另一个实例。
图61示出了左右侧的扫描部中的扫描模式的另一个实例。
图62示出了左右侧的扫描部中的扫描模式的另一个实例。
图63示出了左右侧的扫描部中的扫描模式的另一个实例。
图64是本发明的第5实施方式中的HUD的侧视图。
图65示出了图64所示的HUD的鸟瞰图的一个实例。
图66示出了图64所示的HUD的鸟瞰图的另一个实例。
图67示出了图64所示的HUD的鸟瞰图的另一个实例。
图68是图64所示的HUD的详细结构图。
图69示出了本发明的第6实施方式中的双筒望远镜的鸟瞰图的一个实 例。
图70示出了图69所示的双筒望远镜的左眼侧显示部。
图71示出了图69所示的双筒望远镜的右眼侧显示部。
图72示出了本发明的第6实施方式中的双筒望远镜的鸟瞰图的另一个 实例。
图73示出了本发明的第7实施方式中的台式显示器。
图74示出了二维扫描光束的反射镜的旋转轴的实例。
图75示出了由扫描部扫描产生的激光在偏转部上描绘的轨迹。
图76示出了扫描部和偏转部的配置图的实例。
图77示出了在考虑了过扫描区域的情况下扫描模式的实例。
图78示出了将来自点光源的影像倾斜着投影到屏幕上时的鸟瞰图。
图79示出了将来自点光源的影像倾斜着投影到屏幕上时的正面图。
图80示出了利用现有技术进行的梯形失真校正。
附图标记说明：
11左眼用镜片
12右眼用镜片
13左侧镜腿
14右侧镜腿
100左眼用图像输出部
101左眼用光源
102左眼用波阵面形状变更部
103左眼用扫描部
104左眼用偏转部
105左眼用控制部
106、112耳机部
107右眼用偏转部
108右眼用扫描部
109右眼用波阵面形状变更部
110右眼用光源
111右眼用控制部
201、3001焦距水平分量变更部
202、3002焦距垂直分量变更部
211红色激光光源
212蓝色激光光源
213绿色激光光源
214光检测部
301单片反射镜
303、304激光
401a投影图像
501、601显示图像
501a校正前图像
502a校正后图像
502、602c扫描轨迹
601左眼用图像
601a左眼用失真图像
601b左眼用显示区域
602右眼用图像
602a右眼用失真图像
602b右眼用显示区域
603整体图像
801b图像分析部
802b驱动频率决定部
803b电源管理部
804b显示画质决定部
805b用户配置管理部
806b扫描模式决定部
807b图像控制部
901、1901、1901a原图像
1001、2001中心图像
1051扫描范围设定部
1052画质设定部
1053分辨率设定部
1054帧率设定部
1401a、1401b左眼用矩形区域
1401、1402、1403扫描模式
1402a左眼用剩余区域
1501a右眼用矩形区域
1502a、1502b右眼用剩余区域
1601a融像后图形
1801梯形失真判定部
1802矩形区域决定部
1803剩余区域决定部
1804图像控制部
1805高宽比调整部
1806失真校正部
1807输出图像控制部
1902a校正图像
2001a、2601a左眼用部分图像
2101a、2701a右眼用部分图像
2201a左眼用梯形图像
2301a右眼用梯形图像
2401a左眼投影用图像
2501a右眼投影用图像
2202a、2203a、2302a、2303a梯形区域
2402a、2502a矩形区域
2601车
2602、2610激光扫描单元
2603挡风玻璃
2604半透半反镜
2605司机
2606、2609眼球
2607顶棚
2608支承棒
3101双筒望远镜
3101a左眼侧显示部
3101b右眼侧显示部
3102、3501反射镜
3103、3502摄像头
3104右眼
3105用户
3106左眼
3401台式显示器

下面，参照附图说明本发明的实施方式。
(第1实施方式)
参照图1A～图3说明本发明的第1实施方式的眼镜形状的光束扫描型 显示装置(头戴式显示器：HMD)。其中，图1A是光束扫描型显示装置 的正面图，图1B是光束扫描型显示装置的侧视图，图2是图1A的一部分 的详细图，图3是第1实施方式中的光束扫描型显示装置的功能框图。本 发明的第1实施方式的眼镜式光束扫描型显示装置包括：显示装置；配置 在用户的左眼位置上的左眼用镜片11；配置在用户的右眼位置上的右眼用 镜片12；左侧镜腿(temple)13，其一端连接到左眼用镜片11，另一端固 定在用户的头部左侧；右侧镜腿14，其一端连接到右眼用镜片12，另一端 固定在用户的头部右侧。
显示装置如图1A、图1B及图2所示，包括：光源101、110，其输出 光束，用于描绘构成显示图像的各像素；波阵面形状变更部102、109，其 对光源101、110输出的光束的波阵面形状进行变更；扫描部103、108，其 使波阵面形状变更部102、109输出的光束朝向偏转部104、107进行二维 扫描；偏转部104、107，其使扫描部103、108的扫描光朝向用户眼睛方向 偏转；控制部105、111，其对所述各部分进行控制；耳机部106、112。
其中，左眼用光源101、左眼用波阵面形状变更部102、以及左眼用扫 描部103构成了左眼用图像输出部100。同样地，右眼用光源110、右眼用 波阵面形状变更部109、右眼用扫描部108构成了右眼用图像输出部(省略 图示)。
此外，在该实施方式中，光源101、110、波阵面形状变更部102、109、 扫描部103、108、控制部105、111、以及耳机部106、112收容在镜腿13、 14中，偏转部104、107配置在镜片11、12上的面对着用户眼睛的一侧。
此外，在本说明书中，有时候将“左眼用镜片11”和“右眼用镜片12” 统称为“镜片11、12”。同样地，对于其他的结构要素(包括图像等)， 在统称左眼用和右眼用时，有时候会省略“左眼用”和“右眼用”的词语。
光源101、110输出光束。如图2所示，所输出的光束是将由红色激光 光源211、蓝色激光光源212、绿色激光光源213输出的各色激光合波而成 的激光，通过将各色激光光源211、212、213的输出进行适当调制，就能 够输出任意颜色的激光。进而，通过与波阵面形状变更部102、109或扫描 部103、108联动进行调制，就能够在用户的眼睛视网膜上显示出影像。
此外，该实施方式中的绿色激光光源213将用于输出红外线的半导体 激光光源和用于把红外线变换为绿色的SHG(Second-Harmonic Generation： 二次谐波产生)元件组合起来，输出绿色激光。不过，本发明并不限于上 述结构，也可以采用绿色的半导体激光光源213。另外，各激光光源211、 212、213也可以是固体激光、液体激光、气体激光、发光二极管等。
此外，如图2所示，光源101、110也可以包含光检测部214。光检测 部214通过检测从用户眼睛的角膜反射出来的光的强度，能够检测出用户 的视线方向。藉由偏转部104、107的作用而朝着眼睛方向偏转的大部分光 束相对于角膜表面倾斜入射，但来自眼球正面的光束相对于角膜表面是垂 直入射的，因此光束的反射率较高。利用这种性质，就能够根据反射光的 强度检测出视线方向。
波阵面形状变更部102、109分别改变光源101、110发出的光束的波 阵面形状，使经偏转部104、107偏转后的光束的光点大小落在规定范围内。
光束的“光点大小(spot size)”指的是在用户眼睛的视网膜上的光点 大小，后面将加以说明；但也可以是在瞳孔上的光点大小、在角膜上的光 点大小、在偏转部104、107上的光点大小。在视网膜上的光点大小与所显 示的像素大小相同。另外，“波阵面形状”指的是光束波阵面的三维形状， 包括平面、球面、非球面的形状。
在图2所示的左眼用波阵面形状变更部102中，焦距水平分量变更部 201和焦距垂直分量变更部202串联配置在光路上。由此，就能够独立地改 变光束水平方向的曲率和垂直方向的曲率。焦距水平分量变更部201通过 改变柱面透镜与反射镜的距离，来改变水平方向的曲率。焦距垂直分量变 更部202通过使用相对于焦距水平分量变更部201的柱面透镜垂直配置的 柱面透镜，来改变垂直方向的曲率。另外，焦距水平分量变更部201和焦 距垂直分量变更部202都随着曲率的变更而同时改变光束的直径。
此外，如果水平方向的曲率变化大于垂直方向的曲率变化，则能够处 理较大幅度的水平方向变化，因此，在希望画面的水平视角大于垂直视角 的情况下，或者如在头的侧部装配着扫描部103、108的HMD那样、在扫 描部103、108向偏转部104、107射出的光束的水平入射角大于垂直入射 角的情况下，这样尤其有效。
此外，在图2中，仅对表示波阵面形状的参数之中水平方向的曲率和 垂直方向的曲率这些与各个直径相关的一部分波阵面形状进行了变更，但 也可以改变其他参数，例如波阵面内的曲率分布、波阵面前端的形状或尺 寸等。
此外，本实施方式中的波阵面形状变更部102、109使用柱面透镜和反 射镜改变波阵面形状，但也可以使用其他手段，例如液晶透镜、液体透镜 等可变形透镜、EO元件(电光转换元件)等。在这种情况下，不需要移动 透镜位置就可以改变波阵面形状。另外，通过使用衍射元件等来取代柱面 透镜，可以实现整个装置的小型化。
扫描部103、108分别使来自波阵面形状变更部102、109的光束朝着 偏转部104、108进行二维扫描。扫描部103、108是可以在二维方向上改 变角度的小型单片反射镜，更具体地，是MEMS (Micro-Electro-Mechanical-System：微机电系统)反射镜。此外，扫描部 103、108也可以通过水平扫描用和垂直扫描用这样的两种以上的扫描部的 组合来实现。偏转部104、107使扫描部103、108所扫描的光束方向分别 朝向用户眼睛的方向偏转。偏转部104、107中，眼镜镜片11、12的内侧 (眼睛一侧)形成有例如光敏聚合物层，并在光敏聚合物层上形成李普曼 体积全息图，由此制造出使来自扫描部103、108的光束衍射、聚光到用户 眼睛的瞳孔上的偏转部。在光敏聚合物层上既可以重叠形成分别反射红色、 绿色、蓝色激光光源211、212、213发出的光的3个全息图，也可以层叠 与各种颜色的光相对应的3层全息图。另外，利用全息图对波长的选择性， 仅对光源波长的光进行衍射，对光源波长以外的、构成外界光线的大部分 的光不进行衍射，按照这种方式，就能够制造出透射型的显示器。
此外，偏转部104、107并不限于利用全息图等衍射元件进行偏转，也 可以是凹面镜等反射镜或凸透镜等透镜。另外，偏转部104、107也包含以 下方式，即，光束照射到反射型屏幕或透射型屏幕之类的屏幕上之后发散， 其结果使来自屏幕的发散光的一部分向用户眼睛方向偏转。
控制部105、111包括用于控制HMD各部分的集成电路。由控制部105、 111控制从光源101、110发出的激光的输出、以及波阵面形状变更部102、 109和扫描部103、108的动作。另外，控制部105、108具备对向用户所显 示的图像进行加工的手段。
如图3所示，左眼用控制部105包含：扫描范围设定部1051，其使扫 描部103、108之中的一个扫描部以仅能扫描出一部分原图像的第1扫描角 度进行光束扫描，使另一个扫描部以比第1扫描角度大、并且小于等于能 扫描出原图像整体的扫描角度的第2扫描角度进行光束扫描；画质设定部 1052，其根据扫描范围设定部1051所设定的扫描角度，设定扫描部103、 108所扫描的图像的画质。此外，第1实施方式中的第2扫描角度设定为扫 描出原图像整体的扫描角度(第2扫描角度的最大值)。
另外，画质设定部1052包含：分辨率设定部1053，用于变更左眼用图 像及右眼用图像的分辨率；帧率设定部1054，用于变更左眼用图像及右眼 用图像的帧率。
分辨率设定部1053使左眼用光源101及右眼用光源110之中设定为第 1扫描角度的光源输出第1分辨率的图像，使设定为第2扫描角度的光源输 出比第1分辨率低的第2分辨率的图像。
帧率设定部1054使左眼用光源101及右眼用光源110之中设定为第1 扫描角度的光源输出第1帧率的图像，使设定为第2扫描角度的光源输出 比第1帧率小的第2帧率的图像。
此外，控制部105、111也可以包括通信部，与移动电话等外部设备进 行无线连接，接收影像和声音信号。如果从外部设备获取图像，那就不需 要在显示装置内部配备用于记录影像的存储装置或解码器等，因此能够实 现装置的小型化。
控制部105、111中包含的图像控制部(省略图示)既可以具备存储器 用于保存向用户展示的图像，或者也可以通过无线方式从外部设备获取向 用户展示的图像。
此外，控制部105、111可以只有一个，通过控制部105、111之中的 某一个，对与左右眼相对应的光源101、110、波阵面形状变更部102、109、 扫描部103、108及耳机部106、112的动作进行控制。在这种情况下，能 够实现HMD的小型化，另外也容易实现左右眼中影像的同步。
耳机部106、112具备扬声器，输出声音。此外，耳机部也可以具备为 HMD各部分供电的电池。
此外，图1中的各装置和各部件既可以内置于1台HMD内，也可以 不内置在1台HMD内。例如，1台HMD内既可以包含图1中的全部部件， 也可以没有耳机部106、112。另外，各部件也可以是分散配置的。例如， 控制部105、111可以包含在扫描部103、108或波阵面形状变更部102、109 之中作为其一部分。也可以由多台设备共用图1的各部件。例如，可以由2 台HMD共用光源101、110。
接着，说明本发明中用于提高显示图像的画质的“融像效果”。所谓 的融像效果，指的是用户将左右眼看到的影像合成为一个影像并加以识别 的现象。图4A～图4C示出了融像效果的实例。图4A是针对用户左眼显 示的左眼用图像601，图4B是针对用户右眼显示的右眼用图像602。当针 对左右眼展示出图4A及图4B所示图像时，人的大脑会将左右眼的图像合 成为一个图像加以识别。即，用户看到的显示图像是由左眼用图像601和 右眼用图像602合成得到的整体图像603。图4C中由点线框围成的区域是 仅靠右眼或左眼看到的区域，但用户并不会意识到这一点，而是看到了整 体图像603。
接着，说明人的视野与视力的关系。人的视力在整个视野范围内并不 相同，而是在视野的中心部分具有较高视力，用户视力会随着远离视野中 心而下降。图5示出了用户的视野与视力的关系。如该图所示，人的眼睛 能够保持较高分辨率的视野范围局限在用户视线方向±5°左右的中心视野 内。因此，即使中心视野之外的部分的图像画质较差，一般说来人的眼睛 也不容易注意到画质的下降。
本发明中，利用这种双眼的融像效果和视力随着视野而变化的现象， 提高所观看到的显示图像的画质。本发明将光束扫描型显示装置所显示的 图像之中位于用户中心视野区域内的图像以高画质显示在一侧的眼睛中， 而将宽阔视野的图像以低画质显示在另一侧的眼睛中。但是，用户能够以 高分辨率识别图像的区域仅限于中心视野内，因此，不会注意到宽阔视野 内的图像是低画质的，其结果是，显示出来的图像被识别为是宽阔视野的 高画质图像。本发明利用这一原理，提高了眼镜式HMD所观看到的画质。
下面以图1的光束扫描型显示装置为例，示出了利用所述的融像效果 提高显示图像被观看到的画质。
其中，在本实施方式中，假定扫描部103、108是具有相同构造的镜像 器件。另外，如图74所示，假定该镜像器件是利用驱动元件驱动单片反射 镜在二维方向上进行扫描的器件。
本实施方式中的扫描部103、108按照以下方式设计而成，即，使入射 激光以α1度水平扫描角度、β1度垂直扫描角度进行扫描，并具有显示水 平分辨率为Nx1max、垂直分辨率为Ny1max的图像的能力。另外，假定扫描 部103、108的水平方向的驱动频率为Hx1、垂直方向的驱动频率为Hy1。 进而，扫描部103、108在水平方向(第1方向)上进行扫描像素的动作时， 一边在垂直方向(与第1方向正交的第2方向)上依次移动位置，一边多 次重复该动作，由此描绘出1帧图像。
下面示出了通过改变左右侧的显示来提高显示图像被观看到的帧率的 实例。该处理通过图6所示的步骤801～804实施。
(步骤801：左右侧的分担)
在本步骤中，扫描范围设定部1051确定扫描部103、108之中哪一个 用于显示与中心视野相对应的中心图像。这里被选为用于显示中心图像的 扫描部以小于通常的扫描角度(第1扫描角度)扫描来自光源101、110的 激光。在本实施方式中，在扫描范围设定部1051中预先设定了将右眼用扫 描部108作为用于显示中心图像的扫描部。
此外，也可以使用由用户利用用户界面进行指定的方法，来确定用于 显示中央图像的扫描部。在这种情况下，用户可以决定在自己容易看清的 一侧眼睛中显示分辨率高的图像等。
例如，也可以将用户哪一侧眼睛的眼力好(効き目)这样的信息预先 保存到扫描范围设定部1051内，从而选择与眼力好的眼睛相对应的那一侧 的扫描部，用于显示中心图像。在这种情况下，就可以向用户容易看清的 一侧眼睛显示高精度的图像。
另外，也可以将用户的视力信息预先保存到扫描范围设定部1051内， 从而选择与视力较好的眼睛相对应的扫描部来显示中心图像。在这种情况 下，就可以向用户视力较好的一侧眼睛显示更高画质的影像。
(步骤802：显示范围的确定)
在本步骤中，确定向用户显示的整个图像之中作为中心图像1001而进 行显示的区域。
图7A～图7C所示的原图像901是图1的HMD向用户显示的图像， 其水平分辨率为Nx1、垂直分辨率为Ny1、帧率为fps1。另外，假定图1 的HMD中观看该图像时的水平视场角为γ1、垂直视场角为δ1。
扫描范围设定部1051按照图8所示方式确定原图像901内作为中心图 像1001而进行显示的图像的范围。在本实施方式中，扫描范围设定部1051 将中心图像1001确定为在使用HMD进行观看时水平视场角为γ1c、垂直 视场角为δ1c的区域。
这时，中心图像1001的水平分辨率Nx1c和垂直分辨率Ny1c可以根据 其与原图像901的分辨率及视场角的关系而使用算式(5)及算式(6)计 算出来。原图像901的分辨率Nx1、Ny1、视场角γ1、δ1的值可以在设计 HMD时确定，因此，在本实施方式中，这些值预先提供给左眼用控制部 105。
[算式5]
Hx1c＝Nx1×tan(γ1c/2)/tan(γ1/2)               (5)
[算式6]
Ny1c＝Ny1×tan(δ1c/2)/tan(δ1/2)               (6)
求得中心图像1001的分辨率Nx1c、Ny1c后，扫描范围设定部1051以 原图像901的中央部位像素为中心，确定高度为Ny1c、宽度为Nx1c的分辨 率区域，作为中心视野的图像即中心图像1001。
此外，原图像901的分辨率Nx1、Ny1的值既可以由左眼用控制部105 通过分析图像来求出，也可以根据附加在原图像901上的元数据来求出。 原图像901的视场角γ1、δ1也可以使用以下方法求取，即，利用摄像头等 拍摄从扫描部103、108投影到偏转部104、107上的激光的形状，由左眼 用控制部105根据该形状进行计算。在这种情况下，即使扫描部103、108 和偏转部104、107的位置关系发生了变化，也能够正确地求得视场角γ1、 δ1。
此外，扫描范围设定部1051也可以基于光检测部214检测出来的用户 视线位置，确定中心图像1001的区域。例如，如图9A和图9B所示，将 光检测部214检测到的用户视线与原图像901相交的点计算出来，作为交 点A(视线位置)。继而，确定包含交点A在内的、水平分辨率为Nx1c、 垂直分辨率为Ny1c的区域，作为中心图像1001。
(步骤803：显示像素的削减)
在本步骤中分辨率设定部1053确定在显示在前一步骤中所确定的中央 图像1001及原图像901时的分辨率。
如果原图像的分辨率Nx1、Ny1超过了左眼用扫描部103所能够显示 的分辨率Nx1max、Ny1max，分辨率设定部1053就通过使原图像901的像素 粗糙化而生成水平分辨率为Nx1max、垂直分辨率为Ny1max的宽阔视野图像。 如果原图像901的分辨率小于等于左眼用扫描部103所能够显示的分辨率 Nx1max、Ny1max，则将原图像901设定为宽阔视野图像。
用于显示中心图像1001的右侧扫描部108向用户显示水平视场角为γ 1c、垂直视场角为δ1c的图像，为此，将激光扫描的扫描角度(第1扫描角 度)设定为水平扫描角度为α1c、垂直扫描角度为β1c。视场角γ1c、δ1c 与扫描角度α1c、β1c的关系是在图1所示的HMD的设计时确定的，因此， 左眼用控制部105将视场角γ1c、δ1c与扫描角度α1c、β1c的关系表预先 保存到存储部(省略图示)中，由此能够根据视场角计算出扫描角度的值。
当右眼用扫描部108以水平扫描角度α1c、垂直扫描角度β1c进行激光 扫描时，假定可显示的水平方向分辨率为Nx1cmax、垂直方向分辨率为 Ny1cmax，则Nx1cmax、Ny1cmax可以通过算式(7)及算式(8)求得。
[算式7]
Nx1cmax＝Nx1max×α1c/α1            (7)
[算式8]
Ny1cmax＝Ny1max×β1c/β1            (8)
如果前一步骤中求得的中心图像1001的分辨率Nx1c、Ny1c超过了分 辨率Nx1cmax、Ny1cmax，分辨率设定部1053就对中心图像1001的像素进行 粗糙化处理，将水平分辨率为Nx1cmax、垂直分辨率为Ny1cmax的图像确定 为狭窄视野图像。另外，如果中心图像1001的分辨率Nx1c、Ny1c小于等 于分辨率Nx1cmax、Ny1cmax，就将中心图像1001确定为狭窄视野图像。
(步骤804：帧率的确定)
在本步骤中，帧率设定部1054确定在显示前一步骤中所求得的宽阔视 野图像及狭窄视野图像时的帧率。
这里，假定在以扫描角度α1c、β1c驱动右眼用扫描部108的情况下， 水平方向上能够实现的最大驱动频率为Hx1max、垂直方向上能够实现的最 大驱动频率为Hy1max。帧率设定部1054预先在存储部中存储了扫描角度和 驱动频率的关系表，由此计算出与扫描角度相对应的、能够实现的最大驱 动频率Hx1max和Hy1max的值。
此时，帧率设定部1054根据所述的表示帧率与扫描部103、108的垂 直方向驱动频率的关系的算式(1)，将宽阔视野图像的帧率fps1w设定为 2×Hy1的值，将狭窄视野图像的帧率fps1n设定为2×Hy1max的值。
如上所述，左眼用扫描部103以水平扫描角度α1、垂直扫描角度β1 驱动激光，由此向用户显示出水平视场角为γ1、垂直视场角为δ1的宽阔 视野图像。另外，左眼用扫描部108以水平扫描角度α1c、垂直扫描角度β 1c来驱动激光，由此向用户显示出水平视场角为γ1c、垂直视场角为δ1c 的狭窄视野图像。
图10示出了与该扫描部103、108的水平方向相关的各角度α1、α1c、 γ1、γ1c的关系。如该图所示，为了显示视场角为γ1的图像所需的扫描 角度α1(第2扫描角度)大于为了显示视场角为γ1c的图像所需的扫描角 度α1c(第1扫描角度)。同样地，在垂直方向上，垂直方向的扫描角度β 1(第2扫描角度)也大于β1c(第1扫描角度)。一般地，扫描角度越小， 扫描部103、108的驱动频率可以越高，因此，能够使Hy1max的值大于Hy1。
如上所述，图像的帧率fps与垂直方向驱动频率Hy的关系满足算式(1) 的关系。因此，狭窄视野图像的帧率fps1n可以设定为大于宽阔视野图像的 帧率fps1w。
此外，也可以使用以下方法，即，通过在扫描部103、108上安装传感 器，测定在以规定扫描角度驱动扫描部103、108时驱动频率的值，将该值 通报给左眼用控制部105。在这种情况下，可以检测出扫描部103、108的 实际驱动频率，能够更准确地决定帧率。
(步骤805：图像控制)
在本步骤中，控制部105、111对应于在前一步骤中确定的狭窄视野图 像和宽阔视野图像的分辨率及帧率，对光源101、110、波阵面形状变更部 102、109和扫描部103、108进行控制。
右眼用控制部111控制用于显示与用户的中心视野相对应的图像的右 眼用光源110，使其输出与狭窄视野图像相对应的激光。另外，控制右眼用 扫描部108以水平扫描角度为α1c、垂直扫描角度为β1c、水平方向驱动频 率为Hx1max、垂直方向驱动频率为Hy1max的方式进行扫描。
左眼用控制部105控制用于显示整个图像的左眼用光源101，使其输出 与宽阔视野图像相对应的激光。另外，控制左眼用扫描部103以水平扫描 角度为α1、垂直扫描角度为β1、水平方向驱动频率为Hx1、垂直方向驱 动频率为Hy1的方式进行扫描。
使用图11～图14示出用户在此时所看到的影像的实例。其中，为简单 起见，使用原图像901的帧率fps1和狭窄视野图像的帧率fps1n相等、宽阔 视野图像的fps1w等于fps1n一半数值时的图进行示例。
图11示出了原图像901，各帧以1/fps1的间隔进行切换。
图12示出了宽阔视野图像的显示，左眼用控制部105按照以下方式进 行控制，即，从原图像901的帧中提取fps1n/fps1的帧，以fps1w的帧率 进行显示。在该实例中，fps1w/fps1等于0.5，因此，原图像901的帧之中 的一半被选择、显示出来。
图13示出了狭窄视野图像的显示，右眼用控制部111按照以下方式进 行控制，即，从原图像901的帧中提取fps1n/fps1的帧，并将其中心部分 的图像以fps1n的帧率进行显示。在该实例中，fps1n/fps1等于1，因此， 原图像901的全部帧都被选择、显示出来。
在左眼中显示图12、右眼中显示图13，其结果是，利用双眼的融像效 果，用户看到的是图14所示的影像。
如图14所示，用户看到的是中心图像1001以高帧率fps1n(第1帧率) 显示、其余部分以低帧率fps1w(第2帧率)显示出来的影像。在眼睛视力 较高的中心部分，通过提高帧率而向用户显示出残影感觉少的影像，而在 视力较低的部分，则以低帧率显示宽阔视野的影像，从而能够扩大用户感 受到的影像视野角度。
此外，步骤803和步骤804的执行顺序既可以颠倒，也可以同时进行 处理。
另外，在本实施方式中是由左眼用控制部105决定显示方法的，但也 可以由右眼用控制部111来决定，或者也可以使用由两个控制部105、111 分担处理的方法。
(第2实施方式)
在本实施方式中示出了图1的左右侧扫描部103、108的镜像器件构造 不同的情形。下面以左眼用扫描部103作为宽阔视野用扫描部，以右眼用 扫描部108作为狭窄视野用扫描部。
如图15所示，用作宽阔视野用扫描部的左眼用扫描部103被设计为， 其使用来自左眼用光源101的入射激光，以水平扫描角度α2L度、垂直扫 描角度β2L度进行扫描，并具有显示水平分辨率为Nx2L、垂直分辨率为 Ny2L的图像的能力。另外，假定左眼用扫描部103的水平方向的驱动频率 为Hx2L、垂直方向的驱动频率为Hy2L，每1度扫描角度相当的分辨率为Δ NxL、ΔNyL。进而，假定左眼用扫描部103中所包含的单片反射镜的直径 为D2L。
如图16所示，用作狭窄视野用扫描部的右眼用扫描部108被设计为， 其使用来自右眼用光源110的入射激光，以水平扫描角度α2R度、垂直扫 描角度β2R度进行扫描，并具有显示水平分辨率为Nx2R、垂直分辨率为 Ny2R的图像的能力。另外，假定右眼用扫描部108的水平方向的驱动频率 为Hx2R、垂直方向的驱动频率为Hy2R，每1度扫描角度相当的分辨率为Δ NxR、ΔNyR。进而，假定右眼用扫描部108中所包含的单片反射镜的直径 为D2R。
图17A～图17C中示出了显示给用户的原图像1901。原图像1901的 水平方向分辨率为Nx2，垂直方向的分辨率为Ny2。另外，原图像1901的 帧率为fps2。在本实施方式中，按照以下方式进行设计，即，当左眼用扫 描部103以水平扫描角度α2L、垂直扫描角度β2L进行激光扫描时，用户 利用图1的激光扫描型HMD所看到的图像的水平视场角为γ2L、垂直视场 角为δ2L。图15中示出了左眼用扫描部103的水平扫描角度α2L和用户看 到的水平视场角γ2L的关系。
在本实施方式中，按照以下方式进行设计，即，当右眼用扫描部108 以水平扫描角度α2R、垂直扫描角度β2R进行激光扫描时，用户利用图1 的激光扫描型HMD所看到的图像的水平视场角为γ2R、垂直视场角为δ 2R。图16中示出了右眼用扫描部103的水平扫描角度α2R和用户看到的水 平视场角γ2R的关系。
这里，右眼用扫描部108被设计为以高像素来显示视野比左眼用扫描 部103狭窄的图像。为此，右眼用扫描部108的反射镜的直径D2R被设计 为大于左眼用扫描部103的反射镜的直径D2L。
镜像器件的分辨率与扫描角度和镜像尺寸成比例关系。因此，就每1 度扫描角度相当的分辨率而言，镜像尺寸较大的右眼用扫描部108更高(Δ NxR＞ΔNxL、ΔNyR＞ΔNyL)。即，在本实施方式中，与左眼用扫描部103 所显示的图像相比，由右眼用扫描部108显示出来的图像能够显示更精细 的像素。
下面示出通过改变左右侧的显示来提高被观看到的显示图像的分辨率 的实例。该处理通过图19所示的步骤2101～2104来实施。
(步骤2101：中心图像的选择)
在本步骤中，确定向用户显示的整个图像之中作为中心图像2001进行 显示的区域。
扫描范围设定部1051按照图18A～图18C所示方式确定原图像1901 内作为中心图像2001来进行显示的图像的范围。在本实施方式中，扫描范 围设定部1051将中心图像1001确定为在使用HMD进行观看时水平视场 角为γ2R、垂直视场角为δ2R的区域。
这时，中心图像2001的水平分辨率Nx2c和垂直分辨率Ny2c可以根据 其与原图像1901的分辨率及视场角的关系而使用算式(9)及算式(10) 计算出来。原图像1901的分辨率Nx2、Ny2、视场角γ2L、δ2L的值可以 在设计HMD时确定，因此，在本实施方式中，这些值预先提供给左眼用 控制部105。
[算式9]
Nx2c＝Nx2×tan(γ2R/2)/tan(γ2L/2)         (9)
[算式10]
Ny2c＝Ny2×tan(δ2R/2)/tan(δ2L/2)         (10)
求得中心图像2001的分辨率Nx2c、Ny2c后，扫描范围设定部1051以 原图像1901的中央部位像素为中心，确定高度为Ny2c、宽度为Nx2c的分 辨率区域，作为中心视野的图像即中心图像2001。
此外，原图像1901的分辨率Nx2、Ny2的值既可以由左眼用控制部105 通过图像分析求取，也可以根据附加在原图像1901上的元数据求取。原图 像1901的视场角γ2L、δ2L也可以使用以下方法求取，即，利用摄像头等 拍摄从扫描部103投影到偏转部104上的激光的形状，由左眼用控制部105 根据该形状进行计算。在这种情况下，即使扫描部103和偏转部104的位 置关系发生了变化，也能够正确地求得视场角γ2L、δ2L。
此外，也可以利用光检测部214，使用与第1实施方式中所述的相同方 法，根据用户的视线决定中心图像2001的区域。
(步骤2102：分辨率的削减)
在本步骤中，显示分辨率设定部1053确定在前一步骤中所确定的中央 图像2001及原图像1901时的分辨率。
如果原图像1901的分辨率Nx2、Ny2超过了左眼用扫描部103所能够 显示的分辨率Nx2L、Ny2L，分辨率设定部1053就执行使原图像1901的像 素粗糙化的处理，生成水平分辨率为Nx2L、垂直分辨率为Ny2L的宽阔视 野图像。如果原图像1901的分辨率Nx2、Ny2小于等于左眼用扫描部103 所能够显示的分辨率Nx2L、Ny2L，则将原图像1901设定为宽阔视野图像。
另外，如果前一步骤中求得的中心图像2001的分辨率Nx2c、Ny2c超 过了右眼用扫描部108所能够显示的分辨率Nx2R、Ny2R，分辨率设定部 1053就执行使中心图像2001的像素粗糙化的处理，生成水平分辨率为 Nx2R、垂直分辨率为Ny2R的狭窄视野图像。另外，如果中心图像2001的 分辨率Nx2c、Ny2c小于等于右眼用扫描部108所能够显示的分辨率Nx2R、 Ny2R，就将中心图像2001确定为狭窄视野图像。
(步骤2103：帧率)
在本步骤中，帧率设定部1054确定在显示前一步骤中所求得的宽阔视 野图像及狭窄视野图像时的帧率。
帧率设定部1054根据所述的表示帧率与扫描部103、108的垂直方向 驱动频率的关系的算式(1)，将宽阔视野图像的帧率fps2w设定为2×Hy2L 的值，将狭窄视野图像的帧率fps2n设定为2×Hy2R的值。
(步骤2104：图像控制)
在本步骤中，控制部105、111对应于在前一步骤中确定的狭窄视野图 像和宽阔视野图像的分辨率及帧率，对光源101、110、波阵面形状变更部 102、109和扫描部103、108进行控制。
右眼用控制部111控制用于显示与用户的中心视野相对应的中心图像 2001的右眼用光源110，使其输出与狭窄视野图像相对应的激光。另外， 控制右眼用扫描部108以水平扫描角度为α2R、垂直扫描角度为β2R、水 平方向驱动频率为Hx2R、垂直方向驱动频率为Hy2R的方式进行扫描。
左眼用控制部105控制用于显示整个图像的左眼用光源101，使其输出 与宽阔视野图像相对应的激光。另外，控制左眼用扫描部103以水平扫描 角度为α2L、垂直扫描角度为β2L、水平方向驱动频率为Hx2L、垂直方向 驱动频率为Hy2L的方式进行扫描。
使用图20～图23示出用户在此时所看到的影像的实例。为简单起见， 使用原图像1901的帧率fps2和宽阔视野图像的帧率fps2w及狭窄视野图像 的帧率fps2n相等时的图进行示例。
图20示出了原图像1901，各帧以1/fps2的间隔进行切换。
图21示出了宽阔视野图像的显示，左眼用控制部105按照以下方式进 行控制，即，从原图像1901的帧中提取fps2w/fps2的帧，以fps2w的帧率 进行显示。在该实例中，fps2w/fps2等于1，因此，原图像1901的全部帧 都被选择、显示出来。
图22示出了狭窄视野图像的显示，右眼用控制部111按照以下方式进 行控制，即，从原图像1901的帧中提取fps2n/fps2的帧，并将其中心部分 的图像以fps2n的帧率进行显示。在该实例中，fps2n/fps2等于1，因此， 原图像1901的全部帧都被选择、显示出来。
在左眼中显示图21、右眼中显示图22，其结果是，利用双眼的融像效 果，用户看到的是图23所示的影像。
如图23所示，用户看到的是中心图像以高分辨率(第1分辨率)显示、 其余部分以低分辨率(第2分辨率)显示出来的影像。在眼睛视力较高的 中心部分，通过提高分辨率而向用户显示出高精细度的影像，而在视力较 低的部分，则以低分辨率显示宽阔视野的影像，从而能够扩大用户感受到 的影像的视野角度。
此外，步骤2102和步骤2103的执行顺序既可以颠倒，也可以同时进 行处理。
另外，本实施方式中举出的是在右眼中显示狭窄视野的图像、在左眼 中显示宽阔视野的图像的实例，但也可以使用左右互换后的结构进行处理。 在这种情况下，针对左眼视力高的用户，就可以利用视力较高的一侧眼睛 显示分辨率高的影像。
另外，在本实施方式中是由左眼用控制部105决定显示方法的，但也 可以由右眼用控制部111来决定，或者也可以使用由两个控制部105、111 分担处理的方法。
(第3实施方式)
在本实施方式中示出的方法是，通过分别改变左右眼中所显示的图像 形状，来抑制梯形失真校正时视野角度的缩小。
参照图1A、图1B、图2和图24，说明本发明的第3实施方式中的眼 镜型光束扫描型显示装置(头戴式显示器：HMD)。其中，图1A、图1B、 图2中示出的结构与第1实施方式相同，因此省略其说明。
控制部105、111具备用于控制HMD各部分的集成电路。由控制部105、 111控制从光源101、110发出的激光的输出、以及波阵面形状变更部102、 109和扫描部103、103的动作。
图24示出了控制部105的功能框图。控制部105具备：梯形失真判定 部1801、矩形区域决定部1802、剩余区域决定部1803、图像控制部1804、 高宽比调整部1805、失真校正部1806和输出图像控制部1807。此外，控 制部111也是同样的结构。
梯形失真判定部1801对因左眼用扫描部103进行扫描的光束斜向射入 左眼用偏转部104而产生的梯形形状的左眼用失真图像的形状进行判定。 同样地，对右眼用偏转部107所产生的右眼用失真图像的形状进行判定。
矩形区域决定部1802决定以左眼用失真图像的长边的一部分为第1 边、以与第1边正交并且连结第1边的端点和左眼用失真图像的斜边的线 段为第2边的矩形形状的左眼用矩形区域。当在右眼用偏转部107上变形 投影了右眼用图像的情况下，进行同样的处理。
剩余区域决定部1803将与矩形区域决定部1802所决定的左眼用矩形 区域相邻的梯形形状区域确定为左眼用剩余区域。同样地，将与右眼用矩 形区域相邻的梯形形状区域确定为右眼用剩余区域。
图像控制部1804进行图像尺寸大小的测定和比较，并在梯形失真判定 部1804、矩形区域决定部1802、剩余区域决定部1803及高宽比调整部1805 之间传递控制信息。
高宽比调整部1804a按照使原图像收容在由矩形区域决定部1802所决 定的左眼用矩形区域和右眼用矩形区域合成的区域内的方式，对原图像的 高度和宽度之中的某一方进行调整，产生校正图像。
失真校正部1804b生成使校正图像预先向与左眼用失真图像相反方向 变形(反向校正)的左眼用校正图像，以便在左眼用偏转部上投影产生不 失真的左眼用图像。对于右眼一侧也进行同样的处理。
输出图像控制部1804c对光源101进行控制，以便输出左眼用校正图 像之中与左眼用矩形区域及左眼用剩余区域相对应的部分。对于右眼一侧 的光源110也进行同样的控制。
此外，控制部105、111也可以具备通信部，与移动电话等外部设备进 行无线连接，接收影像和声音信号。图像控制部1804既可以具备用于保存 向用户展示的图像的存储器，或者也可以通过无线方式从外部设备获取向 用户展示的图像。
此外，控制部105、111可以只有一个，通过控制部105、111之中的 某一个，对与左右眼相对应的光源101、110、波阵面形状变更部102、109、 扫描部103、108及耳机部106、112的动作进行控制。
耳机部106、112具备扬声器，用于输出声音。此外，耳机部106、112 也可以具备为HMD各部分供电的电池。
此外，图1中的各装置和各部分既可以内置于1台HMD内，也可以 不内置在1台HMD内。例如，1台HMD内既可以包含图1中的全部部件， 也可以没有耳机部106、112。另外，各部件也可以是分散配置的。例如， 控制部105、111可以包含在扫描部103、108或波阵面形状变更部102、109 之中作为其一部分。也可以由多台设备共用图1的各部件。例如，可以由2 台HMD共用激光光源211、212、213。
接着说明利用融像效果对显示图像的梯形失真进行校正的方法。图25 中示出了图1所示的光束扫描显示装置中的图像失真的实例。如上所述， 扫描部103、108向偏转部104、107倾斜投影光束，其结果是，原本应显 示为矩形的图像在偏转部104、107上变形投影成了左眼用失真图像601a、 右眼用失真图像602a。
在本发明中，通过判定来自扫描部103、108的图像在与用户视线垂直 的面上所成的形状，并对该投影像的形状进行控制，从而实现梯形失真的 校正。在本实施方式中，将偏转部104、107作为与用户视线垂直的面对待， 因此此后也将偏转部104、107上的左眼用失真图像601a和右眼用失真图 像602a作为与在用户视线的垂直面上形成的投影像同等的图像进行处理。
下面示出在图1的光束扫描型显示装置中利用所述的融像效果对图25 所示的梯形失真进行校正的实例。通过图26所示的步骤1001a～1011a进 行梯形失真校正。
(步骤1001a：偏转部上的投影像的形状推算)
在本步骤中，控制部105、111的梯形失真判定部1801推算出图像相 对于用户视线的垂直面的失真形状。在本实施方式中，偏转部104、107被 设计成与用户视线方向垂直的面，因此，在本步骤中，判定偏转部104、107 上的失真图像601a、602a的形状。
下面使用图27、图28和算式(11)～算式(15)说明判定左眼用失真 图像601a形状的方法。
(1.扫描部与偏转部上的投影像的距离的计算)
图27从HMD上方示出了来自左眼用扫描部103的激光在左眼用偏转 部104上的投影。
来自左眼用扫描部103的激光以水平方向的θx(＝θx2-θx1)投射角， 朝向左眼用偏转部104投影。这时，左眼用失真图像601a的边LA-LB与 左眼用扫描部103之间的距离d1可以通过算式(11)计算出来。另外，左 眼用失真图像601a的边LD-LC与左眼用扫描部103之间的距离d2可以 通过算式(12)计算出来。这里，OC表示从扫描部103朝着左眼用偏转部 104延伸的垂直线距离。另外，左眼用失真图像601a在左眼用偏转部104 上的宽度WL可以通过算式(13)计算出来。
[算式11]
d1＝OC/cosθx1                  (11)
[算式12]
d2＝OC/cosθx2                  (12)
[算式13]
WL＝d2×sinθx2-d1×sinθx1     (13)
这里，算式(11)～算式(13)中所使用的θx1、θx2和OC的值是在 设计图1所示的光束扫描型显示装置时确定的值，将这些值预先提供给梯 形失真判定部1801，就能够利用算式(11)～算式(13)计算出d1、d2、 WL的值。
此外，也可以使用在左眼用扫描部103中包含用于判定当前扫描角度 的传感器，由此取得投射角θx1、θx2，并将这些值通报给梯形失真判定部 1801的方法。在这种情况下，即使当左眼用扫描部103的扫描角度偏离了 设计时的估计值的情况下，也可以正确地求得投射角θx1、θx2的值。
另外，也可以使用在左眼用扫描部103中包含用于取得来自左眼用偏 转部104的反射光的装置，根据反射光的强度或相位直接推测出d1、d2的 方法。在这种情况下，即使光束扫描型显示装置的形状发生了变形而变为 了不同于设计时形状的情况等，也能够正确地求得d1、d2的的值。
(2.根据光源的投射角度计算上底、下底的边长)
接着，判定左眼用失真图像601a的边LA-LB和边LD-LC的长度。
图28示出了在与偏转部104垂直的方向上观察左眼用失真图像601a 时所见的图。如图28所示，来自扫描部103的光在垂直方向上以投射角θ y发散，因此，左眼用失真图像601a的边LA-LB的长度HL1和边LD-LC 的长度HL2可以分别通过算式(14)和算式(15)计算出来。
[算式14]
HL1＝2×d1×tan(θy/2)                 (14)
[算式15]
HL2＝2×d2×tan(θy/2)                  (15)
这里，算式(14)和算式(15)中所使用的θy的值是在图1的设计时 确定的值，将该值预先提供给梯形失真判定部1801，就能够计算出HL1、 HL2的值。
此外，也可以使用在左眼用扫描部103中包含用于判定当前扫描角度 的传感器，由此取得投射角θy，并将该值通报给梯形失真判定部1801的 方法。在这种情况下，即使是左眼用扫描部103的扫描角度偏离了设计时 的估计值的情况等，也可以正确地求得投射角θy的值。
此外，这里举出的是计算左眼用偏转部104上的左眼用失真图像601a 的失真的实例，右眼用偏转部107上的右眼用失真图像602a的失真也可以 通过同样的计算式计算出来。
图29和图30中示出了利用梯形失真判定部1801判定得到的左眼用失 真图像601a和右眼用失真图像602a的尺寸的实例。在本步骤中，判定得 到了左眼用偏转部104上的左眼用失真图像601a的高度HL1、HL2、及宽 度WL、右眼用偏转部107上的右眼用失真图像602a的高度HR1、HR2、及 宽度WR。该结果被通报给图像控制部1804。
此外，也可以使用以下方法，即，将左右侧的扫描部103、108投影过 来的图像在与用户视线垂直的面上的形状预先保存到存储部中，在步骤 1001a中从存储部读取该形状。在这种情况下，可以省略步骤1001a的处理。
另外，也可以使用以下方法，即，在光束扫描型显示装置上安装摄像 头，对偏转部104、107上的投影像进行拍摄，根据投影像的形状判定投影 像在与用户视线方向垂直的面上的形状。在这种情况下，即使扫描部103、 108、偏转部104、107的位置关系发生了错位，也能够正确地测定投影像 的形状。
(步骤1002a：左右侧投影像的大小比较)
在本步骤中，图像控制部1804基于前一步骤1001a的判断结果，比较 左眼用失真图像601a和右眼用失真图像602a的高度，并根据比较结果决 定梯形失真校正的处理方法。
在HL2≥HR2并且HR1≥HL1的情况下，执行1003a的处理。另一方面， 在HL2＜HR2或HR1＜HL1的情况下，执行1009a的处理。此时，比较结果 被通报给矩形区域决定部1802和剩余区域决定部1803。
接着，通过执行步骤1003a～1007a，决定用于显示校正后的图像的区 域。具体地，在左眼用失真图像601a的显示区域之中决定由左眼用矩形区 域1401a和左眼用剩余区域1402a所构成的左眼用显示区域601b。同样地， 在右眼用失真图像602a的显示区域之中决定由右眼用矩形区域1501a和右 眼用剩余区域1502a所构成的右眼用显示区域602b。
(步骤1003a：校正后图像区域的确定)
在本步骤中，图像控制部1804决定左右侧的显示图像融像后用户所看 到的图形(图31)的高度H。高度H设定在满足HL1≤H≤HL2及HR2≤H ≤HR1的关系的范围内。所决定的H值被通报给矩形区域决定部1802。
此外，在决定高度H时，也可以采用由用户通过HMD的用户界面直 接输入的方式。在这种情况下，可以显示与用户喜好相适应的图像大小。 另外，也可以使用预先将期望的高度H值保存到存储部中，在执行本步骤 时从存储部中读取高度H值的方法。
(步骤1004a：左眼矩形区域的确定)
在本步骤中，矩形区域决定部1802在左眼用偏转部104上的左眼用显 示区域601b内确定左眼用矩形区域1401a。使用图32示出该方法。
首先，按照以下方式确定线Xl1-Xl2的位置，即，使其与左眼用偏转 部104上的左眼用显示区域601b的边LA-LB及边LC-LD平行，并且线 段长度等于在前一步骤中决定的高度H。
接着，假定从点Xl1到边LD-LC的垂直线与边LD-LC的交点为LD1、 从点Xl2到边LD-LC的垂直线与边LD-LC的交点为LC1。
这时，在左眼用偏转部104上的左眼用显示区域601b内，确定将左眼 用显示区域601b的长边的一部分(LD1-LC1)作为第1边、将与第1边正 交并且连结第1边的端点(LD1、LC1)和左眼用显示区域601b的斜边(边 LA-LD、边LB-LC)的线段(Xl1-LD1、Xl2-LC1)作为第2边的左眼 用矩形区域1401a(LD1-LC1-Xl2-Xl1)。该结果被通报给剩余区域决 定部1803和图像控制部1804。
(步骤1005a：右眼矩形区域的确定)
在本步骤中，矩形区域决定部1802在右眼用偏转部107上的右眼用显 示区域602b内确定右眼用矩形区域1501a。使用图33示出该方法。
首先，按照以下方式确定线Xr1-Xr2的位置，即，使其与右眼用偏转 部107上的右眼用显示区域602b的边RA-RB及边RC-RD平行，并且 线段长度等于高度H。
接着，假定从点Xr1到边RA-RB的垂直线与边RA-RB的交点为 RAr、从点Xr2到边RA-RB的垂直线与边RA-RB的交点为RBr。
这时，在右眼用偏转部107上的右眼用显示区域602b内，确定将右眼 用显示区域602b的长边的一部分(RAr-RBr)作为第3边、将与第3边 正交并且连结第3边的端点(RAr、RBr)和右眼用显示区域602b的斜边 (边RA-RD、边RB-RC)的线段(Xr1-RAr、Xr2-RBr)作为第4边 的右眼用矩形区域1501a(RAr-RBr-Xr2-Xr1)。该结果被通报给剩余 区域决定部1803和图像控制部1804。
(步骤1006a：左眼剩余区域的确定)
在本步骤中，剩余区域决定部1803在左眼用偏转部104上的左眼用显 示区域601b内确定左眼用剩余区域1402a。左眼用显示区域601b的左眼用 剩余区域1402a被设定为与矩形区域1401a的左侧邻接的区域。使用图32 示出该方法。
左眼用剩余区域1420a是以在步骤1004a中确定的边Xl1-Xl2(第1 边的对边)为右边(长边)、以左眼用显示区域601b的斜边(Xl1-Xl3、 Xl2-Xl4)的一部分为斜边的梯形形状的图形，如果将其宽度表示为WL2， 则按照以下方式确定。
(在W≥WL1+WR1的情况下)
设定WL2＝WR1，确定与边Xl1-Xl2平行并且距离为WL2的边Xl3- Xl4。此时，左眼用剩余区域1402a就被确定为由边Xl1-Xl2、边Xl4-Xl2、 边Xl3-Xl4和边Xl3-Xl1所围成的区域。
(在W＜WL1+WR1的情况下)
设定WL2＝W-WL1。此时，左眼用剩余区域1402a就被确定为由边 LB-Xl2、边LA-LB、边LA-Xl1和边Xl1-Xl2所围成的区域。
该结果被通报给图像控制部1804。
(步骤1007a：右眼剩余区域的确定)
在本步骤中，剩余区域决定部1803在右眼用偏转部107上的右眼用显 示区域602b内确定右眼用剩余区域1502a。右眼用显示区域602b的右眼用 剩余区域1502a被设定为与右眼用矩形区域1501a的右侧邻接的区域。使 用图33示出该方法。
右眼用剩余区域1502a是以在步骤1005a中确定的边Xr1-Xr2(第3 边的对边)为左边(长边)、以右眼用显示区域602b的斜边(Xr1-Xr3、 Xr2-Xr4)的一部分为斜边的梯形形状的图形，如果将其宽度表示为WR2， 则按照以下方式确定。
(在W≥WL1+WR1的情况下)
设定WR2＝WL1，确定与边Xr1-Xr2平行并且距离为WR2的边Xr3 -Xr4。此时，右眼用剩余区域1402a就被确定为由边Xr1-Xr2、边Xr2 -Xr4、边Xr3-Xr4和边Xr1-Xr3所围成的区域。
(在W＜WL1+WR1的情况下)
设定WR2＝W-WR1。此时，右眼用剩余区域1402a就被确定为由边 Xr2-RC、边RD-RC、边Xr1-RD和边Xr1-Xr2所围成的区域。
该结果被通报给图像控制部1804。
接着，参照图35～图42说明左眼用显示区域601b和右眼用显示区域 602b中所显示的图像的图像处理。
(步骤1008a：图像处理)
在本步骤中，控制部105、111对左眼用图像601和右眼用图像602进 行变形并基于变形结果控制激光输出，以使得像素仅在由步骤1004a～ 1006a所确定的矩形区域1401a、1501a和剩余区域1402a、1502a的范围内 显示出来。
控制部105、111按照图35所示的步骤2801a～步骤2804a，对显示图 像进行变形。下面参照图36A～图42示出图像变形的实例。
(步骤2801a：显示图像的高宽比变更)
在本步骤2801a中，高宽比调整部1805对显示给用户的图像进行高宽 比的比例变换。使用图36A、图36B和算式(16)说明该实例。原图像1901a 被保存在图像控制部1804内的存储部(存储器等)。图1的HMD将这整 个图像显示给用户。
在本步骤2801a内，高宽比调整部1805以使原图像1901a的高宽比等 于将左眼用显示区域601b和右眼用显示区域602b重合时的高宽比(H∶ W1+W2)的方式进行变形。在本实施方式中，将横向尺寸从X缩小或放 大为X′，生成校正图像1902a。这里，通过算式(16)求出X′。
[算式16]
X′＝Y×(WL1+WR1)/H                         (16)
(步骤2802a：显示图像的显示区域的确定)
在本步骤2802a中确定经前一步骤2801a变形之后的校正图像1902a 之中的将显示到偏转部104、107上的区域。使用图37、图38和算式(17) 及算式(18)说明该实例。高宽比调整部1805确定校正图像1902a之中将 要显示到左眼用偏转部104上的区域的宽度XL。这里，通过算式(17)求 出XL。图像控制部1804从校正图像1902a中自右端开始宽度为XL的部分 截取下来，生成左眼用部分图像2001a。
[算式17]
XL＝X′×(WL1+WL2)/(WL1+WR1)                 (17)
同样地，高宽比调整部1805确定校正图像1902a之中将要显示到右眼 用偏转部107上的区域的宽度XR。这里，通过算式(18)求出XR。图像控 制部1804从校正图像1902a中自左端开始宽度为XR的部分截取下来，生 成右眼用部分图像2101a。
[算式18]
XR＝X′×(WR1+WR2)/(WL1+WR1)             (18)
(步骤2803a：显示图像的变形)
在本步骤2803a中，失真校正部1806对左眼用部分图像2001a进行梯 形校正(逆校正)，使其向与左眼用失真图像601a相反方向变形，从而在 左眼用偏转部104上显示出左眼用图像601。同样地，对右眼用部分图像 2101a进行梯形校正(逆校正)，使其向与右眼用失真图像602a相反方向 变形，从而在右眼用偏转部107上显示出右眼用图像602。使用图39、图 40和算式(19)～算式(22)说明该实例。
如图39所示，失真校正部1806将左眼用部分图像2001a放大或缩小 为左眼用梯形图像2201a。这里，左眼用梯形图像2201a的下底YL1和上底 YL2通过算式(19)和算式(20)计算出来。在本步骤2803a的处理中， 左眼用部分图像2001a的左侧(线段P1-P2以左的区域)的图像被纵向拉 伸，右侧(线段P1-P2以右的区域)的图像被压缩，生成左眼用梯形图像 2201a。这里，线段P1-P2定位在如图39所示的、使XL1与XL2的长度比 例为WL2∶WL1的位置。
[算式19]
YL1＝Y×H/HL1                    (19)
[算式20]
YL2＝Y×H/HL2                    (20)
同样地，如图40所示，失真校正部1806将右眼用部分图像2101a放 大或缩小为右眼用梯形图像2301a。这里，右眼用梯形图像2301a的下底 YR1和上底YR2通过算式(21)和算式(22)计算出来。在本步骤2803a 的处理中，右眼用部分图像2101a的右侧(线段P3-P4以右的区域)的图 像被纵向拉伸，左侧(线段P3-P4以左的区域)的图像被压缩，生成右眼 用梯形图像2301a。这里，线段P3-P4定位在如图40所示的、使XR1与 XR2的长度比例为WR1∶WR2的位置。
[算式21]
YR1＝Y×H/HR1                          (21)
[算式22]
YR2＝Y×H/HR2                          (22)
(步骤2804a：逆梯形校正)
在本步骤2804a中，输出图像控制部1807以使经前一步骤2803a变形 后的左眼用梯形图像2201a投射到左眼用偏转部104上的左眼用显示区域 601b内的方式进行校正。同样地，以使右眼用梯形图像2301a投射到右眼 用偏转部107上的右眼用显示区域602b内的方式进行校正。使用图41和 图42示出该实例。
这里，将左眼用梯形图像2201a内从点P1到左眼用梯形图像2201a的 左边的垂直线与左眼用梯形图像2201a的左边的交点表示为P5，从点P2 到左眼用梯形图像2201a的左边的垂直线与左眼用梯形图像2201a的左边 的交点表示为P6。此时，输出图像控制部1807从梯形区域2202a之中截取 线段P1-P5以上的区域和线段P2-P6以下的区域，得到左眼投影用图像 2401a。
左眼投影用图像2401a是由在左眼用偏转部104上形成左眼用剩余区 域1402a的矩形区域2402a和在左眼用偏转部104上形成左眼用矩形区域 1401的梯形区域2203a构成的。此外，如果控制左眼用光源101的输出， 将左眼投影用图像2401a投射到偏转部104上，就会在图32所示的左眼用 显示区域601b上显示出没有失真的图像。
同样地，在右眼用梯形图像2301a内，将从点P3到右眼用梯形图像 2301a的右边的垂直线与右眼用梯形图像2301a的右边的交点表示为P7， 从点P4到右眼用梯形图像2301a的右边的垂直线与右眼用梯形图像2301a 的右边的交点表示为P8。此时，输出图像控制部1807从梯形区域2303a 之中截取线段P3-P7以上的区域和线段P4-P8以下的区域，得到右眼投 影用图像2501a。
右眼投影用图像2501a是由在右眼用偏转部107上形成右眼用剩余区 域1502a的矩形区域2502a和在右眼用偏转部107上形成右眼用矩形区域 1501a的梯形区域2302a构成的。此外，如果控制右眼用光源110的输出， 将右眼投影用图像2501a投射到右眼用偏转部107上，就会在图33所示的 右眼用显示区域602b内显示出没有失真的图像。
通过执行上述步骤2801a～2804a，所生成的左眼投影用图像2401a和 右眼投影用图像2501a在偏转部104、107上受到梯形失真的影响，变成图 32和图33的斜线所示的形状。
继而，看到了偏转部104、107上所显示的图像的用户就会因融像效果 而识别出图34所示的融像后图形1601a。图34所示的融像后图形1601a 的左上角和左下角的像素只能被右眼看到，而右上角和右下角的像素只能 被左眼看到，整体上看到的就是没有梯形失真的矩形。此时，显示出来的 图像与图36B所示的校正图像1902a一致。
另外，融像后图形1601a的高度H满足HL1≤H、HR2≤H的关系，因 此，与现有的梯形校正方法相比，其具有提高了梯形失真校正后的图像高 度的效果。
此外，步骤1004a和步骤1005a的执行既可以颠倒顺序，也可以同时 进行。同样地，步骤1006a和步骤1007a的执行既可以颠倒顺序，也可以 同时进行。
此外，输出图像控制部1807也可以通过控制光源101、110，降低针对 图34中左右眼的图像相互重合的部分的激光输出。另外，反之也可以通过 输出图像控制部1807来控制光源101、110，从而提高激光输出，以使得图 34中仅有单侧眼睛看到的像素的亮度提高。通过进行上述任意一种控制， 就能够避免画面区域内出现亮度斑点等状态。
另外，图像控制部1804也可以改变高度H的值重复执行步骤1004a 以下的处理，直到使高度H的值与宽度WL1和WR1之和的比率达到特定 比率(例如16∶9或4∶3)。这种情况下，就可以舒适地向用户显示以16∶ 9或4∶3的高宽比播出的电视节目等影像。另外，输出图像控制部1807 也可以不显示投影用图像2401a、2501a之中的在偏转部104、107上成为 剩余区域1402a、1502a的矩形区域2402a、2502a的任意像素。矩形区域 2402a、2502a的像素与另一侧眼睛中的梯形区域2203a、2303a的像素重合， 因此，即使削减了显示像素数，用户也难以察觉。
(步骤1009a：左眼矩形区域)
在本步骤中，矩形区域决定部1802根据在步骤1002a中的比较结果， 在左眼用失真图像601a及右眼用失真图像602a中的较大的图像之中确定 矩形区域。
下面描述的是在左眼用失真图像601a较大(HR1＜HL1)的情况下的实 施例，在HL2＜HR2的情况下，只要交换左右的处理即可，本质上没有差异。
使用图43说明本步骤的处理。
矩形区域决定部1802将经左眼用失真图像601a的点LA且垂直于LD -LC的垂直线与边LD-LC的交点作为LD1、将经点LB且垂直于边LD -LC的垂直线与边LD-LC的交点作为LC1。这时，左眼用矩形区域1401b 被确定为LA-LB-LC1-LD1。另外，右眼用矩形区域的面积设定为0。该 结果被通报给图像控制部1804。
(步骤1010a：右眼梯形区域)
在本步骤中，剩余区域决定部1803根据在步骤1002a中的比较结果， 在左眼用失真图像601a及右眼用失真图像602a之中较小的图像中确定剩 余区域。使用图44示出该方法。本步骤中，根据WL与WR的值的大小关 系，区别执行不同的处理。
(当WR＜WL时)
剩余区域决定部1803将右眼用失真图像602a的全部区域确定为右眼 用剩余区域1502b。
(当WR≥WL时)
剩余区域决定部1803将以右眼用失真图像602a的边RA-RB(长边) 作为左边、宽度为W的区域RA-RB-Xr4-Xr3确定为右眼用剩余区域 1502b。另外，左眼用剩余区域的面积设定为0。该结果被通报给图像控制 部1804。
(步骤1011a)
在本步骤中，图像控制部1804以仅在由步骤1009a和1010a所确定的 左眼用矩形区域1401b和右眼用剩余区域1502b的范围内显示出像素的方 式，对左眼用图像601和右眼用图像602进行变形并控制光源101、110的 激光输出。
此时，与步骤1008a相同，控制部105针对左右侧的图像执行图35所 示的步骤2801a～2804a。不过，对于左眼用失真图像601a和右眼用失真图 像602a之中较小的图像，不是执行步骤2802a，而是代之以执行下面的步 骤2805a。
(步骤2805a)
在本步骤2805a中，根据校正图像1902a确定显示区域。使用图46、 图47和算式(23)及算式(24)示出该实例。
当左眼用偏转部104上的左眼用失真图像601a高度较低的情况下，图 像控制部1804根据校正图像1902a确定在左眼用偏转部104上显示的区域 的宽度XL。这里，通过算式(17)求出XL。另外，确定在左眼用偏转部 104上显示的区域的高度YL。这里，YL由算式(23)确定。图像控制部1804 按照图46所示方式，从校正图像1902a中截取自右端开始宽度为XL且在 图像中央高度为YL的区域，生成左眼用部分图像2601a。另外，将校正图 像1902a的整个区域设定为右眼用部分图像2701a。
[算式23]
YL＝Y×HL2/H                           (23)
另一方面，当右眼用偏转部107上的右眼用失真图像602a高度较低的 情况下，图像控制部1804根据校正图像1902a确定在右眼用偏转部107上 显示的区域的宽度XR。这里，通过算式(18)求出XR。另外，确定在右眼 用偏转部107上显示的区域的高度YR。这里，YR由算式(24)确定。图像 控制部1804按照图47所示方式，从校正图像1902a中截取自左端开始宽 度为XR并且在图像中央高度为YR的区域，生成右眼用部分图像2701a。另 外，将校正图像1902a的整个区域设定为左眼用部分图像2601a。
[算式24]
YR＝Y×HR1/H                           (24)
通过上述处理，图像控制部1804进行左眼用图像和右眼用图像的变形， 并控制光源101、110，使与变形图像相对应的光束投影到偏转部104、107。
其结果是，在左眼用偏转部104上显示出来的图像成为图43的斜线所 描绘的形状，在右眼用偏转部107上显示出来的图像成为图44的斜线所描 绘的形状。
此时，利用所述的双眼融像效果而使用户看到的图像的形状如图45所 示。对应于高度较高的投影像而改变显示像素，由此对视野角度宽阔的梯 形失真进行校正。
此外，步骤1009a和步骤1010a的执行既可以颠倒顺序，也可以同时 进行。
此外，输出图像控制部1807也可以按照以下方式进行控制，即，针对 图45中左右眼图像的重合部分，减少激光输出，从而使该部分与仅用单只 眼睛看到的像素之间不会出现亮度差异。另外，反之，输出图像控制部也 可以按照以下方式进行控制，即，针对图45中仅用单只眼睛看到的像素， 通过增加激光输出来提高其亮度，从而使图像整体不会产生亮度差异。在 这种情况下，就能够向用户显示没有亮度斑点的良好图像。
此外，在本实施方式中，左右侧的偏转部104、107上的失真图像601a、 602a并不必须是完整的梯形，即使是四个边上都发生了失真，也可以应用 本发明的方法。在这种情况下，即使偏转部不是平板、而是带有凹凸形状， 也可以利用双眼的融像效果扩展观看时的视野角度。
此外，在步骤1002a中，根据失真图像601a、602a的高度比较结果进 行分支处理；当用户双眼视力存在一定差别的情况下，也可以分支到步骤 1009a，将投影到视力较高的一侧眼睛中的投影像作为步骤1009a中高度较 高的投影像加以处理。此时，在步骤1010a中，通过控制使得投影到视力 较差的眼睛中的投影像的矩形区域、剩余区域面积都为0，从而能够消除视 力差的眼睛的影响。此外，作为视力判定的方法，既可以是使用户通过外 部接口输入的方法，也可以是使用根据激光的波阵面曲率和视网膜上的光 点大小进行类推的方法。
此外，既可以预先通过用户界面等输入用户的视力大小，也可以通过 向用户显示兰氏(Landolt)环，进行视力测定。另外，也可以根据投影到眼睛 上的光束的光回馈，检测出视网膜上的光点大小，进行视力推断。在这种 情况下，即使对于不了解自身视力状况的用户，也可以显示出良好的图像。
此外，在本实施方式中，偏转部104、107是与用户视线垂直的面，但 偏转部104、107可以相对于用户视线而倾斜，或者也可以不是平面形状。 在此情况下，本发明的处理就假想出一个与用户视线垂直的平面，并对该 假想平面上的投影像的形状进行控制，而不是对偏转部104、107上的图像 形状进行控制。
下面，参照图48说明本第3实施方式的典型实例。其中，图48是由 图29所示的左眼用失真图像601a和图30所示的右眼用失真图像602a重 合而成的图(实线部分)，实际上显示出图像的部分由斜线示出。
首先，图29所示的左眼用失真图像601a和图30所示的右眼用失真图 像602a在典型的情况下是全等图形。即，HL1＝HR2、HL2＝HR1、WL＝WR 成立。即，在步骤1002a中，满足HL2≥HR2并且HR1≥HL1的条件，因此 会执行步骤1003a～1008a。
接着，在步骤1003a中，假定左眼用失真图像601a中WL1＝WL2＝WL /2的位置处的高度为H。同样地，假定右眼用失真图像602a中WR1＝WR2 ＝WR/2的位置处的高度为H。
接着，在步骤1004a～1007a中，确定左眼用矩形区域1401a、右眼用 矩形区域1501a、左眼用剩余区域1402a和右眼用剩余区域1502a。这时， 左眼用显示区域601b和右眼用显示区域602b全等，高度H设定在WL1＝ WL2＝WR1＝WR2＝WL/2＝WR/2的位置，因此，两者重合后，就成为图 48所示。
即，左眼用矩形区域1401a的第2边(Xl1-LD1、Xl2-LC1)和右眼 用矩形区域1501a的第4边(Xr1-RAr、Xr2-RBr)成为穿过左眼用图像 601b和右眼用图像602b各个斜边的交点的直线。这时，用户看到的图像 (RAr-LD1-LC1-RBr)达到最大。
接着，执行步骤2801a～步骤2804a的图像处理。这时，在步骤2802a 中，XL＝XR＝X′，因此，在左右两侧，整个校正图像1902a都成为显示对 象。
另外，在本实施方式中是由左眼用控制部105决定显示方法的，但也 可以由右眼用控制部111来决定，或者也可以使用由两个控制部105、111 分担处理的方法。
(第4实施方式)
在本实施方式中示出通过改变在左右侧眼睛中显示的像素数来提高显 示图像的帧率的方法。
参照图1A、图1B、图2和图49，说明本发明的第4实施方式中的眼 镜型光束扫描型显示装置(头戴式显示器：HMD)。其中，图1A、图1B 和图2中示出的结构与第1实施方式相同，因此省略其说明。
控制部105、111具备用于控制HMD各部分的集成电路。由控制部105、 111控制从光源101、110发出的激光的输出、以及波阵面形状变更部102、 109和扫描部103、108的动作。
图49表示本实施方式中的左眼用控制部105的功能框图。左眼用控制 部105包含图像分析部801b、驱动频率决定部802b、电源管理部803b、显 示画质决定部804b、用户配置管理部805b、扫描模式决定部806b和图像 控制部807b。
图像分析部801b对原图像进行分析。具体地，其取得原图像的分辨率、 帧率和表示原图像内容的内容信息等。
驱动频率决定部802b根据电源管理部的检测结果，改变左眼用扫描部 103和右眼用扫描部108两者的驱动频率的最大值。
电源管理部803b检测光束扫描型显示装置中所装配的电池的剩余电 量。
显示画质决定部804b基于左眼用扫描部103和右眼用扫描部108的最 大驱动频率，对原图像的帧率和显示像素数两者之中的至少某一方进行校 正。
用户配置管理部805b保存着用户针对各个内容信息而设的画质校正 值、与用户视力相关的信息等。
扫描模式决定部806b使左眼用扫描部103和右眼用扫描部108分别以 规定的扫描模式扫描光束。具体地，其使左眼用扫描部103及右眼用扫描 部108分别按照以下方式进行光束扫描，即，将显示图像划分为多个扫描 区域，左眼用扫描部103及右眼用扫描部108在各帧中的扫描区域不同， 并且左眼用扫描部103及右眼用扫描部108各自在相邻的帧中的扫描区域 不同。
图像控制部807b控制光源101、110的输出，用以实现由扫描模式决 定部806b所决定的扫描模式。
此外，控制部105、111也可以具备通信部，与移动电话等外部设备进 行无线连接，接收影像和声音信号。控制部105、111既可以具备存储器用 于保存向用户展示的图像，或者也可以通过无线方式从外部设备获取向用 户展示的图像。
此外，控制部105、111可以只有一个，由控制部105、111之中的某 一个对与左右眼相对应的光源101、110、波阵面形状变更部102、109、扫 描部103、108及耳机部106、112的动作进行控制。在这种情况下，可以 削减光束扫描型显示装置的大小。
耳机部106、112具备扬声器，用于输出声音。此外，耳机部106、112 也可以包括为HMD各部分供电的电池。
此外，图1中的各装置和各部分既可以内置于1台HMD内，也可以 不内置在1台HMD内。例如，1台HMD内既可以包含图1中的全部部件， 也可以没有耳机部106、112。另外，各部件也可以分散配置。例如，控制 部105、111可以包含在扫描部103、108或波阵面形状变更部102、109之 中作为其一部分。也可以由多台设备共用图1的各部件。例如，可以由2 台HMD共用光源101、110。
下面以图1的光束扫描型显示装置为例，示出利用所述的融像效果提 高显示图像的帧率并同时抑制所观看到的画质的下降的处理实例。
其中，在本实施方式中，假定扫描部103、108是具有相同构造的镜像 器件。另外，如图74所示，假定该镜像器件是利用驱动元件驱动单片反射 镜在二维方向上进行扫描的器件。
在本实施方式中，扫描部103、108按照以下方式设计而成，即，使入 射激光以α4度水平扫描角度、β4度垂直扫描角度进行扫描，并具有显示 水平分辨率为Nx4、垂直分辨率为Ny4的图像的能力。另外，假定扫描部 103、108的水平方向的最大驱动频率为Hx4、垂直方向的最大驱动频率为 Hy4。另外，扫描部103、108在水平方向(第1方向)上进行扫描像素的 动作时，一边在垂直方向(与第1方向正交的第2方向)上依次移动位置， 一边多次重复该动作，由此描绘出1帧图像。另外，在本实施方式中，假 定扫描部103、108的显示图像的过扫描率为A。
下面示出用于决定本实施方式中的帧率和分辨率的处理的具体实例。 该处理通过执行图50所示的步骤701b～705b来实现。
(步骤701b)
在本步骤中，图像分析部801b对展示给用户的图像内容进行分析。图 51示例出图1的HMD向用户显示的图像的元数据即原图像。在本第4实 施方式中，将水平分辨率为Nx4orgn(以下以“orgn(original)”表示原图 像的参数)、垂直分辨率为Ny4orgn、帧率为fps4orgn的图像设定为原图像。 该原图像既可以存储在控制部105内的存储部中，也可以经由通信从外部 设备获取。
显示图像分析部801b通过分析原图像的图像数据，取得分辨率Nx4orgn、 Ny4orgn和帧率fps4orgn的值。
另外，图像分析部801b根据附加在原图像上的元数据，判定原图像的 内容(类型)是体育运动还是电影等。图52示例出本实施方式中附加在原 图像上的元数据。在提供有图52的元数据的情况下，图像分析部801b将 原图像的类型判定为“音乐”。
此外，图像分析部801b也可以根据附加在原图像上的元数据取得分辨 率Nx4orgn、Ny4orgn和帧率fps4orgn的值。另外，也可以预先设定图1的HMD 所处理的图像的格式，根据其设定值决定原图像的分辨率Nx4orgn、Ny4orgn 和帧率fps4orgn的值。在这种情况下，可以削减用于分析图像的处理成本。
另外，元数据的格式既可以采用图52所示的独有的XML(eXtensible Markup Language)格式，也可以采用遵循MPEG7(Moving Picture Experts Group7)等的标准化XML格式。
另外，元数据也可以是嵌入在图像数据的特定字段中的二进制数据。 在这种情况下，不需要另外处理元数据文件，因此图像管理更为容易。
(步骤702b)
在本步骤中，驱动频率决定部802b对扫描部103、108的最大驱动频 率Hx4、Hy4进行校正。
驱动频率决定部802b决定水平频率校正值Xa、垂直频率校正值Ya的 值，将它们分别乘以Hx4、Hy4，以生成扫描部103、108的水平方向的最 大容许驱动频率Hx4max和垂直方向的最大容许驱动频率Hy4max的值。
在本实施方式中，驱动频率决定部802b从电源管理部803b取得图1 的HMD当前的电池剩余电量，并根据电池的剩余电量值，决定作为画质 校正值的一个实例的水平频率校正值Xa和垂直频率校正值Ya的数值。图 53示出了驱动频率决定部802b根据电池剩余电量计算Xa、Ya值时所使用 的计算表的实例。在该实例中，图53的计算表的值是按照以下方式决定的， 即，当电池剩余电量低于60％后，就降低扫描部103、108的最大驱动频率， 以降低电力消耗。
此外，驱动频率决校正值Xa、Ya也可以由电池剩余电量之外的值决 定。例如，由于对扫描部103、108的使用年数进行了管理，因此也可以按 照使用年数越长，所使用的驱动频率越低的方式进行处理。在这种情况下， 可以进行考虑到光束扫描型显示装置的耐久性的处理。
另外，也可以在扫描部103、108上安装用于检测动作状态的传感器， 根据该传感器的值检测出设计规格上的最大驱动频率与实际上的最大驱动 频率之差，以与实际上的最大驱动频率值相适应的方式决定驱动频率校正 值Xa、Ya的数值。在这种情况下，即使实际的扫描部103、108动作与设 计值有所差异，也可以正确地进行处理。
(步骤703b)
在本步骤中，显示画质决定部804b决定在图1的HMD中向用户显示 的左右侧各个显示图像的水平分辨率Nx4disp(以下以“disp(display)”表 示显示图像的参数)、垂直分辨率Ny4disp、帧率fps4disp。
如上所述，扫描部103、108的水平方向驱动频率Hx、显示图像的垂 直方向分辨率Ny和帧率fps之间满足算式(4)的关系。因而，假定以帧 率fps4orgn显示垂直分辨率为Ny4disp的显示图像时所需的水平方向驱动频率 为Hx4orgn，则Hx4orgn可以表示为算式(25)。
[算式25]
Hx4orgn＝Ny4orgn×fps4orgn/(2×A)              (25)
这里，在扫描部103、108的水平方向最大容许驱动频率Hx4max的值超 过了显示原图像所必需的水平方向驱动频率Hx4orgn的情况下，显示画质决 定部804b将显示图像的分辨率Nx4disp、Ny4disp设定为原图像的Nx4orgn、 Ny4orgn，并将显示图像的帧率fps4disp设定为原图像的帧率fps4orgn的数值， 执行步骤704b的处理。
另一方面，在Hx4max的值低于Hx4orgn的情况下，扫描部103、108无 法显示垂直分辨率为Ny4orgn、帧率为fps4orgn的图像。在这种情况下，显示 画质决定部804b必需执行将左右侧眼睛中显示的显示图像的垂直分辨率 Ny4disp的数值降至原图像的垂直分辨率Ny4orgn以下的处理，或者执行将显 示图像的帧率fps4disp降至fps4orgn以下的处理，或者执行这两个处理。
根据算式(4)所示的关系，为显示垂直分辨率为Ny4disp、帧率为fps4disp 的图像所必需的水平方向驱动频率Hx4disp由算式(26)提供。
[算式26]
Hx4disp＝Ny4disp×fps4disp/(2×A)               (26)
显示画质决定部804b决定分辨率Ny4disp和帧率fps4disp的值，以使得 Hx4disp的值小于等于Hx4max。
此外，在本实施方式中，显示画质决定部804b在考虑所述的双眼融像 效果的基础上决定显示图像的分辨率。当左右侧眼睛中显示出来的图像的 垂直分辨率为Ny4disp时，利用双眼的融像效果，假定用户看到的融像图像 的垂直分辨率为Ny4fusn(以下以“fusn(fusion)”表示融像图像的参数)， 则Ny4disp和原图像的垂直分辨率Ny4orgn之间满足算式(27)的关系。
[算式27]
Ny4disp≤Ny4fusn≤2×Ny4disp≤Ny4orgn           (27)
算式(27)表示出，在左右侧眼睛中垂直方向上的显示行不重合的情 况下，Ny4fusn的值是Ny4disp的值的2倍。这相当于向右眼展示原图像的上 半部分、向左眼展示原图像的下半部分。利用这种融像效果，即使为了提 高显示图像的帧率fps4disp而将显示图像的垂直分辨率Ny4disp降至原图像的 垂直分辨率Ny4orgn的一半，只要左右侧的显示适当地选择其位置，也能够 防止用户在识别显示图像时所观看到的分辨率下降。
在本实施方式中，显示画质决定部804b根据图像分析部801b所得到 的原图像的信息的内容，决定用于确定帧率fps4disp的数值的帧率系数F。 图54示出了显示画质决定部804b所保存的帧率系数F的计算表。
这里，帧率系数F是表示左右侧眼睛中的显示图像的帧率相对于原图 像帧率fps4orgn的下降程度的系数，显示画质决定部804b在确定了帧率系 数F后，将F与fps4orgn相乘，由此决定显示图像的帧率fps4disp。当帧率系 数F的值为1时，不降低显示图像的帧率，而是将显示图像的帧率fps4disp 设定为原图像的帧率fps4orgn。另外，帧率系数F的值越接近0，显示图像 的帧率的下降程度越大。此外，当fps4disp的值小于1时，显示画质决定部 804b将fps4disp的值设定为1。在使用图54所示的表的情况下，显示画质决 定部804b按照以下方式决定帧率系数F的值，即，对于体育运动等动态丰 富的影像，减小帧率的下降幅度；而对于新闻等文字信息多的信息，则优 先考虑分辨率。
此外，在显示画质决定部804b计算帧率系数F时，也可以反映出用户 对帧率和分辨率的喜好信息。图55示出了作为画质校正值的一个实例的帧 率系数校正值Fa的实例。图55是示出了用户的喜好信息与帧率系数校正 值Fa的关系的表，由用户配置管理部805b保存。
利用该表，能够设定用户针对何种信息优先考虑帧率。即，用户越重 视信息的帧率，帧率系数校正值Fa的数值应设定得越高。显示画质决定部 804b从用户配置管理部805b接收到帧率系数校正值Fa，将帧率系数F与 帧率系数校正值Fa相加后，与原图像的帧率fps4orgn相乘，由此决定修正 帧率fps4disp。
此外，当帧率系数校正值Fa与帧率系数F之和超过1的情况下，将 fps4disp设定为fps4orgn。另外，当帧率系数校正值Fa与帧率系数F之和小于 等于0的情况下，将fps4disp设定为1。另外，帧率系数校正值Fa的值既可 以由用户通过用户界面直接输入，也可以由用户配置管理部805b自动生成。 在这种情况下，用户可以适时地设定与自己的喜好相适应的帧率。
另外，如上所述，扫描部103、108的垂直频率Hy和显示图像的帧率 fps之间满足算式(1)的关系。因而，在向用户显示的显示图像的帧率为 fps4disp的情况下，扫描部103、108所需的垂直方向驱动频率Hy4disp由算式 (28)提供。这里，在Hy4disp的值超过了扫描部103、108的垂直方向最大 容许驱动频率Hy4max的情况下，显示画质决定部804b将fps4disp的值修正 为Hy4max的两倍大小。
[算式28]
Hy4disp＝fps4disp/2                                  (28)
显示画质决定部804b在决定了显示图像的帧率fps4disp后，接着决定在 1帧中左右侧眼睛上各自显示出来的显示图像的垂直方向分辨率Ny4disp。在 本实施方式中，Ny4disp的值通过算式(29)计算出来。
[算式29]
Ny4disp＝(2×A×Hx4max)/fps4disp              (29)
其中，当算式(29)的计算结果为Ny4disp的值小于等于显示画质决定 部804b所确定的最小分辨率Ymin的情况下，利用算式(30)所示的计算 式对fps4disp的值进行修正，使得Ny4disp≥Ymin。此外，假定Ymin的值被 设定为使得fps4disp≥1。
[算式30]
fps4disp＝(2×A×Hx4max)/Ymin                 (30)
另外，在算式(29)的计算结果为Ny4disp的值超过了Ny4orgn的值的情 况下，将Ny4disp的值设定为Ny4orgn，并将fps4disp的值设定为由算式(31) 提供的计算式的值。
[算式31]
fps4disp＝(2×A×Hx4max)/Ny4orgn             (31)
最后，显示画质决定部804b决定显示图像的水平方向分辨率Nx4disp。 这里，当原图像的水平分辨率Nx4orgn超过了扫描部103、108能够显示的 垂直分辨率Nx4的情况下，将Nx4disp设定为Nx4的值。在除此之外的情况 下，将Nx4disp设定为Nx4orgn的值。
此外，也可以采用以下方法，即，显示画质决定部804b先行决定显示 图像的垂直分辨率，并为了实现该垂直分辨率而降低帧率的值。这样就能 够实现优先考虑分辨率的图像显示。
此外，也可以采用由用户通过用户界面直接输入显示图像的垂直分辨 率和帧率的形式。用户配置管理部805b也可以基于用户的输入值自动生成 图55所示的表。
此外，在本实施方式中，将原图像的帧率fps4orgn作为显示图像的分辨 率fps4disp的上限，但也可以像倍速驱动显示那样将fps4disp设定为高于原图 像原来的帧率fps4orgn的帧率值。在这种情况下，设定显示图像的分辨率 fps4disp的值，使其满足算式(3)、算式(4)所示的制约。这样就可以实 现清晰的影像显示。
(步骤704b)
在本步骤中，扫描模式决定部806b决定扫描部103、108进行激光扫 描的方法。
扫描模式决定部806b按照前一步骤703b中决定的帧率fps4disp，从原 图像中提取fps4disp/fps4orgn帧，然后针对所提取的各帧，执行以下的垂直 扫描范围的决定处理和显示图像的决定处理。
(垂直扫描范围的决定)
首先，扫描模式决定部806b决定扫描部103、108各自在1帧期间内 在垂直方向上进行激光扫描的范围，即垂直扫描范围。图56A～图56C示 出了垂直扫描范围的实例。在图56A所示的扫描模式1401中，在1帧期间 内，在垂直方向上扫描与显示图像的高度相同的范围。在图56B所示的扫 描模式1402中，在1帧期间内，在垂直方向上扫描相当于显示图像的一半 高度的范围。在图56C所示的扫描模式1403中，在1帧期间内，在垂直方 向上扫描相当于显示图像的四分之一高度的范围。
此外，扫描模式决定部806b也可以在左右眼的扫描部103、108中分 别决定垂直扫描范围。特别地，在垂直扫描范围与显示图像的高度不一致 的情况下，通过使左右侧的扫描部103、108的垂直扫描范围不重合，能够 利用双眼的融像效果来提高所观看到的分辨率。
(显示像素的决定)
接着，根据在前一步骤中所决定的垂直分辨率Ny4disp、水平分辨率 Nx4disp，决定扫描部103、108在所述垂直扫描范围内所描绘的像素。
在本实施方式中，在将原图像的垂直分辨率Nx4orgn除以显示图像的垂 直分辨率Nx4disp所得的商作为帧数Nf时，扫描模式决定部806b按照以下 方式选择1帧中的像素，即，使得左右侧的扫描部103、108分别通过至少 Nf帧描绘出全部像素。
例如，当帧数Nf的值为2时，为了能够通过2帧显示出全部像素，扫 描模式决定部806b以在第1帧中描绘图像的上半部分、在下一帧中描绘图 像的下半部分的方式决定扫描模式。
另外，当帧数Nf的值大于等于2时，扫描模式决定部806b决定扫描 模式，以使得在1帧中被显示在左右侧的像素不会重合。例如，对于原图 像的某一帧，按照以下方式决定扫描模式，即，当在右眼中显示上半部分 的像素时，左眼中则显示下半部分的像素。另外，同样地，按照以下方式 决定扫描模式，即，当在右眼中显示奇数行时，左眼中则显示偶数行。
按照上述方式，如果以在左右侧眼睛中看到的同一帧的显示像素不重 合的方式决定扫描模式，就可以利用双眼的融像效果，使用户看到的图像 的垂直分辨率Ny4fusn达到Ny4disp的两倍，即使在为了确保显示图像的帧率 而降低了显示图像的分辨率的情况下，也能够提高显示给用户的图像所被 观看到的分辨率。
下面，在图57～图63中示出了针对不同的左右侧眼睛的扫描模式及利 用双眼的融像效果的用户看到的显示图像的实例。
图57是在左右侧各自的显示图像的垂直分辨率Ny4disp为原图像的垂直 分辨率Ny4orgn的一半时(Nf＝2)，即在垂直方向上将显示图像划分为2 个扫描区域时的针对左右侧眼睛的扫描模式以及利用双眼的融像效果得到 的显示图像的实例。在该实例中，当左眼中显示出显示图像的上半部分时， 右眼中显示显示图像的下半部分。另外，逐帧切换显示图像的上半部分的 显示和下半部分的显示。此外，该实例中扫描部103、108的扫描范围是显 示图像高度的一半。
即，左眼用扫描部103和右眼用扫描部108分别在邻接的帧中扫描不 同的扫描区域。另外，左眼用扫描部103和右眼用扫描部108在各帧中扫 描不同的扫描区域。此外，扫描部103、108在第3帧中所扫描的扫描区域 与在第1帧中的扫描区域相同。
图58是在左右侧各自的显示图像的垂直分辨率Ny4disp为原图像的垂直 分辨率Ny4orgn的四分之一时(Nf＝4)，即在垂直方向上将显示图像划分 为4个扫描区域时的针对左右侧眼睛的扫描模式以及利用双眼的融像效果 得到的显示图像的实例。
在该实例中，将显示图像在垂直方向上划分为4个扫描区域。继而， 左眼用扫描部103在第1帧中扫描最上方的扫描区域，在第2帧中扫描上 数第2个扫描区域，在第3帧中扫描上数第3个扫描区域，在第4帧中扫 描最下方的扫描区域。另一方面，右眼用扫描部108在第1帧中扫描最下 方的扫描区域，在第2帧中扫描从下数起的第2个扫描区域，在第3帧中 扫描从下数起的第3个扫描区域，在第4帧中扫描最上方的扫描区域。此 外，该实例中扫描部103、108的扫描范围是显示图像高度的四分之一。
即，左眼用扫描部103和右眼用扫描部108在分别邻接的帧中扫描不 同的扫描区域。另外，左眼用扫描部103和右眼用扫描部108在各帧中扫 描不同的扫描区域。此外，扫描部103、108在第5帧中所扫描的扫描区域 与在第1帧中的扫描区域相同。
图59是图58的变形例。与图58的不同点在于，对于4个扫描区域， 右眼用扫描部108按照上数第3个扫描区域、最下方的扫描区域、最上方 的扫描区域、上数第2个扫描区域的顺序进行扫描。
在该实例中，左眼用扫描部103和右眼用扫描部108也在分别邻接的 帧中扫描不同的扫描区域。另外，左眼用扫描部103和右眼用扫描部108 在各帧中扫描不同的扫描区域。此外，扫描部103、108在第5帧中所扫描 的扫描区域与在第1帧中的扫描区域相同。
如图57～图59所示，对显示图像进行分割，以使得各扫描区域成为在 垂直扫描方向上相连接的连续区域，由此能够减小左眼用扫描部103和右 眼用扫描部108的扫描角度。
图60是在左右侧各自的显示图像的垂直分辨率Ny4disp为原图像的垂直 分辨率Ny4orgn的一半时(Nf＝2)，即在垂直方向上将显示图像划分为2 个扫描区域时的针对左右侧眼睛的扫描模式以及利用双眼的融像效果得到 的显示图像的实例。
在该实例中，当左眼中显示出显示图像的奇数行的像素时，右眼中显 示显示图像的偶数行的像素。另外，逐帧切换显示图像的奇数行的显示和 偶数行的显示。此外，该实例中扫描部103、108的扫描范围与显示图像高 度相同。
图61是在Ny4disp为Ny4orgn的四分之一时(Nf＝4)，即在垂直方向上 将显示图像划分为4个扫描区域时的针对左右侧眼睛的扫描模式以及利用 双眼的融像效果得到的显示图像的实例。
在该实例中，左眼用扫描部103在第1帧中扫描显示图像的上半部分 的奇数行的像素，在第2帧中扫描下半部分的奇数行的像素，在第3帧中 扫描下半部分的偶数行的像素，在第4帧中扫描上半部分的偶数行的像素。 这时，右眼用扫描部108对与左眼的显示行邻接的行进行显示。此外，扫 描部103、108在第5帧中所扫描的扫描区域与在第1帧中的扫描区域相同。 此外，该实例中扫描部103、108的扫描范围是显示图像高度的八分之三。
图62是图61的变形例。与图62的不同点在于，右眼用扫描部108在 第1帧中扫描显示图像的下半部分的奇数行，在第2帧中扫描下半部分的 偶数行，在第3帧中扫描上半部分的偶数行，在第4帧中扫描上半部分的 奇数行。此外，扫描部103、108在第5帧中所扫描的扫描区域与在第1帧 中的扫描区域相同。此外，该实例中扫描部103、108的扫描范围是显示图 像高度的八分之三。
图63是在Ny4disp为Ny4orgn的四分之一时(Nf＝4)，即在垂直方向上 将显示图像划分为4个扫描区域时的针对左右侧眼睛的扫描模式以及利用 双眼的融像效果得到的显示图像的实例。
在该实例中，左眼用扫描部103在第1帧中扫描显示图像的第4N-3 行(第1行和第5行)，在第2帧中扫描第4N-2行(第2行和第6行)， 在第3帧中扫描第4N-1行(第3行和第7行)，在第4帧中扫描第4N 行(第4行和第8行)。另一方面，右眼用扫描部108在第1帧中扫描第 4N-1行(第3行和第7行)，在第2帧中扫描第4N行(第4行和第8 行)，在第3帧中扫描第4N-3行(第1行和第5行)，在第4帧中扫描 第4N-2行(第2行和第6行)。此外，扫描部103、108在第5帧中所扫 描的扫描区域与在第1帧中的扫描区域相同。此外，该实例中扫描部103、 108的扫描范围是显示图像高度的八分之五。
如图61～图63所示，以使各扫描区域在垂直扫描方向上成为分离开的 隔离区域的方式对显示图像进行分割，左眼用扫描部103和右眼用扫描部 108就会扫描相邻接的像素，因而能够获得很好的融像效果。不过，与图 57～图59的实例相比，扫描部103、108在各帧中的扫描范围变大。
此外，图57～图63只是一个实例，扫描模式决定部806b也可以使用 其他的扫描模式。另外，在上述实例中示出的是Nf值到4为止的实例，即 使Nf值超过4，也能够以左右侧的显示像素不重合的方式决定同样的扫描 模式。在这种情况下，可以提高在1帧中显示的密度。
当垂直扫描范围是原图像高度的N分之一、Nf的值为Ny4orgn的N分 之一(N是自然数)时，可以采用以下方法，即，将原图像横向划分为N 份，左眼按照从上到下的顺序、右眼按照从下到上的顺序逐帧显示划分后 得到的图像。在这种情况下，能够使左右侧眼睛中显示的像素位置分散开。
另外，当垂直扫描范围是原图像高度的N分之一、Nf的值为Ny4orgn 的N分之一(N是自然数)时，也可以采用以下方法，即，将原图像横向 划分为N份，左眼按照从上到下的顺序显示划分后得到的图像，右眼则显 示与左眼中显示的区域邻接的区域的像素。
另外，当垂直扫描范围与原图像高度相同、Nf的值为Ny4disp的N分之 一(N是自然数)时，也可以采用以下方法，即，在左眼的第L帧中显示 第(NM-N+L)行的像素(M是自然数)，右眼则显示与左眼中显示的 像素邻接的行的像素。此时，第N+1帧以后的显示重复第1～N帧的显示。
此外，扫描模式决定部806b也可以通过以下方式来选择显示像素，即， 不使所扫描的左右侧的显示像素完全不同，而是使一部分像素重合。此时， 利用左右侧的融像效果所得到的显示图像的垂直分辨率Ny4fusn的值会下 降，但因为左右侧显示了相同的像素，所以能够获得双眼容易形成融像的 效果。
另外，垂直扫描范围越小，扫描部103、108在垂直方向上的驱动频率 越小，因此，扫描模式决定部806b也可以采用根据扫描部103、108在垂 直方向上的最大容许驱动频率Ny4max的值决定垂直扫描范围的值的方法。
此外，在像倍速驱动那样fps4disp高于原图像的帧率fps4orgn的值的情况 下，fps4disp/fps4orgn的值大于1。此时，执行原样显示前后的帧或根据前后 帧生成差分帧等的处理，生成向用户展示的图像。
(步骤705：图像控制)
在本步骤中，图像控制部807b对应于前一步骤704b的结果，逐帧控 制光源101、110和扫描部103、108，实现所指定的扫描模式。
此外，步骤704b和步骤703b也可以颠倒顺序执行。在此情况下，对 应于扫描模式决定显示图像的分辨率Nx4disp、Ny4disp和帧率fps4disp。
另外，在本实施方式中举出的是将垂直方向的扫描作为低速端进行处 理的实例，但也可以交换水平方向和垂直方向的扫描来进行处理。
此外，上述各实施方式中的控制处理既可以通过专用的H/W(电子电 路等)来实现，也可以通过由CPU解释执行保存在存储装置(ROM、RAM、 硬盘等)中的、可以实现上述处理步骤的规定的程序数据来实现。在这种 情况下，既可以通过记录介质将程序数据导入存储装置内，也可以从记录 介质上直接执行程序数据。此外，记录介质指的是ROM、RAM、闪存等半 导体存储器、软盘或硬盘等磁盘存储器、CD-ROM或DVD、BD等光盘、 以及SD卡等的存储卡等记录介质。另外，记录介质的概念也包含电话线路 或传输通道等通信介质。
另外，实施方式在不脱离本发明的主旨的范围内可以适当地变更。当 然也可以将本发明的实施方式组合起来使用。
下面参照图64～图73说明上述各实施方式的光束扫描型显示装置的 代表性用途。下面将说明应用了第1实施方式的光束扫描型显示装置的各 种装置，当然也可以同样地应用第2～第4实施方式，或者也可以将第1～ 第4实施方式按照任意方式组合起来加以应用。另外，不言而喻，光束扫 描型显示装置的用途不仅限于下述用途。
另外，在本实施方式中是由左眼用控制部105决定显示方法的，但也 可以由右眼用控制部111来决定，或者也可以使用由两个控制部105、111 分担处理的方法。
(第5实施方式)
参照图64～图68说明本发明的第5实施方式的激光扫描型HUD(平 视显示器)。其中，图64是HUD的侧视图，图65是HUD的鸟瞰图，图 66和图67是图66的变形例，图68是图64的激光扫描单元2602的详细图。
车2601的内部嵌入了左眼用激光扫描单元2602和右眼用激光扫描单 元2610。激光扫描单元2602、2610安装在车2601的挡风玻璃2603下方 (在本实施方式中是在仪表板的内部)，以实现显示装置的小型化。
此外，激光扫描单元2602、2610也可以配置在仪表板外部而不是仪表 板内部。在这种情况下，容易更换激光扫描单元2602、2610或改变其位置。
此外，激光扫描单元2602、2610也可以配置在顶棚2607上，而不是 仪表板部分。在这种情况下，能够减小仪表板部分所需的容积，可以扩大 车内空间。
此外，激光扫描单元2602、2610除了如图65所示那样包夹着用户而 配置的方法之外，也可以采用图66所示的将两者都配置在用户右侧的方法。 在这种情况下，不需要在车身中央部位配置扫描单元2602，因此，可以扩 大车身中央的空间、提高外观设计性能(在图65中，左眼用激光扫描单元 2602配置在司机与副驾驶座位之间)。
激光扫描单元2602、2610扫描产生的光经安装在挡风玻璃2603上的 偏转部104、107反射后，穿过半透半反镜2604，到达司机2605的眼球2606、 2609，从而形成视觉影像。利用这种HUD，能够一边透过挡风玻璃2603 确认外界风景，一边观看由激光扫描单元2602、2610显示的地图信息或警 告信息，从而可以提高司机2605的安全性和便利性。投影到用户的视网膜 上的激光的反射光经设置在用户眼睛前面的半透半反镜2604反射后，被光 检测部214检测出来。
此外，除了将偏转部104、107如图67所示那样分别配置在挡风玻璃 2603上的方法之外，也可以使用如图65和图66所示的方法，通过在1个 全息图上多次曝光，实现单片全息图反射镜。在这种情况下，可以扩展左 眼用偏转部104和右眼用偏转部107各自的面积，从而可以向用户显示视 角更宽广的影像。
另外，既可以准备两个半透半反镜2604分别用于右眼和左眼，也可以 使用一个横宽形状的半透半反镜。
左眼用激光扫描单元2602包括有光源101、波阵面形状变更部102、 扫描部103、控制部105。另外，右眼用激光扫描单元2610包括有光源110、 波阵面形状变更部109、扫描部108、控制部111。图68示出了本实施方式 中的左眼用激光扫描单元2602内的光源101、波阵面形状变更部102、偏 转部104的构造实例。
图68中的光源101与第1实施方式的图2相同，包括有红色激光光源 211、蓝色激光光源212和绿色激光光源213。此外，在本实施方式中，光 检测部214没有包含在光源101内，而是如图64所示那样配置在车2601 的顶棚2607上。通过采用这种结构，能够缩短用户的视网膜与光检测部214 之间的距离，从而可以容易地检测出视网膜上的光点大小。
图68所示的波阵面形状变更部102中，焦距水平分量变更部3001和 焦距垂直分量变更部3002串联配置在光路上。由此，就能够独立地改变光 束水平方向的曲率和垂直方向的曲率。本实施方式中的焦距水平分量变更 部3001和焦距垂直分量变更部3002通过改变柱面透镜的位置来改变水平 方向和垂直方向的曲率。
此外，焦距水平分量变更部3001和焦距垂直分量变更部3002与图2 所示的焦距水平分量变更部201和焦距垂直分量变更部202相同，也可以 通过柱面透镜与反射镜的组合，改变反射镜的位置，从而改变波阵面形状。 在这种情况下，通过使反射镜高速振动，即使在显示高分辨率的图像或高 帧率的动态画面时，也可以适当地改变波阵面形状。
此外，右眼用激光扫描单元2610与左眼用激光扫描单元2602采用同 样的构造，因此省略其说明。
另外，本实施方式中的偏转部104、107是由透射型全息图实现的。在 本实施方式中，偏转部104、107是按照以下方式制作而成的，即，在挡风 玻璃2603的内侧(车的内侧)形成例如光敏聚合物层，并在光敏聚合物层 上形成李普曼体积全息图，由此使来自扫描部103、108的光束衍射、聚光 到用户眼睛的瞳孔上。在光敏聚合物层上既可以重叠形成3个全息图，分 别反射红色、绿色、蓝色激光光源发出的光，也可以层叠与各种颜色的光 相对应的3层全息图。另外，利用全息图对波长的选择性，仅对光源波长 的光进行衍射，对光源波长以外的、构成外界光线的大部分的光不进行衍 射，按照这种方式，就能够制造出透射型的显示器。
此外，偏转部104、107也可以做成能够自由装卸在挡风玻璃2603上 的形式。在这种情况下，当不需要显示器的显示时，将偏转部104、107拆 卸下来，就能够确保挡风玻璃2603的透射性，提高司机2605的安全性。
在本发明的实施方式中，通过在用户的眼睛前面设置半透半反镜2604， 将来自用户的视网膜的反射光反射到光检测部214。半透半反镜2604通过 支承棒2608安装在车2601的顶棚2607上。利用这种结构，不需要强制用 户头部佩戴装置，就能够对用户的视网膜上的光点大小进行检测。此外， 半透半反镜2604和光检测部214也可以不设置在车2601的顶棚2607上， 而是设置到司机2605的眼镜或帽子上。在这种情况下，即使司机2605的 头部前后晃动，头部接触到半透半反镜2604的可能性也有所降低，因此能 够提高司机2605的安全性。此外，除了分别准备用于左眼和右眼的两个光 检测部214的方法之外，也可以只设置1个光检测部214，用于检测来自某 一侧眼睛的反射光。在这种情况下，不需要增加光检测部214就能检测出 用户的视线方向，因此能够削减光束扫描型显示装置的成本。
控制部105、111具备用于控制HUD各部分的集成电路。从光源101、 110发出的激光的输出、波阵面形状变更部102、109及扫描部103、108、 光检测部214的动作由控制部105进行控制。
在本实施方式中，光检测部214配置在顶棚2607上，控制部105、111 设置在仪表板内部；光检测部214与控制部105、111之间的通信既可以通 过在车2601内部铺设有线电缆来实现，也可以利用无线通信来实现。
此外，也可以采用只设置单侧的某一个控制部105、111，对左眼用激 光扫描单元2602和右眼用激光扫描单元2610双方进行控制的方法。在这 种情况下，可以减小光束扫描型显示装置的尺寸大小。
本实施方式的光束扫描型显示装置通过执行图6所示的步骤801～ 805，利用双眼的融像效果，提高用户在识别影像时所观看到的帧率。此外， 步骤801～805的处理内容与第1实施方式相同。
(第6实施方式)
下面，参照图69～图72说明第6实施方式的双筒望远镜3101。其中， 图69是双筒望远镜3101的鸟瞰图，图70是双筒望远镜3101的左眼侧显 示部3101a的侧视图，图71是双筒望远镜3101的右眼侧显示部3101b的 侧视图，图72是表示图69的变形例的图。
首先，如图69所示，双筒望远镜3101具备用于在用户左眼中显示图 像的左眼侧显示部3101a和用于在用户右眼中显示图像的右眼侧显示部 3101b。其次，如图70和图71所示，左眼侧显示部3101a和右眼侧显示部 3101b分别具备摄像头3103、3502。此外，用户3105通过窥视双筒望远镜 3101，能够观看摄像头3103、3502所拍摄的影像或来自与双筒望远镜3101 的外部输入端子相连接的外部影像设备的影像。通过采用这种结构，用户 3105不需要像HMD那样在头部佩戴装置，在室外也可以方便地使用光束 扫描型显示装置。
如图70所示，左眼侧显示部3101a包括有光源101、波阵面形状变更 部102、扫描部103、偏转部104、控制部105、摄像头3103以及反射镜3102， 用于在左眼3106中显示影像。另一方面，如图71所示，右眼侧显示部3101b 包括有光源110、波阵面形状变更部109、扫描部108、偏转部107、控制 部111、摄像头3502以及反射镜3501，用于在右眼3104中显示影像。
在上述实施方式中示出的是左眼侧显示部3101a和右眼侧显示部 3101b分别具备摄像头3103、3502的实例，但本发明并不仅限于此，也可 以由左眼侧显示部3101a和右眼侧显示部3101b共享使用同一个摄像头。 不过，如图70和图71所示，也可以利用左眼侧显示部3101a和右眼侧显 示部3101b中设置的2台摄像头3103、3502分别拍摄右眼用和左眼用图像 进行显示。由此，能够在用户双眼中显示带有视差的影像，从而可以显示 立体式影像。
图70及图71中的光源101、109与第1实施方式的图2相同，包括有 红色激光光源211、蓝色激光光源212、绿色激光光源213和光检测部214。
图70及图71中的波阵面形状变更部102、109中，焦距水平分量变更 部201和焦距垂直分量变更部202串联配置在光路上。由此，就能够独立 地改变光束水平方向的曲率和垂直方向的曲率。在本实施方式中，如图2 所示，通过柱面透镜与反射镜的组合，改变反射镜的位置，从而改变垂直 方向和水平方向的波阵面形状。
来自波阵面形状变更部102、109的光束分别经由反射镜3102、3501 被扫描部103、108扫描，分别射入偏转部104、107。
偏转部104、107是配置在双筒望远镜3101上靠近眼睛部位的目镜， 其将来自扫描部103、108的光聚集到用户的瞳孔上。此外，偏转部104、 107也可以不是凸透镜，而是透射型全息图。在这种情况下，可以将目镜部 分做薄，实现双筒望远镜3101的小型化。
另外，在使用全息图实现偏转部104、107的情况下，也可以不像图72 所示那样分开配置偏转部104、107，而是如图69那样使用多次曝光的一片 全息图作为偏转部104、107。在这种情况下，可以向用户显示出视角宽阔 的图像。
来自用户的视网膜的反射光沿着与反射光相同的路径逆向行进，由光 检测部214检测出来。
控制部105、111具备用于控制双筒望远镜3101的各部分的集成电路。 由控制部105、111控制从光源101、110发出的激光的输出、以及波阵面 形状变更部102、109、扫描部103、108、光检测部214和摄像头3103、 3502的动作。
本实施方式的光束扫描型显示装置执行图6所示的步骤801～805，利 用双眼的融像效果，提高用户在识别影像时所观看到的帧率。此外，步骤 801～805的处理内容与第1实施方式相同。
此外，就光源101、110而言，也可以采用以棱镜等将来自光源101的 光束分光、使其分别射入左右眼的显示所使用的波阵面形状变更部102、109 的方法。在这种情况下，减少了所需要的光源，因而能够实现双筒望远镜 3101的小型化，并可以降低电力消耗。
(第7实施方式)
图73示出了本发明的第7实施方式中的激光扫描型台式显示器3401 的结构图(侧视图)。
台式显示器3401包括有光源101、波阵面形状变更部102、扫描部103、 偏转部104及控制部105。具体地，框体内部存放着波阵面形状变更部102、 扫描部103及控制部105，框体表面具有由偏转部104构成的显示面。此外， 其与双筒望远镜3101同样地具备左侧显示部和右侧显示部。
而且，用户将该台式显示器3401设置在桌子上加以使用。通过采用图 73的结构，用户不需要像HMD那样在头部佩戴装置。另外，也不需要像 双筒望远镜3101那样长时间地用手支承装置，因而没有负担，可以长时间 地使用台式显示器3401。
工业实用性
本发明的光束扫描型显示装置具有右眼用扫描部、左眼用扫描部等， 可以在显示装置、显示系统、显示方法、显示程序等用途中应用该装置。