具有可见光波长转换部的头部佩戴型影像呈现装置
阅读：1发布：2020-07-09
专利汇可以提供具有可见光波长转换部的头部佩戴型影像呈现装置专利检索，专利查询，专利分析的服务。并且提供一种头部佩戴型影像呈现装置，其具有可见光 波长 转换部，用于对可见光波长区域中的一部分波长区域的敏感度相较于可见光波长区域中的其它波长区域降低的使用者。一种头部佩戴型影像呈现装置，用于对可见光波长区域中的一部分波长区域的敏感度相较于可见光波长区域中的其它波长区域降低的使用者，所述头部佩戴型影像呈现装置具备：摄像部，其对使用者的 视野 方向进行拍摄来获得第1影像信息；波长转换部，其将所述第1影像信息中的用于至少所述一部分波长区域的 颜色 信号 的至少一部分转换为表现所述其它波长区域内的颜色的颜色信号，并输出基于该转换后的颜色信号的第2影像信息；以及影像呈现部，其基于所述第2影像信息，将波长转换后的使用者的视野方向的影像呈现给使用者。，下面是具有可见光波长转换部的头部佩戴型影像呈现装置专利的具体信息内容。
1.一种头部佩戴型影像呈现装置，用于对可见光波长区域中的一部分波长区域的敏感度相较于可见光波长区域中的其它波长区域降低的使用者，所述头部佩戴型影像呈现装置的特征在于，具备：
摄像部，其对使用者的视野方向进行拍摄来获得第1影像信息；
波长转换部，其将所述第1影像信息中的用于至少所述一部分波长区域的颜色信号的至少一部分转换为表现所述其它波长区域内的颜色的颜色信号，并输出基于该转换后的颜色信号的第2影像信息；以及
影像呈现部，其基于所述第2影像信息，将波长转换后的使用者的视野方向的影像呈现给使用者。
2.根据权利要求1所述的头部佩戴型影像呈现装置，
所述波长转换部
包含：第1表，其包含XYZ表色系统中的光谱色度坐标；以及
第2表，其为了将所述一部分波长区域的波长转换为所述其它波长区域的波长，而将所述第1表中的所述一部分波长区域的波长所对应的色度坐标与所述其它波长区域的波长建立对应关系，将所述第1表中的所述其它波长区域的波长所对应的色度坐标的至少一部分与不同于在所述第1表中所对应的色度坐标的色度坐标建立对应关系，
基于所述第1影像信息，获得以XYZ表色系统来表现颜色的XYZ信号，
基于所述第1表，确定与所述XYZ信号对应的波长，
基于所述第2表，获得用于与所述确定的波长建立了对应关系的转换后的波长的XYZ信号，
输出基于所述转换后的XYZ信号的第2影像信息。
3.根据权利要求1所述的头部佩戴型影像呈现装置，
所述波长转换部
基于所述第1影像信息，获得以RGB表色系统来表现颜色的RGB信号，
基于所述RGB信号计算XYZ信号的刺激和，
将从所述RGB信号获得的R信号值除以所述刺激和来获得r信号值，
当所述获得的r信号值为r信号上限值以上时，将所述获得的r信号值转换为r信号上限值，
将所述转换后的r信号值乘以所述刺激和来获得转换后的R信号值，
输出基于包含所述转换后的R信号值的RGB信号的第2影像信息，
所述r信号上限值为对根据XYZ表色系统的光谱色度坐标进行RGB转换而得到的所述其它波长区域内的最大r信号值以下的值。
4.根据权利要求3所述的头部佩戴型影像呈现装置，
所述波长转换部
将从所述RGB信号获得的G信号值除以所述刺激和来获得g信号值，
当所述获得的g信号值为g信号下限值以下时，将所述g信号值转换为g信号下限值，将所述转换后的g信号值乘以所述刺激和来获得转换后的G信号值，
输出基于进一步包含所述转换后的G信号值的RGB信号的第2影像信息，
所述g信号下限值为用于对根据XYZ表色系统的光谱色度坐标进行RGB转换而得到的所述其它波长区域内的两端的波长的g信号值中较大一方的g信号值以上。
5.根据权利要求1所述的头部佩戴型影像呈现装置，
所述波长转换部
基于所述第1影像信息获得以RGB表色系统来表现颜色的RGB信号，
将所述获得的RGB信号所包含的R信号值乘以r信号转换系数来获得转换后的R信号值，其中，该r信号转换系数是基于根据RGB表色系统的光谱色度坐标来决定的，该根据RGB表色系统的光谱色度坐标是将根据XYZ表色系统的光谱色度坐标进行RGB转换而得到的，输出基于包含所述转换后的R信号值的RGB信号的第2影像信息，
所述r信号转换系数被决定为，使得将根据所述RGB表色系统的光谱色度坐标中的r信号值乘以该r信号转换系数后所得到的值的最大值不超过r信号上限值，
所述r信号上限值为根据所述RGB表色系统的光谱色度坐标中的其它波长区域内的最大r信号值以下的值。
6.根据权利要求5所述的头部佩戴型影像呈现装置，
替代将所述获得的RGB信号所包含的R信号值乘以所述r信号转换系数来获得转换后的R信号值，
而将所述获得的RGB信号所包含的R信号值除以基于所获得的RGB信号计算出的刺激和来得到r信号值，将该r信号值乘以所述r信号转换系数以获得转换后的r信号值，并将该转换后的r信号值乘以所述刺激和来获得转换后的R信号值。
7.根据权利要求5或6所述的头部佩戴型影像呈现装置，
所述波长转换部，
基于所述获得的RGB信号计算XYZ信号的刺激和，
将所述获得的RGB信号所包含的G信号值除以所述刺激和来获得g信号值，将所述g信号值乘以规定的系数后再加上g信号下限值，然后乘以所述刺激和来获得转换后的G信号值，
输出基于进一步包含所述转换后的G信号值的RGB信号的第2影像信息，
所述g信号下限值为用于根据所述RGB表色系统的光谱色度坐标中的所述其它波长区域内的两端的波长的g信号值中较大一方的g信号值以上。
8.根据权利要求3至7中的任意一项所述的头部佩戴型影像呈现装置，
所述r信号上限值为用于波长600nm的r信号值。
9.根据权利要求1至8中的任意一项所述的头部佩戴型影像呈现装置，
所述其它波长区域为450～600nm。
10.根据权利要求1至9中的任意一项所述的头部佩戴型影像呈现装置，
所述影像呈现部为投影机。
11.根据权利要求1至9中的任意一项所述的头部佩戴型影像呈现装置，
所述影像呈现部为显示器。
12.根据权利要求1至11中的任意一项所述的头部佩戴型影像呈现装置，
所述摄像部拍摄使用者的视野方向的左眼用影像和使用者的视野方向的右眼用影像，其中，所述左眼用影像用于向使用者的左眼进行呈现，所述右眼用影像与该左眼用影像不同并且用于向使用者的右眼进行呈现，
所述第1影像信息包含用于所述左眼用影像和所述右眼用影像的影像信息，所述第2影像信息包含用于由所述波长转换部转换后的所述左眼用影像和所述右眼用影像的影像信息，
所述影像呈现部基于所述第2影像信息所包含的用于所述转换后的左眼用影像的影像信息，对使用者的左眼呈现转换后的左眼用影像，并基于所述第2影像信息所包含的用于所述转换后的右眼用影像的影像信息，对使用者的右眼呈现转换后的右眼用影像。
13.根据权利要求1至12中的任意一项所述的头部佩戴型影像呈现装置，
所述使用者为视网膜变性患者，该使用者的眼球中被施用了使神经节细胞能够感受所述其它波长区域内的光的蛋白质。
14.一种波长转换装置，其向对可见光波长区域中的一部分波长区域的敏感度相较于可见光波长区域中的其它波长区域降低的使用者，输出用于对基于表现所述其它波长区域内的颜色的颜色信号的影像进行呈现的影像信号，所述波长转换装置的特征在于，将对使用者的视野方向进行拍摄而获得的第1影像信息中的用于至少所述一部分波长区域的颜色信号的至少一部分转换为表现所述其它波长区域内的颜色的颜色信号，输出基于所述转换后的颜色信号的第2影像信息。
15.一种程序，其用于向对可见光波长区域中的一部分波长区域的敏感度相较于可见光波长区域中的其它波长区域降低的使用者，输出用于对基于表现所述其它波长区域内的颜色的颜色信号的影像进行呈现的影像信号，所述程序的特征在于，使计算机执行以下步骤：
将对使用者的视野方向进行拍摄而获得的第1影像信息中的用于至少所述一部分波长区域的颜色信号的至少一部分转换为表现所述其它波长区域内的颜色的颜色信号；以及输出基于所述转换后的颜色信号的第2影像信息。
16.一种方法，其用于向对可见光波长区域中的一部分波长区域的敏感度相较于可见光波长区域中的其它波长区域降低的使用者，输出用于对基于表现所述其它波长区域内的颜色的颜色信号的影像进行呈现的影像信号，所述方法的特征在于，计算机执行以下步骤：
将对使用者的视野方向进行拍摄而获得的第1影像信息中的用于至少所述一部分波长区域的颜色信号的至少一部分转换为表现所述其它波长区域内的颜色的颜色信号；以及输出基于所述转换后的颜色信号的第2影像信息。
具有可见光波长转换部的头部佩戴型影像呈现装置
技术领域
[0001] 本发明涉及具有可见光波长转换部的头部佩戴型影像呈现装置。
背景技术
[0002] 日本每年的失明者人数高达16000人，其主要原因除了严重的外伤之外，大致可分成起因于视网膜内层的障碍、以及起因于视网膜外层的障碍这两种。在视网膜色素变性、年龄相关性黄斑变性以及视网膜脱落这样的视网膜变性疾病中，已知视网膜外层会选择性地变性。视网膜的光感受及其信息传递机制是：入射的光、影像信息由位于视网膜外层的光感受细胞(视细胞)感受到，并传递到视网膜内层。该信息由位于视网膜内层的构成视神经的神经节细胞传送至脑。如此，在视网膜中能够感受光即影像的细胞仅有视细胞，如果视细胞因某些因素发生变性、消失，则即使其它细胞是正常的，也会失明。
[0003] 根据视细胞的光感受方式，可知在通过存在于视细胞的光感受蛋白质感受到光后，需要各种各样的蛋白质的连锁反应。从这样的方式来看，以往认为无法通过导入单一的基因来赋予光感受能力。与此相关联，为了给予神经细胞光感受能力，已报告有最少需要将3种蛋白质(即，抑制蛋白、视蛋白、G蛋白质α亚基)导入到一个细胞中(非专利文献1)。
[0004] Nagel等人(非专利文献2)报告了：从绿藻类衣藻(Chamydomonas)分离出的光敏感通道-2(以下也称为“ChR2”)兼具光感受能力和阳离子选择透过性；以及通过导入ChR2基因能够将光感受能力给予培养哺乳类细胞(HEK293、BHK)等。从绿藻类团藻发现了对红色具有感受性的同样的基因(非专利文献3)。
[0005] 本发明人发现，通过使用将源自莱茵衣藻(Chlamydomonas reinhardtii)的光敏感通道-1的N末端区域与源自团藻的光敏感通道(Channelrhodopsin)融合而得到的、源自改性过的团藻(Volvox carteri)的光感受光敏感通道蛋白质，能够改善该光敏感通道的细胞膜上的表达效率(专利文献1)。
[0006] 现有技术文献
[0007] 专利文献
[0008] 专利文献1：WO2011/019081
[0009] 非专利文献
[0010] 非专利文献1：Zemelman BV et al.,Neuron.2002 Jan3；33(1):15-22
[0011] 非专利文献2：Nagel G et al.,Proc Natl Acad SciU S A.2003 Nov 25；100(24):13940-5
[0012] 非专利文献3：Freng Zhang et al.,Nature Neuroscience,Volume 11,Number 6,June 2008:p631-633
发明内容
[0013] 发明要解决的问题
[0014] 然而，因为源自衣藻的ChR2的光感受性限定于蓝色，所以即使恢复了视觉也只能看到蓝色。虽然从绿藻类团藻发现了具有光感受性的同样的基因，但是视觉的恢复限定于红色。源自改性过的团藻的光感受光敏感通道蛋白质虽然对较广的波长区域产生反应，但是限定于450～600nm附近，对于380～450nm和600～750nm的波长没有显现出良好的反应。
[0015] 这样，通过对视网膜变性患者施用蛋白质，虽然能使其对可见光波长区域中的一定波长区域产生反应，但是对于其它区域依然无法产生足够的反应。针对包含视网膜变性患者在内的对可见光波长区域中的一部分波长区域的敏感度降低的人，还没有实现用于使其识别入射到其视野中的所有可见光的方案。
[0016] 用于解决问题的方案
[0017] 本发明是鉴于上述的问题做出的，具有如下特征。即，本发明一实施方式的头部佩戴型影像呈现装置是用于对可见光波长区域中的一部分波长区域的敏感度相较于可见光波长区域中的其它波长区域降低的使用者的头部佩戴型影像呈现装置，具备：摄像部，其对使用者的视野方向进行拍摄来获得第1影像信息；波长转换部，其将所述第1影像信息中的用于至少所述一部分波长区域的颜色信号的至少一部分转换为表现所述其它波长区域内的颜色的颜色信号，并输出基于该转换后的颜色信号的第2影像信息；以及影像呈现部，其基于所述第2影像信息，将波长转换后的使用者的视野方向的影像呈现给使用者。
[0018] 也可以是，本发明的波长转换部包含：第1表，其包含XYZ表色系统中的光谱色度坐标；以及第2表，其为了将所述一部分波长区域的波长转换为所述其它波长区域的波长，而将所述第1表中的所述一部分波长区域的波长所对应的色度坐标与所述其它波长区域的波长建立对应关系，将所述第1表中的所述其它波长区域的波长所对应的色度坐标的至少一部分与不同于在所述第1表中所对应的色度坐标的色度坐标建立对应关系，该波长转换部基于所述第1影像信息，获得以XYZ表色系统来表现颜色的XYZ信号；基于所述第1表，确定与所述XYZ信号对应的波长；基于所述第2表，获得用于与所述确定的波长建立了对应关系的转换后的波长的XYZ信号；输出基于所述转换后的XYZ信号的第2影像信息。
[0019] 另外，也可以是，所述波长转换部基于所述第1影像信息，获得以RGB表色系统来表现颜色的RGB信号；基于所述RGB信号计算XYZ信号的刺激和；将从所述RGB信号获得的R信号值除以所述刺激和来获得r信号值；当所述获得的r信号值为r信号上限值以上时，将所述获得的r信号值转换为r信号上限值；将所述转换后的r信号值乘以所述刺激和来获得转换后的R信号值；输出基于包含所述转换后的R信号值的RGB信号的第2影像信息，所述r信号上限值为对根据XYZ表色系统的光谱色度坐标进行RGB转换而得到的所述其它波长区域内的最大r信号值以下的值。
[0020] 进一步，也可以是，所述波长转换部将从所述RGB信号获得的G信号值除以所述刺激和来获得g信号值；当所述获得的g信号值为g信号下限值以下时，将所述g信号值转换为g信号下限值；将所述转换后的g信号值乘以所述刺激和来获得转换后的G信号值；输出基于进一步包含所述转换后的G信号值的RGB信号的第2影像信息，所述g信号下限值为用于对根据XYZ表色系统的光谱色度坐标进行RGB转换而得到的所述其它波长区域内的两端的波长的g信号值中较大一方的g信号值以上。
[0021] 也可以是，所述波长转换部基于所述第1影像信息获得以RGB表色系统来表现颜色的RGB信号；将所述获得的RGB信号所包含的R信号值乘以r信号转换系数来获得转换后的R信号值，其中，该r信号转换系数是基于根据RGB表色系统的光谱色度坐标来决定的，该根据RGB表色系统的光谱色度坐标是将根据XYZ表色系统的光谱色度坐标进行RGB转换而得到的；输出基于包含所述转换后的R信号值的RGB信号的第2影像信息，所述r信号转换系数被决定为，使得将根据所述RGB表色系统的光谱色度坐标中的r信号值乘以该r信号转换系数后所得到的值的最大值不超过r信号上限值，所述r信号上限值为根据所述RGB表色系统的光谱色度坐标中的其它波长区域内的最大r信号值以下的值。
[0022] 也能够是，替代将所述获得的RGB信号所包含的R信号值乘以所述r信号转换系数来获得转换后的R信号值，而将所述获得的RGB信号所包含的R信号值除以基于所获得的RGB信号计算出的刺激和来得到r信号值，将该r信号值乘以所述r信号转换系数来获得转换后的r信号值，并将该转换后的r信号值乘以所述刺激和来获得转换后的R信号值。
[0023] 也可以是，所述波长转换部基于所述获得的RGB信号计算XYZ信号的刺激和；将所述获得的RGB信号所包含的G信号值除以所述刺激和来获得g信号值；将所述g信号值乘以规定的系数后再加上g信号下限值，然后乘以所述刺激和来获得转换后的G信号值；输出基于进一步包含所述转换后的G信号值的RGB信号的第2影像信息，所述g信号下限值为用于根据所述RGB表色系统的光谱色度坐标中的所述其它波长区域内的两端的波长的g信号值中较大一方的g信号值以上。
[0024] 也可以是，所述r信号上限值为用于波长600nm的r信号值。
[0025] 也可以是，所述其它波长区域为450nm～600nm。
[0026] 也能够是，所述呈现部为投影机或显示器。
[0027] 也可以是，所述摄像部拍摄使用者的视野方向的左眼用影像和使用者的视野方向的右眼用影像，其中，所述左眼用影像用于向使用者的左眼进行呈现，所述右眼用影像与该左眼用影像不同并且用于向使用者的右眼进行呈现；所述第1影像信息包含用于所述左眼用影像和所述右眼用影像的影像信息；所述第2影像信息包含用于由所述波长转换部转换后的所述左眼用影像和所述右眼用影像的影像信息；所述影像呈现部基于所述第2影像信息所包含的用于所述转换后的左眼用影像的影像信息，对使用者的左眼呈现转换后的左眼用影像，并基于所述第2影像信息所包含的用于所述转换后的右眼用影像的影像信息，对使用者的右眼呈现转换后的右眼用影像。
[0028] 也可以是，所述使用者为视网膜变性患者，该使用者的眼球中被施用了使神经节细胞能够感受所述其它波长区域内的光的蛋白质。
[0029] 另外，本发明一实施方式的波长转换装置是向对可见光波长区域中的一部分波长区域的敏感度相较于可见光波长区域中的其它波长区域降低的使用者，输出用于对基于表现所述其它波长区域内的颜色的颜色信号的影像进行呈现的影像信号的波长转换装置，将对使用者的视野方向进行拍摄而获得的第1影像信息中的用于至少所述一部分波长区域的颜色信号的至少一部分转换为表现所述其它波长区域内的颜色的颜色信号；输出基于所述转换后的颜色信号的第2影像信息。
[0030] 进一步，本发明一实施方式的程序能够是用于向对可见光波长区域中的一部分波长区域的敏感度相较于可见光波长区域中的其它波长区域降低的使用者，输出用于对基于表现所述其它波长区域内的颜色的颜色信号的影像进行呈现的影像信号的程序，使计算机执行以下步骤：将对使用者的视野方向进行拍摄而获得的第1影像信息中的用于至少所述一部分波长区域的颜色信号的至少一部分转换为表现所述其它波长区域内的颜色的颜色信号；以及输出基于所述转换后的颜色信号的第2影像信息。
[0031] 本发明实施方式的方法可以是用于向对可见光波长区域中的一部分波长区域的敏感度相较于可见光波长区域中的其它波长区域降低的使用者，输出用于对基于表现所述其它波长区域内的颜色的颜色信号的影像进行呈现的影像信号的方法，在所述方法中，计算机执行以下步骤：将对使用者的视野方向进行拍摄而获得的第1影像信息中的用于至少所述一部分波长区域的颜色信号的至少一部分转换为表现所述其它波长区域内的颜色的颜色信号；以及输出基于所述转换后的颜色信号的第2影像信息。
[0032] 发明效果
[0034] 图1A是本发明一实施方式所涉及的头部佩戴型影像呈现装置的概略立体图。
[0035] 图1B是本发明一实施方式所涉及的头部佩戴型影像呈现装置的概略背面侧立体图。
[0036] 图1C是本发明一实施方式所涉及的头部佩戴型影像呈现装置的概略背面侧立体图。
[0037] 图1D是本发明一实施方式所涉及的头部佩戴型影像呈现装置的概略立体图。
[0039] 图3是示出本发明一实施方式所涉及的转换前后的波长区域的图。
[0040] 图4是示出本发明一实施方式所涉及的信息处理的流程图。
[0041] 图5是示出本发明一实施方式所涉及的信息处理的流程图。
[0042] 图6A是本发明一实施方式所涉及的根据XYZ表色系统的光谱色度坐标的曲线图。
[0043] 图6B是本发明一实施方式所涉及的根据XYZ表色系统的光谱色度坐标的曲线图。
[0044] 图7是示出本发明一实施方式所涉及的信息处理的流程图。
[0045] 图8A是本发明一实施方式所涉及的根据RGB表色系统的光谱色度坐标的曲线图。
[0046] 图8B是本发明一实施方式所涉及的根据RGB表色系统的光谱色度坐标的曲线图。
[0047] 图9是示出本发明一实施方式所涉及的信息处理的流程图。
[0048] 图10是本发明一实施方式所涉及的根据RGB表色系统的光谱色度坐标的图。
[0049] 图11是示出本发明一实施方式所涉及的信息处理的流程图。
[0050] 图12是本发明一实施方式所涉及的根据RGB表色系统的光谱色度坐标的图。
[0051] 图13A是本发明一实施方式所涉及的根据XYZ表色系统的光谱色度坐标的图。
[0052] 图13B是本发明一实施方式所涉及的根据XYZ表色系统的光谱色度坐标的图。
具体实施方式
[0053] [第1实施方式]
[0054] 图1A～图1D示出本发明一实施方式中的头部佩戴型影像呈现装置100的概略图。头部佩戴型影像呈现装置100是被佩戴在使用者的头部来使用的，具备摄像部101和影像呈现部102。摄像部101配置在能够对使用者的视野方向进行拍摄的位置，影像呈现部102配置在能够对使用者呈现影像的位置。头部佩戴型影像呈现装置100将由摄像部101所拍摄的使用者的视野方向的影像通过波长转换部103进行波长转换处理(颜色转换处理)，并在影像呈现部102中将波长转换后的影像呈现给使用者。图1中省略了波长转换部103的图示。
[0055] 图1A是头部佩戴型影像呈现装置100的一个构成例的概略立体图。图1B和图1C是其概略背面侧立体图。图1D是头部佩戴型影像呈现装置100的另一个构成例的概略立体图。图1B是使用投影机作为影像呈现部102时的构成例。在本图中构成为，为左右各眼分别配备了独立的投影机镜头，但是也可以为了轻量化和低廉化而构成为只具备一个镜头来仅对其中一只眼睛呈现影像。图1C是使用显示器作为影像呈现部102时的构成例。图1D是使用投影机作为影像呈现部102的情况，具备含有光源的投影机壳体110、棱镜111和112。从投影机壳体110放射出的光经过棱镜111和112被折射成コ字形，并被朝向使用者的右眼放射。投影机例如能够使用视网膜投影方式来直接投影于视网膜，从而使得使用者对影像产生视觉。
[0056] 图2示出第1实施方式中的头部佩戴型影像呈现装置100的硬件构成图。如前所述，头部佩戴型影像呈现装置100具备摄像部101、影像呈现部102、波长转换部103，而且具备处理部104、存储部105以及总线108。波长转换部103具备内部存储部107。存储部105保存程序106。
[0057] 头部佩戴型影像呈现装置100是用于对可见光波长区域中的一部分波长区域的敏感度相较于可见光波长区域中的其它波长区域降低的使用者的装置。该使用者由于对一部分可见光波长区域的敏感度降低，因此难以识别或者完全不能识别该波长区域的光。本发明中所谓的敏感度降低包含完全没有敏感度的情况。另一方面，对于其它波长区域的光，与健康者相比虽然也存在敏感度低的情况，但是与所述一部分波长区域相比敏感度高。头部佩戴型影像呈现装置100对敏感度相对降低的波长区域的光进行波长转换，使其在敏感度相对高的波长区域中被识别。
[0058] 本发明视作对象的使用者对可见光波长的敏感度降低的理由可以为任意理由。作为其原因的一例，可以举出视网膜色素变性症、年龄相关性黄斑变性症、视网膜脱落等视网膜变性的疾病。本实施方式的对象使用者是如下患者：身为视网膜变性患者，通过施用源自改性团藻的光感受光敏感通道蛋白质，对于可见光波长区域中的450～600nm的波长区域内的颜色的敏感度提高而变得能够进行识别，但另一方面对于380～450nm和600～750nm的波长区域内的颜色的敏感度依然非常低而不能够识别。
[0059] 摄像部101对使用者的视野方向进行拍摄来获得第1影像信息。波长转换部103将由摄像部101获得的第1影像信息中的用于至少敏感度降低的一部分波长区域的颜色信号的至少一部分转换为以可见光波长区域中的敏感度相对高的其它可见光波长区域内的颜色来表现的颜色信号，并输出基于该转换后的颜色信号的第2影像信息。影像呈现部102基于由波长转换部103输出的第2影像信息，将波长转换后的使用者的视野方向的影像呈现给使用者。影像呈现部102可以是呈现影像的投影机，也可以是液晶显示器、有机电致发光(EL)显示器或等离子体显示器等显示器装置。
[0060] 即使在使用者对可见光线的敏感度相对良好的波长区域(可见光波长区域中的其它波长区域)，也有使用者在如显示器般的影像呈现装置所放射的光量下不能充分识别可见光。为了这样的使用者，期望使用投影机作为影像呈现部102。通过用投影机将强度强的可见光线直接入射到使用者的眼中，能够让使用者识别出影像。本实施方式中，在使用具备2个镜头的投影机作为影像呈现部102时，从2个镜头放射用于基于第2影像信息来呈现相同影像的光。另外，在使用具备2个镜头的投影机的情况下，优选为了各眼而呈现进行了不同的独立的波长转换的影像。在各眼对各波长的敏感度不同的情况下，能够进行适合于各眼的波长转换。
[0061] 处理部104基于保存于存储部105的程序106所包含的指令，控制摄像部101、影像呈现部102以及波长转换部103来执行信息处理。存储部105包含硬盘、主存储器以及缓冲存储器。存储部105中存储程序106。不过，存储部105可以是任何非易失性存储装置或非易失性存储器，也可以是可拆卸的部件，只要能够保存信息即可。存储部105中存储程序106、伴随着该程序的执行而可能被参考的各种数据。波长转换部103可以将波长转换所需的信息保存于内部存储部107，也可以保存于存储部105，也可以两者并用。与存储部105同样地，内部存储部107包含硬盘、主存储器以及缓冲存储器。波长转换部103可以通过集成电路来实现，也可以通过由处理部104执行保存于存储部105的程序106来实现作为波长转换部的功能。总线108将眼镜型影像呈现装置100所包含的各硬件要素之间连接。
[0062] 在本实施方式中，如图3所示，将380～750nm的可见光波长区域的光转换为450～600nm的波长区域的光。即，将可见光波长区域380～750nm的波长区域内的可见光线转换为本实施方式视作对象的使用者可识别的450～600nm的波长区域内的波长并进行呈现，而不输出以及呈现450nm以下和600nm以上的波长。因此，即使在使用者的视野中含有本来无法识别的波长的可见光线，也能够让使用者识别出将该可见光线的存在也包含在内的视野的影像，尽管是要通过与实际的波长不同的波长来呈现。
[0063] 对于本实施方式中的头部佩戴型影像呈现装置100的动作，使用图4所示的流程图进行说明。首先，在步骤401中，摄像部101开始进行使用者的视野方向的拍摄来获得第1影像信息。只要不将拍摄中止，摄像部101就持续进行拍摄，并持续地将第1影像信息输出到波长转换部103。在步骤402中，波长转换部103获得从摄像部101输出的第1影像信息，将用于380nm以下以及750nm以上的波长的光的颜色信号中的至少一部分转换为以用于450～
600nm的波长的光的颜色来表现的颜色信号，并输出基于该转换后的颜色信号的第2影像信息。波长转换可以是对可见光波长全体进行，也可以是对将使用者无法识别的450nm以下的波长及600nm以上的波长包含在内的任意波长区域进行。在步骤403中，影像呈现部102基于由波长转换部103输出的第2影像信息，将波长转换后的使用者的视野方向的影像呈现给使用者。影像的呈现在例如影像呈现部102为投影机的情况下，通过从该投影机放射基于影像信息的光来进行。之后，返回步骤402，反复进行如下处理：波长转换部103对摄像部101依次输出的第1影像信息执行波长转换而输出第2影像信息；在步骤403中，影像呈现部102基于该第2影像信息来呈现影像。
600nm的波长的光的颜色来表现的颜色信号，并输出基于该转换后的颜色信号的第2影像信息。波长转换可以是对可见光波长全体进行，也可以是对将使用者无法识别的450nm以下的波长及600nm以上的波长包含在内的任意波长区域进行。在步骤403中，影像呈现部102基于由波长转换部103输出的第2影像信息，将波长转换后的使用者的视野方向的影像呈现给使用者。影像的呈现在例如影像呈现部102为投影机的情况下，通过从该投影机放射基于影像信息的光来进行。之后，返回步骤402，反复进行如下处理：波长转换部103对摄像部101依次输出的第1影像信息执行波长转换而输出第2影像信息；在步骤403中，影像呈现部102基于该第2影像信息来呈现影像。
[0064] 通过执行本实施方式的上述的处理，如图3所示，能将可见光波长区域380～750nm的波长区域内的可见光线转换为本实施方式视作对象的使用者可识别的450～600nm的波长区域内的波长来进行显示，让使用者识别出将本来不能识别的波长的可见光线的存在也包含在内的视野的影像。显然，即使使用者可识别的波长区域是其它波长区域，也能通过同样的方法实施本发明。
[0065] [第2实施方式]
[0066] 本实施方式与第1实施方式的不同点在于使用XYZ转换作为波长转换处理。关于其它点则与第1实施方式是同样的。以下，以与第1实施方式不同的波长转换处理为中心进行说明。
[0067] 在本实施方式中，波长转换部103包含第1表和第2表，其中，第1表包含XYZ表色系统中的光谱色度坐标，第2表为了将与可见光区域内的其它波长区域相比使用者的敏感度降低的一部分可见光波长区域的波长转换为其它波长区域内的波长，而将所述第1表中的所述一部分可见光波长区域的波长所对应的色度坐标与所述其它波长区域内的波长建立对应关系，将所述第1表中的所述其它波长区域的波长所对应的色度坐标的至少一部分与不同于在所述第1表中所对应的色度坐标的色度坐标建立对应关系。在本实施方式中，这些表保存在波长转换部103所具备的内部存储部107中，但是也可以保存在存储部105中。波长转换部103基于第1影像信息，获得以XYZ表色系统来表现颜色的XYZ信号；基于所述第1表，确定与所述XYZ信号对应的波长；基于所述第2表，获得用于与所述确定的波长建立了对应关系转换后的波长的XYZ信号；输出基于所述转换后的XYZ信号的第2影像信息。
[0068] 在图5中，作为波长转换处理(步骤402)，示出使用本实施方式中的XYZ转换的处理。在步骤501中，从摄像部101所获得的第1影像信息提取1帧。如果通过摄像部101获得的第1影像信息为包含多个帧的动态图像数据，例如，如果为30fps(Frames per Second，每秒帧数)的动态图像数据，则1秒拍摄30帧。在本实施方式中，按每帧反复执行如下处理：波长转换部103从第1影像信息读取1帧，执行波长转换处理，并由影像呈现部102来呈现影像。
[0069] 在步骤502中获得各像素的RGB信号作为在步骤501中提取出的1帧的影像信息中的颜色信号。在从摄像部101获得的影像信息的RGB信号为包含伽马校正的sRGB信号的情况下，通过进行反伽马校正来获得RGB信号。在获得RGB信号的其它实施方式中，也同样根据需要进行反逆伽马校正。若输入的RGB信号值为规定值以上，则存在不能进行适当的波长转换处理的情况，因此也可以通过校准或者基于参考信号的自动增益控制(AGC)来进行使得RGB信号的大小成为规定的范围内的控制。AGC是在波长转换前的适当的定时，基于参考信号执行的。然后，在步骤503中，将该RGB信号转换为XYZ信号(进行XYZ转换)。已知各种将RGB信号转换为XYZ信号的转换式，但是在本实施方式中，使用根据CIE RGB方式的式(1)。在此，i表示像素编号，可以取0～最大像素编号i_max(像素数-1)的值。对全部像素(i＝0～i_max)进行该XYZ转换。进一步地，在步骤504中，通过式(2)的运算获得各像素的三刺激值XYZ的刺激和S[i]，并将其保存在内部存储部107中。
[0070] [数学式1]
[0071]
[0072] [数学式2]
[0073] S[i]＝X[i]+Y[i]+Z[i]…(2)
[0074] 然后，在步骤505中，如式(3)所示，将获得的XYZ值除以刺激和S[i]，来获得用于全部像素的归一化后的xyz值。
[0075] [数学式3]
[0076]
[0077] 在步骤506中，基于该归一化后的xyz值以及XYZ表色系统中的光谱色度坐标，来确定各像素的波长。光谱色度坐标可以为任何形式，只要表示出归一化后的xyz值与波长的对应关系即可。在本实施方式中，使用表1以及图6A所示的由CIE制定的XYZ表色系统中的光谱色度坐标。因为该XYZ表色系统中的光谱色度坐标本身对于本领域技术人员来说是公知的，因此在表1中仅示出说明所需的波长区域，为了简化而省略其它区域。另外，本实施方式中虽然使用了380～700nm的光谱色度坐标，但是显然，即使在使用含有更广范围的或更窄范围的光谱色度坐标的表、例如380～750nm的光谱色度坐标的情况下，也能通过同样的方法实现本发明。
[0078] [表1]
[0079]波长λ(nm) x(λ) y(λ) z(λ)
380 0.17411 0.00496 0.82093
381 0.17409 0.00496 0.82095
382 0.17407 0.00497 0.82096
383 0.17406 0.00498 0.82096
384 0.17404 0.00498 0.82098
385 0.17401 0.00498 0.82101
386 0.17397 0.00497 0.82106
387 0.17393 0.00494 0.82113
388 0.17389 0.00493 0.82118
389 0.17384 0.00492 0.82124
390 0.17380 0.00492 0.82128
391 0.17376 0.00492 0.82132
392 0.17370 0.00494 0.82136
393 0.17366 0.00494 0.82140
394 0.17361 0.00494 0.82145
395 0.17356 0.00492 0.82152
396 0.17351 0.00490 0.82159
397 0.17347 0.00486 0.82167
398 0.17342 0.00484 0.82174
399 0.17338 0.00481 0.82181
400 0.17334 0.00480 0.82186
401 0.17329 0.00479 0.82192
402 0.17324 0.00478 0.82198
403 0.17317 0.00478 0.82205
… … … …
689 0.73434 0.26566 0.00000
690 0.73439 0.26561 0.00000
691 0.73444 0.26556 0.00000
692 0.73448 0.26552 0.00000
693 0.73452 0.26548 0.00000
694 0.73456 0.26544 0.00000
695 0.73459 0.26541 0.00000
696 0.73462 0.26538 0.00000
697 0.73465 0.26535 0.00000
698 0.73467 0.26533 0.00000
699 0.73469 0.26531 0.00000
700 0.73469 0.26531 0.00000
380 0.17411 0.00496 0.82093
381 0.17409 0.00496 0.82095
382 0.17407 0.00497 0.82096
383 0.17406 0.00498 0.82096
384 0.17404 0.00498 0.82098
385 0.17401 0.00498 0.82101
386 0.17397 0.00497 0.82106
387 0.17393 0.00494 0.82113
388 0.17389 0.00493 0.82118
389 0.17384 0.00492 0.82124
390 0.17380 0.00492 0.82128
391 0.17376 0.00492 0.82132
392 0.17370 0.00494 0.82136
393 0.17366 0.00494 0.82140
394 0.17361 0.00494 0.82145
395 0.17356 0.00492 0.82152
396 0.17351 0.00490 0.82159
397 0.17347 0.00486 0.82167
398 0.17342 0.00484 0.82174
399 0.17338 0.00481 0.82181
400 0.17334 0.00480 0.82186
401 0.17329 0.00479 0.82192
402 0.17324 0.00478 0.82198
403 0.17317 0.00478 0.82205
… … … …
689 0.73434 0.26566 0.00000
690 0.73439 0.26561 0.00000
691 0.73444 0.26556 0.00000
692 0.73448 0.26552 0.00000
693 0.73452 0.26548 0.00000
694 0.73456 0.26544 0.00000
695 0.73459 0.26541 0.00000
696 0.73462 0.26538 0.00000
697 0.73465 0.26535 0.00000
698 0.73467 0.26533 0.00000
699 0.73469 0.26531 0.00000
700 0.73469 0.26531 0.00000
[0080] 将在步骤505获得的各像素的xyz值与表1的xyz值进行比较，确定对应的波长λ。例如，首先以x值为基准进行比较来确定具有一致或若干个接近的x值的波长作为候补。然后，以y值、z值作为基准依次执行比较，将具有一致或最接近的xyz值的波长确定作为用于该像素的波长。
[0081] 当用于所获得的像素i的xyz值为x[i]＝0.17332、y[i]＝0.00482、z[i]＝0.82188(将其表现为xyz[i]＝(0.17332，0.00482，0.82188))时，首先以x值作为基准来选择将成为候补的波长λ。因为在表1中没有具有x＝0.17332的波长λ，所以选择具有最接近的x值(0.17344)的波长λ＝400nm、具有第二接近的x值(0.17329)的波长λ＝401nm、以及具有第三接近的x值(0.17338)的波长λ＝399nm作为候补。接着，在候补波长λ＝399nm、400nm以及401nm之中，将具有与y[i]＝0.00482最接近的y值(0.00481)的波长λ＝399nm和具有第二接近的y值(0.00480)的波长λ＝400nm锁定为候补。进一步地，在波长λ＝399nm和400nm之中，将具有与z[i]＝0.82188更为接近的z值(0.82186)的波长λ＝400nm确定为该像素i的波长。
另外，对本领域技术人员显而易见的是，能够通过各种方法计算出用于所获得的像素i的xyz值与表1中的xyz值之间的相关性，并选择相关性最大的波长来确定波长λ。
另外，对本领域技术人员显而易见的是，能够通过各种方法计算出用于所获得的像素i的xyz值与表1中的xyz值之间的相关性，并选择相关性最大的波长来确定波长λ。
[0082] 对全部像素进行该波长确定处理，确定每个像素的波长λ[i]。此外，在本实施方式中虽然使用了波长380～700nm的范围的光谱色度坐标，但是在输入了该范围外的波长的情况下，通过上述方法使用光谱色度坐标来确定波长380～700nm的范围内的波长。
[0083] 接着，在步骤507中进行波长转换。波长转换是将使用者的敏感度降低而不能识别的可见光波长区域的波长转换为使用者可识别的可见光波长区域的波长。在本实施方式中，将使用者可识别的波长区域也转换为使用者可识别的波长区域内的其它波长，但是也可以仅对使用者的敏感度降低的可见光波长区域进行波长转换。在本实施方式中，使用以下波长转换表来进行波长转换。
[0084] [表2]
[0085]转换前波长λ(nm) 转换后波长λ(nm) x(λ) y(λ) z(λ)
380 450 0.15664 0.01771 0.82565
381 0.15612 0.01816 0.82572
382 451 0.15560 0.01861 0.82579
383 0.15506 0.01909 0.82586
384 452 0.15452 0.01956 0.82592
385 0.15396 0.02006 0.82599
386 453 0.15340 0.02055 0.82605
387 0.15281 0.02108 0.82611
389 454 0.15222 0.02161 0.82617
390 0.15161 0.02218 0.82622
391 455 0.15099 0.02274 0.82627
392 0.15034 0.02335 0.82632
393 456 0.14969 0.02395 0.82635
394 0.14902 0.02460 0.82639
395 457 0.14834 0.02525 0.82641
396 0.14764 0.02594 0.82643
397 458 0.14693 0.02663 0.82644
398 0.14620 0.02738 0.82643
399 459 0.14547 0.02812 0.82641
400 0.14472 0.02891 0.82638
401 460 0.14396 0.02970 0.82634
402 0.14319 0.03055 0.82627
403 461 0.14241 0.03139 0.82620
… … … … …
689 595 0.60293 0.39650 0.00057
690 0.60548 0.39396 0.00057
691 596 0.60803 0.39141 0.00056
693 0.61051 0.38895 0.00055
694 597 0.61298 0.38648 0.00054
695 0.61538 0.38410 0.00053
696 598 0.61778 0.38171 0.00051
697 0.62012 0.37938 0.00050
698 599 0.62246 0.37705 0.00049
699 0.62475 0.37477 0.00048
700 600 0.62704 0.37249 0.00047
380 450 0.15664 0.01771 0.82565
381 0.15612 0.01816 0.82572
382 451 0.15560 0.01861 0.82579
383 0.15506 0.01909 0.82586
384 452 0.15452 0.01956 0.82592
385 0.15396 0.02006 0.82599
386 453 0.15340 0.02055 0.82605
387 0.15281 0.02108 0.82611
389 454 0.15222 0.02161 0.82617
390 0.15161 0.02218 0.82622
391 455 0.15099 0.02274 0.82627
392 0.15034 0.02335 0.82632
393 456 0.14969 0.02395 0.82635
394 0.14902 0.02460 0.82639
395 457 0.14834 0.02525 0.82641
396 0.14764 0.02594 0.82643
397 458 0.14693 0.02663 0.82644
398 0.14620 0.02738 0.82643
399 459 0.14547 0.02812 0.82641
400 0.14472 0.02891 0.82638
401 460 0.14396 0.02970 0.82634
402 0.14319 0.03055 0.82627
403 461 0.14241 0.03139 0.82620
… … … … …
689 595 0.60293 0.39650 0.00057
690 0.60548 0.39396 0.00057
691 596 0.60803 0.39141 0.00056
693 0.61051 0.38895 0.00055
694 597 0.61298 0.38648 0.00054
695 0.61538 0.38410 0.00053
696 598 0.61778 0.38171 0.00051
697 0.62012 0.37938 0.00050
698 599 0.62246 0.37705 0.00049
699 0.62475 0.37477 0.00048
700 600 0.62704 0.37249 0.00047
[0086] 在表2的波长转换表中，“转换前波长λ(nm)”表示波长转换前的波长、“转换后波长λ(nm)”表示转换后(转换目标)的波长。“x(λ)”、“y(λ)”、“z(λ)”表示用于表现转换后的波长λ的x(λ)、y(λ)、z(λ)值。即，该波长转换表针对转换前波长λ(nm)来分配转换后波长λ(nm)以及用于转换后波长λ(nm)的xyz值。例如，针对转换前波长λ(nm)＝380nm，分配450nm作为转换后波长λ(nm)，并分配用于表现转换后波长450nm的xyz值(0.15664，0.01771，0.82565)。用于表现该转换后波长λ(nm)的xyz值从表1所示的XYZ表色系统中的光谱色度坐标的表来获得。为了便于理解本发明而记载了转换后波长λ(nm)，在实际的信息处理中也可以不包含转换后波长λ(nm)。
[0087] 在制作该波长转换表时，使用式(4)，通过线性近似或一次近似计算来求出针对可见光波长区域380～700nm的波长的、450～600nm的转换后波长。
[0088] [数学式4]
[0089]
[0090] 因为表1所示的XYZ表色系统中的光谱色度坐标是按每1nm表示xyz值，所以对通过式(4)计算出的包含小数点的转换后波长适当地进行四舍五入、舍去、舍入等，来分配整数值的转换后波长。另外，在XYZ表色系统中的光谱色度坐标中，因为450～600nm的xyz值是按每1nm表示的，所以表示出了针对151个波长的xyz值，而若对可见光波长区域380～700nm按每1nm分配xyz，则需要321个xyz值。因此，光谱色度坐标中所示的xyz值的数量不足。于是，在本实施方式中，通过上述方法，从转换前波长380nm起按每1nm或每2nm分配XYZ表色系统中的光谱色度坐标的表中所示的从波长450nm起每1nm的xyz值，并且对于没有分配的转换前波长，将“转换后波长λ(nm)”设为空栏，基于被分配到其前后的波长的xyz值来进行线性插值。该插值方式不限于n次近似(n＝1以上)，也可以使用其它方式。
[0091] 例如，对转换前波长380nm分配用于转换后波长450nm的xyz值(0.15664，0.01771，0.82565)，对转换前波长382nm分配用于转换后波长451nm的xyz值(0.15560，0.01861，
0.82579)，对两者中间的转换前波长λ381nm，分配用于转换后波长450nm和451nm的xyz值之间的值(平均值)、即xyz值(0.15612，0.01816，0.82572)。
0.82579)，对两者中间的转换前波长λ381nm，分配用于转换后波长450nm和451nm的xyz值之间的值(平均值)、即xyz值(0.15612，0.01816，0.82572)。
[0092] 在本实施方式中，使用该波长转换表，对步骤507中所确定的波长进行转换。例如，在步骤506中所确定的波长λ[i]为399nm时，首先检索转换前波长λ(nm)＝399nm的行。然后，通过检索确定的行的转换后波长λ为459nm，输出作为用于该波长的xyz值而分配的(0.14547，0.02812，0.82641)。即，作为具有表现波长399nm的xyz值的像素i用的xyz[i]，输出表现波长459nm的(0.14472，0.02891，0.82638)，因此，该像素[i]的波长从399nm被转换为459nm。
[0093] 在步骤508中，对于转换后的全部像素的xyz[i]，由内部存储部107读取用于该像素i的刺激和S[i]，并按式(5)所示进行乘法运算，从而获得波长转换后的XYZ值。然后，在步骤509中，基于式(6)对该转换后的XYZ值进行RGB转换，并在步骤510中将转换后的RGB信号输出至影像呈现部102。
[0094] [数学式5]
[0095]
[0096] [数学式6]
[0097]
[0098] 之后，在步骤403中，影像呈现部102基于在步骤507中从波长转换部103输出的RGB信号，对使用者呈现影像。也可以根据需要执行伽玛校正。在输出RGB信号的其它实施方式中，同样也可以根据需要执行伽玛校正。
[0099] 通过上述处理呈现了1帧影像后，返回步骤402，进行针对下一帧的本实施方式的前述波长转换(步骤402)和影像呈现(步骤403)。在本实施方式中，是按每1帧进行波长转换(步骤402)和影像呈现(步骤403)，但是也可以在对多个帧一总进行波长转换后进行影像呈现。
[0100] 在本实施方式中，整个可见光波长区域的380～700nm内的波长被转换为使用者可识别的波长区域450～600nm。图6示出将转换前后的根据XYZ表色系统的光谱色度坐标以曲线图进行了表示的图。图6A为转换前的曲线图，图6B为转换后的曲线图。在转换前(图6A中)，对于各波长分配的是用于表现该波长的本来的xyz值，但是在转换后(图6B中)，对于各波长，不是分配用于表现该波长的本来的xyz值，而是在横跨380～700nm的范围内大致均匀地分配了用于450～600nm的xyz值。因此可以理解，是以将图6A的450～600nm的曲线图的形状向左右拉伸的形式来分配给图6B的380～700nm。在转换后，对波长380nm分配的是用于表现波长450nm的xyz值，因此在输入了380nm的像素中，会由影像呈现部102进行基于450nm的xyz值的输出，使得波长450nm的光被使用者观察到。
[0101] 因此，通过采用本实施方式，使用者即使在因对其敏感度降低而本来无法识别的波长区域的可见光线存在的情况下，也能够将其作为被转换为敏感度良好而可识别的波长后的可见光线进行观察。进一步地，转换前波长是几乎线性地被分配于可识别的波长区域，因此，相邻部分之间的颜色关系等的表现能按与实际的颜色表现相近的表现让使用者识别。
[0102] 在本实施方式中，示出了从1个连续的波长区域转换至另1个连续的波长区域的例子，即，将可见光波长区域380～700nm内的波长转换至波长区域450～600nm，但是显然，也能通过同样的方法从1个连续的波长区域转换至2个以上的分开的波长区域，或者从2个以上的分开的波长区域转换至其它的2个以上的分开的波长区域。
[0103] [第3实施方式]
[0104] 本实施方式的波长转换处理与第1和第2实施方式不同。关于其它点则与第1和第2实施方式相同。以下，以与第1和第2实施方式不同的波长转换处理为中心进行说明。
[0105] 本实施方式中，在波长转换步骤402中不进行XYZ转换，而在RGB信号中进行波长转换。以下，基于图7所示的流程图对本实施方式中的波长转换步骤402进行说明。与第2实施方式同样地，在步骤701中，波长转换部103从自摄像部101获得的第1影像信息读取1帧，在步骤702中，获得该帧中的各像素的RGB信号。接着，在步骤703中，使用从式(1)导出的式(7)，基于RGB信号计算出各像素的刺激和S[i]，并将其保存在内部存储部107中。刺激和[i]也可以通过近似式等计算出。
[0106] [数学式7]
[0107]
[0108] 在此，R[i]、G[i]以及B[i]是像素i的R信号值、G信号值以及B信号值。另外，r[i]、g[i]以及b[i]是通过将像素i的R[i]、G[i]以及B[i]除以刺激和S[i]得到的。在步骤704中，将各像素的R[i]除以刺激和S[i]来计算r[i]。
[0109] 在步骤705中，判断各像素的r[i]是否为r信号上限值以上，如果为上限值以上，则将其转换为该上限值。在小于上限值的情况下不进行转换，将r[i]原样作为转换后的r[i]输出。表3和图8A示出了本实施方式中使用的根据RGB表色系统的光谱色度坐标。本实施方式中的根据RGB表色系统的光谱色度坐标是对表1和图6A所示的由CIE制定的根据XYZ表色系统的光谱色度坐标使用式(6)所示的RGB转换而作成的。表3和图8所示的rgb信号值是对根据XYZ表色系统的光谱色度坐标所表示的归一化后的xyz信号值进行RGB转换而得到的值。
[0110] 根据RGB表色系统的光谱色度坐标可以为任何形式，只要是基于根据XYZ表色系统的色度坐标而表示出rgb信号值与波长的对应关系即可。在假定患者因为视网膜变性疾病而导致可识别的可见光波长区域为450～600nm的情况下，即使输出用于表现比600nm的波长更长的波长的RGB信号，患者也无法识别。根据图8A，在比波长600nm更长的波长中，R信号比G和B信号更大且具有主导性。因此，在本实施方式中，各像素i的r[i]，以使用者可识别的r信号的最大值、即在波长600nm处的r信号值作为r信号上限值，在超过该r信号上限值时，通过转换为该r信号上限值，能始终输出使用者可识别的r信号，而不通过呈现部102来呈现约600nm以上的波长的光。从表3和图8A所示的光谱色度坐标来获得在波长600nm时的r信号值(1.14888)。r信号上限值只要小于使用者可识别的波长区域内的r信号的最大值即可。
[0111] [表3]
[0112]波长(nm) r(λ) g(λ) b(λ)
380 0.02297 -0.00979 0.82907
381 0.02291 -0.00978 0.82909
382 0.02285 -0.00976 0.82910
383 0.02282 -0.00974 0.82910
384 0.02276 -0.00972 0.82912
385 0.02267 -0.00971 0.82915
386 0.02257 -0.00969 0.82920
387 0.02246 -0.00971 0.82927
388 0.02236 -0.00970 0.82932
389 0.02222 -0.00968 0.82938
390 0.02210 -0.00966 0.82942
391 0.02199 -0.00963 0.82946
392 0.02181 -0.00957 0.82950
393 0.02170 -0.00955 0.82954
394 0.02156 -0.00952 0.82959
395 0.02142 -0.00951 0.82966
… … … …
477 -0.22115 0.16424 0.80048
478 -0.23542 0.17868 0.79478
479 -0.25050 0.19427 0.78846
480 -0.26550 0.21109 0.78148
481 -0.28342 0.22918 0.77382
… … … …
516 -0.69120 1.15743 0.12492
517 -0.67426 1.16101 0.11214
518 -0.65586 1.16241 0.10060
519 -0.63611 1.16174 0.09027
520 -0.61528 1.15921 0.08110
… … … …
598 1.11869 0.22630 -0.00177
599 1.13395 0.21724 -0.00170
600 1.14888 0.20837 -0.00163
601 1.16349 0.19970 -0.00156
603 1.19166 0.18298 -0.00143
… … … …
699 0.73469 0.26531 0.00000
700 0.73469 0.26531 0.00000
380 0.02297 -0.00979 0.82907
381 0.02291 -0.00978 0.82909
382 0.02285 -0.00976 0.82910
383 0.02282 -0.00974 0.82910
384 0.02276 -0.00972 0.82912
385 0.02267 -0.00971 0.82915
386 0.02257 -0.00969 0.82920
387 0.02246 -0.00971 0.82927
388 0.02236 -0.00970 0.82932
389 0.02222 -0.00968 0.82938
390 0.02210 -0.00966 0.82942
391 0.02199 -0.00963 0.82946
392 0.02181 -0.00957 0.82950
393 0.02170 -0.00955 0.82954
394 0.02156 -0.00952 0.82959
395 0.02142 -0.00951 0.82966
… … … …
477 -0.22115 0.16424 0.80048
478 -0.23542 0.17868 0.79478
479 -0.25050 0.19427 0.78846
480 -0.26550 0.21109 0.78148
481 -0.28342 0.22918 0.77382
… … … …
516 -0.69120 1.15743 0.12492
517 -0.67426 1.16101 0.11214
518 -0.65586 1.16241 0.10060
519 -0.63611 1.16174 0.09027
520 -0.61528 1.15921 0.08110
… … … …
598 1.11869 0.22630 -0.00177
599 1.13395 0.21724 -0.00170
600 1.14888 0.20837 -0.00163
601 1.16349 0.19970 -0.00156
603 1.19166 0.18298 -0.00143
… … … …
699 0.73469 0.26531 0.00000
700 0.73469 0.26531 0.00000
[0113] 然后，在步骤706中，将转换后的r[i]乘以该像素i的刺激和S[i]来获得转换后的R[i]。在步骤707中，通过将由摄像部101拍摄并输出的各像素的RGB信号中所包含的R信号值置换成该转换后的R信号值，从波长转换部103将包含转换后的R信号值的RGB信号输出到影像呈现部102。对于G和B信号值，不进行转换，而使用从摄像部101输出的值。影像呈现部102基于该转换后的RGB信号进行帧的呈现(步骤403)。
[0114] 通过如上转换处理，如图8B所示，将r信号上限值作为波长600nm以上的r[i]进行输出，即使在摄像部101拍摄到波长600nm以上的波长的情况下，仍通过影像呈现部来呈现约600nm的波长的光。
[0115] 通过使用本实施方式，即使是不能识别比600nm更长的波长的使用者，也能通过影像呈现部102将比波长600nm更长的波长的光作为约600nm的波长的光进行观察。因为在600nm以下的波长区域中是以本来的波长输出，所以相邻部分之间的颜色关系等的表现能按实际的颜色表现让使用者识别。另外，在本发明中，优选能够实时执行使用者的视野的波长转换，如眼镜般实时地对使用者提供视野。然而，在如头戴显示器这样佩戴在使用者头部的装置中，存在硬件的处理能力受限的情况。本实施方式由于直接处理RGB信号来实现波长转换而不经过XYZ转换，因此，信息处理少，即使是通过受限的硬件资源，也能呈现实时的转换波长影像。
[0116] [第4实施方式]
[0117] 本实施方式虽然在不带有XYZ转换地执行RGB信号值的处理这一点上与第3实施方式是同样的，但是具体的波长转换处理与第3实施方式不同。以下，以与第3实施方式不同的波长转换处理为中心进行说明。在本实施方式中，以从摄像部101获得的RGB信号中的各R信号值、G信号值以及B信号值不取负值作为前提。
[0118] 基于图9所示的流程图对本实施方式中波长转换步骤402的具体处理进行说明。步骤901～903与第3实施方式中的步骤701～703是同样的。在步骤904中，也是将各像素的R[i]和G[i]除以刺激和S[i]，获得r[i]和g[i]。然后，在步骤905中，如果r[i]为r信号上限值以上，则将其转换为r信号上限值，并且在步骤906中，如果g[i]为g信号下限值以下，则将其转换为g信号下限值。
[0119] 在本实施方式中，基于表3和图8A所示的根据RGB表色系统的光谱色度坐标的曲线图，将波长600nm处的r信号值(1.114888)和g信号值(0.20837)分别决定作为r信号上限值和g信号下限值。虽然r信号上限值优选设为用于使用者可识别的波长的r信号值的最大值，但只要是该值以下的值即可。在本实施方式中，因为摄像部101不返回负值，因此将表3和图8A所示的根据RGB表色系统的光谱色度坐标中成为负值的值改读为0。例如，450～500nm的波长区域内的r信号值为0，并且该波长区域内的r信号值的最大值成为0，因此，r信号上限值成为0。将g信号下限值设为用于使用者可识别的波长区域的两端的波长的g信号值中较大一方的值。在本实施方式中，将450～600nm设想为使用者可识别的波长区域。当比较该波长区域的两端的g信号值时，由于用于波长600nm的信号值较大，因此将g信号下限值设为
600nm的值。例如，在将使用者可识别的波长区域设为500～600nm的情况下，由于波长500nm的g信号值较大，因此将用于波长500nm的信号值设为g信号下限值。从图8A可知，用于g信号值的根据RGB表色系统的光谱色度坐标的曲线图是向上凸出的形状，因此通过如前所述将g信号值设为g信号下限值以上的值，能够不呈现使用者无法识别的波长的光。
600nm的值。例如，在将使用者可识别的波长区域设为500～600nm的情况下，由于波长500nm的g信号值较大，因此将用于波长500nm的信号值设为g信号下限值。从图8A可知，用于g信号值的根据RGB表色系统的光谱色度坐标的曲线图是向上凸出的形状，因此通过如前所述将g信号值设为g信号下限值以上的值，能够不呈现使用者无法识别的波长的光。
[0120] 然后，波长转换部103将该转换后的r[i]和g[i]乘以刺激和S[i]来获得转换后的R[i]和G[i](步骤907)，并输出包含该R[i]和G[i]的转换后的RGB信号(步骤908)。对于B[i]，使用未经转换的值。影像呈现部102基于此来进行影像的呈现(步骤403)。
[0121] 通过如此转换r信号值和g信号值，由本实施方式输出的光谱色度坐标的曲线图成为如图10所示。在波长为600nm以上的区域中，r信号和g信号输出用于波长600nm的值。图8A中相对于600nm以上的波长的b信号值为负值，但是本实施方式中的摄像部101针对负值输出0。因此，即使在摄像部101拍摄到600nm以上的光的情况下，也会通过本实施方式的波长转换，转换为用于600nm的RGB信号来输出，从而呈现600nm的光。
[0122] 进一步地，在波长短的区域中，当g[i]成为g信号下限值(0.20837)时，g[i]的值也被转换为g信号下限值来输出。在本实施方式中，在波长479nm时成为g信号下限值，比波长479nm更短的波长时的g[i]会成为比其更低的值，因此被转换成g信号下限值。在比波长
479nm更短的波长区域中，r信号值和b信号值成为大致一定的值，因此通过将g信号值固定为g信号下限值，在该区域中几乎都会放射479nm的波长的光。
479nm更短的波长区域中，r信号值和b信号值成为大致一定的值，因此通过将g信号值固定为g信号下限值，在该区域中几乎都会放射479nm的波长的光。
[0123] 第3实施方式中，在比600nm的波长更长的波长区域中，关注r信号更大且具有主导性的情况，只进行了r信号的转换。在本实施方式中，除了r信号以外，关于g信号也对波长600nm以上的波长输出600nm的g信号值。通过使用本实施方式，即使摄像部101拍摄到了
450nm以下以及600nm以上的光，也会从影像呈现部102几乎只呈现479～600nm的波长的光，因此即使是仅能识别450～600nm的波长区域的使用者，也能够识别全部可见光。因为在479～600nm的波长区域中是以本来的波长输出，所以相邻部分之间的颜色关系等的表现能按与实际的颜色表现相近的表现让使用者识别。另外，与第3实施方式同样地，因为能够不带有波长转换地执行波长转换处理，所以能高速处理。
450nm以下以及600nm以上的光，也会从影像呈现部102几乎只呈现479～600nm的波长的光，因此即使是仅能识别450～600nm的波长区域的使用者，也能够识别全部可见光。因为在479～600nm的波长区域中是以本来的波长输出，所以相邻部分之间的颜色关系等的表现能按与实际的颜色表现相近的表现让使用者识别。另外，与第3实施方式同样地，因为能够不带有波长转换地执行波长转换处理，所以能高速处理。
[0124] [第5实施方式]
[0125] 本实施方式虽然在不带有XYZ转换地执行RGB信号值的处理这一点上与第3和第4实施方式是同样的，但是具体的波长转换处理不同。以下，以与第3和第4实施方式不同的波长转换处理为中心进行说明。在本实施方式中，从摄像部101获得的RGB信号中的各R信号值、G信号值以及B信号值也不取负值。
[0126] 以下，基于图11所示的流程图对本实施方式中的波长转换步骤402进行说明。步骤1101～1104与第4实施方式中的步骤901～904是同样的。然后，在步骤1105中，对r[i]和g[i]进行规定的运算来进行波长转换。在本实施方式中，作为用于r[i]的运算，将r[i]乘以r信号转换系数，使得转换后的r[i]的最大值成为使用者可识别的波长区域内的最大r信号值以下。r信号转换系数被决定为，使得根据RGB表色系统的光谱色度坐标中所示的r信号值乘以该转换系数所得的值的最大值不超过r信号上限值。作为用于g[i]的运算，进行使得转换后的g[i]的最小值成为用于使用者可识别的波长的g信号值的下限值以上这样的运算。
在本实施方式中，基于以下式对r[i]和g[i]进行转换。
在本实施方式中，基于以下式对r[i]和g[i]进行转换。
[0127] [数学式8]
[0128]
[0129] [数学式9]
[0130]
[0131] 在此，upper_limit_r是波长转换后的r信号上限值，peak_r是波长转换前的最大r信号值。将upper_limit_r除以peak_r所得的值作为r信号转换系数。从式(8)可知，转换后的r[i]中r信号上限值成为最大值。虽然r信号上限值优选设为用于使用者可识别的波长的r信号值的最大值，但只要是该值以下的值即可。在本实施方式中，r信号上限值是波长600nm处的r信号值即1.14888，peak_r是波长700nm处的r信号值即1.49990，r信号转换系数为约0.766(1.14888/1.49990)。若使用该r信号转换系数，则与根据RGB表色系统的光谱色度坐标中所示的r信号值相乘所得的值的最大值成为r信号上限值(1.14888)。对于各像素的r[i]，也同样能通过乘以式(8)所示的r信号转换系数，来线性地转换成以r信号上限值为上限的值。
[0132] 根据图8A可以理解，当输出比用于波长600nm的r信号值更大的信号值时，只能识别450～600nm的波长区域的使用者无法识别。于是，本实施方式中，以使得用于波长600nm的r信号值成为转换后的最大值的方式，将波长600nm的r信号值作为upper_limit_r(r信号上限值)，并将表示波长转换前的最大r信号值的波长700nm的r信号值作为peak_r(转换前最大r信号值)。upper_limit_r和peak_r能够从表3和图8A所示的根据RGB表色系统的光谱色度坐标来决定，r信号值转换系数为可预先决定的系数。
[0133] peak_g是波长转换前的最大g信号值，lower_limit_g是波长转换后的g信号下限值，是偏移值。在本实施方式中，peak_g设为波长518nm处的g信号值(1.16241)，lower_limit_g设为波长600nm处的g信号值(0.20837)。式(9)的右边项目r[i]所乘的系数是g信号转换系数，其被决定为：使得转换后的g信号值不超过转换前g信号值的最大值，并且关于转换后的g信号的光谱色度坐标的曲线图的形状与转换前的形状相似。通过进行式(9)所示的运算，既能针对各像素的g[i]将作为偏移值的lower_limit_g(g信号下限值)设为下限，又能以使上限值保持与转换前相同的值的方式进行线性转换。根据图8A，g信号值由具有向上凸出的形状的曲线图来表示，如果将用于使用者能够识别的450～600nm的波长区域内的两端的波长的g信号值加以比较，则用于600nm的g信号值更大。因此可以理解，只要是用于波长600nm的g信号值以上的g信号值，该使用者就能够识别。于是，在本实施方式中，进行如下运算：以使得用于波长600nm的g信号值成为最小值的方式将波长600nm的g信号值作为偏移信号而设为lower_limit_g(g信号下限值)，并且保持表示波长转换前的最大g信号值的波长518nm的g信号值的peak_g。
[0134] 在步骤1106中，将根据式(8)和(9)转换后的r[i]和g[i]乘以刺激和S[i]，来获得波长转换后的R和G值，在步骤1107中，将包含这些值的RGB信号输出到影像呈现部102。对于B信号值，不进行转换，而使用从摄像部101输出的值。此外，因为对r[i]的波长转换运算仅为乘法运算，所以在步骤1104所除的刺激和S[i]会在步骤1106的乘法运算中被抵消。因此，也可以省略步骤1104和1106中刺激和的除法运算和乘法运算，而以R[i]的原样执行波长转换处理。
[0135] 用于波长转换的运算方法不限于上述式(8)和(9)。作为用于r[i]的运算，可以为任何运算，只要使转换后的r[i]的最大值不超过使用者可识别的r信号值的最大值以下的r信号上限值即可。例如，如果转换后的r信号不超过r信号上限值，则也可以是将r信号转换系数设为2/3并只将其乘以r[i]。作为用于g[i]的运算，只要是使转换后的g[i]的最小值成为上述lower_limit_g(g信号下限值)以上的运算即可，例如，可以是设为g信号转换系数＝1且只将g[i]加上lower_limit_g，也可以是将g[i]除以peak_g(g信号转换系数＝1/peak_g)之后再加上lower_limit_g。另外，也可以通过仅R信号值或仅G信号值的处理来进行波长转换。
[0136] 若使用本实施方式，则能在将光谱色度坐标的曲线图的形状保持为类似的形状的情况下，转换成用于表现使用者可识别的波长的RGB信号。因此，与将r信号上限值以上或g信号下限值以下的RGB信号值固定为上限值或下限值的实施方式相比，相邻部分之间的颜色关系等的表现能按与实际颜色表现接近的表现让使用者识别。进一步地，与实施方式3和4同样地，因为未带有XYZ转换，所以能高速处理。
[0137] [第6实施方式]
[0138] 本实施方式中的头部佩戴型影像装置与第1至第5实施方式不同点在于：其是3D型头部佩戴型影像呈现装置，将由摄像部101所拍摄的具有视差的影像呈现给使用者的各眼。关于其它点则与其它实施方式是同样的。以下，以与其它实施方式的不同点为中心进行说明。
[0139] 作为图4的步骤401，摄像部101拍摄用于向使用者的左眼进行呈现的使用者的视野方向的影像、以及用于向使用者的右眼进行呈现的使用者的视野方向的影像，并输出包含用于向该左眼和右眼进行呈现的具有视差的影像信息的第1影像信息。呈现给左右各眼的影像是具有视差的影像，成为彼此不同的影像。为了拍摄用于向左右眼进行呈现的影像信息，例如可以使用并排配置的2个单眼相机或立体相机。也可以使用由一个单眼相机计算出的视差来生成左右的影像信息。
[0140] 作为步骤402，波长转换部103对第1影像信息所包含的用于向左右眼进行呈现的影像信息分别进行波长转换处理，并输出第2影像信息，该第2影像信息包含转换后的用于向左右眼进行呈现的具有视差的影像信息。波长转换处理可以为第1至第5实施方式中所说明的波长转换处理中的任意一种。影像呈现部102基于第2影像信息所包含的用于向左眼进行呈现的影像信息，对使用者的左眼呈现影像，并基于第2影像信息所包含的用于向右眼进行呈现的影像信息，对使用者的右眼呈现影像。为了呈现用于向左右眼进行呈现的影像信息，例如可以使用2个显示器。图1B中示出了具备2个投影机的镜头作为影像呈现部102的构成。在本实施方式中，从各个镜头分别呈现用于向左右各眼进行呈现的具有视差的影像信息。通过使用本实施方式，能对使用者提供三维的影像。另外，在各眼对各波长的敏感度不同的情况下，期望进行适合于各眼的独立的波长转换，并对各眼呈现进行了不同波长转换的影像，但是，例如也可以对双眼的影像信息进行顺应其中一只眼睛的敏感度的波长转换。
[0141] [第7实施方式]
[0142] 虽然本发明是对敏感度相对降低的波长区域的光进行波长转换，在敏感度相对高的波长区域中进行识别，但在本实施方式中，是在敏感度相对高的波长区域之中的使用者敏感度特别好的波长区域中进行识别。优选的是，在敏感度最高的窄波长区域中进行识别。关于其它点则与其它实施方式是同样的。以下，以与其它实施方式的不同点为中心进行说明。
[0143] 在从本发明的头部佩戴型影像呈现装置100的影像呈现部102对使用者呈现影像之际，在影像呈现部所放射的光强的情况下，装置所消耗的电力变大，当假定电池驱动时，考虑会对运行时间产生不良影响。特别地，在使用者的敏感度非常低的情况下，需要使用投影机等作为影像呈现部102，将强度更强的光直接入射到使用者的眼中。在这样的情况下，装置消耗的电力可能会变得更大。
[0144] 若使用本实施方式，则通过将光转换到使用者敏感度特别高的波长区域，能够用强度较低的光让使用者进行识别，并且能够将放射的光的波长区域限定在窄范围内而将整体上的从影像呈现部照射的光能量抑制得低，因此能够降低头部佩戴型影像呈现装置的消耗电力。此外，还能够减轻对人体带来的负担。
[0145] 作为本实施方式的一例，图13示出了在已经确定了使用者在450～600nm的波长区域内具有一定的敏感度并在波长500nm～550nm的波长区域内特别良好的情况下的、波长转换前后的根据XYZ表色系统的光谱色度坐标的曲线图的一例。图13A是波长转换前的根据XYZ表色系统的光谱色度坐标的曲线图，图13B是波长转换后的曲线图。
[0146] 首先，如图13A所示，将使用者的敏感度特别高的波长区域设定为转换目标的波长区域1301。尽管已知各种各样的测量使用者敏感度的方法，但是可以使用任何方法，只要能够测量使用者的敏感度即可。波长区域的宽度越窄，就越能降低从影像呈现部放射的光能量，但另一方面，颜色重现性会降低。因此，波长区域宽度要衡量颜色重现性和高的光强度对人体产生的影响等来适当地决定。也能够为了使放射光能量最小，而将波长区域宽度设为0。在此情况下，能够仅让使用者以低能量识别如灰阶(Grayscale)般的单色的亮度变化，从而能够降低消耗电力。
[0147] 在此，将比波长500nm低的波长区域以及比550nm高的波长区域作为使用者的敏感度降低的波长区域，将特别好的波长区域作为其它波长区域，在图13B中示出了通过与第2实施方式同样的方法导出的波长转换后的根据XYZ表色系统的光谱色度坐标的曲线图。然后，通过与第2实施方式同样的手法进行波长转换，使得即使是使用者的敏感度降低的波长区域的可见光线，也能够作为敏感度特别高的波长区域500nm～550nm的波长区域的可见光线进行观察。本领域普通技术人员可以理解，使用其它实施方式也能同样地进行实施。
[0148] 在以上说明的处理或动作中，只要不产生矛盾，就能够自由地变更处理、动作以及组合。此外，以上所说明的各实施方式只是用于说明本发明的示例，本发明并不限定于这些实施方式。本发明在不脱离其宗旨的情况下，能够以各种方式进行实施。另外，本实施方式所记载的效果只是列举出由本发明产生的最佳效果，本发明的效果并不限定于本实施方式所记载的内容。
[0149] 附图标记说明
[0150] 100 头部佩戴型影像呈现装置
[0151] 101 摄像部
[0152] 102 影像呈现部
[0153] 103 波长转换部
[0154] 104 处理部
[0155] 105 存储部
[0156] 106 程序
[0157] 107 内部存储部
[0158] 108 总线
[0159] 110 投影机壳体
[0160] 111 棱镜
[0161] 112 棱镜。
| 标题 | 发布/更新时间 | 阅读量 |
|---|---|---|
| 一种多视频实时拼接方法及装置 | 2020-06-30 | 2 |
| 一种视频处理方法、装置、服务器及存储介质 | 2020-07-25 | 0 |
| 一种彩光LED加多颗白光LED合成白光方法 | 2020-08-13 | 0 |
| 一种改进的Camshift目标跟踪方法 | 2020-12-13 | 1 |
| 一种应用于电视交流开关机试验的检测系统和方法 | 2021-10-07 | 2 |
| 由裂解汽油C8馏分萃取精馏得到的粗苯乙烯的脱色方法 | 2023-06-23 | 1 |
| 基于区域划分及浓雾预处理的卷积神经网络去雾方法 | 2020-05-19 | 0 |
| 一种有色羟基磷灰石用于牙科漂白剂效用检测的用途 | 2020-05-25 | 1 |
| Transform skip mode | 2021-11-18 | 0 |
| コード化ブロックフラグのコーディング | 2022-12-03 | 1 |
高效检索全球专利专利汇是专利免费检索,专利查询,专利分析-国家发明专利查询检索分析平台，是提供专利分析，专利查询，专利检索等数据服务功能的知识产权数据服务商。
我们的产品包含105个国家的1.26亿组数据，免费查、免费专利分析。
分析报告
专利汇分析报告产品可以对行业情报数据进行梳理分析，涉及维度包括行业专利基本状况分析、地域分析、技术分析、发明人分析、申请人分析、专利权人分析、失效分析、核心专利分析、法律分析、研发重点分析、企业专利处境分析、技术处境分析、专利寿命分析、企业定位分析、引证分析等超过60个分析角度，系统通过AI智能系统对图表进行解读，只需1分钟，一键生成行业专利分析报告。
QQ群二维码
意见反馈
意见反馈