技术领域
[0001] 本
发明涉及一种头戴显示设备的反畸变调节方法、装置和虚拟现实系统。
背景技术
[0002] 虚拟现实技术，是利用计算机技术将视觉、听觉、触觉等多种信息融合重建，从而生成
人机交互式的虚拟场景。用户能够通过虚拟现实(virtual reality，VR)设备所展示的实时动态的三维立体图像，获得身临其境的沉浸式体验。
[0003] 目前，VR头戴显示设备为了增加
沉浸感，在设计和生产时，会通过一个加在屏幕前的透镜增加视场
角，使用者的眼睛在靠近透镜时就可以增大视场角，提升沉浸感，但是透镜会带来图像的色散和畸变，视场角越大的区域，色散和畸变就越明显，所以设计者必须根据透镜的光学参数，设计配套对应的反畸变参数配置表，在
渲染图像时做图像校正，以消除由于透镜带来的负面影响。
[0004] 但是不同人眼窝深度不同，到VR头戴显示设备的透镜的出瞳距离有所差异，不同的出瞳距离同样会造成色散和畸变的差异，而VR头戴显示设备在设计和生产时并无法预估每一个使用者的出瞳距离，
现有技术方案只能从统计角度，设计出理想状况下或者适合一定出瞳距离范围使用者的反畸变效果。
[0005] 由此带来的问题，一是无法针对个体差异为每位使用者呈现理想的画面色彩和还原效果，二是无法
覆盖出瞳距离偏大或偏小的使用者。更重要的是如果VR头戴显示设备针对全球市场，对于不同人种的使用者眼窝深度差异明显，产品更是无法兼顾。
发明内容
[0006] 本发明的目的在于提供了一种用于头戴显示设备的反畸变调节的新技术方案。
[0007] 第一方面，本发明提供了一种虚拟现实头戴显示设备的反畸变调节方法包括：
[0008] 利用集成在头戴显示设备中的深度摄像机组件追踪眼睛运动，根据追踪结果获得眼睛的出瞳距离；
[0009] 根据所述出瞳距离和所述头戴显示设备的
光学透镜的参数值，计算反畸变参数；
[0010] 根据所述反畸变参数对所述头戴显示设备进行反畸变调节。
[0011] 第二方面，本发明提供了一种虚拟现实头戴显示设备的反畸变调节装置，包括：
[0012] 出瞳距离计算单元，用于利用集成在头戴显示设备中的深度摄像机组件追踪眼睛运动，根据追踪结果获得眼睛的出瞳距离；
[0013] 反畸变参数计算单元，用于根据所述出瞳距离和所述头戴显示设备的光学透镜的参数值，计算反畸变参数；
[0014] 反畸变调节单元，用于根据所述反畸变参数对所述头戴显示设备进行反畸变调节。
[0015] 第三方面，本发明提供了一种虚拟现实系统，包括：包括处理器和
存储器；存储器，存储计算机可执行指令；处理器，所述计算机可执行指令在被执行时使处理器执行反畸变调节方法。
[0016] 第四方面，本发明提供了一种计算机可读存储介质，计算机可读存储介质上存储有一个或多个
计算机程序，一个或多个计算机程序被执行时实现反畸变调节方法。
[0017] 本发明至少取得以下技术效果：通过获取使用者真实的出瞳距离，结合光学透镜，生成符合使用者视觉特征的反畸变参数，以在显示屏幕上渲染出桶形反畸变画面，通过光学透镜后，为使用者还原出真实色彩和图像特征。
附图说明
[0018] 为了更清楚地说明本发明
实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍。应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定。对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
[0019] 图1为本发明实施例示出的虚拟现实系统的
硬件结构示意图；
[0020] 图2为本发明实施例示出的出瞳距离对反畸变效果的影响原理示意图；
[0021] 图3为本发明实施例示出的头戴显示设备的反畸变调节方法
流程图；
[0022] 图4为本发明实施例示出的测量
坐标系的示意图；
[0023] 图5为本发明实施例示出的反畸变调节流程图；
[0024] 图6为本发明实施例示出的头戴显示设备的反畸变调节装置结构示意图；
[0025] 图7为本发明实施例示出的虚拟现实系统的结构示意图。
具体实施方式
[0026] 现在将参照附图来详细描述本发明的各种示例性实施例。应注意到：除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本发明的范围。
[0027] 以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本发明及其应用或使用的任何限制。
[0028] 对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，技术、方法和设备应当被视为
说明书的一部分。
[0029] 在这里示出和讨论的所有例子中，任何具体值应被解释为仅仅是示例性的，而不是作为限制。因此，示例性实施例的其它例子可以具有不同的值。
[0030] 应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步讨论。
[0031] <实施例一>
[0032] 图1为本发明实施例示出的虚拟现实系统100的硬件结构示意图。
[0033] 如图1所示，虚拟现实系统100包括输入设备1000和虚拟现实设备2000。
[0034] 输入设备1000用于采集用户指令，并将采集到的用户指令提供至虚拟现实设备2000。
[0035] 该输入设备1000可以是能够进行
数据采集的任意移动设备，例如
手柄等。
[0036] 虚拟现实设备2000可以是任意的
电子设备，例如虚拟现实头盔、头戴显示设备、
服务器等。
[0037] 在本实施例中，参照图1所示，虚拟现实设备2000可以包括处理器2100、存储器2200、
接口装置2300、通信装置2400、显示装置2500、输入装置2600、扬声器2700、麦克
风2800等等。
[0038] 处理器2100可以是移动版处理器。存储器2200例如包括ROM(
只读存储器)、RAM(
随机存取存储器)、诸如
硬盘的
非易失性存储器等。接口装置2300例如包括USB接口、
耳机接口等。通信装置2400例如能够进行有线或无线通信，通信装置2400可以包括短距离通信装置，例如是基于Hilink协议、WiFi(IEEE 802.11协议)、Mesh、蓝牙、ZigBee、Thread、Z-Wave、NFC、UWB、LiFi等短距离无线通信协议进行短距离无线通信的任意装置，通信装置2400也可以包括远程通信装置，例如是进行WLAN、GPRS、2G/3G/4G/5G远程通信的任意装置。显示装置2500例如是
液晶显示屏、触摸显示屏等，显示装置2500用于显示
图像采集装置采集的目标图像。输入装置2600例如可以包括
触摸屏、
键盘等。用户可以通过扬声器2700和麦克风2800输入/输出语音信息。
[0039] 在该实施例中，虚拟现实设备2000的存储器2200用于存储指令，该指令用于控制处理器2100进行操作以至少执行根据本发明任意实施例的反畸变调节方法。技术人员可以根据本发明所公开方案设计指令。指令如何控制处理器进行操作，这是本领域公知，故在此不再详细描述。
[0040] 尽管在图1中示出了虚拟现实设备2000的多个装置，但是，本发明可以仅涉及其中的部分装置，例如，虚拟现实设备2000只涉及存储器2200、处理器2100和显示装置2500。
[0041] 应当理解的是，尽管图1仅示出一个输入设备1000和一个虚拟现实设备2000，但不意味着限制各自的数量，虚拟现实系统100中可以包含多个输入设备1000和/或虚拟现实设备2000。
[0042] <实施例二>
[0043] 现有技术在生成反畸变Mesh网格配置参数时，只考虑了光学透镜的因素，未考虑出瞳距离对于反畸变效果的影响，使用者在使用VR头戴显示设备时，会由于各自的出瞳距离不同，观看效果不同。
[0044] 如图2所示，两个小矩形框红分别代表不同使用者的观察
位置，两个光路示出了不同使用者的视线经过其相应的出瞳距离透过光学透镜以后，映射到屏幕的过程。可以看出，出瞳距离改变后，通过光学透镜的折射光路发生改变，畸变过程对于同一个光学透镜位置对应的屏幕位置发生变化，对于一些出瞳距离偏大或偏小的使用者，色散和畸变尤为明显。
[0045] 针对上述问题，本
申请通过VR头戴显示设备中的用于眼动追踪的深度摄像机组件，实时追踪眼睛的运动，通过
图像处理技术
定位瞳孔位置，从而计算出瞳距离，生成符合使用者出瞳距离的反畸变Mesh网格参数配置，通过光学透镜后，还原真实色彩和图像特征。
[0046] 图3为本发明实施例示出的头戴显示设备的反畸变调节方法流程图，如图3所示，本实施例的方法包括：
[0047] S3100，利用集成在头戴显示设备中的深度摄像机组件追踪眼睛运动，根据追踪结果获得眼睛的出瞳距离。
[0048] 深度摄像机组件为集成在头戴显示设备中的多相机眼动追踪或TOF等具有深度检测功能的相机设备，可用于注视点渲染、眼动交互、自动测量瞳距、人眼识别等。
[0049] 其中，头戴显示设备中的深度摄像机组件是反畸变调节所需的硬件，一般固定安装于头戴显示设备的光学透镜边缘位置，可能集成眼动追踪
传感器、或者TOF相机，通过该硬件提供的接口输出瞳孔坐标。
[0050] S3200，根据出瞳距离和头戴显示设备的光学透镜的参数值，计算反畸变参数。
[0051] 其中，光学透镜的参数包括但不限于光学透镜的厚度，反畸变参数包括但不限于反畸变Mesh网格配置参数。
[0052] S3300，根据反畸变参数对头戴显示设备进行反畸变调节。
[0053] 本实施例通过获取使用者真实的出瞳距离，结合光学透镜，生成符合使用者视觉特征的反畸变参数，以在显示屏幕上渲染出桶形反畸变画面，通过光学透镜后，为使用者还原出真实色彩和图像特征。
[0054] 在一个实施例中，上述步骤S3100利用集成在头戴显示设备中的深度摄像机组件追踪眼睛运动，根据追踪结果获得眼睛的出瞳距离进一步包括：
[0055] S3110，在需要进行反畸变调节时，利用深度摄像机组件对眼睛运动进行追踪拍摄，对获取到的眼睛图像进行图像处理，获得瞳孔与深度摄像机组件之间的第一距离。
[0056] 在需要进行反畸变调节时，利用深度摄像机组件对眼睛运动进行追踪拍照，可以理解为：在头戴显示设备的系统启动时，和/或，在头戴显示设备的显示屏幕亮屏时，和/或，在头戴显示设备的矫正功能启动时，利用深度摄像机组件对眼睛运动进行追踪拍照。
[0057] S3120，获取深度摄像机组件在预先建立的测量坐标系中的传感器坐标。其中，如图4所示，以光学透镜的中心点为坐标原点O，以光学透镜的光轴所在直线为X轴，以垂直于X轴的直线为Y轴，建立直角坐标系XOY。
[0058] S3130，根据第一距离、传感器坐标以及预先获得的光学透镜的厚度，计算出出瞳距离。
[0059] 参考图4，为便于计算，本实施将深度摄像机组件所在的位置设置在Y轴上，这样在建立直角坐标系XOY的过程中，可以根据深度摄像机组件与光学透镜之间的距离关系，得到传感器坐标，该传感器坐标坐在位置即为深度摄像机组件所在位置。
[0060] 由于基于深度摄像机组件与光学透镜之间的距离关系，可以得到传感器坐标，因此，可以根据传感器坐标即可获取深度摄像机组件相对于坐标原点的第二距离。即图4中的A点的坐标即为传感器坐标，A2的纵坐标所对应的长度即为深度摄像机组件相对于坐标原点的第二距离OA。
[0061] 基于三角形法则计算以第一距离为直角三角形的斜边，以第二距离为直角三角形的一直角边的，该直角三角形的另一直角边的第三距离。即图4中的线段OA对应为直角三角形AOE的一个直角边，线段AE对应为直角三角形AOE的一个斜边，线段OE对应为直角三角形AOE的另一个直角边，根据三角形法则可以计算出
[0062] 由此，以坐标原点O为起始点，以第三距离OE为参考沿着X轴上确定瞳孔坐标，即图4中的E点坐标为瞳孔坐标，对应于使用者眼睛所在位置。进而根据瞳孔坐标与光学透镜的厚度，计算得到出瞳距离。具体的，出瞳距离d＝OE-h。
[0063] 在一个实施例中，如图5所示，上述步骤S3200根据出瞳距离和头戴显示设备的光学透镜的参数值，计算反畸变参数进一步包括：
[0064] S3210，建立反畸变参数模型，该反畸变参数模型为至少关于输出桶形Mesh网格、输入出瞳距离参数、输入光学透镜参数的拟合函数。
[0065] 其中，输出桶形Mesh网格为模型的输出，输入出瞳距离参数、输入光学透镜参数均为模型的输入。
[0066] 本实施例中的拟合函数为多次拟合函数。以采用中心对称类型的光学镜片为例，多次拟合函数可以为：
[0067] scale＝k0+k1*(r2+d2)+k2*(r4+d4)…
[0068] 其中，r为原始图像到中心点的距离，d为出瞳距离，scale为输出畸变率。
[0069] S3220，接收来自头戴显示设备的操作界面中预设输入接口输入的出瞳距离参考值，出瞳距离参考值为基于追踪结果获得的出瞳距离，或者为对出瞳距离进行调整后生成的出瞳距离调整值。
[0070] 在系统启动时，深度摄像机组件上电，开启自动检测，通过预设输入接口输出出瞳距离。本实施例还可以设计
软件操作界面，使用者主动矫正反畸变参数配置，例如启动矫正功能时，追踪组件重新检测使用者的眼睛位置，更新计算出的出瞳距离，或者对出瞳距离进行调整，将更新或调整后的出瞳距离通过该预设输入接口输出。
[0071] S3230，获取头戴显示设备的光学透镜参数值。
[0072] S3240，将出瞳距离参考值与光学透镜参数值作为输入参数，输入到反畸变参数模型，将反畸变参数模型的输出桶形Mesh网格作为反畸变参数。
[0073] 其中，反畸变调节过程为：将头戴显示设备获取到的虚拟场景画面的各个
像素值映射到输出桶形Mesh网格，基于输出桶形Mesh网格渲染出桶形畸变画面；将桶形畸变画面发送到头戴显示设备的显示屏幕进行显示，以使得显示屏幕上的显示画面经过光学透镜后输出到用户眼睛，实现无畸变的图像显示。
[0074] 由上，本实施例可实时监测使用者的真实出瞳距离，为每一位使用者呈现理想的画面色彩和还原效果；本实施例的反畸变调节方案可覆盖出瞳距离偏大或偏小的使用者，能够兼顾不同国家、区域、人种的使用者，无需设计多套头戴显示配件。
[0075] <实施例三>
[0076] 图6为本发明实施例示出的头戴显示设备的反畸变调节装置结构示意图，如图6所示，本实施例的装置包括：
[0077] 出瞳距离计算单元，用于利用集成在头戴显示设备中的深度摄像机组件追踪眼睛运动，根据追踪结果获得眼睛的出瞳距离；
[0078] 反畸变参数计算单元，用于根据所述出瞳距离和所述头戴显示设备的光学透镜的参数值，计算反畸变参数；
[0079] 反畸变调节单元，用于根据所述反畸变参数对所述头戴显示设备进行反畸变调节。
[0080] 在一个实施例中，出瞳距离计算单元包括第一计算模
块、第二计算模块和第三计算模块；
[0081] 第一计算模块在需要进行反畸变调节时，利用所述深度摄像机组件对眼睛运动进行追踪拍照，对拍照所得的眼睛图像进行图像处理，获得瞳孔与所述深度摄像机组件之间的第一距离；
[0082] 第二计算模块获取所述深度摄像机组件在预先建立的测量坐标系中的传感器坐标；其中，以所述光学透镜的中心点为坐标原点O，以所述光学透镜的光轴所在直线为X轴，以垂直于所述X轴的直线为Y轴，建立直角坐标系XOY；
[0083] 第三计算模块根据所述第一距离、所述传感器坐标以及预先获得的所述光学透镜的厚度，计算出所述出瞳距离。
[0084] 具体的，第三计算模块根据所述传感器坐标获取所述深度摄像机组件相对于所述坐标原点的第二距离；基于三角形法则计算以所述第一距离为直角三角形的斜边，以所述第二距离为所述直角三角形的一直角边的，所述直角三角形的另一直角边的第三距离；以所述坐标原点O为起始点，以所述第三距离为参考沿着所述X轴上确定瞳孔坐标；根据所述瞳孔坐标与所述光学透镜的厚度，计算得到所述出瞳距离。
[0085] 在一个实施例中，反畸变参数计算单元包括：第一获取模块、第二获取模块和第四计算模块；
[0086] 第一获取模块，接收来自所述头戴显示设备的操作界面中预设输入接口输入的出瞳距离参考值，所述出瞳距离参考值为基于所述追踪结果获得的所述出瞳距离，或者为对所述出瞳距离进行调整后生成的出瞳距离调整值；
[0087] 第二获取模块，获取所述头戴显示设备的光学透镜参数值；
[0088] 第四计算模块，将所述出瞳距离参考值与所述光学透镜参数值作为输入参数，输入到所述反畸变参数模型，将所述反畸变参数模型的输出桶形Mesh网格作为所述反畸变参数。
[0089] 在一个实施例中，反畸变调节单元，将所述头戴显示设备获取到的虚拟场景画面的各个像素值映射到所述输出桶形Mesh网格，基于所述输出桶形Mesh网格渲染出桶形畸变画面；将所述桶形畸变画面发送到所述头戴显示设备的显示屏幕进行显示，以使得所述显示屏幕上的显示画面经过光学透镜后输出到用户眼睛，实现无畸变的图像显示。
[0090] 本发明装置实施例中各模块的具体实现方式可以参见本发明方法实施例中的相关内容，在此不再赘述。
[0091] <实施例四>
[0092] 图7为本发明实施例示出的虚拟现实系统的结构示意图，如图7所示，在硬件层面，该虚拟现实系统包括处理器，可选地还包括内部总线、网络接口、存储器。其中，存储器可能包含内存，例如高速随机存取存储器(Random-Access Memory，RAM)，也可能还包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器等。当然，该虚拟现实系统还可能包括其他业务所需要的硬件，例如手柄。
[0093] 处理器、网络接口和存储器可以通过内部总线相互连接，该内部总线可以是ISA(Industry Standard Architecture，工业标准体系结构)总线、PCI(Peripheral Component Interconnect，外设部件互连标准)总线或EISA(Extended Industry Standard Architecture，扩展工业标准结构)总线等。所述总线可以分为
地址总线、
数据总线、控制总线等。为便于表示，图7中仅用一个双向箭头表示，但并不表示仅有一根总线或一种类型的总线。
[0094] 存储器，用于存放程序。具体地，程序可以包括程序代码，所述程序代码包括计算机可执行指令。存储器可以包括内存和非易失性存储器，并向处理器提供指令和数据。
[0095] 处理器从非易失性存储器中读取对应的计算机程序到内存中然后运行，在逻辑层面上形成反畸变调节装置。处理器，执行存储器所存放的程序实现如上文描述的反畸变调节方法。
[0096] 上述如本说明书图7所示实施例揭示的反畸变调节装置执行的方法可以应用于处理器中，或者由处理器实现。处理器可能是一种集成
电路芯片，具有
信号的处理能
力。在实现过程中，上文描述的反畸变调节方法的各步骤可以通过处理器中的硬件的集成
逻辑电路或者软件形式的指令完成。上述的处理器可以是通用处理器，包括
中央处理器(Central Processing Unit，CPU)、网络处理器(Network Processor，NP)等；还可以是
数字信号处理器(Digital Signal Processor，DSP)、
专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程
门阵列(Field－Programmable Gate Array，FPGA)或者其他
可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本说明书实施例中的公开的各方法、步骤及逻辑
框图。通用处理器可以是
微处理器或者该处理器也可以是任何常规的处理器等。结合本说明书实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及
软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器，处理器读取存储器中的信息，结合其硬件完成上述反畸变调节方法的步骤。
[0097] 本发明还提供了一种计算机可读存储介质。
[0098] 该计算机可读存储介质存储一个或多个计算机程序，该一个或多个计算机程序包括指令，该指令当被处理器执行时，能够实现上文描述的反畸变调节方法。
[0099] 为了便于清楚描述本发明实施例的技术方案，在发明的实施例中，采用了“第一”、“第二”等字样对功能和作用基本相同的相同项或相似项进行区分，本领域技术人员可以理解“第一”、“第二”等字样并不对数量和执行次序进行限定。
[0100] 以上所述，仅为本发明的具体实施方式，在本发明的上述教导下，本领域技术人员可以在上述实施例的
基础上进行其他的改进或
变形。本领域技术人员应该明白，上述的具体描述只是更好的解释本发明的目的，本发明的保护范围应以
权利要求的保护范围为准。
