一种立体图像观众感知深度的调节方法
阅读：670发布：2021-06-09
专利汇可以提供一种立体图像观众感知深度的调节方法专利检索，专利查询，专利分析的服务。并且本 发明 公开了一种立体图像观众 感知 深度的调节方法，在三维电视系统中使用平行摄像机设置来生成目标图像，然后将参考图像和目标图像同时向它们连线的中心点 水 平平移，得到摄像机空间的水平传感 视差 ，再根据三维电视系统显示的几何原理，确定了一种用水平屏幕视差表示观众感知深度的方法，最后依据水平传感视差和水平屏幕视差的关系，将观众感知深度转换为摄像机空间的参数，这样，观众可以通过调节水平平移、基线距离和焦距参数来重新生成目标图像从而调节观众感知深度。通过实验，本发明的方法，可以产生观众要求的不同感知深度的立体图像。，下面是一种立体图像观众感知深度的调节方法专利的具体信息内容。
1.一种立体图像观众感知深度的调节方法，其特征在于，包括以下步骤：
①、在三维电视系统中使用平行摄像机设置来生成目标图像
式(1)中，ul，vl分别为参考图像Il中像素点ul的横坐标和纵坐标，ur，vr分别为目标图像Ir中生成的对应像素点ur的横坐标和纵坐标；f为参考图像Il对应的摄像机焦距，B为参考图像Il对应的摄像机的视点Cl、目标图像Ir对应的摄像机的视点Cr之间的距离，即基线距离，sx为图像物理坐标系向图像像素坐标系转换时在横轴，即X轴方向上每单位物理长度对应的像素的个数，zl表示像素点ul(ul，vl)对应的深度值；
②、将参考图像Il和目标图像Ir相向水平移动h个像素点，得到摄像机空间的水平传感视差Dc：
③、将摄像机空间的水平传感视差Dc转换为观众空间的水平屏幕视差Ds：
式(3)中，Ws为观众空间对应的图像宽度，单位为实际的宽度值；Wi为摄像机空间对应的图像宽度，单位为像素；
④、确定观众感知深度d为：
式(4)中，V为观看距离，tx为眼睛瞳孔距离；
⑤、将观众感知深度d转换为摄像机空间的参数，得到观众感知深度d：
⑥、观众通过调节水平移动h、基线距离B或焦距f重新生成目标图像来调节观众感知深度d。
2.根据权利要求1所述的立体图像观众感知深度的调节方法，其特征在于，步骤⑥中只通过调节水平移动h的值来调节观众感知深度d而保持其他基线距离B或焦距f不变。
3.根据权利要求1所述的立体图像观众感知深度的调节方法，其特征在于，步骤②中调节水平移动h得到摄像机空间的水平传感视差Dc转换到观众空间的水平屏幕视差Ds位于0附近，不能趋于-Ws或趋于tx，以正确调节观众感知深度d。
一种立体图像观众感知深度的调节方法
技术领域
背景技术
[0002] 基于深度图像绘制(depth-image-based rendering，简称DIBR)技术是根据参考图像(reference image)及其对应的深度图像(depth image)来生成一幅新的虚拟视点图像，即目标图像(destination image)。与利用左右两路平面视频合成三维影像即传统三维视频格式相比，采用DIBR技术之后仅需要传递一路视频及其深度图像序列就可合成三维影像，而且可以很方便的实现二维和三维的切换，同时避免了由传统视图生成方法所带来的三维空间变换的计算复杂性。正因为如此，DIBR技术在3D电视合成三维影像中中得到了广泛应用，它也引起了人们愈来愈浓厚的兴趣。
[0003] 然而，当观看环境或显示器发生变化时三维内容的逼真度和舒适度会发生畸变，此外，不同人群的深度感受能力也不同。所以，让观众根据自己情况调节图像感知深度是很有必要的。
发明内容
[0004] 本发明的目的在于克服现有技术的不足，提供一种立体图像观众感知深度的调节方法，使观众根据自己情况调节立体图像感知深度。
[0005] 为实现上述目的，本发明立体图像观众感知深度的调节方法，其特征在于，包括以下步骤：
[0006] ①、在三维电视系统中使用平行摄像机设置来生成目标图像
[0007]
[0008] 式(1)中，ul，vl分别为参考图像Il中像素点ul的横坐标和纵坐标，ur，vr分别为目标图像Ir中生成的对应像素点ur的横坐标和纵坐标；f为参考图像Il对应的摄像机焦距，B为参考图像Il对应的摄像机的视点Cl、目标图像Ir对应的摄像机的视点Cr之间的距离，即基线距离，sx为图像物理坐标系向图像像素坐标系转换时在横轴，即X轴方向上每单位物理长度对应的像素的个数，zl表示像素点ul(ul，vl)对应的深度值；
[0010]
[0011] ③、将摄像机空间的水平传感视差Dc转换为观众空间的水平屏幕视差Ds：
[0012]
[0013] 式(3)中，Ws为观众空间对应的图像宽度，单位为实际的宽度值；Wi为摄像机空间对应的图像宽度，单位为像素；
[0014] ④、确定观众感知深度d为：
[0015]
[0016] 式(4)中，V为观看距离，tx为眼睛瞳孔距离；
[0017] ⑤、将观众感知深度d转换为摄像机空间的参数，得到观众感知深度d：
[0018]
[0019] ⑥、观众通过调节水平移动h、基线距离B或焦距f来调节观众感知深度d。
[0020] 本发明的发明目的是这样实现的：
[0021] 本发明立体图像观众感知深度的调节方法，在三维电视系统中使用平行摄像机设置来生成目标图像，然后将参考图像和目标图像同时向它们连线的中心点水平平移，得到摄像机空间的水平传感视差，再根据三维电视系统显示的几何原理，确定了一种用水平屏幕视差表示观众感知深度的方法，最后依据水平传感视差和水平屏幕视差的关系，将观众感知深度转换为摄像机空间的参数，这样，观众可以通过调节水平平移、基线距离和焦距参数重新生成目标图像来调节观众感知深度。通过实验，本发明的方法，可以产生观众要求的不同感知深度的立体图像。附图说明
[0022] 图1是通过平行摄像机设置来生成目标图像的原理图；
[0023] 图2是传感变换摄像机设置的原理图；
[0024] 图3是传感变换的原理图；
[0025] 图4是摄像机空间的水平传感视差与观众空间的水平屏幕视差的关系图；
[0026] 图5是三维电视系统显示的几何原理图；
[0027] 图6是观众感知深度与其他参数的关系图；
[0028] 图7是观众感知深度与水平屏幕视差的关系图。
具体实施方式
[0029] 下面结合附图对本发明的具体实施方式进行描述，以便本领域的技术人员更好地理解本发明。需要特别提醒注意的是，在以下的描述中，当已知功能和设计的详细描述也许会淡化本发明的主要内容时，这些描述在这里将被忽略。
[0030] 图1是通过平行摄像机设置来生成目标图像的原理图。
[0031] 如图1所示，Il为参考图像，其宽度为Wi(像素)，Ir为与参考图像Il图像大小相同的目标图像。像素点ul是参考图像Il上的点，其在图像像素坐标系的标准化齐次坐标为T[ul，vl，1]，场景点U是像素点ul投影到三维空间中的点，其在世界坐标系的标准化齐次坐T
标为[xw yw zw 1]，场景点U投影到目标图像Ir上对应的像素点ur，其标准化齐次坐标为T
[ur，vr，1]。设世界坐标系xwywzw与参考图像，即左视图对应的左摄像机的摄像机坐标系一致。
标为[xw yw zw 1]，场景点U投影到目标图像Ir上对应的像素点ur，其标准化齐次坐标为T
[ur，vr，1]。设世界坐标系xwywzw与参考图像，即左视图对应的左摄像机的摄像机坐标系一致。
[0032] 如图1所示，在三维电视系统中，通过使用平行摄像机设置来生成目标图像Ir，在本实施例中，即右视图对应的右摄像机的视点Cr通过参考图像Il，在本实例中，即左视图对应的左摄像机的视点Cl水平平移基线距离B得到。左右视图的中心点ol、or分别在坐标系中的zw、zr坐标轴上。左右摄像机的内部参数矩阵满足Kl＝Kr＝K，旋转变换矩阵满足Rl＝Rr＝I，I为单位矩阵。
[0033] B为参考图像Il对应的摄像机的视点Cl、目标图像Ir对应的摄像机的视点Cr连接构成的基线的距离，即左右摄像机光心间的距离，由于成人眼睛瞳孔距离一般为65mm，所以我们通常设用来捕捉立体图像对的两摄像机的光心距离即基线距离B值为65mm。由于在世T T界坐标系xwywzw中，视点Cl和Cr的坐标分别为[0 0 0] 和[B 0 0]，所以有：
[0034] zlul＝K[xw yw zw]T (6)
[0035]
[0036] 其中，zl表示像素点ul(ul，vl)对应的深度值，zr表示像素点ur(ur，vr)对应的深度值。
[0037] 由于目标图像Ir的摄像机坐标系是世界坐标系xwywzw的水平平移，所以像素点ur(ur，vr)对应的深度值zr＝zl＝zw。
[0038] 左右摄像机的内部参数矩阵为：
[0039]
[0040] 其中f为参考图像Il对应摄像机的焦距，(ox，oy)为图像像素坐标系xoy的中心点。sx和sy分别为X轴和Y轴每单位长度(毫米)的像素数。将公式(8)代入公式(7)得到公式(1)：
[0041]
[0042] 图2是传感变换摄像机设置的原理图。
[0043] 为了产生正、负视差，在平行摄像机设置中引入传感变换。如图3所示，参考图像Il和目标图像Ir分别从初始位置相向水平移动h个像素点，且h≥0。这将使中心点ol和or分别移动到 or′。总之，光轴 和Cr or′将交于点zc，zc称为零视差点。参考图像Il和目标图像Ir置于摄像机光心之前，这种特殊设置使公式(1)的数学形式得到简化但公式的使用范围不变。经过传感变换，平行摄像机设置变为传感变换(shift-sensor)摄像机设置。
[0044] 图3是传感变换的原理图。
[0045] 传感变换可用图像中心点ol和or的位移公式来表示，除非参考图像、目标图像平面的中心移动，也可以说为两图像像素坐标系移动，否则针孔摄像机模型不会发生改变。传感变换后的左右摄像机的内部参数与原左右摄像机内部参数是对应的，只是各自的中心点ol和or相向水平平移，移动后，左右摄像机的内部参数矩阵为：
[0046]
[0047]
[0048] 参考图像中心点ol在水平平移后新的图像像素坐标系x′o′y′中的水平坐标比在原来的图像像素坐标系xoy中的水平坐标减少了h，即在公式(9)中使用“-h”，相反的，在公式(10)中，我们使用“h”。
[0049] 从公式(9)和(10)知：
[0050]
[0051] 与公式(6)、(7)相似，有：
[0052] zlul＝Kl[xw yw zw]T (12)
[0053]
[0054] 将公式(11)、(12)代入(13)中，则有：
[0055]
[0056] 由于zr＝zl＝zw，所以公式(14)变为：
[0057]
[0058] 得到摄像机空间的水平传感视差Dc：
[0059]
[0060] 在公式(2)中，如果水平传感视差Dc＝0，那么有zl＝f·sx·B/(2h)，这刚好是ZPS(zero-parallax setting)平面，零视差点zc一定在ZPS平面上，即zc＝f·sx·B/2h。由于在传感变换shift-sensor摄像机设置中f，sx和B通常是常数，所以ZPS平面的选择通常取决于h值的设置。由于zw＞f＞0，所以有f·sx·B/2h＞f，即h＜sx·B/2。总之，h值的取值范围在0到sx·B/2之间。
[0061] 若水平传感视差Dc＞0，即视差为正，那么zw＞f·sx·B/(2h)。由于ur-ul的绝对值小于图像宽度Wi，所以Dc≤Wi。
[0062] 若水平传感视差Dc＜0，即视差为负，那么zw＜f·sx·B/(2h)。
[0063] 表1定性说明了参数f、h、B对传感视差Dc的影响。
[0064]
[0065] 表1
[0066] 图4是摄像机空间的水平传感视差与观众空间的水平屏幕视差的关系图。
[0067] 如图4所示，水平传感视差Dc和水平屏幕视差Ds属于不同空间，即分别属于摄像机空间和观众空间。水平传感视差Dc的单位为像素，水平屏幕视差Ds的单位为长度值，一般以毫米(mm)表示。在摄像机空间，图像宽度为Wi(单位：像素)，在观众空间，图像宽度为Ws(单位：mm)。右视图的边缘为虚线，也就是说它是由DIBR技术绘制的虚拟图像。
[0068] 现阶段流行的支持高清图像(full high definition，简称FHD)的3D显示屏幕的分辨率为1920×1080。为了显示立体图像，通过线性转换算法将左视图和右视图转换至FHD的分辨率，所以屏幕放大因数为1920/Wi，水平传感视差Dc变为Dc×1920/Wi(单位：像素)。将图像放映到屏幕上时，图像宽度Wi等于1920像素，所以我们有：
[0069]
[0070] 公式(16)与屏幕的分辨率无关，它适用于不同的屏幕分辨率。从公式(16)可知，因为Wi/Ws＞0，所以Dc和Ds的符号相同，并且他们的变化趋势也相同。
[0071] 图5是三维电视系统显示的几何原理图。
[0072] 如图5所示，在观众空间的所有对象均位于世界坐标系xyz中，其单位长度为毫米T(mm)。设世界坐标系的z轴经过屏幕的中心，观众的左眼位置在el＝[-tx/20 0]，右眼位T
置在er＝[tx/2 0 0](tx＞0)。在此观察环境下，原点o位于两眼的中心。在图5中，使用了如下参数：
置在er＝[tx/2 0 0](tx＞0)。在此观察环境下，原点o位于两眼的中心。在图5中，使用了如下参数：
[0073] Ws：屏宽，即屏幕的水平尺寸；
[0074] Hs：屏高，即屏幕的垂直尺寸；
[0075] V：观看距离，为正数，即从观众的眼睛到3D电视屏幕的距离；
[0076] tx：眼睛瞳孔距离，为正数。
[0077] 令W＝[xi，yi，zi]T表示观众空间的一个虚拟点，此点为观众在立体图像显示时观察到的立体点。在如图5所示的观察环境下，zi满足zi＞0，因为观众无法看到其背后的物体。
[0078] 左右眼分别通过el和er观察点W，我们在屏幕上得到立体图像对xl、xr，如图5显示的是一个正视差情况。xl、xr的坐标的计算公式如下：
[0079]
[0080] 图6是观众感知深度与其他参数的关系图。
[0081] 如图6所示，立体图像对xl、xr的水平坐标的关系，水平屏幕视差Ds为：
[0082]
[0083] 明显地xr-xl的绝对值不大于屏幕宽度Ws，即水平屏幕视差Ds≥-Ws。并且，xr-xl的值小于tx，，否则，观众的视线将不能会聚。因此，-Ws≤Ds＜tx。
[0084] 公式(20)说明水平屏幕视差Ds只与zi和V有关，因为tx通常为显示配置的一个常数。
[0085] 如图6所示，令观众感知深度d＝zi-V，这样观众感知深度d直接反映观众眼睛感受到的深度感，此深度感由水平屏幕视差Ds产生。由于zi＞0，V＞0，所以观众感知深度d的理论取值范围为-V到+∞。
[0086] 公式(20)变形为表示观众感知深度d和水平屏幕视差Ds关系的等式：
[0087]
[0088] 整理公式(21)，确定观众感知深度d为：
[0089]
[0090] 从公式(4)可以看出，观众感知深度d仍依赖与水平屏幕视差Ds。
[0091] 图7是观众感知深度与水平屏幕视差的关系图。
[0092] 如图7所示，水平屏幕视差Ds和观众感知深度d的关系是非线性的，当水平屏幕视差Ds趋于-Ws时，曲线变得平直；当水平屏幕视差Ds趋于tx时，曲线值急升，这可能导致错误的观众感知深度，仅当水平屏幕视差Ds位于0附近时，曲线变化近似为线性，因此，水平屏幕视差Ds不能趋于-Ws或趋于tx，以正确调节观众感知深度d。
[0093] 最后，将公式(2)代入公式(3)，再将公式(3)代入公式(4)，将观众感知深度d转换为摄像机空间的参数，得到观众感知深度d：
[0094]
[0095] 从公式(5)知，观众空间的感知深度可通过摄像机空间的参数计算出来。在特定的观察和显示环境，观众空间的参数Ws，V和tx是不能调节的。因此，只有在摄像机空间的基于深度图像的绘制(DIBR)过程中改变参数的值能真正实现深度调节。这也是基于深度图像的3D视频比传统3D视频更容易提供安全和舒适的3D体验的原因。
[0096] 观众感知深度d取决于参数水平移动h、基线距离B、焦距f的综合作用，在实际应用中我们可以通过改变这3个参数的值来获得可靠和舒适的3D体验。但是，由于捕捉立体图像对的两摄像机的光心距离即基线距离B值取决于眼睛瞳孔距离，基线距离B通常是常数，通常取65mm，参考图像Il对应的摄像机焦距f通常也是确定的值，这样在具体实现时，只通过调节水平移动h的值来观众调节感知深度d而保持其他2个参数不变。
[0097] 尽管上面对本发明说明性的具体实施方式进行了描述，以便于本技术领域的技术人员理解本发明，但应该清楚，本发明不限于具体实施方式的范围，对本技术领域的普通技术人员来讲，只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内，这些变化是显而易见的，一切利用本发明构思的发明创造均在保护之列。
| 标题 | 发布/更新时间 | 阅读量 |
|---|---|---|
| 上下文感知推荐 | 2020-05-13 | 901 |
| 感知失去检测 | 2020-05-13 | 869 |
| 感知阅读装置 | 2020-05-13 | 8 |
| 感知装置 | 2020-05-11 | 332 |
| 感知导盲鞋 | 2020-05-12 | 71 |
| 体感网感知终端系统、感知节点及感知方法 | 2020-05-13 | 100 |
| 仿人眼感知技术 | 2020-05-13 | 956 |
| 一种物联网感知层节点的管理方法及系统 | 2020-05-11 | 878 |
| 机架感知 | 2020-05-11 | 429 |
| 一种感知卡 | 2020-05-11 | 401 |
高效检索全球专利专利汇是专利免费检索,专利查询,专利分析-国家发明专利查询检索分析平台，是提供专利分析，专利查询，专利检索等数据服务功能的知识产权数据服务商。
我们的产品包含105个国家的1.26亿组数据，免费查、免费专利分析。
分析报告
专利汇分析报告产品可以对行业情报数据进行梳理分析，涉及维度包括行业专利基本状况分析、地域分析、技术分析、发明人分析、申请人分析、专利权人分析、失效分析、核心专利分析、法律分析、研发重点分析、企业专利处境分析、技术处境分析、专利寿命分析、企业定位分析、引证分析等超过60个分析角度，系统通过AI智能系统对图表进行解读，只需1分钟，一键生成行业专利分析报告。
感知热门专利
-
10 感知型高尔夫球杆
QQ群二维码
意见反馈
意见反馈