用于合理使用帧打包格式的活动空间的方法及设备 |
|||||||
| 申请号 | CN201510519638.0 | 申请日 | 2011-05-02 | 公开(公告)号 | CN105187816B | 公开(公告)日 | 2017-12-22 |
| 申请人 | 英特尔公司; | 发明人 | S·K·简恩; | ||||
| 摘要 | 本 申请 公开了用于合理使用 帧 打包格式的活动空间的方法及设备。在帧打包格式中活动空间将左帧与右帧分隔开。期望源装置发送常数 像素 值。期望接收装置忽略在活动空间期间接收到的与该值无关的所有数据。本 发明 的 实施例 使源装置用于将智能信息嵌入活动空间以代替所推荐的固定像素值。然后接收装置可从活动空间读取嵌入的信息，并且推断左帧和右帧之间的例如对同步眼镜有用的转换。 | ||||||
| 权利要求 | 1.一种用于立体视频处理的方法，包括： |
||||||
| 说明书全文 | 用于合理使用帧打包格式的活动空间的方法及设备[0001] 本发明专利申请是国际申请号为PCT//US2011/034777，国际申请日为2011年05月02日，进入中国国家阶段的申请号为201180027169.0，名称为“用于合理使用帧打包格式的活动空间的方法及设备”的发明专利申请的分案申请。 发明领域 [0002] 本发明的实施例涉及立体系统，尤其涉及对于三维(3D)观看有用的眼镜系统。 [0003] 背景信息 [0004] 由于我们的双眼相隔数英寸的事实，人们拥有所谓的双眼视力。每个眼睛从稍微不同的视角观看相同场景，每一个向大脑提供稍微不同的信息。这两个视图被大脑组合使得我们感知深度并且看到三维(3D)世界。 [0005] 诸如画面或视频之类的电子存储或传送的可视图像通常被显示在诸如电视屏幕或其它类型监视器之类的二维媒介上或者被投影到屏幕上。两眼观看相同信息。因此让大脑使用来自二维(2D)图像的其它可视线索，诸如物体的相对大小、阴影、透视线、或水平线(仅举几个例子)，来感测深度。然而，画面看起来仍然是扁平的，而不像我们所看到的真实世界。 [0006] 立体视法是指用于从二维图像给出对深度的错觉的各种过程和设备中的任何一种。我们说错觉是因为真正的三维可能更像全息图，你可以在图像周围走动并改变你的视角。然而，当正确地完成后，立体视法可欺骗大脑认为物体朝向你从屏幕中跳出。 [0007] 在其最简单的形式中，间隔数英寸的两个相机或带有两个镜头的一个相机被用于捕获两个二维图像。当然，每个二维图像来自稍微不同的视角，使得当左眼观看一个图像而右眼观看另一图像时，大脑将这些视图组合且我们将所组合的图像视为三维(3D)。 [0008] 大屏幕立体电影或“3D电影”(更常用的术语)正再次变得相当普遍。另外，三维技术现在可用于具有所谓的3D电视的家庭录像、视频游戏、以及用于计算机监视器观看的流送与所记录的视频内容。 [0009] 有若干种可用的立体视法或“3D”技术。大多数要求观看者戴上特定眼镜或护目镜。一些要求眼镜内含有源元件，其它的无此要求。一些要求特定的监视器或驱动器。每种均有其利弊，并且视情况对于特定任务可能或可能不具有意义。 [0010] 无论使用何种技术，最终目的主要是分离左眼和右眼所看到的事物。早期技术涉及物理分离，其中观看者向类似双目镜的设备中看，每个眼睛一个透镜以物理分离左视图和右视图。这种可能最古老的技术相当有效，且这种技术的近似变型仍在现代虚拟现实护目镜或头戴式显示器中使用。然而，这仅适于一个人或个体观看，并且对于数位以上的观看者而言可能是昂贵的或者是不实用的。 [0011] 适于大众的第一左/右(L/R)分离技术之一是光谱分离。该技术术语是“色彩补色立体图(color anaglyph)”，并且涉及每个观看者佩戴一副眼镜，这副眼镜具有用于一只眼睛的红色滤光片以及用于另一眼睛的蓝色滤光片。左视图和右视图同样地被蓝色或红色编码并且同时显示。这种技术在二十世纪五十年代被普遍用于制作3D电影，甚至在某种程度上与标准彩色电视或监视器一起使用。尽管它在自己的时代中提供了新颖性，但是在审美上仍然还有很多待改进之处。最终结果趋向于单色，并且具有很多重像(即，L/R分离不清晰)。其优点是制造成本低并且眼镜是无源的且非常便宜。 [0012] 类似于光谱分离，下一最常用的技术是空间分离并且涉及观看者佩戴偏振化眼镜，其中每个眼睛镜片相对另一个偏振例如45度或者在相反方向上圆偏振。这是今天在电影院中最常使用的技术。利用L/R分离完全完成，它会相当地有效，但是通常在电影院设置中需要两个放映机或特定的放映机或者在监视器中需要几个附加层，这增加了成本。同样，每只眼睛仅仅看到一半分辨率，这可能劣化观看体验。其优点是，偏振化眼镜也是无源的并且因此相对便宜。 [0014] 根据结合附图阅读的以下对安排和示例实施例及权利要求的详细描述，对上述内容及对本发明的较好理解可变得显而易见，所有这些形成本发明的公开的一部分。尽管上述及以下撰写和例示的公开内容集中在公开本发明的安排和示例实施例，但是应当清楚地理解这些内容仅仅作为例示和示例，并且本发明并不限于此。 [0015] 图1是一个平台，诸如用于观看三维视频的膝上型计算机或其它设备； [0016] 图2是示出沿其各自轴绘制的垂直和水平时序参数的时序图，这些轴沿着对活动视频显示区的图解； [0017] 图3是示出类似于图2沿相同时间轴绘制的视频时序参数的时序图； [0020] 详细描述 [0021] 贯穿本说明书，对“一个实施例”或“一实施例”的引用意味着结合该实施例描述的特定特征、结构或特性被包括在本发明的至少一个实施例中。因此，在本说明书通篇中的多个位置中，短语“在一个实施例中”或“在实施例中”的出现不一定全部指的是同一实施例。而且，特定特征、结构、或特性可按照任何合适的方式在一个或多个实施例中组合。 [0022] 如上所讨论的，光谱分离技术和空间分离技术两者使用具有各种滤波器技术的被动眼镜来分离左眼图像和右眼图像。时间分离涉及主动眼镜技术。主动眼镜可以是当显示器交替显示左图像和右图像时交替遮蔽左眼和右眼的眼镜。 [0023] 例如，主动眼镜可被称为快门式眼镜或快门式护目镜并且可在每个眼中具有液晶显示器(LCD)，所述液晶显示器被致使每隔一帧就变黑，以遮蔽比如左眼使其不能看到右图像并且对于下一帧反之亦然。这些是有效的，但是你在一只眼睛中获得半数的帧而在另一眼睛中获得半数的帧。这可导致头痛，因为你的眼睛设法补偿开/关光，对于游戏者的低帧率以及显示器与眼镜之间的同步问题。 [0024] 图1示出用于使用主动眼镜进行三维观看的一个系统。如所示，计算机100或其它监视器具有显示屏101，该显示屏101使用时间分离显示三维视频内容。视频内容源可被记录在诸如CD上或被存储在存储器中，通过诸如互联网之类的网络、通过无线电或电缆广播或任何其它合适的视频输送方法流送。 [0025] 主动眼镜102通常使用发射器104，发射器104与显示器101的帧速率同步。该发射器104可使用多种无线106技术与眼镜102通信，诸如红外线(IR)、射频(RF)、蓝牙等。发射器104可通过诸如通用串行总线(USB)或USB2电缆之类的电缆108拴系到计算机100。 [0026] 在立体系统中，需要将眼镜快门按合(shuttering)与图像在显示器101上稳定的时间紧密地耦合。如果图像在每个帧都变化，那么视频电子技术标准协会(VESA)标准时序可能不允许足够的稳定图像时间。 [0027] 先前的方案通过允许延长的垂直消隐(vertical blank)时序而有所帮助。这可将图像稳定性提高到约32％的最大周期。另外，由于小的工作循环，通过主动快门式眼镜观看的显示器上的平均感知亮度相当低。对于诸如笔记本或上网本之类的较小屏幕尺寸装置，三维观看质量的问题变得更严重。 [0028] 图2和图3两者示出视频时序参数。为了便于示出，图2示出包括边界或页边202和可寻址视频区(地址时间)204的活动视频200，其中使垂直时序参数沿活动视频200的垂直轴且使水平时序参数沿活动视频200的水平轴。图3类似于图2，但是图3示出垂直和水平视频时序参数基本上沿着与它们可能实时发生的相同的轴。 [0029] 图2或图3的视频时序参数可被如下定义： [0030] 水平可寻址视频是左边界的末端和右边界的起点之间的时间。 [0031] 水平消隐是右边界的末端和左边界的起点之间的时间。 [0032] 边界包括水平前沿时间、水平同步脉冲宽度时间和水平后沿时间。 [0033] 水平前沿是右边界的末端和水平同步脉冲的起点之间的时间。 [0034] 水平左边界是水平消隐周期的末端和水平可寻址视频区域的起点之间的时间。 [0035] 水平右边界是水平可寻址视频区域的末端和水平消隐周期的起点之间的时间。 [0036] 水平同步脉冲宽度是水平前沿的末端和水平后沿的起点之间的时间。 [0037] 水平后沿是水平同步脉冲的末端和左边界的起点之间的时间。 [0038] 水平活动视频是水平左边界时间、水平可寻址视频时间和水平右边界时间的总和。 [0039] 垂直可寻址视频是上边界的末端和下边界的起点之间的时间。 [0040] 垂直消隐是下边界的末端与上边界的起点之间的时间，并且可包括垂直前沿时间、垂直同步脉冲宽度时间和垂直后沿时间。 [0041] 垂直前沿是下边界的末端和垂直同步脉冲的起点之间的时间。 [0042] 垂直上边界是垂直消隐周期的末端和垂直可寻址视频区域的起点之间的时间。 [0043] 垂直下边界是垂直可寻址视频区域的末端和垂直消隐周期的起点之间的时间。 [0044] 垂直同步脉冲宽度是垂直前沿的末端和垂直后沿的起点之间的时间。 [0045] 垂直后沿是垂直同步脉冲的末端和上边界的起点之间的时间。 [0046] 垂直活动视频是垂直上边界时间、垂直可寻址视频时间和垂直下边界时间的总和。 [0047] 现在参照图4，其示出根据一个高清晰度多媒体接口(HDMI)标准比较二维视频和三维视频帧堆叠的时序图。在左边示出二维帧并在右边示出三维帧。注意，三维水平总像素等于二维水平总像素。三维垂直总线是二维垂直总线的两倍。三维像素时钟频率是二维像素时钟频率的两倍。该结构可应用于逐行视频格式。 [0048] 目前对于常规立体三维系统而言获得关于左/右(L/R)帧位置和帧变化的准确信息已成为技术挑战。这就是为什么常规主动液晶快门类三维眼镜(如所示，例如图1)通常在眼镜102上提供在左帧和右帧同步之间手动翻转以避免重像的开关。可能需要去除该开关并且自动提供该功能。本发明的实施例解决这一问题并且提供了一种低成本机制，该机制不仅提供了该功能，而且还提供了可用于许多其它目的的更多信息。 [0049] 如图4所示，HDMI活动空间400根据清晰度将左帧与右帧分隔开。根据标准规范，在活动空间400期间，期望HDMI源(例如，PC或其它观看装置)传送常数像素值。期望HDMI接收器(例如主动快门式眼镜)忽略在活动空间400期间接收到的与该值无关的所有数据。本发明的实施例使源装置用于将智能信息嵌入活动空间以代替所推荐的固定像素值。然后在接收器侧，本发明使接收装置从活动空间读取所嵌入的信息，并且推断以导致进一步的有用动作，诸如面板光学器件的眼镜的同步，等等。 [0050] 通常，活动空间400是具有取决于帧分辨率的大量水平像素的一个或多个垂直线，诸如唯一装置标识符、时间戳和空间戳等许多有用信息可嵌入这些包中，在多发射器多观看者情形中开启了过多的现在无法欣赏个人三维的应用(例如，房间里佩戴单独眼镜的多个三维膝上型计算机用户观看他们自己的屏幕、放映机以及他们邻居的屏幕)。 [0051] 因为活动空间400的位置由HDMI规范确定(在左帧和右帧之间)，所以嵌入活动空间的智能信息隐含地也传送左和右帧的确定性的位置(即使这并不是该规范的初衷)。因此该创新提供了用于创建带有或不带有眼镜的高质量立体三维系统的非常强大的基础结构。 [0052] 在一个实现中，不仅与帧时序同步而且还与左/右位置同步的高质量立体三维眼镜是可能的。 [0053] 在另一个实施例中，可能帮助自动立体显示器(无需特定眼镜)的光学元件与左/右帧信息同步或者与也可嵌入活动空间中的关于多个观看者的信息同步。 [0054] 在又一实施例中，可能发送可由眼镜直接解码的预先确定的自定义像素色彩。 [0055] 利用本发明，确定性左/右帧位置信息可按新颖的带内方法来提供，在该方法中用低成本嵌入式发射极来取代USB外围设备，去除了眼镜上的开关，并且使得多发射器-多个带有眼镜的观看者情形成为可能。本发明将由HDMI规范管理的活动空间400用于有用目的，否则该目的将会如该规范所建议的那样被忽略掉。这并未破坏对规范的遵守，因为该信息诸如由无用信息收集程序所挑选并被回收用于有用目的。 [0056] 在又一实施例中，立体内容回放通常涉及特定播放器，该特定播放器将两个视频流组合成期望的输出三维格式。当立体回放抓住市场兴趣时，许多此类播放器可能在市场上获得。然而，由于这些播放器是特定的，这对三维PC而言增加了额外成本，并且可能更重要的是这将终端用户欣赏三维内容的选择限制于带有特定软件的特定硬件。许多此类商业解决方案的有效性和顺应性是又一个昂贵因素。根据一个实施例，本发明可使得几乎任何常规二维媒体播放器能够在主流PC上进行三维回放。 [0057] 图5示出根据一个实施例的框图。实施例可包括PC，该PC包括CPU核502、LLC 504、SA 506以及连接到显示器210的2D 508。媒体应用512可连接到DirectShow(直接显示)编解码器514，DirectShow编解码器514可馈送入DXVA 516以及GFX驱动器518。GFX驱动器可连接到媒体管道520，媒体管道520可包括GT EU或LRBx核522。DRAM 524可与PC 500通信。可存储在DRAM 524中的进程可包括框526中的经加密/经压缩视频数据，该数据在框528中被解密并解码成帧。之后该帧在框530中可被处理成后处理帧，并且随后在框532中被处理成合成后的应用缓冲器。框532和帧缓冲器(桌面)534可在框536处组合成混合帧缓冲器。字体帧缓冲器538也可被包括在内。 [0058] 实施例可被实现为中间件，如果该中间件被实现为图形驱动器518的扩展则是最有效的(然而，独立的中间件应用也是可能的)。GFX驱动器518可修改成1)二维/三维内容的自动检测器2)内容显示格式匹配-适应算法3)用于立体视频流的多路复用器。 [0059] 简言之，实施例自动发现要显示的内容是二维的还是三维的。检测可以是简单的，例如，如果立体内容被回放则主流PC上的典型视窗媒体播放器将打开两个独立的窗口。然后发现PC系统配置和正在回放的内容格式。典型Gfx驱动器从显示器EDID和媒体播放器参数获得该信息。然后经由被实现为Gfx驱动器扩展的视频流组合器，应用内容显示格式匹配算法并为用户将内容调整成最佳观看质量。该方法可应用于主流PC中的大多数通用媒体播放器。 [0060] 根据清晰度，由于高级媒体播放器应用通常被设计成硬件不可知的，因此这对于特定硬件并非是最佳的。相反，本发明的实施例被设计成而是驻留在图形驱动器中，因此利用对于驱动器可用的硬件级信息。作为中间件，只有本发明才能利用两方中的最佳方面：编解码器问题由高级媒体播放器来处理，而显示格式和质量问题则由驱动器及其下层硬件来处理。该中间件因此使典型的二维媒体播放器充当渲染成三维显示器的高质量立体视频播放器。 [0061] 所示出的本发明的实施例的以上描述(包括摘要中描述的内容)不旨在穷举本发明或将本发明限制为所公开的精确形式。虽然本文中为了说明目的描述了本发明的特定实施例和示例，但本领域普通技术人员将认识到，在本发明范围内的各种等价修改是可能的。 [0062] 鉴于以上详细描述，可对本发明作出这些修改。所附权利要求书中使用的术语不应当理解为将本发明限制为说明书和权利要求书中公开的特定实施例。相反，本发明的范围应当完全根据所附权利要求书来确定，权利要求书应当根据权利要求解释的既定教义来理解。 |
||||||
QQ群二维码
意见反馈
意见反馈