视频处理装置以及视频处理方法专利检索-立体像对显示技术专利检索查询-专利查询网

视频处理装置以及视频处理方法

阅读：971发布：2024-02-26

专利汇可以提供视频处理装置以及视频处理方法专利检索，专利查询，专利分析的服务。并且本发明提供了一种观众能够容易地观察良好的立体视频的视频处理装置及视频处理方法。该视频处理装置包括显示部、开口控制部、观测部、观众检测部、提示部、观众选择部、计算部和视域控制部。显示部显示多个视差图像。开口控制部向规定的方向输出显示部上显示的多个视差图像。观测部，获得通过对一个或多个观众进行观测而得的观测图像。观众检测部使用观测图像检测一个或多个观众的位置。提示部向观众提示观测图像。观众选择部根据所输入的观众选择信号，从观测图像上的一个或多个观众中选择一个以上的观众。计算部以在与所选择的观众的位置对应的区域设定能立体观看多个视差图像的视域的方式计算控制参数。视域控制部，根据控制参数控制视域。，下面是视频处理装置以及视频处理方法专利的具体信息内容。

权利要求

1.一种视频处理装置，其特征在于，包括：
显示部，显示多个视差图像；
开口控制部，向规定的方向输出所述显示部上显示的多个所述视差图像；
观测部，获得通过对一个或多个观众进行观测而得的观测图像；
观众检测部，使用所述观测图像检测一个或多个所述观众的位置；
提示部，向一个或多个所述观众提示所述观测图像；
观众选择部，根据所输入的观众选择信号，从所述观测图像上的一个或多个所述观众中选择一个以上的观众，对所选择的观众评定优先度；
计算部，以在与所选择的观众的位置对应的区域设定能立体观看多个所述视差图像的视域的方式计算控制参数；以及
视域控制部，根据所述控制参数控制所述视域，
所述计算部在多个观众被选择的情况下，以在与所选择的全部的所述观众的位置对应的区域设定所述视域的方式计算所述控制参数，在不能以在与所选择的全部所述观众的位置对应的区域设定所述视域的方式计算所述控制参数的情况下，以在与评定为最高优先度的所选择的所述观众的位置对应的区域设定所述视域的方式计算所述控制参数。
2.根据权利要求1所述的视频处理装置，其特征在于，
所述提示部将所述观测图像提供给所述显示部，
所述显示部显示所述观测图像。
3.根据权利要求2所述的视频处理装置，其特征在于，
所述提示部使用一个或多个所述观众的位置信息、和表示所述视域的视域信息，生成表示所述显示部、所述视域和一个或多个所述观众的位置关系的俯瞰图像，并将所述俯瞰图像提供给所述显示部，
所述显示部显示所述观测图像和所述俯瞰图像。
4.根据权利要求1所述的视频处理装置，其特征在于，
所述视频处理装置包括：接收所述观众选择信号的操作信号接收部，
从遥控器发送所述观众选择信号。
5.根据权利要求1所述的视频处理装置，其特征在于，
所述观众选择部基于规定的优先度评定规则，对所选择的所述观众评定优先度。
6.根据权利要求5所述的视频处理装置，其特征在于，
所述观众选择部从视听距离离最佳视听距离近的观众开始依次评定高的优先度，所述视听距离是所述显示部和所述观众之间的距离，所述最佳视听距离是立体观看多个所述视差图像上最佳的视听距离。
7.根据权利要求5所述的视频处理装置，其特征在于，
所述观众选择部从视听时间长的观众开始依次评定高的优先度。
8.根据权利要求1所述的视频处理装置，其特征在于，
所述观众检测部定期检测一个或多个所述观众的位置，
所述计算部在每次检测一个或多个所述观众的位置时，都计算所述控制参数。
9.一种视频处理装置，其特征在于，包括：
显示部，显示多个视差图像；
开口控制部，向规定的方向输出所述显示部上显示的多个所述视差图像；
观测部，获得通过对一个或多个观众进行观测而得的观测图像；
观众检测部，使用所述观测图像检测一个或多个所述观众的位置；
提示部，使用一个或多个所述观众的位置信息和表示能立体观看所述显示部上显示的多个所述视差图像的视域的视域信息，生成表示所述显示部、所述视域和一个或多个所述观众的位置关系的俯瞰图像，并向一个或多个所述观众提示所述俯瞰图像；
观众选择部，根据输入的观众选择信号，从所述俯瞰图像上的一个或多个所述观众中选择一个以上的观众，对所选择的观众评定优先度；
计算部，以在与所选择的观众的位置对应的区域设定所述视域的方式计算控制参数；
以及
视域控制部，根据所述控制参数控制所述视域，
所述计算部在多个观众被选择的情况下，以在与所选择的全部的所述观众的位置对应的区域设定所述视域的方式计算所述控制参数，在不能以在与所选择的全部所述观众的位置对应的区域设定所述视域的方式计算所述控制参数的情况下，以在与评定为最高优先度的所选择的所述观众的位置对应的区域设定所述视域的方式计算所述控制参数。
10.一种视频处理方法，其特征在于，包括：
获得通过对一个或多个观众进行观测而得的观测图像；
使用所述观测图像检测一个或多个所述观众的位置；
向一个或多个所述观众提示所述观测图像；
根据输入的观众选择信号，从所述观测图像上的一或多个所述观众中选择一个以上的观众，对所选择的观众评定优先度；
以在与所选择的观众的位置对应的区域设定能立体观看显示部上显示的多个视差图像的视域的方式计算控制参数；
在多个观众被选择的情况下，以在与所选择的全部的所述观众的位置对应的区域设定所述视域的方式计算所述控制参数，在不能以在与所选择的全部所述观众的位置对应的区域设定所述视域的方式计算所述控制参数的情况下，以在与评定为最高优先度的所选择的所述观众的位置对应的区域设定所述视域的方式计算所述控制参数；以及根据所述控制参数控制所述视域。
11.一种视频处理方法，其特征在于，包括：
获得通过对一个或多个观众进行观测而得的观测图像；
使用所述观测图像检测一个或多个所述观众的位置；
使用一个或多个所述观众的位置信息和表示能立体观看显示部上显示的多个视差图像的视域的视域信息，生成表示所述显示部、所述视域和一个或多个所述观众的位置关系的俯瞰图像，并向一个或多个所述观众提示所述俯瞰图像；
根据输入的观众选择信号，从所述俯瞰图像上的一个或多个所述观众中选择一个以上的观众，对所选择的观众评定优先度；
以在与所选择的观众的位置对应的区域设定所述视域的方式计算控制参数；
在多个观众被选择的情况下，以在与所选择的全部的所述观众的位置对应的区域设定所述视域的方式计算所述控制参数，在不能以在与所选择的全部所述观众的位置对应的区域设定所述视域的方式计算所述控制参数的情况下，以在与评定为最高优先度的所选择的所述观众的位置对应的区域设定所述视域的方式计算所述控制参数；以及根据所述控制参数控制所述视域。

说明书全文

视频处理装置以及视频处理方法

[0001] 相关申请的交叉参考

[0002] 本申请基于2011年8月31日申请的日本专利申请2011-189478，从该申请享受优先权权益。本申请参照该申请，包括该申请的全部内容。

技术领域

[0003] 本发明的实施方式涉及视频处理装置以及视频处理方法。

背景技术

[0004] 近年来，观众不使用特殊的眼镜而能够用裸眼观察到立体视频的立体视频显示装置(所谓裸眼3D电视)日益普及。该立体视频显示装置显示视点不同的多个图像。并且，这些图像的光线例如由视差屏障(parallax barrier)、柱面透镜(lenticular lens)等控制输出方向，并导入观众的两眼。只要观众的位置适当，则观众就能用左眼和右眼观察到不同的视差图像，从而能立体地识别视频。将这样的观众能观察到立体视频的区域称为视域。

[0005] 可是，这样的视域存在受限这样的问题。也就是说，例如被左眼察觉到的图像的视点与被右眼察觉到的图像的视点相比相对靠右，则存在无法正确识别立体视频的观察位置即逆视区域。因此，在裸眼方式的立体视频显示装置中，观众由于观看位置而难以观察到良好的立体视频。

发明内容

[0006] 本发明的目的在于提供一种观众能够容易地观察良好的立体视频的视频处理装置和视频处理方法。

[0007] 根据一实施方式，视频处理装置包括显示部、开口控制部、观测部、观众检测部、提示部、观众选择部、计算部和视域控制部。显示部显示多个视差图像。开口控制部向规定的方向输出显示部上显示的多个视差图像。观测部，获得通过对一个或多个观众进行观测而得的观测图像。观众检测部使用观测图像检测一个或多个观众的位置。提示部向观众提示观测图像。观众选择部根据所输入的观众选择信号，从观测图像上的一个或多个观众中选择一个以上的观众。计算部以在与所选择的观众的位置对应的区域设定能立体观看多个视差图像的视域的方式计算控制参数。视域控制部，根据控制参数控制视域。

[0008] 根据上述结构的视频处理装置，观众能够容易地观察良好的立体视频。附图说明

[0009] 图1是一实施方式涉及的视频处理装置的外观图。

[0010] 图2是表示图1的视频处理装置的概略结构的框图。

[0011] 图3的(a)～(c)是从上方观察一实施方式涉及的液晶面板和柱面透镜的一部分的图。

[0012] 图4是表示一实施方式涉及的液晶面板的一部分上显示的观测图像和俯瞰图像的图。

[0013] 图5的(a)～(e)是表示计算一实施方式涉及的计算控制参数的方法的一个例子的图。

[0014] 图6是表示一实施方式涉及的视域调整方法的流程图。

[0015] 图7的(a)及(b)是用于说明一实施方式的涉及根据优先度评定规则对观众评定优先度的图。

[0016] 图8是表示变形例涉及的视频处理装置的概略结构的框图。

具体实施方式

[0017] 以下，参照附图说明本发明的实施方式。这些实施方式并不限定本发明。

[0018] 图1是一实施方式涉及的视频处理装置100的外观图，图2是表示该视频处理装置100的概略结构的框图。视频处理装置100包括液晶面板1、柱面透镜2、摄像机3、受光部4和控制器10。

[0019] 液晶面板(显示部)1例如是55英寸大小的面板，其在水平方向上配置11520(＝1280×9)个像素，在垂直方向上配置720个像素。此外，在各像素内沿垂直方向形成有三个子像素、即R子像素、G子像素和B子像素。自设于背面的背光装置(未图示)对液晶面板
1照射光。各像素使与从控制器10供给的视差图像信号(后述)相对应的亮度的光透过。
也就是说，液晶面板1显示多个视差图像。

[0020] 柱面透镜(开口控制部)2具有沿着液晶面板1的水平方向配置的多个凸部，其数量是液晶面板1的水平方向像素数的1/9。而且，以沿水平方向配置的每九个像素对应一个凸部的方式，将柱面透镜2粘贴至液晶面板1的表面。透过各像素的光从凸部的顶点附近带着指向性地输出至指定的方向。也就是说，柱面透镜2沿规定的方向输出显示于液晶面板1的多个视差图像。

[0021] 本实施方式的液晶面板1能够以三视差以上的多视差方式(积分图像(integral image)方式)或二视差方式显示立体视频，此外，也能显示通常的二维视频。

[0022] 在以下的说明中，说明对应液晶面板1的各凸部设置九个像素且能采用九视差的多视差方式的例子。在多视差方式中，在与各凸部对应的九个像素分别显示第一视差图像～第九视差图像。第一视差图像～第九视差图像是指从沿着液晶面板1的水平方向并排的九个视点分别观察被拍摄对象而得到的图像。观众通过经由柱面透镜2，分别以左眼观察第一视差图像～第九视差图像中的一个视差图像，以右眼观察另一个视差图像，从而能够立体地观看视频。若采用多视差方式，则视差的数量越增加，越能够扩展视域。视域是指在从液晶面板1的前方观察液晶面板1时能立体观看视频的区域。

[0023] 另一方面，在二视差方式中，分别在与各凸部对应的九个像素中的四个像素显示右眼用视差图像、在其他五个像素显示左眼用视差图像。左眼用及右眼用视差图像是指从沿水平方向并排的两个视点中的左侧的视点及右侧的视点分别观察被拍摄对象而得到的图像。观众通过经由柱面透镜2分别以左眼看左眼用视差图像、以右眼看右眼用视差图像，从而能够立体地观看视频。采用二视差方式时，显示的视频的立体感比多视差方式更容易得到，但与多视差方式相比视域变窄。

[0024] 此外，液晶面板1在与各凸部对应的九个像素显示相同的图像，也能够显示二维图像。

[0025] 另外，在本实施方式中，根据柱面透镜2的凸部和显示的视差图像之间的相对位置关系、即在与各凸部对应的九个像素如何显示视差图像，从而能够可变控制视域。以下，以多视差方式为例对视域的控制进行说明。

[0026] 图3是从上方观察液晶面板1及柱面透镜2的一部分的图。图3的阴影的区域表示视域，当从视域看液晶面板1时能够立体地观看视频。其他区域是产生逆视、交调失真的区域，且是难以立体地观看视频的区域。

[0027] 图3示出了液晶面板1和柱面透镜2之间的相对位置关系，更具体地说示出了液晶面板1和柱面透镜2的距离、或者视域随液晶面板1和柱面透镜2的水平方向的偏移量而变化的情况。

[0028] 实际上，柱面透镜2与液晶面板1高精度地对位而粘贴，因而难以物理地变更液晶面板1和柱面透镜2之间的相对位置。

[0029] 因此，在本实施方式中，通过使在液晶面板1的各像素显示的第一视差图像～第九视差图像的显示位置偏移，从而表面上使液晶面板1和柱面透镜2之间的相对位置关系变化，由此进行视域的调整。

[0030] 例如，与分别将第一视差图像～第九视差图像显示在与各凸部对应的九个像素的情况(图3的(a))相比，在使视差图像整体向右侧偏移显示的情况下(图3的(b))，视域向左侧移动。相反地，在使视差图像整体向左侧偏移显示的情况下，视域向右侧移动。

[0031] 另外，在水平方向的中央附近，不使视差图像偏移，在越向液晶面板1的外侧、使视差图像向外侧越大偏移以进行显示的情况下(图3的(c))，视域沿接近液晶面板1的方向移动。此外，偏移的视差图像和不偏移的视差图像之间的像素、偏移的量不同的视差图像间的像素只要根据周围的像素进行适当内插即可。另外，与图3的(c)相反，在水平方向的中央附近不使视差图像偏移，在越向液晶面板1的外侧、使视差图像向中心侧越大地偏移以进行显示的情况下，视域沿远离液晶面板1的方向移动。

[0032] 这样，通过偏移视差图像的整体或者一部分，从而能够使视域相对液晶面板1沿左右方向或者前后方向移动。在图3中为了简化说明，仅示出一个视域，但实际上存在多个视域，这些视域联动地移动。视域由后述的图2的控制器10控制。

[0033] 返回到图1，摄像机(观测部)3以规定的仰角被安装在液晶面板1的下部中央附近，摄像机3用于拍摄液晶面板1的前方的规定的范围。也就是说，摄像机3获得观测一个或多个观众而得的观测图像(摄像机视频)。但是，摄像机的安装位置不限定于上述位置。观测图像被供给控制器10，用于检测观众的位置、观众的脸部等与观众相关的信息。此外，观测图像经由控制器10被供给液晶面板1，由此提示观众，用于选择应调整视域的观众等。
摄影机3也可拍摄动态图像和静态图像中的任一种。摄像机3也可以是可视摄像机、红外线摄像机等。此外，也可以将摄像机3取而代之使用传感器、雷达等作为观测部以获得观测图像。但是，在使用传感器、雷达等的情况下，由于无法直接获得观测图像，所以优选使用CG(Computer Graphics，计算机图形学)、动画等生成观测图像。

[0034] 受光部(操作信号接收部)4例如设于液晶面板1的下部的左侧。而且，受光部4接收从观众使用的遥控器发送的红外线信号。红外线信号包括表示是显示立体视频还是二维视频、在显示立体视频的情况下采用多视差方式及二视差方式的哪一种、是否进行视域的控制等的信号。此外，红外线信号包括用于选择应调整视域的观众的观众选择信号。

[0035] 如图2所示，控制器10包括调谐解码器11、视差图像转换部12、观众检测部13、计算部14、图像调整部15、观众选择部16、提示部17和存储部18。控制器10例如被安装作为一个IC(Integrated Circuit，集成电路)，其被配置于液晶面板1的背面侧。当然也可以利用软件安装控制器10的一部分。

[0036] 调谐解码器(接收部)11接收输入的广播波并选频，解码被编码的视频信号。在向广播波叠加有电子节目表(EPG)等的数据广播的信号的情况下，调谐解码器11提取它。或者，调谐解码器11不是从广播波而是从光盘再生装置、个人计算机等的视频输出设备接收被编码的视频信号，并对其解码。解码的信号也称为基带视频信号，且被提供给视差图像转换部12。此外，在视频显示装置100不接收广播波、专门显示从视频输出设备接收的视频信号的情况下，也可以将调谐解码器11取而代之地设置仅具有解码功能的解码器作为接收部。

[0037] 调谐解码器11接收的视频信号可以是二维视频信号，也可以是以帧封装(FP)、并排(SBS)或者上下(TAB)方式等包括左眼用及右眼用的图像的三维视频信号。另外，视频信号也可以是包括三视差以上的图像的三维视频信号。

[0038] 视差图像转换部12为了立体地显示视频，而将基带视频信号转换为多个视差图像信号后供给至图像调整部15。视差图像转换部12根据采用多视差方式和二视差方式中的哪一种而处理内容不同。另外，根据基带视频信号是二维视频信号还是三维视频信号，视差图像转换部12的处理内容不同。

[0039] 在采用二视差方式的情况下，视差图像转换部12生成与左眼用及右眼用视差图像分别对应的左眼用及右眼用视差图像信号。更具体而言，如下所述。

[0040] 在采用二视差方式且输入了包括左眼用及右眼用的图像的三维视频信号的情况下，视差图像转换部12生成能在液晶面板1显示的形式的左眼用及右眼用视差图像信号。另外，在输入包括三个以上的图像的三维视频信号的情况下，例如视差图像转换部12使用其中的任意的两个，生成左眼用及右眼用视差图像信号。

[0041] 相对于此，在采用二视差方式且输入了不包括视差信息的二维视频信号的情况下，视差图像转换部12基于视频信号中的各像素的深度值生成左眼用及右眼用视差图像信号。深度值是表示看到各像素相对于液晶面板1位于眼前或纵深哪种程度的值。深度值也可预先附加于视频信号，也可基于视频信号的特征进行动态检测、构图识别及人的脸部检测等以生成深度值。在左眼用视差图像中，需要眼前观察到的像素比纵深观察到的像素偏向右侧地显示。因此，视差图像转换部12进行将视频信号中的眼前观察到的像素向右侧偏移的处理，生成左眼用视差图像信号。深度值越大偏移量越大。

[0042] 另一方面，在采用多视差方式的情况下，视差图像转换部12生成与第一视差图像～第九视差图像分别对应的第一视差图像～第九视差图像信号。更具体而言，如下所述。

[0043] 在采用多视差方式且输入了包括二维视频信号或八视差以下的图像的三维视频信号的情况下，视差图像转换部12与根据二维视频信号生成左眼用及右眼用视差图像信号同样地基于纵深信息，生成第一视差图像～第九视差图像信号。

[0044] 在采用多视差方式且输入了包括九视差的图像的三维视频信号的情况下，视差图像转换部12使用其视频信号生成第一视差图像～第九视差图像信号。

[0045] 观众检测部13使用由摄像机3观测到的观测图像，检测一个或多个观众的位置和脸部等，并将该观众的位置信息和脸部信息等(观众识别信息)供给观众选择部16和提示部17。即使观众是运动着的，观众检测部13也能够基于观众的脸部信息进行追踪。因此，如后所述，也能够使视域追随所选择的观众(自动跟踪模式)、掌握每个观众的视听时间等。

[0046] 观众的位置信息显示作为例如以液晶面板1的中央为原点的X轴(水平方向)、Y轴(垂直方向)及Z轴(与液晶面板1正交的方向)上的位置。更加具体而言，观众检测部13首先通过观测图像检测脸部以识别观众。接着，观众检测部13通过观测图像中的脸部的位置计算X轴和Y轴上的位置，通过脸部的大小计算Z轴上的位置。在观众是多个的情况下，观众检测部13也可检测预先确定的数量例如有10位观众。在该情况下，检测到的脸部的数量比10大时，按照例如离液晶面板1近、即Z轴上的位置由小到大的顺序检测10位观众的位置。

[0047] 提示部17将由摄像机3观测到的观测图像供给液晶面板1，以提示观众。此时，提示部17基于来自观众检测部13的观众的位置信息，能够对检测到观测图像上的位置的观众的脸部附加框。观众根据框的有无来获知自己是否正被识别。

[0048] 另外，提示部17使用观众的位置信息和表示来自计算部14的当前设定的视域的图案的视域信息，生成表示液晶面板1、视域和观众的位置关系的俯瞰图像。然后，提示部17将该生成的俯瞰图像供给液晶面板1，以提示观众。也就是说，该俯瞰图像是表示从上方俯瞰液晶面板1和视听区域的状态的图像。视听区域是观众能够观察在液晶面板1上显示的图像的区域。观众通过观察俯瞰图像，获知自己是否进入视域。

[0049] 提示部17只要将观测图像和俯瞰图像中的至少一个供给液晶面板1即可。由此，液晶面板1能够显示观测图像和俯瞰图像中的至少一个。观测图像和俯瞰图像被显示作为二维的图像。另外，关于俯瞰图，也可以显示作为立体图像(如计算机图形那样的三维图像)。

[0050] 图4示出了在液晶面板1的一部分显示的观测图像和俯瞰图像。作为一个例子，上下排列的观测图像和俯瞰图像被显示于液晶面板1的右侧。对观测图像上的三个观众20A、20B、20C的脸部分别附加框A、B、C。对观测图像和俯瞰图像上的观众20C的脸部附加选择用的框S。在图示的例子中，如通过俯瞰图可知，观众20A进入视域21，从而能够观察立体视频。观众20B的一部分虽然进入视域21，然而有可能无法观察立体视频。观众20C进入逆视区域22，无法观察立体视频。

[0051] 观测图像和俯瞰图像既可以左右排列，也可以倾斜地排列，还可显示于液晶面板1的整个面。此外，观测图像和俯瞰图像既可以重叠于由广播波产生的视频等其他视频上，也可以不重叠于其他视频上。

[0052] 观众选择部16根据所输入的观众选择信号，从观测图像或俯瞰图像上的一个或多个观众中选择一个以上的观众。例如，观众选择信号是按下遥控器的指示器按钮或确定按钮时发送的信号。具体而言，观众选择部16从由观众检测部13供给的一个或多个观众的位置信息中选择一个以上的观众的位置信息，将所选择的观众的位置信息供给计算部14。

[0053] 此时，例如如图4所示，提示部17在观测图像或俯瞰图像上对某个观众附加选择用的框S，能够根据观众选择信号变更被附加有选择用的框S的观众。由此，观众例如通过按下遥控器的指示器按钮使选择用的框S移动，通过在选择用的框S被附加给想要的观众的状态下按下确定按钮，从而能选择该观众。

[0054] 观众选择信号也可以从液晶面板1所显示的触摸面板等信号输入部(未图示)输入。

[0055] 观众选择部16也可以根据观众选择信号，以评定优先度的方式选择一个以上的观众。在该情况下，例如也可以以观众被选择的顺序评定高的优先度。或者，也可以在选择观众时，由观众使用遥控器输入优先度。

[0056] 此外，观众选择部16基于规定的优先度评定规则，对所选择的观众评定优先度。将在后面叙述优先度评定规则。优先度评定规则可以被预先设定，也可以由观众使用菜单画面等从多个优先度评定规则中选择想要的规则，还可在制品出货时设定规定优先度评定规则。

[0057] 计算部14为了在与由观众选择部16所选择的观众的位置对应的区域适当地设定视域，而计算控制参数，并供给图像调整部15。该控制参数例如是偏移图3中说明的视差图像的量。

[0058] 更加详细而言，为了设定想要的视域，计算部14使用将控制参数、和用该控制参数设定的视域对应的视域数据库。该视域数据库被预先存储于存储部18。计算部14通过检索视域数据库，以找出能纳入选择的观众的视域。计算部14将表示判断为合适的视域的视域信息供给提示部17。

[0059] 图5是表示计算控制参数的方法的一个例子的图。对利用观众选择部16选择了一个观众的情况进行说明。计算部14针对被存储于视域数据库中的各视域，计算视域与所选择的观众重合的面积，将该面积成为最大的视域判断为合适的视域。在图5的例子中，预定的图5的(a)～(e)这五个视域(阴影的区域)的图案中的、将视域朝向液晶面板1设定在左侧的图5的(b)中，所选择的观众20与视域重合的面积成为最大。由此，计算部14将图5的(b)的视域的图案判断为合适的视域。在该情况下，用于由图5的(b)的视域的图案表示视差图像的控制参数被供给图2的图像调整部15。

[0060] 在由观众选择部16选择了多个观众的情况下，计算部14最初以在与所选择的全部观众的位置对应的区域设定视域的方式计算控制参数。即，计算部14以所选择的全部观众都能够平等地观察立体视频的方式计算控制参数。

[0061] 但是，由于所选择的观众的数量、位置，有时不能平等地设定视域。因此，计算部14在不能以在与所选择的全部观众的位置对应的区域设定视域的方式计算控制参数的情况下，以在与评定为最高的优先度的所选择的观众的位置对应的区域设定视域的方式计算控制参数。

[0062] 例如，在图4的例子中，在选择了三个观众20A、20B、20C的情况下，无法在与所选择的全部观众20A、20B、20C的位置对应的区域设定视域21。也就是说，在将视域21朝向液晶面板1设定在图4的俯瞰图像的例子的左侧、观众20C进入了视域21的情况下，使得观众20B未进入视域21。同样，在将视域21朝向液晶面板1设定在图4的俯瞰图像的例子的右侧、观众20B整体进入了视域21的情况下，观众20C未进入视域21。由此，在该例子的情况下，假定观众20A的优先度最高时，以使观众20A进入视域21。

[0063] 另外，像上述那样不能计算出控制参数的情况下，计算部14也可以计算用于设定不收纳所选择的观众中的优先度相对低的观众而收纳优先度相对高的观众的视域的控制参数。例如，首先，将所选择的观众中的优先度最低的观众除外，尝试计算用于设定将剩余的观众全部纳入视域内的视域的控制参数。在即使这样也不能够计算控制参数的情况下，除剩余的观众中优先度最低的观众以外，尝试计算控制参数。通过重复此计算，总是能将优先度高的观众纳入视域内。

[0064] 或者，计算部14也可以不以在与所选择的全部观众的位置对应的区域设定视域的方式计算控制参数，而从最初起以在与评定为最高的优先度的所选择的观众的位置对应的区域设定视域的方式计算控制参数。

[0065] 图像调整部(视域控制部)15为了控制视域，而在根据计算出的控制参数对视差图像信号进行偏移或内插的调整后，将其供给至液晶面板1。由此，液晶面板1显示与被调整的视差图像信号相对应的多个视差图像。

[0066] 存储部18是闪存等非挥发性存储器，除了存储视域数据库之外，还存储优先度评定规则、后述的用户注册信息、3D优先观众信息、初始视听位置等。该存储部18也可以设于控制器10的外部。

[0067] 在本实施方式的视频处理装置100中，例如能够使用3D视听位置核对功能调整视域。以下，参照图6说明使用了3D视听位置核对功能的视域调整的方法。3D视听位置核对功能例如能够通过按下遥控器的规定的按钮而启动，在液晶面板1上显示有观测图像和俯瞰图像中的至少一个的状态(例如图4的状态)下能够调整视域。

[0068] 图6是表示一实施方式涉及的视域调整方法的流程图。如图6所示，首先，利用摄像机3获得观测一个或多个观众的观测图像(步骤S11)。

[0069] 接着，利用观众检测部13，使用由步骤S11获得的观测图像检测一个或多个观众的位置(步骤S12)。

[0070] 接着，利用提示部17，向观测图像和俯瞰图像中的至少一个供给液晶面板1，以提示观众(步骤S13)。

[0071] 观众在观察液晶面板1上显示的观测图像和俯瞰图像中的至少一个的同时，使用遥控器的指示器按钮或确定按钮等选择应该调整视域的观众。也就是说，利用观众选择部16，根据所输入的观众选择信号，从一个或多个观众中选择一个以上的观众(步骤S14)。

[0072] 然后，例如当观众按下遥控器的规定的按钮时，为所选择的观众调整视域。也就是说，利用计算部14，以在与所选择的观众的位置对应的区域设定视域的方式计算控制参数(步骤S15)。

[0073] 在由步骤S15能够计算控制参数的情况下(步骤S16为是)，移行到步骤S18。

[0074] 在步骤S15不能计算控制参数的情况下(步骤S16为否)，利用计算部14，以在与评定为最高的优先度的所选择的观众的位置对应的区域设定视域的方式计算控制参数(步骤S17)。如上所述，作为不能计算控制参数的情况，例如有选择了多个观众的情况等。

[0075] 由于在步骤S15、S17中视域信息也被更新，所以俯瞰图像的视域也被更新。

[0076] 接着，利用图像调整部15，根据由步骤S15或步骤S17计算出的控制参数，控制视域(步骤S18)。

[0077] 然后，利用液晶面板1显示视差图像(步骤S19)。

[0078] 在启动三维视听位置核对功能时，例如在按下遥控器的规定的按钮时，也可以显示核对用的静止图像。该核对用的静止图像由多个视差图像构成。由此，观众能够确认是否能够立体观看该静止图像。

[0079] 这样，所选择的观众能够立体观看液晶面板1上显示的多个视差图像。

[0080] 另外，视频处理装置100也可以具有以视域追随所选择的观众的方式定期地调整视域的自动跟踪模式。在自动跟踪模式有效的情况下，在三维视听位置核对(check)功能下，定期地重复以上的步骤S11到步骤S19的一系列的处理。因此，在该情况下，利用观众检测部13，定期地检测一个或多个观众的位置(步骤S12)。此外，利用计算部14，在每次检测一个或多个观众的位置时都计算出控制参数(步骤S15、S17)。由此，即使所选择的观众移动，视域也追随该观众的位置。因此，在三维视听位置核对功能结束后，即使所选择的观众移动，该观众也能立体观看多个视差图像。三维视听位置核对功能结束后，定期地重复除了步骤S13和步骤S14的处理之外的步骤S11、S12、S15～S19的一系列的处理，调整视域。

[0081] [优先度评定规则]

[0082] 接着，列举上述优先度评定规则的具体例(a)～(h)。

[0083] (a)与液晶面板1的端部相比，位于正面的观众的一方具有较高的视听积极性的可能性较大。因此，如图7的(a)所示，在本优先度评定规则中，按从位于液晶面板1的正面方向的观众到位于液晶面板1的端部的观众的顺序评定高的优先度。

[0084] 在采用本优先度评定规则的情况下，观众选择部16例如使用观众的位置信息，求出液晶面板1的显示面、和通过观众及液晶面板1的中心的垂直方向的面所成的角度(最大90°)，从该角度较大的观众开始依次评定较高的优先度。

[0085] (b)使在能看到立体视频的基础上接近最佳的视听距离(液晶面板1和观众之间的距离)的观众优先。如图7的(b)所示，在本优先度评定规则中，从在能看到立体视频的基础上视听距离接近最佳视听距离(最佳视听距离d)的观众开始依次评定高优先度。此外，最佳视听距离d的值依赖于液晶面板的尺寸等的各种参数，因而被设定为针对每个视频处理装置的制品而不同的值。

[0086] 在采用本优先度评定规则的情况下，观众选择部16求出观众的位置信息中含有的Z轴上的位置和最佳视听距离d之差，并从该差较小的观众开始依次评定较高的优先度。

[0087] (c)视听时间越长的观众，对该节目具有较高的视听积极性的可能性越大。因此，在本优先度评定规则中，从视听时间较长的观众开始评定较高的优先度。视听时间例如以视听中的节目的开始时间为基准进行计算。视听中的节目的开始时间能从电子节目表(EPG)等取得。另外，视听时间也可以对视听中的节目进行选频的时间为基准来计算。另外，视听时间也可以视频显示装置100的电源被接入并开始视频显示的时间为基准来计算。

[0088] 在采用本优先度评定规则的情况下，观众选择部16针对每个观众计算视听时间，并从视听时间较长的观众开始依次评定高优先度。

[0089] (d)持有遥控器的观众操作遥控器以选择视听频道，因而是中心观众的可能性较大。因此，在本优先度评定规则中，对持有遥控器的观众、或最接近遥控器的观众评定最高的优先度。

[0090] 在采用本优先度评定规则的情况下，观众检测部13识别持有遥控器的观众，将该观众的观众识别信息供给至观众选择部16。作为持有遥控器的观众的识别方法，存在以下等方法：用摄影机3检测从遥控器发出的红外线或在遥控器预先设定的记号，以识别离遥控位置最近的观众的方法、或利用图像识别直接识别持有遥控器的观众的方法。而且，观众选择部16对持有遥控器的观众评定最高的优先度。此外，观众选择部16也可对除持有遥控器的观众以外的观众，例如从最接近遥控器的观众开始依次评定较高的优先度。

[0091] (e)与能将视频处理装置100的用户有关的信息作为用户注册信息存储于存储部17。该用户注册信息还能够包括脸部照片、表示视听立体视频的优先度的3D视听优先度等的信息。在本优先度评定规则中，使该3D视听优先度较高的观众优先。

[0092] 在采用本优先度评定规则的情况下，观众检测部13从用摄影机3拍摄到的视频取得各观众的脸部信息。而且，观众检测部13通过对各个观众检索与脸部信息匹配(matching)的用户注册信息的脸部照片，从而从存储部18读出该观众的3D视听优先度。而且，观众检测部13对应各观众将组合视听者识别信息(位置信息)和3D视听优先度而得的信息供给至观众选择部16。观众选择部16从3D视听优先度高的观众开始依次评定高的优先度。此外，也可对没有用户注册信息的观众评定低(或者最低)的优先度。

[0093] (f)根据视频处理装置100及沙发、椅子等的家具的配置状况，假设不是从液晶面板1的正面而是从偏斜方向视听较多的情况。在那样的情况下，视域沿液晶面板1的偏斜方向设定的频率变高。因此，在本优先度评定规则中，使位于频繁地设定为视域的场所的观众优先。

[0094] 在采用本优先度评定规则的情况下，计算部14例如在每次计算控制参数时都将计算出的控制参数保存于存储部18。而且，观众选择部16根据保存于存储部18的控制参数指定设定次数多的视域，对位于该视域内的观众评定比位于该视域外的观众高的优先度。

[0095] (g)视频处理装置100的用户也能将最容易视听的位置等设定为初始视听位置。在本优先度评定规则中，用户预先设定初始视听位置，并使用位于该初始视听位置的观众优先。

[0096] 在采用本优先度评定规则的情况下，存储部18保存与用户设定了的初始视听位置相关的信息。观众选择部16从存储部18读出设定的初始视听位置，并对位于该视听位置的观众评定高优先度。

[0097] 如上所述，根据本实施方式，将由摄像机3观测到的观众的观测图像和俯瞰图像中的至少一个显示于液晶面板1，根据观众所输入的观众选择信号，从观测图像上或俯瞰图像上的观众中选择一个以上的观众。而且，在与所选择的观众的位置对应的区域设定能够立体观看多个视差图像的视域。由此，在存在多个观众的情况下，观众能自由地选择想要调整视域的观众。此外，因为一个观众能够通过操纵遥控器而将视域调整至也包括自己以外的任意的观众，所以能省去多个观众交替持有遥控器地进行操纵的时间和精力。

[0098] 另外，因为对所选择的观众评定优先度，所以即使在所选择的多个观众的一部分未被纳入视域内的情况下，由于必须将优先度高的观众纳入在视域内，因此优先度高的观众能够看到高质量的立体视频。

[0099] 这样，根据以上说明的实施方式，观众能够容易地观察到良好的立体视频。

[0100] (变形例)

[0101] 能够对上述的实施方式附加各种变更。以下，在适当参照附图的同时说明变形的一个例子。

[0102] 在上述实施方式中示出了使用柱面透镜2，通过偏移视差图像来控制视域的例子，但是也可以使用其他方法控制视域。例如，也可以将柱面透镜2取而代之将视差屏障设为开口控制部。此外，图8是表示作为图2的变形例的视频处理装置100’的概略结构的框图。如该图8所示，视频处理装置100’的控制器10’包括视域控制部15’以代替图像调整部15。该视域控制部15’根据由计算部14计算出的控制参数控制开口控制部2’。在该情况下，将液晶面板1与开口控制部2’的距离、液晶面板1与开口控制部2’的水平方向的偏移量等作为控制参数，通过控制液晶面板1所显示的视差图像的输出方向来控制视域。这样，也可以不进行调整液晶面板1上显示的视差图像的显示位置的处理而利用视域控制部15’控制开口控制部2’。

[0103] 另外，在上述实施方式中，虽然已经说明了将观测图像和俯瞰图像显示于液晶面板1的例子，但并不仅限于此。例如，提示部17也可以将观测图像和俯瞰图像中的至少一个发送至通过有线或无线与视频处理装置100连接的信息终端、个人计算机等。在该情况下，观众通过观察信息终端所显示的观测图像和俯瞰图像中的至少一个来操纵信息终端，从而能够选择观众。并且，信息终端能够朝向视频处理装置100的操作信号接收部发送观众选择信号。此外，也可以在遥控器上设有液晶显示装置等，提示部17向遥控器发送观测图像和俯瞰图像中的至少一个，兵通过显示于该液晶显示装置等上而提示观众。

[0104] 即使利用这些变形例也能够获得与上述实施方式相同的效果。

[0105] 上述实施方式说明的控制器10的至少一部分既可以由硬件构成，也可以由软件构成。在由软件构成的情况下，也可以将实现控制器10的至少一部分的功能的程序收容于软盘、CD-ROM等记录介质中，通过读入计算机而执行。存储介质不限定于磁盘、光盘等能够装卸的装置，也可以是硬盘装置、存储器等固定型的记录介质。

[0106] 此外，也可以将实现控制器10的至少一部分的功能的程序经由互联网等通信电路(也包括无线通信)颁布。另外，也可以在对该程序进行加密、调制、压缩后的状态下，经由互联网等有线电路、无线电路或收容于记录介质中进行颁布。

[0107] 虽然说明了本发明的几个实施方式，但这些的实施方式是作为例子而提示的，并非意在限定发明的范围。这些实施方式能以其他的各种方式实施，能够在不脱离发明的思想的范围内进行各种的省略、替换、变更。这些实施方式或其变形，包含于发明的范围、思想，同样也包含于权利要求书所记载的发明和其等价的范围内。

标题	发布/更新时间	阅读量
基于深度学习的无波前探测器自适应点扫描成像方法	2020-05-08	782
具有容器结构单元的立体光刻设备	2020-05-11	146
一种显示边缘图像的方法和电子设备	2020-05-11	797
标注对象立体框图生成方法、装置、电子设备及存储介质	2020-05-08	216
一种远距离大视场虹膜光学成像的装置及方法	2020-05-08	389
基于虚拟现实的孤独症早期筛查评估系统及方法	2020-05-08	246
体积测算方法、装置及用户终端	2020-05-11	238
一种放射治疗系统	2020-05-08	713
一种面向肺部经皮穿刺的呼吸运动补偿方法	2020-05-08	49
工件内外表面缺陷检测方法	2020-05-08	259

视频处理装置以及视频处理方法

视频处理装置以及视频处理方法

技术领域

背景技术

发明内容

具体实施方式

该功能需要专业版企业版VIP权限，您可以：