图像处理设备和图像处理方法
阅读：465发布：2024-01-11
专利汇可以提供图像处理设备和图像处理方法专利检索，专利查询，专利分析的服务。并且本 发明 涉及 图像处理 设备和图像处理方法，具体地，为了便于视频数据的搜索或管理，做出了本发明。本发明生成由显示轴定义的显示空间，所述显示轴由代表视频数据或音频数据的特征的特征参数，或者与视频数据或音频数据联系的关联参数确定，把由特征参数 指定 的特征值或者由关联参数指定的关联值转换成与显示空间上的显示轴上的 位置 对应的坐标参数，并按照与转换的坐标参数对应的位置的变化，通过显示空间上的显示窗口显示视频数据。，下面是图像处理设备和图像处理方法专利的具体信息内容。
1、一种图像处理设备，其特征在于包括：
显示空间生成装置，用于生成由显示轴定义的显示空间，所述显 示轴由代表视频数据或音频数据的特征的特征参数，或者与视频数据 或音频数据联系的关联参数确定；
转换装置，用于把由特征参数指定的特征值或者由关联参数指定 的关联值转换成与显示空间上的显示轴上的位置对应的坐标参数；和
显示控制装置，用于按照与转换的坐标参数对应的位置的变化， 通过显示空间上的显示窗口显示视频数据。
2、按照权利要求1所述的图像处理设备，其特征在于还包括：
以画面或者GOP为单位从视频数据获得特征参数的获取装置。
3、按照权利要求1所述的图像处理设备，还包括：
以规定的时间间隔从音频数据获得特征参数的获取装置。
4、按照权利要求1所述的图像处理设备，还包括：
选择装置，用于从多个特征参数或关联参数中选择用于改变通过 其显示视频数据的显示窗口的显示模式的特征参数或关联参数，作为 显示参数，其特征在于，
显示控制装置按照选择装置选择的显示参数的值，改变显示视频 数据的显示窗口的显示风格。
5、按照权利要求4所述的图像处理设备，其特征在于，
显示风格包括显示窗口的大小，显示窗口内的对比度，显示窗口 内的透明度，或者显示窗口的框架的加亮。
6、按照权利要求1所述的图像处理设备，还包括：
选择装置，用于从多个特征参数或关联参数中选择用于选择要显 示具有第一分辨率的第一视频数据，还是分辨率低于第一分辨率的第 二视频数据的特征参数或关联参数，作为重放模式参数，其特征在于，
显示控制装置按照选择装置选择的重放模式参数的值，选择和显 示第一视频数据或第二视频数据。
7、按照权利要求1所述的图像处理设备，还包括：
选择装置，用于从多个特征参数或关联参数中选择用于选择要显 示基于第一格式的视频数据，还是基于数据量小于第一格式的数据量 的第二格式的视频数据的特征参数或关联参数，作为重放模式参数， 其特征在于，
显示控制装置按照选择装置选择的重放模式参数的值，选择和显 示基于第一格式的视频数据或者基于第二格式的视频数据。
8、按照权利要求1所述的图像处理设备，其特征在于，
显示空间生成装置从多个特征参数或关联参数中选择三个不同 的特征参数或关联参数来产生三维显示空间。
9、按照权利要求1所述的图像处理设备，其特征在于，
显示控制装置分别通过对应的显示窗口显示多个视频数据。
10、按照权利要求1所述的图像处理设备，其特征在于，
显示控制装置把通过其显示图像视频数据的显示窗口随着在显 示空间上显示视频数据经过的时间而移动的移动路径显示成轨迹。
11、按照权利要求10所述的图像处理设备，其特征在于，
显示控制装置在轨迹上的对应位置显示包括在视频数据中的静 止图像。
12、按照权利要求11所述的图像处理设备，其特征在于，
显示控制装置以规定的时间间隔，在轨迹上的对应位置显示静止 图像。
13、按照权利要求10所述的图像处理设备，其特征在于，
显示控制装置在轨迹上显示与视频数据对应的时间代码。
14、按照权利要求10所述的图像处理设备，其特征在于，
显示控制装置根据在当前显示的视频数据的轨迹上的位置，显示 与过去对应的轨迹和与未来对应的轨迹，作为轨迹显示模式。
15、按照权利要求10所述的图像处理设备，其特征在于，
显示控制装置根据当前显示的视频数据的轨迹上的位置，只显示 与过去对应的轨迹，作为过去轨迹显示模式。
16、按照权利要求10所述的图像处理设备，其特征在于，
显示控制装置根据当前显示的视频数据的轨迹上的位置，只显示 与未来对应的轨迹作为未来轨迹显示模式。
17、按照权利要求1所述的图像处理设备，还包括：
变差确定装置，用于确定包括在特征参数中的特征量的变差是否 大于或等于阈值，在变差确定装置确定所述变差大于或等于阈值的情 况下，在从改变前的坐标参数到变化后的坐标参数改变显示视频数据 的显示窗口的移动速度的同时，进行显示。
18、按照权利要求17所述的图像处理设备，其特征在于，
显示控制装置进行显示，使得显示窗口的移动速度将较缓慢。
19、按照权利要求17所述的图像处理设备，其特征在于，
在特征量大于或等于阈值的情况下，变差确定装置确定发生了场 景变化或快闪。
20、按照权利要求1所述的图像处理设备，还包括：
解码视频流以产生视频数据的视频解码器。
21、按照权利要求1所述的图像处理设备，其特征在于，
特征参数至少包括视频数据的运动量，其亮度，其色调，其红色 分量，其蓝色分量和其绿色分量之一。
22、按照权利要求3所述的图像处理设备，其特征在于，
特征参数包括音频的信号电平。
23、按照权利要求1所述的图像处理设备，其特征在于，
关联参数包括视频数据的时间代码。
24、按照权利要求1所述的图像处理设备，其特征在于，
关联参数包括表示拍摄或记录视频数据的时间的时间信息。
25、按照权利要求1所述的图像处理设备，其特征在于，
关联参数包括表示拍摄或记录视频数据的位置的位置信息。
26、按照权利要求1所述的图像处理设备，其特征在于，
关联参数包括识别视频数据的所有者或创作者的识别信息。
27、按照权利要求1所述的图像处理设备，其特征在于，
关联参数包括识别已经访问过该视频数据的用户的识别信息。
28、按照权利要求1所述的图像处理设备，其特征在于，
关联参数包括AV数据被访问的次数。
29、按照权利要求1所述的图像处理设备，其特征在于，
关联参数包括识别视频数据的组的组识别信息。
30、按照权利要求1所述的图像处理设备，其特征在于，
关联参数包括识别包括在视频数据中的人的面部的面部识别信 息。
31、按照权利要求1所述的图像处理设备，其特征在于，
关联参数包括包含在视频数据中的标题、关键字或字幕信息。
32、按照权利要求1所述的图像处理设备，还包括：
记录装置，用于把特征参数或关联参数作为元数据记录在记录介 质中，其特征在于，
通过参考记录在记录介质中的元数据，转换装置把由特征参数指 定的特征值或者由关联参数指定的关联值转换成与显示空间上的显 示轴对应的坐标参数。
33、按照权利要求1所述的图像处理设备，还包括：
记录装置，用于把转换装置转换的坐标参数作为元数据记录在记 录介质中，其特征在于，
通过参考记录在记录介质中的元数据，显示控制装置通过与坐标 参数对应的位置对应于其改变的显示窗口显示视频数据。
34、按照权利要求1所述的图像处理设备，还包括：
显示轴改变装置，用于改变用于显示空间上的显示轴的特征参数 或关联参数的组合模式，其特征在于，
显示控制装置通过具有显示改变装置改变的显示轴的显示空间 上的显示窗口，显示视频数据。
35、按照权利要求1所述的图像处理设备，还包括：
元数据生成装置，用于在显示空间上的多个视频数据之间的距离 落在预定值之内的情况下，生成代表视频数据的图像彼此相似的相似 性信息作为元数据，其特征在于，
在相似性信息代表相似性的条件的情况下，显示控制装置改变与 多个视频数据对应的显示窗口的显示风格。
36、按照权利要求1所述的图像处理设备，还包括：
计数器生成装置，用于在显示空间上的多个视频数据之间的距离 落在预定值之内的情况下，为每个视频数据生成计数次数的计数器。
37、按照权利要求36所述的图像处理设备，其特征在于，
显示控制装置改变和显示与由计数器生成装置生成的计数器值 大于或等于阈值的视频数据对应的显示窗口的显示风格。
38、按照权利要求36所述的图像处理设备，其特征在于，
显示控制装置只显示由计数器生成装置生成的计数器值大于或 等于阈值的视频数据。
39、按照权利要求36所述的图像处理设备，其特征在于还包括：
分组装置，用于按照计数器生成装置产生的计数器值，把视频数 据分成多个组，其特征在于，
显示控制装置把归入分组装置划分的组中的视频数据显示在每 个组的不同显示空间上。
40、按照权利要求36所述的图像处理设备，还包括：
用于生成计数器的计数器生成装置，所述计数器用于计数包括在 每个视频数据的关联参数中的访问次数。
41、按照权利要求40所述的图像处理设备，其特征在于，
显示控制装置改变和显示与由计数器生成装置生成的计数器值 大于或等于阈值的视频数据对应的显示窗口的显示风格。
42、按照权利要求41所述的图像处理设备，其特征在于，
访问次数包括用户和计数器的访问次数；以及
显示控制装置为每个用户改变和显示计数器值大于或等于阈值 的视频数据的显示风格。
43、按照权利要求31所述的图像处理设备，其特征在于还包括：
计数器生成装置，用于为每个视频数据产生表示包括在关联参数 中的标题，关键字或字幕信息与网页中的关键字匹配的次数的计数 器。
44、按照权利要求41所述的图像处理设备，其特征在于，
显示控制装置改变和显示由计数器生成装置生成的计数器值大 于或等于阈值的视频数据的显示风格。
45、一种图像处理设备，其特征在于包括：
显示空间生成步骤，用于生成由显示轴定义的显示空间，所述显 示轴由代表视频数据或音频数据的特征的特征参数，或者与视频数据 或音频数据联系的关联参数确定；
转换步骤，用于把由特征参数指定的特征值或者由关联参数指定 的关联值转换成与显示空间上的显示轴上的位置对应的坐标参数；和
显示控制步骤，用于按照与转换的坐标参数对应的位置的变化， 通过显示空间上的显示窗口显示视频数据。
技术领域
背景技术
诸如人物、物体或风景之类的主题利用摄像装置来拍摄，拍摄的 静止图像利用JPEG标准，JPEG 2000标准等压缩，以便保存在记录 介质中。包含在摄像装置中的内部存储器，可分离地安装到摄像装置 上的可移动记录介质等可用作记录介质。
用户随后使用计算机把保存在这样的记录介质中的静止图像数 据集体移动(归档)到诸如硬盘或光盘之类的大容量记录介质。此外， 近年来，随着网络技术的发展，诸如高带宽线路或高速线路之类的宽 带线路日益普及。用户利用这样的宽带线路通过电子邮件传送数据量 较大的静止图像，或者把图像上传到由个人或小团体操作和更新的普 通网站和日记类网站(博客)。
考虑到这样的各种使用情形，通过依据拍摄日期对图像分类，用 户使用图像管理软件应用程序按照易于搜索和易于浏览的方式管理 保存在大容量记录介质中的大量静止图像。按照需要，用户使用图像 编辑软件应用程序编辑目标静止图像。
存在能够把可通过数字地面广播/数字卫星广播，或者通过网络 传输获得的节目保存在诸如硬盘或光盘之类的大容量记录介质中，从 而便于用户随时欣赏所希望的节目的计算机或机顶盒。
在这样的环境下，可能存在用户从保存的多个节目中搜索特定的 节目以便只观看特定的目标节目中的特定情节的情况。这种情况下， 通过记录日期和节目类别(体育、戏剧、新闻等)以供显示，多个节目 被分类，并在缩略图中显示相应节目的相应情节的第一幕，从而使用 户能够选择他或她所希望的情节。
从而，随着静止图像数据或记录的节目数据的数目的增大，用户 难以从大量的数据中找出特定的数据。鉴于此，已经提出了涉及用户 友好显示界面的技术(例如，参见专利文献1-3)。除了专利文献1-3的 技术之外，已知一种分析静止图像本身，并按照通过所述分析获得的 静止图像的特征量，分类地在显示屏幕上布置静止图像的技术。
专利文献1：WO2000/033455
专利文献2：WO2000/033570
专利文献3：WO2000/033572
但是，在静止图像数据或节目数据的数目变得极大的情况下，仅 仅依据拍摄日期、记录日期、类别等对静止图像数据或节目数据分类， 并不足以实现用户友好的显示界面。
此外，在待管理的数据是运动画面(视频数据)的情况下，如何进 行分类和显示，以便实现用户友好的显示界面的技术尚未公开。另外， 通过常规的显示界面，用户一直难以直观地识别整个运动画面具有什 么特征，或者用户希望的特定情景位于整个运动画面中的何处。
用户随后使用计算机把保存在这样的记录介质中的静止图像数 据集体移动(归档)到诸如硬盘或光盘之类的大容量记录介质。此外， 近年来，随着网络技术的发展，诸如高带宽线路或高速线路之类的宽 带线路日益普及。用户利用这样的宽带线路通过电子邮件传送数据量 较大的静止图像，或者把图像上传到由个人或小团体操作和更新的普 通网站和日记类网站(博客)。
考虑到这样的各种使用情形，通过依据拍摄日期对图像分类，用 户使用图像管理软件应用程序按照易于搜索和易于浏览的方式管理 保存在大容量记录介质中的大量静止图像。按照需要，用户使用图像 编辑软件应用程序编辑目标静止图像。
存在能够把可通过数字地面广播/数字卫星广播，或者通过网络 传输获得的节目保存在诸如硬盘或光盘之类的大容量记录介质中，从 而便于用户随时欣赏所希望的节目的计算机或机顶盒。
在这样的环境下，可能存在用户从保存的多个节目中搜索特定的 节目以便只观看特定的目标节目中的特定情节的情况。这种情况下， 通过记录日期和节目类别(体育、戏剧、新闻等)以供显示，多个节目 被分类，并在缩略图中显示相应节目的相应情节的第一幕，从而使用 户能够选择他或她所希望的情节。
从而，随着静止图像数据或记录的节目数据的数目的增大，用户 难以从大量的数据中找出特定的数据。鉴于此，已经提出了涉及用户 友好显示界面的技术(例如，参见专利文献1-3)。除了专利文献1-3的 技术之外，已知一种分析静止图像本身，并按照通过所述分析获得的 静止图像的特征量，分类地在显示屏幕上布置静止图像的技术。
专利文献1：WO2000/033455
专利文献2：WO2000/033570
专利文献3：WO2000/033572
但是，在静止图像数据或节目数据的数目变得极大的情况下，仅 仅依据拍摄日期、记录日期、类别等对静止图像数据或节目数据分类， 并不足以实现用户友好的显示界面。
此外，在待管理的数据是运动画面(视频数据)的情况下，如何进 行分类和显示，以便实现用户友好的显示界面的技术尚未公开。另外， 通过常规的显示界面，用户一直难以直观地识别整个运动画面具有什 么特征，或者用户希望的特定情景位于整个运动画面中的何处。
发明内容
鉴于上述各点，做出了本发明，本发明的一个目的是提供一种便 于视频数据的搜索或管理的图像处理设备和图像处理方法。
为了解决上面的问题，按照本发明的一个方面，提供一种图像处 理设备，其特征在于包括：显示空间生成装置，用于生成由显示轴定 义的显示空间，所述显示轴由代表视频数据或音频数据的特征的特征 参数，或者与视频数据或音频数据联系的关联参数确定；转换装置， 用于把由特征参数指定的特征值或者由关联参数指定的关联值转换 成与显示空间上的显示轴上的位置对应的坐标参数；和显示装置，用 于按照与转换的坐标参数对应的位置的变化，通过显示空间上的显示 窗口显示视频数据。
此外，按照本发明的另一方面，提供一种图像处理方法，其特征 在于包括：显示空间生成步骤，用于生成由显示轴定义的显示空间， 所述显示轴由代表视频数据或音频数据的特征的特征参数，或者与视 频数据或音频数据联系的关联参数确定；转换步骤，用于把由特征参 数指定的特征值或者由关联参数指定的关联值转换成与显示空间上 的显示轴上的位置对应的坐标参数；和显示步骤，用于按照与转换的 坐标参数对应的位置的变化，通过显示空间上的显示窗口显示视频数 据。
按照本发明，可以易于理解和用户友好的形式向用户显示视频数 据，从而使用户能够直观地识别视频数据的特征，这便于视频数据的 搜索或管理。
附图说明
图1是表示按照本发明的一个实施例的图像处理设备的配置的 示意方框图。
图2是表示按照本发明的实施例的编辑屏幕的配置的示意图。
图3是表示一个图像组的示意图。
图4是表示其中微处理器和GPU实现视频数据的显示功能的第 一配置例子的示意方框图。
图5是表示其中微处理器和GPU实现视频数据的显示功能的第 二配置例子的示意方框图。
图6是表示其中微处理器和GPU实现视频数据的显示功能的第 三配置例子的示意方框图。
图7是表示元数据提取部分的配置的示意方框图。
图8是用于解释由平均值计算部分执行的处理的示意图。
图9是用于解释由运动检测部分执行的处理的示意图。
图10是表示运动检测部分的另一配置的示意方框图。
图11是用于解释由运动信息计算部分执行的处理的示意图。
图12是表示频率分析部分的配置的示意方框图。
图13是用于解释密度信息计算部分执行的处理的示意图。
图14是用于解释HLS空间的示意图。
图15是表示元数据文件的内容的表格。
图16是表示构成视频数据的画面(静止图像)的显示处理程序的 流程图。
图17(A)-17(G)都是表示三维显示空间中的显示轴的示意图。
图18是表示位于DCT水平频率轴附近的图像组的放大显示例子 的示意图。
图19是表示位于R轴附近的图像组的放大显示例子的示意图。
图20是表示位于G轴附近的图像组的放大显示例子的示意图。
图21是表示视频数据的显示处理程序的流程图。
图22是表示多个视频数据的显示处理程序的流程图。
图23是用于解释显示窗口的运动的示意图。
图24是表示坐标补偿处理程序的流程图。
图25是表示场景变化的示意图。
图26是用于解释场景变化时显示窗口的移动的示意图。
图27是表示再定位处理程序的流程图。
图28是表示再定位前后的图像组的示意透视图。
图29(A)-29(C)是用于解释组显示处理的示意图。
图30是表示组显示处理程序的流程图。
图31是表示当在使显示窗口保持固定的情况下，移动三维显示 空间时获得的显示例子(1)的示意图。
图32是表示当在使显示窗口保持固定的情况下，移动三维显示 空间时获得的显示例子(2)的示意图。
图33是表示当在使显示窗口保持固定的情况下，移动三维显示 空间时获得的显示例子(3)的示意图。
图34是表示当使显示窗口保持固定时执行的视频数据的显示处 理程序的流程图。
图35是表示放大的显示窗口中的显示例子的示意图。
图36是表示整个轨迹显示模式下的显示图案(pattern)(1)的示意 图。
图37是表示轨迹显示处理程序的流程图。
图38是表示过去侧的轨迹的示意图。
图39是表示未来侧的轨迹的示意图。
图40是表示整个轨迹的示意图。
图41是表示整个轨迹显示模式下的显示图案(2)的示意图。
图42是表示整个轨迹显示模式下的显示图案(3)的示意图。
图43是表示整个轨迹显示模式下的显示图案(4)的示意图。
图44是表示利用典型场景的轨迹显示例子的示意图。
图45是包括场景变化的轨迹显示例子的示意图。
图46(A)-46(C)均为表示移动速度控制例子的示意图。
图47是表示包括时间代码的轨迹显示例子的示意图。
图48(A)-48(C)是用于解释显示窗口控制处理的示意图。
图49是用于解释按照本发明的另一实施例的二维显示空间的示 意图。
图50是表示按照本发明的另一实施例的四维显示空间的示意 图。
图51是用于解释按照另一实施例，与水平滚动条的移动同时工 作的显示窗口移动显示处理的示意图。
图52是用于解释可适用的应用的示意图。
图53是表示当利用关联参数时获得的显示例子(1)的示意图。
图54是表示当利用关联参数时获得的显示例子(2)的示意图。
图55是表示当利用关联参数时获得的显示例子(3)的示意图。
为了解决上面的问题，按照本发明的一个方面，提供一种图像处 理设备，其特征在于包括：显示空间生成装置，用于生成由显示轴定 义的显示空间，所述显示轴由代表视频数据或音频数据的特征的特征 参数，或者与视频数据或音频数据联系的关联参数确定；转换装置， 用于把由特征参数指定的特征值或者由关联参数指定的关联值转换 成与显示空间上的显示轴上的位置对应的坐标参数；和显示装置，用 于按照与转换的坐标参数对应的位置的变化，通过显示空间上的显示 窗口显示视频数据。
此外，按照本发明的另一方面，提供一种图像处理方法，其特征 在于包括：显示空间生成步骤，用于生成由显示轴定义的显示空间， 所述显示轴由代表视频数据或音频数据的特征的特征参数，或者与视 频数据或音频数据联系的关联参数确定；转换步骤，用于把由特征参 数指定的特征值或者由关联参数指定的关联值转换成与显示空间上 的显示轴上的位置对应的坐标参数；和显示步骤，用于按照与转换的 坐标参数对应的位置的变化，通过显示空间上的显示窗口显示视频数 据。
按照本发明，可以易于理解和用户友好的形式向用户显示视频数 据，从而使用户能够直观地识别视频数据的特征，这便于视频数据的 搜索或管理。
附图说明
图1是表示按照本发明的一个实施例的图像处理设备的配置的 示意方框图。
图2是表示按照本发明的实施例的编辑屏幕的配置的示意图。
图3是表示一个图像组的示意图。
图4是表示其中微处理器和GPU实现视频数据的显示功能的第 一配置例子的示意方框图。
图5是表示其中微处理器和GPU实现视频数据的显示功能的第 二配置例子的示意方框图。
图6是表示其中微处理器和GPU实现视频数据的显示功能的第 三配置例子的示意方框图。
图7是表示元数据提取部分的配置的示意方框图。
图8是用于解释由平均值计算部分执行的处理的示意图。
图9是用于解释由运动检测部分执行的处理的示意图。
图10是表示运动检测部分的另一配置的示意方框图。
图11是用于解释由运动信息计算部分执行的处理的示意图。
图12是表示频率分析部分的配置的示意方框图。
图13是用于解释密度信息计算部分执行的处理的示意图。
图14是用于解释HLS空间的示意图。
图15是表示元数据文件的内容的表格。
图16是表示构成视频数据的画面(静止图像)的显示处理程序的 流程图。
图17(A)-17(G)都是表示三维显示空间中的显示轴的示意图。
图18是表示位于DCT水平频率轴附近的图像组的放大显示例子 的示意图。
图19是表示位于R轴附近的图像组的放大显示例子的示意图。
图20是表示位于G轴附近的图像组的放大显示例子的示意图。
图21是表示视频数据的显示处理程序的流程图。
图22是表示多个视频数据的显示处理程序的流程图。
图23是用于解释显示窗口的运动的示意图。
图24是表示坐标补偿处理程序的流程图。
图25是表示场景变化的示意图。
图26是用于解释场景变化时显示窗口的移动的示意图。
图27是表示再定位处理程序的流程图。
图28是表示再定位前后的图像组的示意透视图。
图29(A)-29(C)是用于解释组显示处理的示意图。
图30是表示组显示处理程序的流程图。
图31是表示当在使显示窗口保持固定的情况下，移动三维显示 空间时获得的显示例子(1)的示意图。
图32是表示当在使显示窗口保持固定的情况下，移动三维显示 空间时获得的显示例子(2)的示意图。
图33是表示当在使显示窗口保持固定的情况下，移动三维显示 空间时获得的显示例子(3)的示意图。
图34是表示当使显示窗口保持固定时执行的视频数据的显示处 理程序的流程图。
图35是表示放大的显示窗口中的显示例子的示意图。
图36是表示整个轨迹显示模式下的显示图案(pattern)(1)的示意 图。
图37是表示轨迹显示处理程序的流程图。
图38是表示过去侧的轨迹的示意图。
图39是表示未来侧的轨迹的示意图。
图40是表示整个轨迹的示意图。
图41是表示整个轨迹显示模式下的显示图案(2)的示意图。
图42是表示整个轨迹显示模式下的显示图案(3)的示意图。
图43是表示整个轨迹显示模式下的显示图案(4)的示意图。
图44是表示利用典型场景的轨迹显示例子的示意图。
图45是包括场景变化的轨迹显示例子的示意图。
图46(A)-46(C)均为表示移动速度控制例子的示意图。
图47是表示包括时间代码的轨迹显示例子的示意图。
图48(A)-48(C)是用于解释显示窗口控制处理的示意图。
图49是用于解释按照本发明的另一实施例的二维显示空间的示 意图。
图50是表示按照本发明的另一实施例的四维显示空间的示意 图。
图51是用于解释按照另一实施例，与水平滚动条的移动同时工 作的显示窗口移动显示处理的示意图。
图52是用于解释可适用的应用的示意图。
图53是表示当利用关联参数时获得的显示例子(1)的示意图。
图54是表示当利用关联参数时获得的显示例子(2)的示意图。
图55是表示当利用关联参数时获得的显示例子(3)的示意图。
具体实施方式
下面参考附图，详细说明本发明的实施例。
(1)图像处理系统的配置
如图1中所示，附图标记1表示按照本发明的实施例的图像处理 系统，一般来说，其包括图像处理设备2，存储单元22和多个磁带录 像机231～23n。
图像处理系统1被配置成通过图像处理设备2，把记录在录像带 上的部分或全部AV(音频/视觉)数据作为剪辑装入采用RAID(独立磁 盘冗余阵列)技术的大容量存储单元22中，或者把记录在录像带上的 静止图像数据装入存储单元22中。
此外，图像处理系统1被配置成创建指定编辑内容，以便通过按 照所希望的状态连接装入存储单元22中的AV数据，获得所希望的 编辑的视频和音频的编辑列表，此外按照创建的编辑列表实际执行编 辑处理，并把获得的AV数据作为新剪辑保存在存储单元22中，或 者通过任意的磁带录像机231～23n把AV数据记录在录像带上。
这种情况下，在图像处理设备1中，GPU4、XDR(极速数据 率)-RAM 5和南桥6与微处理器3连接。硬盘驱动器7、USB接口8 和音频I/O编解码器9与南桥6连接。扬声器41与音频I/O编解码器 9连接。
此外，鼠标38、键盘39、磁带录像机231～23n、记录设备22 和操作控制器37通过PCI总线15与南桥6连接。显示器40与GPU 4连接。
微处理器3是多核处理器，其中用于执行基本程序，比如OS(操 作系统)的通用主CPU核3M，通过内部总线12与主CPU核3M连 接的多个(这种情况下八个)RISC(精简指令集计算机)型信号处理器 (下面称为副CPU核)3SA～3SH，对具有例如256[Mbyte]容量的 XDR-RAM 5执行存储器控制的存储控制器13，和管理在它自己与南 桥6之间的数据输入和输出的I/O(输入/输出)控制器14被集成在一 个芯片上。该微处理器3以例如4[GHz]的工作频率工作。
图像处理系统1的微处理器3主要起与现有的视频标准，比如 MPEG-2或H.264/AVC(先进音频编码)兼容的编解码器的作用，并被 配置成把作为解码处理的结果而获得的视频数据的重放图像传给 GPU4，改变视频数据的重放图像的诸如重放速度之类的设置(后面说 明)，把静止图像数据传给GPU 4，或者执行物理模拟。
特别地，在微处理器3中，八个副CPU核3SA～3SH充当用于 通过对视频数据编码而获得的视频流的解码器，并且能够并行地解码 HD(高清晰度)视频流。
被配置成执行除由这八个副CPU核3SA～3SH执行的处理或管 理之外的处理或管理的主CPU核3M接收通过南桥6从鼠标38、键 盘39或操作控制器37供给的指令，并按照接收到的指令执行各种处 理。
如上所述，微处理器3被配置成能够利用八个副CPU核3SA～ 3SH并行地对视频流解码，并利用高带宽总线10，以高达30 [Gbyte/sec]的传输速率在微处理器3和GPU 4之间传送数据。即， 能够在较短时间内解码和传送许多高清晰度视频流。
GPU 4执行与当移动将在显示器40上显示的视频数据的重放图 像时所需的纹理粘贴相关的最终渲染处理，当在显示器40上显示视 频数据的重放图像或者静止图像数据的静止图像时所需的坐标变换 计算，和关于视频数据的重放图像或静止图像数据的静止图像的放大 /缩小处理，并从而减轻微处理器3的处理负载。
特别地，当启动时，微处理器3读出保存在硬盘驱动器7中的所 需应用程序，并根据硬盘驱动器7中的控制程序在XDR-RAM 5中展 开该应用程序，之后根据该应用程序和用户操作执行所需的控制处 理。
当用户通过鼠标38、键盘39或操作控制器37输入用于把记录 在录像带上的AV流输入存储单元22的剪辑捕捉窗口的显示指令时， 微处理器3对应地控制硬盘驱动器7，以便读出与显示指令对应的AV 数据，并且同时控制GPU 4以便在显示器40上显示基于该AV数据 的剪辑捕捉窗口。
这种状态下，当用户通过鼠标38、键盘39或操作控制器37输 入对磁带录像机231～23n的重放操作指令时，微处理器3对应地控 制磁带录像机231～23n，以便执行记录在录像带上的AV数据的重放 操作。
从而，从装入磁带录像机231～23n中的录像带中重放的AV流 顺序通过PCI总线15、南桥6和微处理器3从磁带录像机231～23n 输出到GPU 4。
在微处理器3的控制下，GPU 4对供给的视频数据应用预定的信 号处理，并把获得的视频数据发给显示器40，从而在剪辑捕捉窗口中 的预定位置显示基于该视频数据的重放图像。同时，微处理器3通过 音频I/O编解码器9，把从AV数据提取的音频信号发给扬声器41， 从而从扬声器41输出基于所述音频信号的声音。
于是，在查看显示在显示器40上的视频数据的重放图像和听取 从扬声器41输出的音频数据的重放声音的同时，用户能够利用鼠标 38、键盘39或操作控制器37，指定作为剪辑的所希望的重放视频/音 频部分，并且能够把包括入点和出点的时间代码，剪辑长度，剪辑ID， 剪辑名称，AV数据的拍摄时间和剪辑的创建时间在内的管理信息登 记成元数据。在微处理器3的控制下，该剪辑管理信息被登记在硬盘 驱动器7中的剪辑管理数据库中。
微处理器3不仅能够把上面提及的剪辑管理信息，而且能够把构 成AV数据的视频数据的各个参数的特征量登记成元数据文件，这在 后面详细说明。
之后，当用户通过鼠标38、键盘39或操作控制器37输入AV 流的捕捉指令时，微处理器3对应地控制磁带录像机231～23n，以便 重放指定的AV流。
从而，包括在从录像带重放的AV流中的视频流或音频流从磁带 录像机231～23n输出。该视频流随后依次通过PCI总线15、南桥6、 微处理器3和总线10被提供给GPU 4。
用户能够在显示器40上显示编辑窗口(后面说明)，用于通过利 用鼠标38、键盘39或操作控制器37由预定操作执行编辑工作，从而 能够利用所述编辑窗口创建一个编辑列表，所述编辑列表规定表示如 何相互连接剪辑的编辑内容。此外，在创建编辑列表之后或同时，用 户能够按照编辑列表确认编辑的视频和编辑的音频。
当在创建编辑列表之后，通过鼠标38输入编辑列表的登记指令 时，微处理器3把在编辑列表中指定的所有用户创建的编辑数据转换 成文件，并把该文件登记在硬盘驱动器7中的编辑列表数据库中。
此外，当在创建编辑列表之后或中间，通过鼠标38、键盘39或 操作控制器37输入基于编辑列表的编辑的视频/音频的重放指令时， 微处理器3对应地控制存储单元22，以便读取包括在所需AV流中的 视频流和音频流。
从而，如果需要，在微处理器3的控制下，读取的包括在读取自 存储单元22的AV流中的视频流和音频流依次通过PCI总线15、南 桥6、微处理器3和总线10被提供给GPU 4，以便进行视频特效处理。
在微处理器3的控制下，GPU 4对作为视频特效处理的结果而获 得的视频数据应用预定的信号处理，并把得到的视频信号发给显示器 40。
同时，微处理器3对包括在AV数据中的视频数据和音频数据之 中的音频数据应用音频混合，并通过音频I/O编解码器9把得到的音 频数据发给扬声器41。
从而，在编辑窗口中的预定位置显示视频数据的重放图像，并从 扬声器41输出音频数据的重放声音。如上所述，图像处理系统1允 许用户在根据编辑列表确认重放图像和重放声音的同时，进行编辑工 作。
从而，在图像处理系统1中，设置在图像处理设备2中的微处理 器3和GPU 4能够对显示在显示器40上的编辑屏幕上的重放图像执 行包括特效处理在内的视频显示处理，以及各种高级处理或编辑处 理。
由微处理器3中的八个副CPU核3SA～3SH同时并行解码的视 频数据通过总线10被传给GPU 4。此时的数据传输速率高达例如30 [GByte/sec]，于是甚至能够高速并且平滑地显示已经经过特效处理 的非常复杂的视频数据。
(2)视频数据的显示处理
在图像处理系统1中，准备了编辑模式和查看模式。在编辑模式 下，执行上述产生编辑的视频图像数据的编辑处理。在查看模式下， 执行允许用户容易地管理或搜索保存在存储单元22中的大量视频图 像数据和静止图像数据的分类显示。
(2-1)编辑窗口的显示内容
当用户通过鼠标38、键盘39或操作控制器37输入显示编辑窗 口的指令时，图像处理设备2的微处理器3控制硬盘驱动器7和GPU 4，以便进入查看模式，从而图2中所示的编辑窗口50被显示在显示 器40上。
编辑窗口50具有剪辑列表显示区51，情节串连图板区52，时间 线区53，效果信息显示区54和该编辑窗口50特有的显示区55。在 编辑窗口50上，编辑工作主要在显示区55上进行，情节串连图板区 52和时间线区53只是辅助提供的。
这种情况下，剪辑列表显示区51显示登记在图像处理设备2中 的各种文件箱(bin)和文件。当用户选择所希望的文件箱或文件时，剪 辑列表显示区51显示包含在该文件箱或文件中的AV数据的列表。
随后，用户根据显示在剪辑列表显示区51中的剪辑列表，从作 为运动画面的AV数据中选择所希望的AV数据，把所希望的剪辑拖 放到显示区55，从而在显示区55上显示表示该AV数据的第一图像(就 视频数据来说，第一静止图像)的显示窗口W57。注意在显示区55上 可显示多个显示窗口W57。
这种状态下，用户能够点击显示窗口W57，使图像处理设备2 在显示区55上重放拖放的AV数据，并快进、快倒、或者停止显示 的重放图像。
从而，在通过显示区55上的多个显示窗口W57视觉地确认包含 在AV数据中的视频数据的重放图像的同时，用户能够搜索所希望的 一帧，并且能够指定将从AV数据中切掉的所希望的视频/音频部分的 起点(下面称为入点)和终点(下面称为出点)。
当这样指定了入点和出点时，图像处理设备2的微处理器3进入 编辑模式。这种状态下，通过拖放操作，用户能够在情节串连图板区 52中，粘贴在这样指定的AV数据的入点和出点之间的视频/音频数 据作为新的AV数据。
编辑窗口50在情节串连图板区52中布置编辑目标AV数据的剪 辑，这使得用户能够容易地想象编辑的视频。情节串连图板区52显 示与每个粘贴的剪辑的第一图像等对应的主图像的缩略图和详细信 息。
随后，通过拖放操作，用户把粘贴在情节串连图板区52上的剪 辑依次布置在时间线区53的视轨上。此时，以时间线作为索引，与 每个粘贴的剪辑的长度对应的条带(未示出)出现在视轨上。当粘贴的 视频伴随有音频时，在时间线指示的相同位置，具有相同长度的条带 (未示出)出现在音轨上。
由于所述条带存在于时间线区53中的视轨和音轨上，因此在时 间线上指定的时间显示和输出与所述条带对应的剪辑的视频和音频。 于是，能够创建把待重放的一系列剪辑指定为编辑的视频/音频的编辑 列表。
(2-2)图像组的显示
此外，图像处理设备2的微处理器3在编辑窗口50的显示区55 上显示多个显示窗口W57，从而呈现图像组58，每个显示窗口W57 具有预定的框架尺寸，表现用户从显示在剪辑列表显示区51中的剪 辑列表中选择，并放到显示区55的AV数据。
在图像处理设备2的微处理器3中，能够把一个附加剪辑从剪辑 列表显示区51拖放到表现至少一个显示窗口W57的显示区55，按照 用户的选择/删除操作，能够删除存在于显示区55上的一个或多个显 示窗口。
这里，如图3中所示，图像组58指的是在三维显示空间中，根 据视频数据的特征量(基于画面或者基于GOP)，以显示窗口W57的 形式布置的视频数据的多个第一画面(静止图像)，或者典型画面(静止 图像)，在所述三维显示空间中，“红(R)”，“蓝(B)”和“亮度”分别被设 置成构成显示轴的X轴，Y轴和Z轴。
构成三维显示空间中的各显示轴(X轴，Y轴和Z轴)的参数被共 同称为代表包含视频数据的AV数据的特征的“特征参数”。基本上， 对于构成视频数据的每个画面来说，包括在特征参数中的特征量是不 同的，除非相同静止图像的画面在时间方面相互连续。
尽管如图3中所示的三维显示区的各显示轴实际上未被明确地 显示在编辑窗口50的显示区55上，不过显示窗口W57是按照各显 示轴布置的，使得表现具有包括在图像组58中的高红色等级视频数 据的画面(静止图像)的显示窗口W57被置于显示区55的右下侧，表 现具有包括在图像组58中的高亮度等级视频数据的画面的显示窗口 W57被置于显示区55的正中上方，表现具有包括在图像组58中的高 蓝色等级视频数据的画面的显示窗口57被设置在显示区55的左下 方。这种布置使用户可以直观地识别包含在作为图像的多个视频数据 中的亮度或颜色分量的粗略分布。
顺便提及，在该三维显示空间中，只有相对于原点的正象限被用 于“红(R)”(X轴)，“蓝(B)”(Y轴)和“亮度”(Z轴)中的各参数，多个显 示窗口W57被布置在与所述象限对应的空间中。但是，作为选择， 象限可包括相对于原点的负方向。
对于包含在图像组58中的视频数据，图像处理设备2的微处理 器3能够以与显示窗口W57中的预定帧频率相应的更新速度，顺序 更新构成视频数据的画面，从而将视频数据显示为运动图像。
此时，由于每次更新画面时，构成视频数据的画面的特征量发生 变化，因此图像处理设备2的微处理器3按照特征量在三维显示空间 中重新布置显示窗口W57，从而视频数据的显示窗口57在三维显示 空间上移动的同时被显示。
通过改变画面的更新速度，图像处理设备2能够控制视频数据的 重放速度。当更新速度被增大时，视频数据能够快速重放，因此，显 示窗口W57的移动速度被增大，从而使得显示窗口W57能够在三维 显示空间上高速移动。另一方面，当更新速度被增大时，显示窗口 W57的移动速度被降低，从而使得显示窗口57以好像漂浮在三维显 示空间上的方式慢速移动。
此外，图像处理设备2能够在显示窗口W57中快倒重放视频数 据。这种情况下，显示窗口W57沿着与上述情况相反的方向移动。 顺便提及，在显示窗口W57沿正向方向或反向方向移动的同时，图 像处理设备2能够在用户所希望的定时停止显示窗口W57，以显示与 该定时对应的画面(静止图像)。
(2-3)视频数据的显示
图像处理设备2预先提取代表构成视频数据的画面的特征量的 特征参数作为元数据，并且当通过显示窗口W57显示视频数据的重 放图像时，图像处理设备2按照待更新的各画面的特征量，在三维虚 拟空间上重新布置显示窗口W57。下面对于由微处理器3和GPU 4 构成的功能块说明移动显示窗口W57的上述配置。
这里，将说明下面的三种配置。第一配置例子是预先从构成视频 数据的各画面中提取特征参数作为元数据，并使用所提取的特征参数 来显示视频数据的方法。第二配置例子是在根据构成视频数据的各画 面产生元数据的同时，使用元数据来显示视频数据的方法。第三配置 例子是当视频数据被编码以便记录时，在产生作为元数据的特征参数 的同时，使用特征参数来显示视频数据的方法。
(2-3-1)第一配置例子
如图4中所示，元数据提取部分61提取代表包括在包含视频数 据的AV数据中的各种特征量的特征参数，并把所提取的特征参数登 记在元数据数据库(下面称为“元数据DB”)62中，作为与视频数据对 应的基于画面或者基于多个画面(例如基于GOP)的元数据文件MDF。
压缩图像生成部分63压缩通过元数据提取部分61供给的视频数 据的各个画面，以便把压缩的画面登记在视频数据库(下面称为“视频 DB”)64中作为主视频流HD1，以及以预定的比率减少视频数据中的 各个画面的像素数目，从而把像素数目减少的画面登记在视频DB 64 中作为子视频流LD1。
这种配置使得能够以视频数据为单位，或者以预定的时间段为单 位，把像素数目未被减少的主视频流HD1和像素数目已被减少的子 视频流LD1被保存在视频DB 64中。从而，微处理器3能够按照在 三维显示空间上的位置，有选择地使用主视频流和子视频流。例如， 当显示窗口W57的图像尺寸需要被缩小时，使用子视频流LD1；另 一方面，当显示窗口W57的图像尺寸需要被放大时，使用主视频流 HD1。
显示空间控制器66识别用于生成由用户通过显示在显示区55 上的图形用户界面(GUI)65指定的三维显示空间的显示轴的参数，识 别向用户呈现图像组58的视点坐标，或者做出关于所述显示的各种 确定，比如确定在三维显示空间上用户选择的AV数据的布置。
于是，显示空间控制器66根据确定结果，把与构成将作为图像 组58(图3)显示在显示区55上的视频数据的多个画面对应的帧编号输 出给元数据DB 62，以使得元数据DB 62可以使用与帧编号对应的画 面的特征参数作为元数据，从中读取元数据文件MDF，并把元数据 文件MDF发给坐标计算部分67。
此外，根据确定结果，显示空间控制器66还把构成视频数据的 画面的帧编号输出给视频DB 64。这使得当通过显示窗口W57显示视 频数据的重放图像时，与帧编号对应的子视频流LD1可被发给解码器 68，并且使得当以放大的形式显示视频数据的重放图像时，与帧编号 对应的主视频流HD1可被发给解码器68。
解码器68对从视频DB 64供给的子视频流LD1和主视频流HD1 解码，并把解码后的子视频数据和主视频数据发给图像显示部分69。
坐标计算部分67对显示空间的显示轴设置从显示空间控制器66 供给的特征参数，通过计算把特征参数转换成三维显示空间的坐标(坐 标参数)，并按照所获得的坐标参数值，确定在三维显示空间上的布置。 随后，根据相对于包括将在三维显示空间上布置的多个显示窗口W57 的图像组58的视点坐标，以及各个显示窗口W57的位置，坐标计算 部分67确定每个显示窗口W57的显示尺寸，并把和每个显示窗口 W57的显示有关的各种信息(显示参数)发给图像显示部分69。
图像显示部分69使用从坐标计算部分67接收到的坐标参数来确 定在其上布置从解码器68供给的子视频数据的三维显示空间上的三 维坐标位置，并在三维显示空间上布置与子视频数据对应的显示窗口 W57。在对于与其它视频数据对应的显示窗口W57执行上述处理之 后，图像显示部分69把显示窗口W57的坐标参数转换成显示区55 的二维坐标位置(显示位置参数)，从而在显示区55上显示包括多个显 示窗口W57的图像组58。
(2-3-2)第二配置例子
参见图5，图5中，与图4中的组件相同的组件用与图4中的相 应部分相同的附图标记表示，显示空间控制器66识别对用户通过显 示在显示区55上的GUI 65指定的三维显示空间的显示轴设置的特征 参数，或者识别用于向用户呈现图像组58的视点坐标。此外，显示 空间控制器66做出关于所述显示的各种确定，比如确定在三维显示 空间上对用户选择的视频数据的布置，并把该确定发给坐标计算部分 67。
于是，显示空间控制器66还根据确定结果，把构成视频数据的 画面的帧编号输出给视频DB 64，从而使得当通过显示窗口W57显示 视频数据的重放图像时，与帧编号对应的子视频流LD1可被发给解码 器68，并且使得当以放大的方式显示视频数据的重放图像时，与帧编 号对应的主视频流HD1可被发给解码器68。
顺便提及，与上面的第一配置例子的情况一样，以其像素数目未 被减少的方式编码的主视频流HD1和以其像素数目被减少的方式编 码的子视频流LD1被预先保存在视频DB 64中。
解码器68对从视频DB 64供给的子视频流LD1和主视频流HD1 解码，并把解码的主视频数据发给元数据提取部分61，把解码的子视 频数据发给图像显示部分69。
元数据提取部分61提取包括在从解码器68供给的主视频数据中 的特征参数作为元数据，并把提取的元数据登记在元数据DB 62中作 为元数据文件MDF，以及把该元数据文件MDF发给坐标计算部分 67。
坐标计算部分67生成三维显示空间，其中通过计算对显示轴设 置从显示空间控制器66供给的特征参数，把由将在各个显示窗口W57 上显示的视频数据的特征参数代表的特征量转换成三维显示空间中 的坐标参数，并按照获得的坐标参数值，确定在三维显示空间上的布 置。随后，根据相对于包括将在三维显示空间上布置的多个显示窗口 W57的图像组58的视点坐标，以及各个显示窗口W57的位置，坐标 计算部分67确定每个显示窗口W57的显示尺寸，并把和每个显示窗 口W57的显示有关的各种信息(显示参数)发给图像显示部分69。
图像显示部分69使用从坐标计算部分67接收到的坐标参数来确 定从解码器68供给的子视频数据在三维显示空间上布置的三维坐标 位置(坐标参数)，并在三维显示空间上布置与子视频数据对应的显示 窗口W57。在对与其它视频数据对应的显示窗口W57执行上述处理 之后，图像显示部分69把多个显示窗口W57的三维坐标参数转换成 显示区55的二维坐标位置(显示位置参数)，从而在显示区55上显示 包括多个显示窗口W57的图像组58。
(2-3-3)第三配置例子
参见图6，图6中，与图5中的组件相同的组件用与图5中的对 应部分相同的附图标记表示，显示空间控制器66识别对用户通过GUI 65指定的三维显示空间的显示轴设置的特征参数，或者识别向用户呈 现图像组58的视点坐标。此外，显示空间控制器66做出关于所述显 示的各种确定，比如确定在三维显示空间上对用户选择的视频数据的 布置，并把该确定发给坐标计算部分67。
于是，显示空间控制器66根据确定结果，把构成视频数据的画 面的帧编号输出给元数据和视频数据库(下面称为“元数据/视频 DB)”70。
元数据/视频DB 70保存图像拍摄设备拍摄和编码的主视频流 HD1，以及通过对经减少主图像数据的像素数目而获得的子视频数据 编码得到的子视频流LD1。当通过显示窗口57显示视频数据的重放 图像时，元数据/视频DB 70把与帧编号对应的子视频流LD1发给解 码器68。当以放大的方式显示视频数据的重放图像时，元数据/视频 DB 70把与帧编号对应的主视频流HD1发给解码器68。
此外，元数据/视频DB 70把包括在主视频数据中的特征参数保 存为元数据文件MDF，所述主视频数据由包括在图像拍摄设备中的 元数据提取部分在拍摄主视频数据的时候提取。
于是，元数据/视频DB 70把与从显示空间控制器66供给的帧编 号对应的特征参数作为元数据文件MDF发给坐标计算部分67。
坐标计算部分67生成三维显示空间，其中通过计算对显示轴设 置从显示空间控制器66供给的特征参数，把将在各个显示窗口W57 上显示的视频数据的特征参数转换成三维显示空间中的坐标参数，并 按照获得的坐标参数值，确定在三维显示空间上的布置。随后，根据 对应于包括将在三维显示空间上布置的多个显示窗口W57的图像组 58的视点坐标，以及各个显示窗口的位置，坐标计算部分67确定每 个显示窗口W57的显示尺寸，并把和每个显示窗口W57的显示有关 的各种信息发给图像显示部分69。
解码器68对从元数据/视频DB 70供给的子视频流LD1或主视 频流HD1解码，并把解码的主视频数据或子视频数据发给图像显示 部分69。
图像显示部分69使用从坐标计算部分67接收到的坐标参数来确 定从解码器68供给的子视频数据在三维显示空间上布置的三维坐标 位置(坐标参数)，并在三维显示空间上布置与子视频数据对应的显示 窗口W57。在对与其它视频数据对应的显示窗口W57执行上述处理 之后，图像显示部分69把多个显示窗口W57的三维坐标参数转换成 显示区55的二维坐标位置(显示位置参数)，从而在显示区55上显示 包括多个显示窗口W57的图像组58。
(2-4)元数据提取部分的具体配置
下面将说明上面提及的元数据提取部分61的具体配置。如图7 中所示，元数据提取部分61包括密度信息计算部分71，运动检测部 分72，DCT垂直/水平频率分量检测部分73，颜色分量检测部分76， 音频检测部分80，亮度/色差检测部分83，和元数据文件生成部分86， 以便提取特征参数，所述特征参数包括与构成视频数据的每个画面的 密度(复杂度)，运动向量，DCT(离散余弦变换)垂直/水平频率分量， 颜色分量和音频电平对应的各种特征量。元数据提取部分61可包括 用于提取除上述之外的参数的特征量的附加检测部分。
(2-4-1)密度信息计算部分的配置
密度信息计算部分71包括平均值计算部分1071，差值计算部分 1072和累加部分1073。视频数据被供给平均值计算部分1071和差值 计算部分1072。
平均值计算部分1071顺序地把构成视频数据的各帧设置成目标 帧，并把目标帧分成例如如图8中所示的8×8像素块。此外，平均值 计算部分1071计算目标帧上的各个块的像素值的平均值，并把所获 得的平均值供给差值计算部分1072。
这里假定对于8×8像素块，按照光栅扫描顺序的第k个像素的 像素值为Pk，平均值计算部分1071按照下面的表达式计算平均值 Pave：
Pave＝1/(8×8)×∑Pk
其中求和∑表示从k＝1到k＝64(＝8×8)相对于k的求和。
差值计算部分1072按照和平均值计算部分1071相同的方式把目 标帧分成例如8×8像素块，并计算每个块的像素值Pk与8×8像素块 的像素值的平均值Pave之间的差值的绝对值|Pk-Pave|，并顺序把所 获得的值提供给累加部分1073。
累加部分1073累加顺序地从差值计算部分1072供给的对于各个 块的相应像素计算的差值的绝对值|Pk-Pave|，从而获得累加值 Q＝∑|Pk-Pave|，其中求和∑表示从k＝1到k＝64(＝8×8)相对于k的求 和。
此外，累加部分1073计算对于目标帧的所有块获得的累加值Q 的总和，并把所述总和输出给元数据文件生成部分86作为目标帧密 度信息QS1。
对于目标帧获得的累加值Q的总和被称为“Intra-AC”。Intra-AC 的值变得越大，那么在目标帧中的像素值中存在更大的变差。于是， 可以认为当作为累加值Q的总和的密度信息QS1变得更大时，目标 帧的静止图像变得更密集(更复杂)。
(2-4-2)运动检测部分的配置
在运动检测部分72(图7)中，如图9中所示，运动向量检测部分 1041把在先帧分成均具有16×16像素的宏块，并检测目标帧中与在先 帧中的每个宏块最相似的16×16像素块(下面称为“相似块”)中的每一 个。随后，运动向量检测部分1041计算始于该宏块的左上部，并止 于相似块的左上部的向量，作为该宏块的运动向量ΔF0(h，v)。
现在假定在先帧中从左端起的第h个和从上端起的第v个宏块的 位置由F0(h，v)表示，并且目标帧中已从宏块F0(h，v)移动与运动向量 ΔF0(h，v)对应的距离的16×16像素块，即相似块的位置由F1(h，v)表示， 那么宏块F0(h，v)的运动向量ΔF0(h，v)由下面的表达式表示：
ΔF0(h，v)＝F1(h，v)-F0(h，v)
统计量计算部分1042计算对于在先帧中的宏块获得的运动向量 的统计量。更具体地说，统计量计算部分1042计算在先帧中的所有 宏块的运动向量ΔF0(h，v)的量值的总和D0＝∑|ΔF0(h，v)|，并输出所获 得的总和D0作为目标帧的运动信息。
上述表达式：D0＝∑|ΔF0(h，v)|中的求和∑表示相对于h(h＝1～h＝ 在先帧中的宏块的水平数目)和v(v＝1～v＝在先帧中的宏块的垂直数 目)的求和。
在先帧中的每个宏块F0(h，v)的运动向量ΔF0(h，v)的量值越大， 作为运动向量的总和的运动信息D0变得越大。于是，可以认为当目 标帧的运动信息D0变得更大时，目标帧的图像的运动变得更大(更剧 烈)。
在上面的情况下，作为对于在先帧中的宏块获得的运动向量的统 计量，获得在先帧中的所有宏块的运动向量ΔF0(h，v)的量值的总和 D0＝∑|ΔF0(h，v)|。但是，作为选择，对于在先帧中的宏块获得的运动 向量的离差可被用作统计量。
这种情况下，统计量计算部分1042计算在先帧中的所有宏块的 运动向量ΔF0(h，v)的平均值Δave，并例如利用下面的表达式计算在先 帧中的所有宏块F0(h，v)的运动向量ΔF0(h，v)的离差σ0：
σ0＝∑(ΔF0(h，v)-Δave)/2
其中求和∑表示相对于h(h＝1～h＝在先帧中的宏块的水平数目)和 v(v＝1～v＝在先帧中的宏块的垂直数目)的求和。
和总和D0的情况一样，当目标帧的图像的运动变得更大(更剧烈) 时，离差σ0变得更大。
图10表示图7的运动检测部分72的另一配置。该运动检测部分 72A包括直方图创建部分1051，直方图存储部分1052和差值计算部 分1053。
当视频数据被供给直方图创建部分1051时，直方图创建部分 1051顺序地把构成视频数据的帧设置成目标帧，创建目标帧的像素值 的简单直方图，并把为每个目标创建的直方图供给直方图存储部分 1052和差值计算部分1053。
直方图存储部分1052保存从直方图创建部分1051供给的目标帧 的直方图。直方图存储部分1052具有大到足以保存至少与两帧对应 的直方图的存储容量，从而保存从直方图创建部分1051供给的目标 帧的直方图和在先目标帧(即，在先帧)的直方图。
差值计算部分1053计算从直方图创建部分1051供给的目标帧的 直方图与保存在直方图存储部分1052中的在先帧的直方图的差值绝 对值总和(后面说明)，并输出计算结果作为目标帧的运动信息D0。
参考图11，更详细地说明在图10的运动检测部分72A中进行的 上述处理。假定供给直方图创建部分1051的视频数据的像素值通过8 位以值0～255表示，那么直方图创建部分1051把0～255的范围均 分成例如八个小范围0-31，32-63，64-95，96-127，127-159，160-191， 192-223和224-255，并计算包括在每个小范围中的像素值的出现频 率，从而创建目标帧的简单直方图。
例如，假定第(i+1)帧是目标帧，差值计算部分1053计算在相同 的小范围中，作为目标帧的第(i+1)帧中的频率和作为在先帧的第i帧 中的频率之间的差值的绝对值Δ(图11中的阴影部分)。此外，差值计 算部分1053计算对于直方图中的相应8个小范围获得的频率的差值 的绝对值的总和(差值绝对值总和)∑Δ，并把获得的总和∑Δ作为目标 帧的运动信息D0输出给元数据文件生成部分86。
当目标帧的运动较大(剧烈)时，目标帧中的像素值的频率分布不 同于在先帧中的像素值的频率分布。于是，可以认为当目标帧的差值 绝对值总和∑Δ变得更大时，目标帧的图像的运动变得更大(更剧烈)。
(2-4-3)DCT垂直/水平频率分量检测部分的配置
图12表示DCT垂直/水平频率分量检测部分73(图7)中的频率分 析部分74的配置例子。频率分析部分74包括DCT变换部分1061， 加权系数计算部分1062和累加部分1063。
当视频数据被供给DCT变换部分1061时，DCT变换部分1061 顺序地把构成视频数据的帧设置成目标帧，并把目标帧分成8×8像素 块。此外，DCT变换部分1061DCT变换目标帧中的各块，并把对于 各块获得的8×8DCT系数供给累加部分1063。
加权系数计算部分1062计算将分别加到8×8DCT系数中的权 重，并把所述权重供给累加部分1063。累加部分1063把从加权系数 计算部分1062供给的权重分别和从DCT变换部分1061供给的8×8 DCT系数相加，以便进行累加，从而获得每个块的累加值。另外，累 加部分1063计算对于各个块获得的累加值的总和，并把所述总和发 给垂直线/水平线级别计算部分75(图7)作为目标帧的密度信息。
参见图13，更详细地说明在图12的频率分析部分74中执行的 处理。图13的左侧表示在DCT变换之后的基本图像。该基本图像由 8×8图案(频率分量)构成。在该基本图像中，朝着右侧和下方，频率 分量变高。
图13的右侧示出DCT系数F(i-1，j-1)，它是每个块的8×8DCT 系数中从左侧起的第i个(i＝1，2，...，8)，从顶部起的第j个(j＝1，2，...， 8)DCT系数。DCT系数F(i-1，j-1)表示基本图像的从左侧起的第i个， 从顶部起的第j个图案的频率分量被包含在基本图像中的程度(比率)。
出现在图13的左侧的基本图像中的数字都指示由图12的加权系 数计算部分1062计算的权重G(i-1，j-1)。权重G(i-1，j-1)是将加到DCT 系数F(i-1，j-1)中的权重。加权系数计算部分1062按照下面的表达式 计算权重G(i-1，j-1)：
G(i-1，j-1)＝i×j
因此，在加权系数计算部分1062中，当DCT系数F(i-1，j-1)的频率分 量变亮时，将加到DCT系数F(i-1，j-1)中的权重G(i-1，j-1)变大。
累加部分1063(图12)把从DCT变换部分1061供给的块的DCT 系数F(i-1，j-1)乘以从加权系数计算部分1062供给的权重G(i-1，j-1)， 以获得乘积值G(i-1，j-1)×F(i-1，j-1)。随后，累加部分1063累加对于块 中的各8×8DCT系数F(i-1，j-1)获得的乘积值G(i-1，j-1)×F(i-1，j-1)，以 获得累加值V＝∑G(i-1，j-1)×F(i-1，j-1)。V＝∑G(i-1，j-1)×F(i-1，j-1)中的求 和∑表示相对于i(i＝1～i＝8)和j(j＝1～j＝8)的求和。
此外，累加部分1063计算对于目标帧的所有块获得的累加值V 的总和K，并把总和K输出给垂直线/水平线级别计算部分75，作为 目标帧的密度信息。
包括在目标帧中的频率分量越高，作为累加值V的总和K的密 度信息的值就越大，目标帧的静止图像就越密集(越复杂)。
DCT垂直/水平频率分量检测部分73的垂直线/水平线级别计算 部分75根据目标帧的区域AR1中的DCT系数，检测到目标帧的图 像包括细的垂直线，即，该图像在水平方向上具有高频分量，或者根 据目标帧的区域AR2中的DCT系数，检测到目标帧的图像包括细的 水平线，即，该图像在垂直方向上具有高频分量。
从而，DCT垂直/水平频率分量检测部分73能够利用频率分析 部分74，确定目标帧的图像的密度(复杂度)级别，并利用垂直线/水平 线级别计算部分75确定水平频率和垂直频率的级别。所获得的信息 随后作为DCT垂直/水平频率分量信息FVH被输出给元数据文件生 成部分86。
(2-4-4)颜色分量检测部分的配置
颜色分量检测部分76包括像素RGB级别检测部分77，RGB级 别统计量/离差检测部分78，和HLS级别统计量/离差检测部分79。 供给的视频数据被输入像素RGB级别检测部分77。
像素RGB级别检测部分77检测视频数据的目标帧中的每个像 素的RGB级别，并把检测到的RGB级别发给RGB级别统计量/离差 检测部分78和HLS级别统计量/离差检测部分79。
RGB级别统计量/离差检测部分78计算从像素RGB级别检测部 分77供给的目标帧中的每个像素的RGB级别的统计量和离差，并把 代表目标帧中的RGB的各颜色分量的级别的统计量，和代表是全局 还是局部地增加目标帧中的颜色分量的离差值作为颜色分量信息 CL1输出给元数据文件生成部分86。
HLS级别统计量/离差检测部分79把从像素RGB级别检测部分 77供给的目标帧中的每个像素的RGB级别转换成“色调”、“饱和度” 和“亮度/明度”三个分量，计算在如图14中所示由色调、饱和度和亮 度构成的HLS空间中上述元素中的每一个的统计量和离差值，并把 检测结果作为HLS信息CL2输出给元数据文件生成部分86。
HLS空间中的色调由从0°到359°的角度表示，其中0°为红色， 180°为与红色相对的蓝绿色。即，在HLS空间中，易于找出相对的颜 色。
HLS空间中的饱和度是彩色的混合率。和HSV(色调，饱和度和 明暗关系)空间不同，HLS空间是基于从纯色降低饱和度意味着该颜 色具有更多的灰色的思想的。即，较低的饱和度意味着该颜色接近灰 色，较高的饱和度意味着该颜色远离灰色。
与其中亮度100％被设置成纯色，并且表现从100％亮度状态失 去多少亮度级别的HSV空间的情况不同，HLS空间中的亮度是其中 亮度0％为黑色，亮度100％为白色，亮度50％为纯白色的索引。
于是，HLS级别统计量/离差检测部分79能够向元数据文件生成 部分86输出HLS信息CL2，HLS信息CL2以远远比RGB空间更好 理解的方式表现色调。
(2-4-5)音频检测部分的配置
在上面的说明中，特征参数提取自视频数据。但是，在音频数据 包括在AV数据中的情况下，可根据与视频数据对应的音频数据计算 代表音频数据的特征的特征量，作为特征参数。即，特征参数是既可 应用于视频数据又可应用于音频数据的参数。
音频检测部分80(图7)包括频率分析部分81和电平检测部分82。 供给音频检测部分80的视频数据被输入到频率分析部分81中。
频率分析部分81分析与视频数据的目标帧对应的音频数据的频 率，并把其频带通知电平检测部分82。电平检测部分82检测在从频 率分析部分81通知的频带中音频数据的电平，并把检测的电平作为 音频电平信息AL输出给元数据文件生成部分86。
(2-4-6)亮度/色差检测部分的配置
亮度/色差检测部分83(图7)包括Y/Cb/Cr级别检测部分84和 Y/Cb/Cr级别统计量/离差检测部分85。供给亮度/色差检测部分83的 视频数据被输入到Y/Cb/Cr级别检测部分84中。
Y/Cb/Cr级别检测部分84对于视频数据的目标帧中的每个像素， 检测亮度信号Y的亮度级别和色差信号Cb及Cr的信号级别，并把 检测到的级别供给Y/Cb/Cr级别统计量/离差检测部分85。
Y/Cb/Cr级别统计量/离差检测部分85计算从Y/Cb/Cr级别检测 部分84供给的目标帧中的每个像素的亮度信号Y的亮度级别和色差 信号Cb及Cr的信号级别的统计量和离差值，并把代表亮度信号Y， 色差信号Cb和Cr的级别的统计量，和目标帧中的亮度信号Y，色差 信号Cb和Cr的离差值作为颜色分量信息CL3输出给元数据文件生 成部分86。
(2-4-7)元数据文件生成部分的配置
根据从密度信息计算部分71供给的密度信息QS1，从运动检测 部分72供给的目标帧的运动信息D0，从DCT垂直/水平频率分量检 测部分73供给的DCT垂直/水平频率分量信息FVH，从颜色分量检 测部分76供给的颜色分量信息CL1和HLS信息CL2，从音频检测 部分80供给的音频电平信息AL，和从亮度/色差检测部分83供给的 颜色分量信息CL3，元数据文件生成部分86分别产生构成视频数据 的画面的特征参数，和与视频数据对应的音频数据的特征参数，作为 包括元数据的元数据文件MDF，并输出它们。
在元数据文件MDF中，如图15中所示，为构成视频数据的各 个画面(从第一帧到最后一帧)登记各种特征参数，比如“时间代码”， “运动量”，“密度”，“红”，“蓝”，“绿”，“亮度”，“红色离差 (dispersion)”，“绿色离差”，“色调”，“饱和度”，“垂直线”，“水平线”， “运动离差”和“音频电平”。
尽管在本例中，0和1之间的归一化相对值被用作元数据文件 MDF的各特征参数中的特征量值，不过也可以使用绝对值。此外， 元数据文件MDF的内容并不局限于上面提及的特征参数。例如，在 显示窗口W57已经被布置在三维显示空间上之后，实际布置显示窗 口W57的三维显示空间上的坐标值可被登记成元数据。
在图像处理设备2中，当如上所述把三维显示空间上的坐标值登 记在元数据文件MDF中时，不必为了把视频数据的下一个显示窗口 W57布置在三维显示空间上，而根据特征参数另外计算三维显示空间 中的坐标参数，从而能够立刻把显示窗口W57布置在三维显示空间 上。
(2-5)显示处理程序
下面利用流程图具体说明由图像处理设备2的微处理器3执行的 对于视频数据的显示处理程序和对于多个视频数据的显示处理程序。
(2-5-1)对于视频数据的画面(静止图像)的分类显示处理程序
如图16中所示，图像处理设备2的微处理器3执行例程RT1的 初始化步骤，并进入下一步骤SP1，在步骤SP1，微处理器3确定用 户指定的三维显示空间的显示轴，和向用户显示图像组58的视点坐 标，之后进入步骤SP2。
在步骤SP1，图像处理设备2的微处理器3能够确定显示轴，从 而生成各种三维显示空间，比如由代表RGB的颜色分量的R轴，G 轴和B轴定义的三维显示空间(图17(A))；由亮度级别轴，R轴和B 轴定义的三维显示空间(图17(B))；由运动向量轴，Cb轴和Cr轴定 义的三维显示空间(图17(C))；由密度信息轴，亮度级别轴和色调轴定 义的三维显示空间(图17(D))；由R轴，DCT垂直频率轴和DCT水 平频率轴定义的三维显示空间(图17(E))；由DCT垂直频率轴，Cb 轴和Cr轴定义的三维显示空间(图17(F))；和由作为HLS空间的元素 的L(亮度)轴，H(色调)轴和S(饱和度)轴定义的三维显示空间(图 17(G))。但是，用于生成三维显示空间的显示轴并不局限于上面所述， 相反，可以把登记在元数据文件中的特征参数的另一组合用作显示 轴。
在步骤SP2中，图像处理设备2的微处理器3识别用户指定的 待重放的视频数据的画面(静止图像)，随后进入步骤SP3。在步骤SP3， 微处理器3把该静止图像设置成目标帧，解码其子视频流LD1，把解 码的子视频数据传给GPU 4，并进入步骤SP4。
在步骤SP4，图像处理设备2的微处理器3询问用作三维显示空 间的显示轴的特征参数的特征量，从与该静止图像关联的元数据文件 MFD接收它们，并进入步骤SP5。
在步骤SP5，图像处理设备2的微处理器3根据在步骤SP4中接 收到的特征参数的特征量，计算在其上粘贴静止图像的显示窗口W57 的三维显示空间上的坐标位置(坐标参数)，并进入步骤SP6。即，图 像处理设备2的微处理器3把静止图像具有的与显示轴对应的特征量 转换成三维显示空间上的坐标值。
在步骤SP6中，图像处理设备2的微处理器3确定当前静止图 像是否是待显示的最后图像。当获得肯定的结果(这意味用户未指定除 当前静止图像之外的静止图像，即，不存在待显示的任何其它显示窗 口W57)时，微处理器3进入步骤SP7。
另一方面，当在步骤SP6中获得否定结果(这意味用户指定了除 当前静止图像之外的视频数据的画面(静止图像)，即，存在与待显示 的静止图像的另一显示窗口W57)时，图像处理设备2的微处理器3 返回步骤SP2，重复上述处理，从而按照在各静止图像的特征参数中 设置的特征量，为与多个静止图像对应的多个显示窗口W57计算在 三维显示空间上的坐标位置。
在步骤SP7中，图像处理设备2的微处理器3使得GPU 4能够 根据在步骤SP5中计算的坐标参数(坐标位置)，把与静止图像对应的 显示窗口W57粘贴在三维显示空间上，根据在步骤SP1中确定的视 点坐标，把三维显示空间上的坐标参数(坐标位置)转换成显示区55的 二维屏幕上的二维坐标位置(显示位置参数)，确定每个显示窗口W57 的显示尺寸，并在二维坐标位置上画出显示窗口W57以供显示。之 后，图像处理设备2的微处理器3进入步骤SP8。
此时，在用户指定多个视频数据的静止图像(画面)的情况下，图 像处理设备2的微处理器3按照静止图像的特征参数，在相应的坐标 位置(由坐标参数代表的位置)上布置与多个静止图像对应的多个显示 窗口W57，作为由所述多个显示窗口W57构成的图像组58。
在步骤SP8中，图像处理设备2的微处理器3根据用户是否已 经发出了终止指令，或者是否已经过去了预定的时间，确定是否结束 对显示窗口W57的显示处理。当获得了肯定的结果时，微处理器3 进入步骤SP11，结束显示处理。
另一方面，当在步骤SP8中获得了否定结果时，图像处理设备2 的微处理器3进入步骤SP9，而不结束对显示窗口W57的显示处理。 在步骤SP9中，图像处理设备2的微处理器3进行等待，直到显示窗 口W57的视点坐标被用户的光标操作改变为止，随后进入下一步骤 SP10。
在步骤SP10，图像处理设备2的微处理器3确定显示窗口W57 的视点坐标是否已被用户实际改变。当获得否定的结果时，微处理器 3返回步骤SP7，在步骤SP7，微处理器3继续在初始坐标位置显示 静止图像的显示窗口W57。另一方面，当获得肯定的结果时，微处理 器3返回步骤SP1，在步骤SP1中，微处理器3确定变化后的新的视 点坐标，重复步骤SP2和后续步骤的处理，并根据新的视点坐标在三 维显示空间上重新布置显示窗口W57。
当根据新的视点坐标在三维显示空间上重新布置显示窗口W57 时，图像处理设备2的微处理器3布置显示窗口W57，使得显示窗口 W57总是被设置成正对用户，而与视点的变化无关，从而使得用户总 是能够从正面视觉地确认显示窗口W57。
如上所述，图像处理设备2的微处理器3能够按照视频数据的静 止图像具有的特征参数，把静止图像的显示窗口W57布置在三维显 示空间上的坐标位置。从而，在指定多个视频数据的画面(静止图像) 的情况下，微处理器3能够把所述多个静止图像呈现成由与多个视频 数据对应的静止图像的显示窗口W57构成的图像组58(图3)，从而使 用户能够通过图像组58，以一个图像的方式直观地掌握多个视频数据 的总趋势。
在与视频数据的画面(静止图像)对应的显示窗口W57被布置在 例如由DCT水平频率轴，R轴和G轴定义的三维显示空间上的状态 下，当通过用户的放大操作，视点坐标被移动到偏向DCT水平频率 轴的水平频率较高的位置时，图像处理设备2的微处理器3能够呈现 一个放大图像组58Z1，其中大量的具有细的垂直线的静止图像的显 示窗口W57被布置在DCT水平频率轴附近，如图18中所示。
此外，在与视频数据的静止图像对应的显示窗口W57被布置在 例如由DCT水平频率轴，R轴和G轴定义的三维显示空间上的状态 下，当通过用户的放大操作，视点坐标被移动到偏向R轴的R值较 大的位置时，图像处理设备2的微处理器3能够呈现一个放大图像组 58Z2，其中大量的具有较强红色分量的静止图像的显示窗口W57被 布置在R轴附近，如图19中所示。
此外，在与视频数据的静止图像对应的显示窗口W57被布置在 例如由DCT水平频率轴，R轴和G轴定义的三维显示空间上的状态 下，当通过用户的放大操作，视点坐标被移动到偏向G轴的G值较 大的位置时，图像处理设备2的微处理器3能够呈现一个放大图像组 58Z3，其中大量的具有较强绿色分量的静止图像的显示窗口W57被 布置在G轴附近，如图20中所示。
(2-5-2)视频数据(运动画面)的分类显示处理程序
下面说明视频数据(运动画面)的显示处理程序。视频数据(运动画 面)的显示处理程序基于上和上面提及的关于视频数据的画面(静止图 像)的显示处理例程RT1相同。即，每次按照预定的帧频率更新构成 视频数据的画面(静止图像)时，执行和对于静止图像的显示处理例程 RT1相同的处理。
具体地说，如图21中所示，图像处理设备2的微处理器3执行 例程RT2的初始化步骤，并进入下一步骤SP21，在步骤SP21，微处 理器3确定用户指定的三维显示空间的显示轴，和向用户显示图像组 58的视点坐标，之后进入步骤SP22。
在步骤SP22中，图像处理设备2的微处理器3识别用户指定的 待重放的视频数据的静止图像，随后进入步骤SP23。在步骤SP23中， 图像处理设备2的微处理器3把静止图像设置成目标帧，解码其子视 频流LD1，把解码的子视频数据传给GPU 4，并进入步骤SP24。
在步骤SP24，图像处理设备2的微处理器3询问用作三维显示 空间的显示轴的特征参数的特征量，从与静止图像关联的元数据文件 MDF接收它们，并进入步骤SP25。
在步骤SP25中，图像处理设备2的微处理器3根据在步骤SP24 中接收到的特征参数的特征量，计算在其上粘贴与构成视频数据的静 止图像对应的显示窗口W57的三维显示空间上的坐标参数(坐标位 置)，并进入下一子例程SRT1。即，图像处理设备2的微处理器3把 特征参数的特征量转换成三维显示空间的坐标参数(坐标位置)，所述 三维显示空间具有显示轴，对显示轴设置构成视频数据的各个画面(静 止图像)所具有的特征参数。
在子例程SRT1中，图像处理设备2的微处理器3根据先前显示 的静止图像的三维显示空间上的坐标参数(坐标位置)和将在更新之后 显示的静止图像的三维显示空间上的坐标参数(坐标位置)之间的相互 位置关系，进行坐标补偿处理，以计算补偿的坐标，并进入步骤SP26。 子例程SRT1中的该坐标补偿处理程序将在后面说明。
在步骤SP26中，图像处理设备2的微处理器3使得GPU 4能够 根据在步骤SP25中计算的三维显示空间上的坐标位置，或者在子例 程SRT1中获得的补偿坐标，在三维显示空间上粘贴与构成视频数据 的静止图像对应的显示窗口W57，根据在步骤SP21中确定的视点坐 标，把三维显示空间上的坐标位置转换成显示区55上的二维屏幕上 的二维坐标位置(显示位置参数)，确定每个显示窗口W57的显示尺 寸，并按照静止图像的更新顺序在二维坐标位置上画出显示窗口W57 以供显示。之后，图像处理设备2的微处理器3进入步骤SP27。
在步骤SP27中，图像处理设备2的微处理器3根据用户是否已 经发出了终止指令，或者是否已经过去了预定的时间，确定是否终止 对与视频数据的静止图像对应的显示窗口W57的显示处理。当获得 肯定的结果时，微处理器3进入步骤SP28，在步骤SP28中，微处理 器3结束对显示窗口W57的显示处理。
另一方面，当在步骤SP27中获得否定结果时，图像处理设备2 的微处理器3不结束对显示窗口W57的显示处理，而是返回步骤 SP21，在步骤SP21，微处理器3执行对与接下来要指定的视频数据 对应的显示窗口W57的显示处理。
如上所述，图像处理设备2的微处理器3在对显示轴设置构成视 频数据的静止图像所具有的特征参数的三维显示空间上的坐标位置 上，布置静止图像的显示窗口W57，并且根据每次按照预定帧频率更 新布置在三维显示空间上的显示窗口W57的静止图像时产生的静止 图像的特征参数的特征量的变化，改变三维显示空间上的坐标位置(坐 标参数)以便重新布置，从而使用户产生每次更新显示窗口W57的静 止图像时，显示窗口W57好像以浮动的方式在三维显示空间上移动 的印象。当显示窗口W57的运动图像随着重放图像的前进而改变时， 这使得用户能够直观并且立即识别视频数据的时序特征(趋势)。
(2-5-3)对多个视频数据(运动画面)的同时显示处理程序
下面，说明对多个视频数据的显示处理程序。对多个视频数据的 显示处理程序基本上与上面提及的对一个视频数据的显示处理例程 RT2相同。即，图像处理设备2的微处理器3并行地同时执行对每个 视频数据的显示处理，以便在改变三维显示空间上的位置的同时，按 照每次更新各静止图像时发生的静止图像的特征参数的变化，以运动 的方式显示显示窗口W57。
具体地说，如图22中所示，图像处理设备2的微处理器3执行 例程RT3的初始化步骤，并进入下一步骤SP31，在步骤SP31中， 微处理器3确定用户指定的三维显示空间的显示轴，和对用户显示图 像组58的视点坐标，之后进入步骤SP32。
在步骤SP32中，图像处理设备2的微处理器3识别用户指定的 待重放的多个视频数据的相应的静止图像，随后进入步骤SP33、SP36 和SP39。
在步骤SP33、SP36和SP39中，图像处理设备2的微处理器3 把静止图像设置成目标帧，解码它们的子视频流LD1，把解码的子视 频数据分别传给GPU 4，并进入步骤SP34、SP37和SP40。
在步骤SP34、SP37和SP40中，图像处理设备2的微处理器3 询问用作三维显示空间的显示轴的特征参数的特征量，从与各静止图 像关联的元数据文件MDF接收它们，并进入后续步骤SP35、SP38 和SP41。
在步骤SP35、SP38和SP41中，图像处理设备2的微处理器3 根据在步骤SP34、SP37和SP40中接收到的特征参数的特征量，计 算在其上粘贴与构成各视频数据的静止图像对应的显示窗口W57的 三维显示空间上的坐标参数(坐标位置)，并进入下一子例程SRT1。即， 图像处理设备2的微处理器3把特征参数的特征量转换成三维显示空 间的坐标参数(坐标位置)，所述三维显示空间具有显示轴，对显示轴 设置构成多个视频数据的各静止图像所具有的特征参数。
在子例程SRT1中，图像处理设备2的微处理器3根据先前显示 的静止图像的三维显示空间上的坐标参数(坐标位置)和将在更新之后 显示的静止图像的三维显示空间上的坐标参数(坐标位置)之间的相互 位置关系，进行坐标补偿处理，以计算补偿的坐标，并进入步骤SP42。
在步骤SP42中，图像处理设备2的微处理器3使GPU 4能够根 据在步骤SP35、SP38和SP41中计算的三维显示空间上的相应的坐 标位置，在三维显示空间上粘贴与构成视频数据的静止图像对应的显 示窗口W57，根据在步骤SP31中确定的视点坐标，分别把三维显示 空间上的坐标位置转换成显示区55上的二维屏幕上的二维坐标位置 (显示位置参数)，确定各显示窗口W57的显示尺寸，并在二维坐标位 置画出显示窗口W57，从而显示图像组58。之后，图像处理设备2 的微处理器3进入后续步骤SP43。
在步骤SP43中，图像处理设备2的微处理器3根据用户是否已 经发出了终止指令，或者是否已经过去了预定的时间，确定是否终止 对图像组58的显示处理。当获得肯定的结果时，微处理器3进入步 骤SP44，在步骤SP44中，微处理器3结束对由与多个视频数据对应 的多个显示窗口W57构成的图像组58的显示处理。
另一方面，在步骤SP44中获得否定结果，图像处理设备2的微 处理器3不结束对图像组58的显示处理，而是返回步骤SP31，在步 骤SP31，微处理器3执行对与接下来要指定的视频数据对应的显示 窗口W57的显示处理。
如上所述，图像处理设备2的微处理器3按照多个视频数据中的 各静止图像具有的显示轴的特征参数的特征量，在三维显示空间上的 坐标参数(坐标位置)上布置与多个静止图像对应的多个显示窗口 W57，并且根据每次按照预定帧频率更新布置在三维显示空间上的显 示窗口W57的静止图像时产生的静止图像的特征参数的特征量的变 化，分别改变三维显示空间上的坐标参数(坐标位置)以便重新布置， 从而使用户产生每次更新显示窗口W57的静止图像时，显示窗口W57 好像以浮动的方式在三维显示空间上移动的印象。当显示窗口W57 的运动图像随着重放图像的前进而改变时，这使得用户能够直观并且 立即识别多个视频数据的时序特征(趋势)。
即，在构成多个不同视频数据的静止图像的特征彼此非常相似的 情况下，与各视频数据对应的显示窗口W57按照相同的浮动方式沿 相同的方向移动。另一方面，在构成多个不同视频数据的静止图像的 特征彼此不同的情况下，与各视频数据对应的显示窗口W57按照不 同的浮动方式沿不同的方向移动。
因此，当用户选择该用户想要关注的视频数据时，用户易于把注 意力仅仅集中在与所选择的视频数据对应的显示窗口W57上，于是， 通过代表显示窗口W57的运动的变化的有效图像，用户能够容易地 掌握视频数据的特征(趋势)。
具体地说，如图23中所示，在与给定的视频数据对应的显示窗 口W57的第一静止图像包括与B轴对应的强蓝色分量的情况下，图 像处理设备2的微处理器3按照静止图像具有的对应于B轴的特征参 数代表的特征量，把显示窗口W57布置在屏幕的左下角的位置PO1 处。
在更新视频数据的静止图像之后，图像处理设备2的微处理器3 按照该更新的静止图像中的蓝色分量的特征量，在不同于位置PO1 的位置PO2处重新布置更新的静止图像的显示窗口W57。
在进一步更新视频数据的静止图像之后，图像处理设备2的微处 理器3按照此更新的静止图像中的蓝色分量的特征量，在不同于位置 PO2的位置PO3处重新布置更新的静止图像的显示窗口W57。
如上所述，每次视频数据的静止图像被更新时，在按照各静止图 像的特征参数的特征量改变三维显示空间上的坐标位置的同时，图像 处理设备2的微处理器3重新布置显示窗口W57。这使用户可以视觉 地确认对应于视频数据的显示窗口W57好像以浮动的方式在显示区 55的屏幕上移动的状态。
(2-5-4)坐标补偿处理程序
下面说明例程RT2中的子例程SRT1(图21)的坐标补偿处理程序 和例程RT3中的子例程SRT1(图22)的坐标补偿处理程序。这两个程 序彼此相同。
在图24中所示的坐标补偿处理例程SRT1中，当显示窗口W57 的静止图像被更新，从而使该显示窗口W57按照其静止图像的特征 量顺序移动时，在如图25中所示的场景变化的时候，图像处理设备2 的微处理器3不使显示窗口W57通过单一动作跳到目的地，而是在 调节显示窗口W57的移动速度的同时，使显示窗口W57逐渐移动到 目的地(使显示窗口W57以步进的方式移动)。即，图像处理设备2的 微处理器3执行补偿计算，以获得除初始目的地的坐标之外的补偿坐 标，从而使显示窗口W57一次移动到由补偿坐标代表的位置，于是 使用户能够跟随显示窗口W57的运动。
具体地说，图像处理设备2的微处理器3执行子例程SRT1的初 始化，并进入下一步骤SP61。在步骤SP61，在更新视频数据的静止 图像时，图像处理设备2的微处理器3计算与当前静止图像对应的显 示窗口W57的三维显示空间上的当前坐标(位置POn)和与下一静止 图像对应的显示窗口W57的三维显示空间上的目的地坐标(位置 POn+1)之间的差值，从而获得假定的移动距离(欧几里德距离)，并进 入步骤SP62。
在步骤SP62中，图像处理设备2的微处理器3计算目的地坐标 和当前坐标，从而获得差值为“1”的向量作为移动方向向量，并进入 步骤SP63。
在步骤SP63中，图像处理设备2的微处理器3确定在步骤SP61 中获得的假定移动距离是否小于预先设置的预定最小移动值。当获得 肯定的结果(这意味假定的移动距离小于最小移动值，即，与当前静止 图像对应的显示窗口W57的位置POn和与下一静止图像对应的显示 窗口W57的位置POn+1之间的距离小到足以使用户能够跟随显示窗 口W57的运动)时，那么图像处理设备2的微处理器3进入下一步骤 SP64。
在步骤SP64中，图像处理设备2的微处理器3认为显示窗口 W57将位于的目的地坐标是按照下一个静止图像的特征量确定的坐 标值本身，把显示窗口W57布置在对应于该坐标值的位置上，并进 入步骤SP68，在步骤SP68中，图像处理设备2的微处理器3结束该 处理流程。
另一方面，当在步骤SP63中获得否定的结果(这意味假定的移动 距离大于最小移动值，即，与当前静止图像对应的显示窗口W57的 位置POn和与下一静止图像对应的显示窗口W57的位置POn+1之间 的距离过大，以致用户难以跟随显示窗口W57的运动)时，图像处理 设备2的微处理器3进入步骤SP65。
在步骤SP65中，图像处理设备2的微处理器3确定在步骤SP61 中获得的假定移动距离的1/2(下面称为“假定移动距离/2”)是否大于预 先设置的预定最大移动距离。当获得肯定的结果(这意味假定移动距离 /2大于最大移动距离，即，与当前静止图像对应的显示窗口W57的 位置POn和与假定移动距离/2对应的补偿坐标位置之间的距离仍然 较大，因此用户难以跟随显示窗口W57的运动)时，那么图像处理设 备2的微处理器3进入下一步骤SP66。
在步骤SP66中，图像处理设备2的微处理器3计算补偿坐标(＝ 当前坐标+移动方向向量×最大移动值)，把计算的补偿坐标设成显示 窗口W57的目的地坐标，并进入步骤SP68，在步骤SP68中，图像 处理设备2的微处理器3结束该处理流程。
另一方面，当在步骤SP65中获得否定的结果(这意味假定移动距 离/2小于最大移动距离，即，与当前静止图像对应的显示窗口W57 的位置POn和与假定移动距离/2对应的补偿坐标位置之间的距离小 到足以使用户能够容易地跟随显示窗口W57的运动)时，那么图像处 理设备2的微处理器3进入步骤SP67。
在步骤SP67中，图像处理设备2的微处理器3计算补偿坐标(＝ 当前坐标+移动方向向量×假定移动距离/2)，把计算的补偿坐标设成显 示窗口W57的目的地坐标，并进入步骤SP68，在步骤SP68中，图 像处理设备2的微处理器3结束该处理流程。
如图26中所示，假定发生场景变化，其中给定视频数据的显示 窗口W57立刻从与此时的静止图像对应的当前坐标位置POn移动到 与下一个静止图像对应的位置POn+1。这种情况下，在显示窗口W57 的位置POn和目的地坐标位置POn+1之间的假定移动距离大于最小 移动距离的情况下，图像处理设备2的微处理器3执行上面的坐标补 偿处理例程SRT1，来计算补偿坐标，以便把显示窗口W57移动与假 定移动距离/2或者最大移动距离对应的量(这种情况下，对应于假定移 动距离/2的坐标位置)，并临时把显示窗口W57布置在与计算的补偿 坐标对应的位置POm以便显示。
此时，图像处理设备2的微处理器3通过显示窗口W57显示场 景变化后的静止图像。但是，作为选择，在场景变化之后的位置POn+1 之前，可通过显示窗口W57显示场景变化之前的静止图像。此外， 可以采用另一种方法，其中在场景变化前后的位置之间的中间位置之 前，通过显示窗口W57显示场景变化之前的静止图像，在所述中间 位置和后续位置，通过显示窗口W57显示场景变化之后的静止图像。
在显示窗口W57的位置POm和与最后更新的静止图像对应的 位置POn+2之间的假定移动距离仍然大于最小移动值的情况下，图 像处理设备2的微处理器3再次计算补偿坐标，以便把显示窗口W57 移动与假定移动距离/2或者最大移动距离对应的量，并临时把显示窗 口W57布置在与计算的补偿坐标对应的位置POm+1以便显示。
随后，在显示窗口W57的位置POm+1和与进一步更新的静止 图像对应的位置POn+3之间的假定移动距离仍然大于最小移动值的 情况下，图像处理设备2的微处理器3再次计算补偿坐标，以便把显 示窗口W57移动与假定移动距离/2或者最大移动距离对应的量，并 临时把显示窗口W57布置在与计算的补偿坐标对应的位置POm+2以 便显示。
之后，在显示窗口W57的位置POm+2和与进一步更新的静止 图像对应的位置POn+4之间的假定移动距离小于最小移动值时的时 刻，图像处理设备2的微处理器3直接把显示窗口W57移动到与假 定移动距离对应的位置POn+4以便显示。
即，当按照预定的帧频率更新对应于视频数据的显示窗口W57 的静止图像，以便以帧为单位按照显示窗口W57的静止图像的特征 参数的特征量重新布置显示窗口W57时，即使由于场景变化的缘故， 需要使显示窗口W57进行较大的跳跃，图像处理设备2的微处理器3 也不使显示窗口W57通过单一动作跳到目的地，而是在以步进的方 式缩短窗口W57的移动距离的同时，使显示窗口W57逐渐接近目的 地，从而在场景变化时，使用户能够跟随显示窗口W57的运动。
(3)重新布置处理
在本发明的图像处理设备2中，即使在三维显示空间上的确定显 示轴上布置视频数据的显示窗口W57之后，也能够按照用户的操作 任意改变定义三维显示空间的显示轴，从而重新布置显示窗口W57。 下面说明对显示窗口W57的这种重新布置处理。
当在三维显示空间上布置视频数据的显示窗口W57之后，用户 通过GUI 65(图4-6)发出改变显示轴的参数的指令时，图像处理设备2 的微处理器3根据新的显示轴重新生成新的三维显示空间。
具体地说，图像处理设备2的微处理器3执行图27中所示的例 程RT4的初始化步骤，并进入下一步骤SP71，在步骤SP71，微处理 器3识别用户相对于显示轴的特征参数改变操作的内容，从而确认与 将从当前显示轴变成的新显示轴对应的特征参数，并进入下一步骤 SP72。
在步骤SP72中，图像处理设备2的微处理器3确定新的三维显 示空间的显示轴和此时设置的视点坐标，并进入步骤SP73。如果视 频坐标没有变化，那么微处理器3使用先前设置的视点坐标，而不进 行修改。
在步骤SP72中，图像处理设备2的微处理器3把通过构成图像 组58的多个显示窗口W57显示的视频数据的静止图像设成目标帧， 询问用作新的三维显示空间的显示轴的特征参数的特征量，从与目标 帧关联的元数据文件MDF接收它们，并进入步骤SP74。
在步骤SP74，图像处理设备2的微处理器3根据在步骤SP73 中接收到的特征参数的特征量，计算在其上粘贴静止图像的显示窗口 W57的新的三维显示空间上的坐标参数(坐标位置)，并进入步骤 SP75。
在步骤SP75，图像处理设备2的微处理器3确定是否不存在将 通过显示窗口W57显示的视频数据的任何其它静止图像。
当获得肯定的结果(这意味不存在待显示的视频数据的任何其它 显示窗口W57)时，微处理器3进入后续步骤SP76。
另一方面，当在步骤SP75中获得否定的结果(这意味存在待显示 的视频数据的另一显示窗口W57)时，图像处理设备2的微处理器3 返回步骤SP72，在步骤SP72，微处理器3重复上述处理，从而按照 各静止图像的特征参数，为与多个视频数据对应的多个显示窗口W57 计算在新的三维显示空间上的坐标位置。
在步骤SP76中，图像处理设备2的微处理器3使GPU 4根据在 步骤SP74中计算的新的三维显示空间的坐标位置，把对应于静止图 像的显示窗口W57粘贴在新的三维显示空间上，根据在步骤SP72中 确定的视点坐标，把三维显示空间上的坐标参数(坐标位置)转换成显 示区55的二维屏幕上的二维坐标位置(显示位置参数)，确定多个显示 窗口W57的显示尺寸，在二维坐标位置画出显示窗口W57以便显示， 从而能够显示由已在新的三维显示空间上重新布置的多个显示窗口 W57构成的图像组58。之后，图像处理设备2的微处理器3进入步 骤SP77。
在步骤SP77中，图像处理设备2的微处理器3根据用户是否已 经发出了终止指令，或者是否已经过去了预定时间，确定是否结束对 图像组58的显示处理。当获得肯定的结果时，微处理器3进入步骤 SP80，在步骤SP80，微处理器3结束图像组58的显示处理。
另一方面，当在步骤SP77中获得否定的结果时，图像处理设备 2的微处理器3进入步骤SP78，而不结束对图像组58的显示处理。 在步骤SP78中，微处理器3进行等待，直到显示窗口W57的视点坐 标被用户的光标操作改变为止，随后进入后续步骤SP79。
在步骤SP79中，微处理器3确定用户是否已经实际改变了显示 窗口W57的视点坐标。当获得否定的结果时，微处理器3返回步骤 SP76，在步骤S76微处理器3继续在初始坐标位置显示图像组58。 另一方面，当获得肯定的结果时，微处理器3返回步骤SP71，在步 骤SP71，微处理器3识别用户相对于显示轴的特征参数改变操作的 内容，以确认与要从当前显示轴变成的新显示轴对应的特征参数，并 重复步骤SP72和后续步骤的处理。
例如，如图28中所示，假定显示窗口W571和W572被布置在 由B轴、DCT垂直频率轴和DCT水平频率轴定义的三维显示空间上。 这种情况下，当定义三维显示空间的显示轴被变成R轴，B轴和G轴 时，图像处理设备2的微处理器3按照与新设置的显示轴对应的视频 数据的静止图像的特征参数的特征量，重新布置显示窗口W571和 W572。
于是，图像处理设备2的微处理器3任意改变定义三维显示空间 的显示轴，以适合用户的重新布置显示窗口W57的需要或偏爱，从 而使得用户能够通过重排结果，直观地掌握视频数据的总体特征(趋 势)。
从而，例如，显示在图28的左侧中的由B轴，DCT垂直频率轴 和DCT水平频率轴定义的三维显示空间上的显示窗口W571和W572 使用户产生窗口W571和W572的静止图像(大海)具有相似特征量的 蓝色分量的印象，而显示在图28的右侧中的由R轴，B轴和G轴定 义的新的三维显示空间上的显示窗口W571和W572使用户产生窗口 W571和W572的静止图像(大海)具有不同特征量的绿色分量和红色 分量的印象。利用这种配置，用户能够容易地管理和搜索视频数据。
(4)组显示处理
此外，在图像处理设备2中，可以分组的方式显示与其具有相似 特征的静止图像对应的显示窗口W57。这里将说明分组显示处理。
例如，如图29(A)和29(B)中所示，在图像处理设备2的微处理 器3中，在对应于多个视频数据的多个显示窗口W571-W578被布置 在三维显示空间上的情况下，当所述多个视频数据被重放时，每次更 新通过显示窗口显示的静止图像时，显示窗口W571-W578沿着相应 的箭头的方向一点一点地移动。
随后，如图29(C)中所示，在视频数据的重放过程中或之后，图 像处理设备2的微处理器3计算相邻的显示窗口之间的距离L1。当 距离L1小于预定阈值TH1时，微处理器3确定相邻静止图像之间特 征量方面的相似性较高；另一方面，当所述距离L1大于预定阈值TH1 时，微处理器3确定相邻静止图像之间特征量方面的相似性较低。例 如，图像处理设备2的微处理器3把具有较高相似性的显示窗口W571 和W573放在一起作为第一组，并给予显示窗口W571和W573的框 架第一预定颜色，类似地，把显示窗口W572、W577和W578放在 一起作为第二组，并给予显示窗口W572、W577和W578的框架第 二预定颜色。
这种情况下，例如就显示窗口W574、W576和W575来说，彼 此之间的距离L1大于阈值TH1，因此相邻静止图像之间特征量方面 的相似性较低，从而图像处理设备2的微处理器3从分组目标中除去 显示窗口W574、W576和W575，并例如降低显示窗口W574、W576 和W575的亮度级别，以产生与第一组和第二组的视觉差异。
具体地说，如图30中所示，图像处理设备2的微处理器3执行 例程RT5的初始化步骤，并进入下一步骤SP91，在步骤SP91中， 微处理器3对于构成显示在显示区55上的图像组58的多个显示窗口 W571-W578，计算相邻的显示窗口W57之间的距离L1，并进入下一 步骤SP92。
在步骤SP92，图像处理设备2的微处理器3比较相邻显示窗口 W57之间的距离L1和预先设置的预定阈值TH1，以确定距离L1是 否小于阈值L1。当获得肯定的结果时，微处理器3进入步骤SP93。
在步骤SP93，由于相邻显示窗口W57之间的距离L1小于阈值 TH1，因此图像处理设备2的微处理器3认为多个显示窗口W57被布 置在三维显示空间上接近的位置，即，显示窗口W57的静止图像的 特征量彼此相似，从而确定显示窗口W57之间的相似性较高，并进 入步骤SP94。
在步骤SP94，图像处理设备2的微处理器3给予被确定为具有 相似性的多个显示窗口W57的显示框架第一或第二预定颜色，从而 把它们显示成具有相似特征量的组，并进入后续步骤SP95。
在步骤SP95中，图像处理设备2的微处理器3确定图像组58 中的所有显示窗口W57的相似性是否都已被确定。当获得否定的结 果时，微处理器3返回步骤SP91，重复上述处理，并且当完成关于 所有显示窗口W57的相似性的确定时，从而获得肯定的结果。随后 处理器3进入步骤SP98，以结束该处理流程。
另一方面，当在步骤SP92中获得否定的结果时，图像处理设备 2的微处理器3进入步骤SP96，在步骤SP96中，因为相邻显示窗口 W57之间的距离L1不小于阈值TH1，因此微处理器3确定相邻的显 示窗口W57不具有相似性，于是两个显示窗口W57不被布置在三维 显示空间上的接近位置，即，相邻显示窗口W57的静止图像的特征 量并不彼此相似，微处理器3进入步骤SP97。
在步骤SP97中，图像处理设备2的微处理器3并不把被确定为 无相似性的相邻显示窗口W57放在一起，而是降低显示窗口W57的 亮度级别，从而使用户能够视觉地确认这些显示窗口W57不能被分 类为一组，从而导致分组的显示窗口W57的突出显示。之后，微处 理器3进入步骤SP98，从而结束该处理流程。
如上所述，在视频数据的重放过程中或之后，图像处理设备2 的微处理器3根据与多个视频数据对应的多个显示窗口W57的静止 图像，确定所述多个显示窗口，从而把图像组58分成具有相似性的 一组和无相似性的一组。此外，图像处理设备2的微处理器3给予属 于具有相似性的一组的显示窗口W57的框架预定颜色，同时降低属 于无相似性的一组的显示窗口W57的亮度级别，从而使用户能够根 据该突出显示，立刻直观地识别图像组58的各显示窗口W57的特征 量的趋势。
图像处理设备2的微处理器3可在开始对多个视频数据的重放处 理之前的时刻，或者每次更新正被重放的视频数据的静止图像时，根 据第一静止图像执行分组显示处理例程RT5。
顺便提及，代替降低无相似性的显示窗口W57的亮度级别，图 像处理设备2的微处理器3可给予无相似性的显示窗口W57与分组 的显示窗口W57相反的颜色。此外，代替给予分组的显示窗口W57 预定颜色，微处理器3可增大分组的显示窗口W57的亮度级别或者 使分组的显示窗口W57闪烁。问题在于，只需要突出显示属于具有 相似性的一组的显示窗口W57，以便把它们和其它显示窗口W57区 分开。
可以产生代表视频数据的特征参数彼此相似，或者把具有相似性 的组表示成一个新的特征参数或关联参数(后面说明)的相似性信息。 例如，为每个视频数据提供用于计数相似性的出现次数的计数器，从 而测量视频数据之间的相似性。这种情况下，可以仅仅自动显示计数 值大于预定阈值的视频数据。
(5)显示应用例子
下面，说明图像处理设备2的微处理器3能够执行的对于显示窗 口W57的显示应用例子。
(5-1)在显示窗口的位置保持固定的情况下，移动三维显示空间时 的显示处理
如上所述，在图像处理设备2中，当对应于视频数据的显示窗口 W57的静止图像被更新时，每个静止图像的特征量被改变。此时，可 以采用这样一种配置，其中在其上静止图像数据的特征量被更新的目 标显示窗口W57的位置不被改变，而是移动三维显示空间和其它显 示窗口W57以便重新布置。这里，将说明这种使目标显示窗口的位 置保持固定的显示处理。
在上面的说明中，在图像处理设备2中，如图23中所示，每次 更新显示窗口W57的静止图像时，在三维显示空间保持固定的情况 下，按照静止图像的特征量布置更新的静止图像的显示窗口W57的 三维显示空间上的坐标参数(坐标位置)被改变，以便以浮动的方式把 显示窗口W57从位置PO1移动到位置PO3。
但是，可以采用这样一种配置，其中在显示区55上固定目标显 示窗口W57的显示位置的状态下，每次更新显示窗口W57的静止图 像时，按照静止图像的特征量移动和/或旋转三维显示空间本身，从而 改变目标显示窗口W57和三维显示空间之间的相对位置关系，使得 其它显示窗口W57以浮动的方式接近或远离固定的目标显示窗口 W57。
具体地说，在如图31中所示位于图23中的位置PO1的显示窗 口W57C的位置被固定到显示区55的屏幕中心位置POc的情况下， 在保持与显示窗口W57C的相对位置关系的同时，图像处理设备2的 微处理器3显示存在于显示窗口W57C周围的其它显示窗口W57。
之后，如图32中所示，当更新显示窗口W57C的静止图像时， 在显示窗口W57C的位置被固定到屏幕中心位置POc的情况下，图 像处理设备2的微处理器3按照更新的静止图像的特征量，移动其它 显示窗口W57和三维显示空间。
类似地，如图33中所示，当进一步更新显示窗口W57C的静止 图像时，在显示窗口W57C的位置始终地被固定到屏幕中心位置POc 的情况下，图像处理设备2的微处理器3按照更新的静止图像的特征 量，移动其它显示窗口W57和三维显示空间。
即，在按照逐帧地变化的静止图像的特征量，移动三维显示空间 和其它显示窗口W57的时候，图像处理设备2的微处理器3通过显 示窗口W57C显示视频数据的重放图像，同时显示窗口W57C的位置 被保持固定到屏幕中心位置POc，从而使关注显示窗口W57C的用户 产生用户他或她自己和显示窗口W57C一起在三维显示空间上移动 的印象，同时消除了用户失去显示窗口W57的轨迹的风险。
下面具体说明在显示窗口W57C的位置保持固定的情况下执行 的这种显示处理程序。如图34中所示，图像处理设备2的微处理器3 执行例程RT6的初始化步骤，并进入下一步骤SP101。
在步骤SP101中，图像处理设备2的微处理器3确定用户指定 的三维显示空间的显示轴，和向用户显示图像组58的视点坐标，之 后进入步骤SP102。
在步骤SP102中，图像处理设备2的微处理器3识别用户指定 的待重放的视频数据的静止图像，随后进入步骤SP103。在步骤SP103 中，微处理器3把该静止图像设置成目标帧，解码其子视频流LD1， 把解码的子视频数据传给GPU 4，随后进入后续步骤SP104。
在步骤SP104中，图像处理设备2的微处理器3询问用作三维 显示空间的显示轴的特征参数的特征量，从与该静止图像关联的元数 据文件MDF接收它们，并进入步骤SP105。
在步骤SP105中，图像处理设备2的微处理器3根据在步骤 SP104中接收到的特征参数的特征量，计算在其上粘贴静止图像的显 示窗口W57C的三维显示空间上的坐标参数(坐标位置)，改变视点坐 标，使得三维显示空间上的坐标位置对应于屏幕中心位置POc，并进 入步骤SP106。
在步骤SP106，在目标帧的显示窗口W57C的位置被固定到屏幕 中心位置POc的状态下，图像处理设备2的微处理器3显示第一静止 图像，重新布置与存在于显示窗口W57C周围的其它视频数据对应的 显示窗口W57，并进入后续步骤SP107。
在步骤SP107，在显示窗口W57C的位置被固定到屏幕中心位置 POc的状态下，图像处理设备2的微处理器3按照例如预定的帧频率 更新显示窗口W57C的静止图像，询问用作显示轴的特征参数的特征 量，从与更新的静止图像关联的元数据文件MDF接收它们，并进入 步骤SP108。
在步骤SP108，在显示窗口W57C的位置被固定到屏幕中心位置 POc的情况下，图像处理设备2的微处理器3使得GPU 4能够按照 更新的静止图像的特征量，重新画出三维显示空间和存在于显示窗口 W57C周围的其它显示窗口W57，并进入步骤SP109。
在步骤SP109，微处理器3根据用户是否已经发出了终止指令， 或者是否已经过去了预定时间，确定是否结束对位于屏幕中心位置 POc的显示窗口W57C的显示处理。当获得肯定的结果时，微处理器 3进入步骤SP10，结束对显示窗口W57C的显示处理。
另一方面，当在步骤SP109中获得否定的结果时，微处理器3 并不结束对位于屏幕中心位置POc的显示窗口W57C的显示处理， 而是返回步骤SP101，重复上述处理。
如上所述，在按照待更新的静止图像的特征量移动三维显示空间 和其它显示窗口W57C的时候，图像处理设备2的微处理器3通过显 示窗口W57C显示视频数据的重放图像，同时显示窗口W57C的位置 被固定到屏幕中心位置POc，从而使用户能够通过显示窗口W57C与 三维显示空间和其它显示窗口W57之间的相对位置关系的变化，直 观地识别目标视频数据的特征。
(5-3)利用子浏览器的放大显示例子
在图像处理设备2的微处理器3中，构成图像组58的各个显示 窗口W57的显示尺寸并不总是足够大。从而，可能存在用户不能通 过显示窗口W57满意地视觉确认视频的重放图像的情况。
为了解决该问题，在图像处理设备2中，当用户通过双击操作从 显示窗口W57中选择图像组58的显示窗口W571和W572时，具有 相对较大尺寸的子浏览器弹出，并按照放大的方式通过子浏览器上的 放大的显示窗口BW571和BW572，显示和通过显示窗口W571和 W572显示的重放图像相同的重放图像，如图35中所示。
借助这种配置，即使当取决于显示窗口W571和W572的位置或 显示尺寸，以很小的尺寸显示重放图像时，图像处理设备2也可使用 放大的显示窗口BW571和BW572，从而使用户能够满意地确认重放 图像的内容，从而易于从与多个视频数据对应的多个显示窗口W57 中搜索用户所希望的视频数据。
图像处理设备2的微处理器3沿着显示区55的边缘布置放大的 显示窗口BW571和BW572，给予显示窗口W571及其对应的放大显 示窗口BW571的框架相同的颜色，给予显示窗口W572及其对应的 放大显示窗口BW572的框架相同的颜色(不同于给予显示窗口W571 和放大的显示窗口BW571的颜色)。
这种配置使得用户能够容易地识别显示在放大的显示窗口 BW571和显示窗口W571上的重放图像，或者显示在放大的显示窗口 BW572和显示窗口W572上的重放图像之间的对应关系。
放大的显示窗口BW571和BW572沿着显示区55的边缘布置， 使得当放大的显示窗口BW571和BW572的数目过度增大时，图像组 58的一些显示窗口可能被放大的显示窗口隐藏。为了避免这种情况， 当放大的显示窗口BW571和BW572的数目超过预定值时，放大的显 示窗口的纵向和横向长度被减小，以减小其整个屏幕尺寸。
(6)显示窗口轨迹显示处理
如上所述，在图像处理设备2中，当通过显示窗口W57显示视 频数据的重放图像时，每次更新构成视频数据的画面(静止图像)时， 三维显示空间上显示窗口W57的位置被改变。在这种配置中，可能 存在在预定时间已经过去之后，位于给定位置的显示窗口W57被移 动到远离先前位置的位置的情况。在这种情况下，用户难以记住在前 一定时，正在重放的图像所具有的特征，其结果是用户无法充分掌握 视频数据的总体特征(趋势)。
鉴于上述问题，在图像处理设备2中，在三维显示空间上移动显 示窗口W57的时候，显示窗口W57的移动过程被显示成轨迹，从而 在视频数据的显示过程中，使得用户能够视觉地确认重放视频数据图 像在过去和/或未来已具有和/或将具有何种特征。从而，即使在显示 视频数据的重放图像之后，用户也能够充分识别视频数据的特征(趋 势)。下面将说明实现上述优点的轨迹显示处理。
(6-1)标准轨迹显示模式
图36表示其中选择完整轨迹显示模式的情况。这种情况下，每 次静止图像被更新时，图像处理设备2的微处理器3沿着箭头的方向 移动视频数据的显示窗口W57，同时把描述与正被显示的静止图像关 联地布置的显示窗口W57的过去移动的轨迹，和描述显示窗口W57 的未来移动的轨迹显示成线条。
当显示过去的轨迹时，图像处理设备2的微处理器3通过连接每 次更新显示窗口W57的静止图像时随同显示窗口W57的移动一起移 动的显示窗口W57的重心，产生线条，并用例如红色把所产生的线 条显示成过去的轨迹。
当显示未来的轨迹时，图像处理设备2的微处理器3根据将从现 在更新的显示窗口W57的静止图像的特征量，计算显示窗口W57将 移到的坐标参数(坐标位置)，通过顺序连接位于计算的坐标位置的显 示窗口W57的未来重心，产生线条，并用例如蓝色把所产生的线条 显示成未来的轨迹。
即，在图像处理设备2中，从显示窗口W57沿向后方向延伸的 过去轨迹被显示成红线，而从显示窗口W57沿向前方向延伸的未来 轨迹被显示成蓝线。如上所述，按照颜色编码的方式显示过去和未来 的轨迹，从而使得用户能够立即直观地识别显示窗口W57将沿哪个 方向移动。
代替按照颜色编码方式显示过去和未来轨迹，图像处理设备2 的微处理器3可采用任何其它显示方式来表示轨迹。例如，可分别用 实线和虚线显示过去的轨迹和未来的轨迹。
尽管在上面的说明中，图像处理设备2的微处理器3既显示显示 窗口W57的过去轨迹，又显示它的未来轨迹，不过按照用户的模式 选择，可以只显示过去轨迹和未来轨迹之一。
下面利用图37的流程图，说明由图像处理设备2的微处理器3 执行的上述轨迹显示处理的程序。
图像处理设备2的微处理器3执行例程RT9的初始化步骤，并 进入下一步骤SP161，在步骤SP161，微处理器3接收用户的选择以 指定其轨迹将被显示的视频数据，并进入步骤SP162。
在步骤SP162中，图像处理设备2的微处理器3识别位于与构 成目标视频数据的各个静止图像对应的位置处的显示窗口W57的重 心，并进入步骤SP163。
在步骤SP163中，图像处理设备2的微处理器3连接在步骤 SP162中识别的重心，从而产生代表描述视频数据的显示窗口W57 的移动轨迹的线条，并进入步骤SP164。
在步骤SP164，图像处理设备2的微处理器3确定用户是否已经 选择了显示过去轨迹的过去轨迹显示模式。当获得肯定的结果时，图 像处理设备2的微处理器3进入步骤SP165，在步骤SP165中，微处 理器3显示从当前显示窗口W57沿过去方向延伸的线条作为过去轨 迹，并进入步骤SP169，从而结束该处理流程。
另一方面，当在步骤SP164中获得否定的结果(这意味用户已经 选择了显示未来轨迹的未来轨迹显示模式，或者显示包括过去和未来 轨迹的整个轨迹的完整轨迹显示模式)时，图像处理设备2的微处理器 3进入步骤SP166。
在步骤SP166中，图像处理设备2的微处理器3确定用户是否 已经选择了未来轨迹显示模式。当获得肯定的结果时，微处理器3进 入步骤SP167，在步骤SP167中，微处理器3显示从当前显示窗口 W57沿未来方向延伸的线条作为未来轨迹，并进入步骤SP169，从而 结束该处理流程。
另一方面，当在步骤SP166中获得否定的结果(这意味用户选择 了完整轨迹显示模式)时，图像处理设备2的微处理器3进入步骤 SP168，在步骤SP168中，微处理器3显示包括从当前显示窗口W57 延伸的过去侧线条和未来侧线条的整个轨迹，并进入步骤SP169，从 而结束该处理流程。
从而，在图像处理设备2的微处理器3中，在相对于显示窗口 W57只显示过去轨迹的情况下，如图38中所示，只有从当前显示窗 口W57沿过去方向(即，沿向后方向)延伸的线条被显示，使得用户获 得运动对象好像在排出空气的同时移动的印象。
此外，在相对于显示窗口W57只显示未来轨迹的情况下，如图 39中所示，只有从当前显示窗口W57沿未来方向(即，沿向前方向) 延伸的线条被显示，使得用户获得运动对象好像在照亮其移动方向的 同时移动的印象。
顺便提及，在显示未来轨迹的情况下，可以采用这样一种配置， 其中一开始并不显示直到结束位置POe(图36)的整个未来轨迹，而只 有从当前显示的显示窗口W57延伸的预定长度的线条被显示成未来 轨迹。当如上所述一开始未向用户呈现结束位置POe时，用户能够欣 赏显示窗口W57的移动，同时估计结束位置POe。
此外，在对显示窗口W57显示包括过去和未来轨迹二者的整个 轨迹的情况下，如图40中所示显示从当前显示窗口W57沿向前方向 和向后方向延伸的线条，使得用户获得好像火车在轨道上移动的印 象。
如上所述，图像处理设备2的微处理器3使得用户能够从上述三 种模式中任意选择轨迹显示方式，从而借助最易于识别的轨迹模式， 呈现视频数据的每个静止图像的特征(趋势)。
(6-2)利用多个显示窗口的轨迹显示模式
如图36中所示，图像处理设备2的微处理器3被配置成不仅显 示正在移动的显示窗口W57，而且还在视频数据重放开始时刻的显示 窗口W57的开始位置POs和在视频数据重放结束时刻的显示窗口 W57的结束位置POe，保持显示在该时刻各自显示的静止图像的显示 窗口W57s和W57e。
图像处理设备2的这种配置使得用户能够视觉地确认与该视频 数据对应的显示窗口W57，从而直观地把从三维显示空间上的开始位 置POs到三维显示空间上的结束位置POe的整个过程识别为表示显 示窗口W57的整个轨迹的图像。
当然，在图像处理设备2的微处理器3中，并非总是需要显示位 于开始位置POs和结束位置POe的显示窗口W57s和W57e，相反可 以通过用户的选择操作不显示它们。
此外，当用户双击设置在开始位置POs附近的所有窗口显示按 钮Z1(图36)时，如图45中所示，图像处理设备2的微处理器3在由 构成视频数据构成的多个画面(静止图像)确定的三维显示空间上的位 置，以预定的间隔显示一部分显示窗口W57(W57s～W57e)或者所有 的显示窗口W57s～W57e，从而代替显示过去和未来轨迹，或者在显 示过去和未来轨迹的同时，向用户呈现由多个显示窗口W57(W57s～ W57e)形成的连续序列作为视频数据的特征(趋势)。
此外，如图42中所示，当识别出用户对轨迹上的给定点的点击 操作时，图像处理设备2的微处理器3启动通过显示窗口W57的重 放处理，并执行直到与显示窗口W57e对应的结束位置POe的重放图 像的预览显示。
借助图像处理设备2的这种配置，在使得用户能够通过重放视频 数据视觉地确认从开始位置POs到结束位置POe通过显示窗口W57 以移动的方式显示静止图像的状态之后，可以通过位于用户所希望的 位置的显示窗口W57恢复显示处理，从而显著增强用户的可操作性。
顺便提及，即使在显示与视频数据对应的显示窗口期间，当用户 点击轨迹上的给定点时，图像处理设备2的微处理器3通过位于所述 给定点的显示窗口W57开始重复处理，并且同时在可视性方面使此 时已被显示的显示窗口W57消失，从而在轨迹线上只保留一个显示 窗口W57。
但是，当用户确定在图像处理设备2中不减弱可视性时，可同时 在轨迹线上以移动的方式显示多个显示窗口W57。
这种情况下，如图43所示，图像处理设备2的微处理器3以移 动的方式在轨迹上并行显示两个显示窗口W57，使得用户更易于搜索 他或她所希望的场景。
此外，如图44中所示，图像处理设备2的微处理器3可以在显 示窗口W57的轨迹上的预定位置，保持显示预先已经被设置成典型 场景的静止图像的显示窗口W57a、W57b、W57c和W57d。
借助这种配置，即使在从开始位置POs到结束位置Poe以移动 的方式显示显示窗口W57之后，显示与典型场景对应的静止图像的 显示窗口W57a、W57b、W57c和W57d保持显示在轨迹上。从而， 仅仅通过经显示窗口W57a、W57b、W57c和W57d视觉地确认与典 型场景对应的静止图像，用户就不仅能够容易地掌握视频数据的总体 趋势，而且能够掌握各典型场景的特征的趋势。
在视频数据的来源是DVD的情况下，这样的典型场景对应于预 先已经为每个章节设置的典型静止图像。因此，当通过显示窗口W57 重放DVD的视频数据时，图像处理设备2的微处理器3易于对保持 显示的典型场景实现轨迹显示处理。
在图像处理设备2中，尽管在上面的说明中，对应于典型场景的 显示窗口W57保持被显示，不过可以基于时间，比如以恒定的时间 间隔保持显示显示窗口。这种情况下，用户能够视觉地确认通过以恒 定的时间间隔存在的显示窗口W57显示的静止图像，使得即使在利 用显示窗口W57的视频数据的重放处理之后，用户也能够通过以恒 定的时间间隔保持显示的显示窗口W57立即掌握视频数据的特征(趋 势)。
(6-3)场景变化时或快闪时的轨迹显示模式
如图45中所示，在通过显示窗口W57重放视频数据的图像的期 间，存在场景变化或快闪。当在场景变化前的静止图像的特征量明显 不同于在场景变化之后的静止图像的特征量时，在一些情况下，场景 变化之前的显示窗口W57before可显著地跳跃到场景变化之后的显 示窗口W57after。
这种情况下，图像处理设备2执行如上所述的坐标补偿处理例程 SRT1(图24)，从而不使显示窗口W57before通过一次动作跳跃到显 示窗口W57after，而是在以步进的方式降低移动距离的同时，从对应 于显示窗口W57before的位置朝着目的地顺序布置显示窗口W57， 从而在场景变化的时候，使得用户能够视觉地确认从显示窗口 W57before到W57after的移动。
这种情况下，图像处理设备2的微处理器3不使显示窗口W57 在其轨迹上通过一次动作跳跃到目的地，而是使显示窗口W57以步 进的方式从场景变化之前的显示窗口W57before的位置移动到场景 变化之后的显示窗口W57after的位置。此时，图像处理设备2的微 处理器3仅仅突出显示以步进的方式移动的显示窗口W57(例如，用 半透明颜色，或者以闪烁的方式显示显示窗口W57)。
图像处理设备2的微处理器3保持显示场景变化之前的显示窗口 W57before和场景变化之后的显示窗口W57after，从而使用户总是能 够视觉地确认场景变化前后的内容。
顺便提及，代替执行上面提及的坐标补偿处理例程SRT1，图像 处理设备2的微处理器3可以以恒定的间隔，反复显示在显示窗口 W57after的场景变化之前和之后的位置之间变化的静止图像。此时， 相对于跳跃速度，移动显示速度极低。
图像处理设备2的微处理器3可以设置移动显示速度，使得在显 示窗口W57after的场景变化之前和之后的位置之间的距离L2与显示 窗口W57移动距离L2所需的移动时间t2具有如图46(A)中所示的线 性关系，或者使得距离L2和移动时间t2具有如图46(B)和46(C)中所 示的非线性关系。
这种情况下，当使得显示窗口W57以步进的方式从场景变化之 前的显示窗口W57before的位置移动到在场景变化之后的显示窗口 W57after的位置时，图像处理设备2的微处理器3能够按照开始时高 速移动显示窗口W57并逐渐降低其移动显示速度的方式改变显示窗 口W57的移动速度。
此外，当识别出用户对在轨迹上移动的显示窗口W57的点击操 作时，图像处理设备2的微处理器3在按照此时的对应静止图像的特 征量确定的位置，持续数秒或者半永久性地保持显示点击的显示窗口 W57。当识别出对该显示窗口W57的另一点击操作时，图像处理设 备2的微处理器3删除点击的显示窗口W57，或者在此时刻通过显示 窗口W57恢复图像的重放。
(6-4)利用时间代码的轨迹显示模式
如图47中所示，当显示窗口W57位于三维显示空间上的时候， 通过显示窗口W57重放视频数据时，图像处理设备2的微处理器3 能够沿着显示窗口W57的轨迹上的预定位置，显示时间代码显示帧 TW1～TWn。
图像处理设备2的微处理器3从与各静止图像对应的元数据文件 MDF中读出显示在时间代码显示窗口TW1～TWn中的与视频数据 关联的时间代码信息，并使用所读出的时间代码信息显示时间代码显 示帧TW1～TWn的时间代码。
此外，图像处理设备2的微处理器3不仅能够把对应的时间代码 添加到轨迹上的位置，而且还能够通过时间代码显示帧TW3和TWe， 把时间代码添加到保持被显示的表示与典型场景对应的静止图像的 显示窗口W57，和保持被显示的位于结束位置Poe处的显示窗口 W57e。
从而，不仅显示窗口W57的轨迹按照视频数据的进展以移动的 方式显示，而且通过对轨迹线上的位置和显示窗口W57添加的时间 代码显示帧TW1～TWn，能够向用户呈现视频数据的时间信息，从 而在通过时间代码显示帧TW1～TW4识别视频数据的时间进程的同 时，用户能够搜索他或她所希望的场景。
在具有非常相似特征的多个视频数据通过它们各自的显示窗口 W57被重放的情况下，所得到的各显示窗口W57的轨迹彼此非常类 似。这种情况下，显示三个相似的轨迹。
通过视觉地确认这种状态，用户能够根据轨迹之间的相似性，估 计这三个视频数据具有相似的内容，从而易于管理和搜索视频数据。
(6-5)轨迹显示期间的显示窗口控制模式
图像处理设备2能够按照视频数据的重放图像的进展，以移动的 方式显示显示窗口W57，同时除了显示显示窗口W57的轨迹之外， 还能够改变显示窗口W57的大小和形状，这一点将在下面描述。
具体地说，在如图48(A)中所示，沿着显示窗口W57在RGB颜 色分量被设置成显示轴的参数的三维显示空间上的轨迹，以移动的方 式显示视频数据的显示窗口W57的情况下，除了用作显示轴的特征 参数的RGB颜色分量中的特征量之外，图像处理设备2的微处理器3 还从静止图像的相应元数据文件MDF中，获得例如构成该视频数据 的静止图像的密度信息的特征量。当密度信息的特征量超过预定阈值 时，如图48(B)中所示，图像处理设备2的微处理器3按照预定的因 数放大与此时刻的静止图像对应的显示窗口W57的尺寸。
当静止图像的密度信息的特征量小于预定阈值时，如图48(C)中 所示，图像处理设备2的微处理器3按照预定的因数缩小与此时刻的 静止图像对应的显示窗口W57的尺寸。
即，在静止图像包括大量的高频分量，导致密度信息的特征量超 过预定阈值的情况下，图像处理设备2的微处理器3放大与静止图像 对应的显示窗口W57的尺寸，从而增强用户的可视性。
另一方面，在静止图像几乎不包括高频分量，导致密度信息的特 征量小于预定阈值的情况下，图像处理设备2的微处理器3确定即使 图像尺寸被缩小，对于用户来说的可视性也几乎不发生变化，并缩小 显示窗口W57的尺寸，从而导致处理负载的降低。
顺便提及，尽管在上面的说明中，除了构成显示轴的颜色分量之 外，静止图像的密度信息还被用作放大或缩小显示窗口W57的显示 尺寸的参数，不过也可使用其它各种特征量，比如运动量，色调和音 频电平来放大或缩小显示窗口W57的尺寸。此外，不仅可以放大或 缩小显示窗口W57的尺寸，而且还可以改变显示窗口W57的框架的 形状，或者同时控制显示尺寸和框架形状二者。
(7)操作和优点
如上所述，当通过显示窗口W57显示视频数据的重放图像时， 每次按照构成视频数据的各静止图像的特征量更新视频数据的帧时， 图像处理设备2的微处理器3把显示窗口W57布置在利用用户指定 的显示轴产生的三维显示空间上。
每次视频数据的帧被更新时，特征量发生变化，从而改变显示窗 口W57的目的地坐标位置，由此使用户产生显示窗口W57好像以浮 动的方式在三维显示空间上移动的印象。
例如，当在旅行目的地用摄像机拍摄的视频数据被布置在三维显 示空间上，并通过显示窗口W57显示视频数据的重放图像时，显示 例如“大海”的显示窗口W57移动到其中布置在海滩上拍摄的视频数 据的许多显示窗口W57的区域。当视频数据的场景随后被更新到“山 脉”的静止图像时，显示窗口W57相应地移动到其中布置在山林中拍 摄的视频数据的许多显示窗口W57的区域。当视频数据的场景随后 被更新为“建筑物”的静止图像时，显示窗口W57相应地移动到其中 布置在市区中拍摄的视频数据的许多显示窗口W57的区域。
显示窗口W57的运动本身代表视频数据的特征，从而用户能够 通过三维显示空间上显示窗口W57的位置变化，以及显示窗口W57 本身的运动图像，直观地识别视频数据的特征(趋势)。
在常规方法中，只有构成视频数据的多个静止图像的第一图像被 显示在缩略图中。但是，上述方法不必表现视频数据的趋势。在本发 明中，由构成视频数据的静止图像的特征量的变化造成的显示窗口 W57本身的移动以运动图像的形式被呈现给用户，使得用户能够正确 地理解视频数据的特征(趋势)，这便于视频数据的搜索或管理。
当在视频数据的重放期间，存在场景变化或快闪的情况下，图像 处理设备2不使显示窗口W57通过一次动作从场景变化或快闪之前 的三维显示空间上的位置跳到场景变化或快闪之后的三维显示空间 上的位置，而是在朝着目的地以步进的方式减小移动距离的同时，以 移动的方式显示显示窗口W57，从而避免用户失去显示窗口W57的 轨迹。从而，用户能够在不中断的情况下掌握作为运动图像的显示窗 口W57。
此外，当对应于多个视频数据的多个显示窗口W57被用于同时 进行重放处理时，每次更新视频数据的帧时，对应于具有相似特征量 的视频数据的显示窗口W57被集中在三维显示空间上的特定区域， 从而使得用户能够通过集中或分散在三维显示空间上的显示窗口 W57的布置状态，直观且容易地识别多个视频数据的特征(趋势)。
此外，当在重放视频数据，从而在三维显示空间上显示显示窗口 W57的状态下，通过用户的指令改变定义三维显示空间的显示轴的参 数时，图像处理设备2产生新的三维显示空间，从而明显改变将在其 上显示的显示窗口W57的布置状态。即，用户可以根据他或她所需 的参数，自由地改变显示窗口W57的布置状态。
此外，当以移动的方式显示显示窗口W57时，图像处理设备2 按照用户的选择，连同显示窗口W57一起显示显示窗口W57的过去 轨迹，其未来轨迹，或者其过去轨迹和未来轨迹二者，从而在三维显 示空间上视觉地呈现显示窗口W57的过去和未来的移动。于是，仅 仅通过比较与多个视频数据对应的显示窗口W57的轨迹，用户能够 直观地获知在作为轨迹线图像的视频数据之间是否存在相似性。
当在编辑窗口的显示区55上布置对应于视频数据的显示窗口 W57，从而呈现显示窗口作为图像组58时，图像处理设备2不显示 定义三维显示空间的显示轴本身，并布置显示窗口W57，使得所有显 示窗口W57总是被置于用户视界的正前方，使得用户能够容易地获 知多个显示窗口W57被布置在三维显示空间上。
如上所述，在重放视频数据的情况下，每次构成视频数据的各个 静止图像被更新时，静止图像的特征量被改变。按照图像的特征量的 变化，图像处理设备2在显示窗口W57和三维显示空间之间的相对 位置关系变化的同时，以移动的方式显示显示窗口W57，从而按照画 面的特征的变化，把视频数据所具有的重放图像的特征(趋势)表示成 显示窗口W57的运动，使得用户能够直观地识别显示窗口W57的运 动图像。从而，可以通过直观的图像，促进大量视频数据的分类，管 理和搜索。
(8)其它实施例
尽管在上面的实施例中已经说明了其中按照本发明的另一实施 例的视频处理设备被应用于图像处理设备2的情况，不过本发明并不 局限于此情况。作为选择，视频处理设备可适用于简单计算机。这种 情况下，由摄像机拍摄的多个视频数据被保存在计算机的内部硬盘驱 动器中，所有视频数据被布置在三维显示空间上以供显示，从而使得 用户能够直观地识别静止图像视频数据的特征或总体趋势，并易于搜 索他或她所希望的图像。
此外，尽管在上面的实施例中已经说明了显示窗口W57被布置 在三维显示空间上的情况，不过本发明并不局限于此情况。作为选择， 如图49中所示，显示窗口W57可被布置在二维显示空间上，此外， 其轨迹可被显示在二维显示空间上。
此外，尽管在上面的实施例中已经说明了当作为特征参数，对显 示轴设置构成视频数据的画面(静止图像)所具有的R(红)，B(蓝)和亮 度时产生三维显示空间的情况，不过本发明并不局限于此情况。另一 方面，可以使用与静止图像关联的音频信息或者时间信息作为显示轴 的参数，或者可以使用R(红)和B(蓝)两者作为显示轴的一个参数。如 上所述，可按照用户的偏爱，为显示窗口W57的布置产生各种多维 显示空间。
例如，如图50中所示，图像处理设备2可沿着时间轴布置由亮 度，R(红)和B(蓝)确定的显示轴定义的三维显示空间，和由运动量， DCT垂直频率和DCT水平频率确定的显示轴定义的三维显示空间， 以产生四维显示空间，从而把视频数据的显示窗口W57布置在四维 显示空间上，并随同重放处理一起以移动的方式显示显示窗口W57。
此外，尽管在上面的实施例中已经说明了按照视频数据的重放， 在三维显示空间上以移动的方式显示显示窗口W57的情况，不过本 发明并不局限于此情况。作为选择，如图51中所示，可以按照用户 对设置在编辑窗口50的显示区55上的水平滚动条66上的标签67的 操作，沿着显示窗口W57的轨迹向过去或未来侧移动显示窗口W57。
这种情况下，用户能够按照他或她自己的意愿，自由地控制三维 显示空间上显示窗口W57的位置，从而进一步容易地搜索他或她所 希望的场景或者执行编辑工作。
此外，尽管在上面的实施例中，已经说明了通过显示窗口W57 显示视频数据的重放图像的情况，不过本发明并不局限于此情况。例 如，在构成图像组58的显示窗口W57相互重叠的情况下，一些显示 窗口W57可能被其它显示窗口W57隐藏。这种情况下，对于被隐藏 的显示窗口W57来说，可降低构成视频数据的静止图像的更新速率， 从而极大地减小重放速度，分辨率可被降低，可不更新静止图像，或 者不显示任何图像。如上所述，通过消除对用户不能视觉确认的显示 窗口W57的重放显示处理，能够降低微处理器3上的处理负载。
此外，尽管在上面的实施例中已经说明了向轨迹线或者显示窗口 W57添加时间代码显示帧TW(图47)的情况，不过本发明并不局限于 此情况。作为选择，可向显示窗口W57的轨迹线添加各种通知窗口， 比如帧编号通知窗口或者场编号通知帧，只要能够向用户通知过去的 重放时间即可。
此外，尽管在上面的实施例中为视频数据的每个画面(静止图像) 计算特征参数或关联参数，不过可基于多个画面，例如以一个GOP 为单位计算特征参数或关联参数。例如，可采用构成一个GOP的所 有画面的特征参数的平均值或者选自构成一个GOP的画面中的指定 I画面的特征参数(关联参数)作为一个GOP的特征参数。
在以多个画面，例如一个GOP为单位计算特征参数或关联参数， 以便保存为元数据的情况下，与基于一个画面计算特征参数或关联参 数的情况相比，元数据的大小可被降低，并且分析元数据所需的处理 负载也可被降低。
在通过MPEG视频格式编码视频数据的情况下，在生成元数据 的时候计算基于画面或者基于GOP的特征参数或关联参数时，所获 得的特征参数或关联参数可被包括在作为MPEG编码处理的结果而 获得的视频流中的画面头或GOP头中。
(9)与视频数据联系的关联参数
尽管在上面的实施例中已经说明了构成视频数据的画面(静止图 像)的特征参数，不过本发明可应用于利用与视频数据联系(关联)的参 数(关联参数)的配置。关联参数的例子包括表示视频数据的拍摄或记 录的时间的时间信息，表示视频数据的拍摄或记录的地点的位置信息 (纬度/经度信息)，识别视频数据的所有者或创作者的标识信息，识别 通过网络访问视频数据的用户的标识信息，表示视频数据被访问的次 数的访问次数，识别视频数据的分组的分组标识信息，识别包括在视 频数据中的人脸的面部标识信息，和包括在视频数据中的标题类别、 关键字或者字幕信息。这些关联参数能够利用已知的技术生成。
术语“联系(关联)”状态表示数据和参数(元数据)相互联系的状 态。例如，即使当视频数据和元数据被记录在不同的记录介质中，或 者传输自不同的传输线路时，如果用于识别视频数据的信息或者视频 数据的画面编号被包括在参数(元数据)中，那么之后可把视频数据和 元数据相互关联起来。在本实施例中，这样的情况被包括在“联系(关 联)”状态中。
这样的关联参数按照如上所述的相同处理程序，和特征参数一起 被用于实现上面提及的显示配置。
如图52中所示，可以考虑以下应用：在服务器(视频DB，元数 据/视频DB)中集中管理从多个用户1～N提供(上传)的视频数据，并 使得用户能够通过网络访问他或她感兴趣的视频数据，以便确认视频 数据的内容。
这种情况下，数据库可管理对每个视频数据的关联参数。例如， 在表示视频数据被访问的次数的访问次数被包括在关联参数中的情 况下，可按照访问次数的增减，改变显示窗口的显示尺寸(例如，当访 问次数超过预先设置的阈值时，对应的视频数据被确定为是受欢迎 的，该视频数据的显示窗口的尺寸被增大，或者其显示窗口被突出显 示)。此外，在识别视频数据的所有者或创作者的标识信息被包括在关 联参数中的情况下，可为每个用户设置显示空间。此外，可基于类别 产生显示空间。
例如，如图53中所示，以比显示窗口W57_1，W57_3和W57_4 更大的尺寸显示显示窗口W57_2，W57_5和W57_6。这意味对显示 窗口W57_2，W57_5和W57_6的访问次数大于对显示窗口W57_1， W57_3和W57_4的访问次数。
在图50中，已经说明了时间轴被用于产生四维显示空间窗口的 情况。当使用上面提及的关联参数时，能够实现各种显示配置。例如， 在利用GPS产生的，并与视频数据联系的位置信息(纬度/经度)被包括 在关联参数中的情况下，如图54中所示，产生向其增加位置信息作 为显示轴的显示空间。这种情况下，随同位置信息方面的变化，视频 数据和三维显示空间相互联合地移动。
此外，在如图52中所示，大量的用户提供大量的视频数据的情 况下，作为特征参数的相似性和关联参数被用于在相似性和位置信息 方面对视频数据分组，并为每个组产生一个显示空间。特别地，在类 似于视频张贴站点和SNS(社会性网络服务)的应用中，为每个组产生 的显示空间可被看作一个社区。从而，从许多用户张贴的视频数据可 用于促进用户之间的通信。
(10)本发明适用的设备
尽管在上面的实施例中已经说明了本发明应用于具有如图1中 所示配置的图像处理设备2的情况，不过本发明并不局限于这种情况。 作为选择，本发明可广泛应用于其它各种图像处理设备，只要其能够 实现作为图像处理设备的功能即可。
图像处理设备的例子包括实现用于体现本发明的功能的计算机， 摄像机，数字照相机，游戏机，便携式信息终端(便携式计算机，移动 电话，便携式游戏机)，存储装置(光盘装置，家用服务器)，和处理板 或处理卡。
在任意一种情况下，上述图像处理设备共同包括机壳，信号处理 部分和外部接口，并且分别包括与其产品形式对应的外围单元。例如， 就摄像机或数字照相机来说，除了上面提及的公共组件之外，它包括 照相机单元和把拍摄的视频图像数据保存在存储介质中的写入电路。 就具有通信功能的电子设备，比如移动电话来说，除了上面提及的公 共组件之外，它包括发射/接收电路和天线。
此外，尽管在上面的实施例中已经说明了微处理器3启动保存在 硬盘驱动器7中的视频处理程序，从而以移动的方式在三维空间上显 示显示窗口W57的情况，不过本发明并不局限于此情况。作为选择， 可对微处理器3安装保存视频处理程序的程序存储介质，以便执行上 面提及的显示处理。
在把程序装入硬盘驱动器7中之后，使用于执行显示处理的视频 处理程序可被执行的上述程序存储介质的例子不仅包括诸如软盘， CD-ROM(光盘只读存储器)，DVD(数字万用盘)之类的封装介质，而 且包括临时或永久保存视频处理程序的半导体存储器或磁盘。另外， 作为把视频处理程序保存在上述程序存储介质中的手段，可以利用有 线或者无线通信介质，比如局域网，因特网，或者数字卫星广播，并 且在这种情况下，程序可通过诸如路由器或调制解调器之类的各种通 信接口被保存在程序存储介质中。
此外，尽管在上面的实施例中已经说明了作为按照本发明的视频 处理设备的图像处理设备2由充当显示空间生成装置和转换装置的微 处理器3和充当分类/布置装置的微处理器3和GPU 4构成，不过本 发明并不局限于此情况。作为选择，按照本发明的图像处理设备可由 借助其它各种电路配置实现的显示空间生成装置，转换装置和分类/ 布置装置构成。
在本发明的精神和范围内可做出各种修改。此外，根据本发明的 上述说明可做出各种修改和应用。
工业实用性
按照本发明的图像处理设备和图像处理方法可广泛应用于在显 示屏幕上重放视频数据的各种图像处理设备。
(1)图像处理系统的配置
如图1中所示，附图标记1表示按照本发明的实施例的图像处理 系统，一般来说，其包括图像处理设备2，存储单元22和多个磁带录 像机231～23n。
图像处理系统1被配置成通过图像处理设备2，把记录在录像带 上的部分或全部AV(音频/视觉)数据作为剪辑装入采用RAID(独立磁 盘冗余阵列)技术的大容量存储单元22中，或者把记录在录像带上的 静止图像数据装入存储单元22中。
此外，图像处理系统1被配置成创建指定编辑内容，以便通过按 照所希望的状态连接装入存储单元22中的AV数据，获得所希望的 编辑的视频和音频的编辑列表，此外按照创建的编辑列表实际执行编 辑处理，并把获得的AV数据作为新剪辑保存在存储单元22中，或 者通过任意的磁带录像机231～23n把AV数据记录在录像带上。
这种情况下，在图像处理设备1中，GPU4、XDR(极速数据 率)-RAM 5和南桥6与微处理器3连接。硬盘驱动器7、USB接口8 和音频I/O编解码器9与南桥6连接。扬声器41与音频I/O编解码器 9连接。
此外，鼠标38、键盘39、磁带录像机231～23n、记录设备22 和操作控制器37通过PCI总线15与南桥6连接。显示器40与GPU 4连接。
微处理器3是多核处理器，其中用于执行基本程序，比如OS(操 作系统)的通用主CPU核3M，通过内部总线12与主CPU核3M连 接的多个(这种情况下八个)RISC(精简指令集计算机)型信号处理器 (下面称为副CPU核)3SA～3SH，对具有例如256[Mbyte]容量的 XDR-RAM 5执行存储器控制的存储控制器13，和管理在它自己与南 桥6之间的数据输入和输出的I/O(输入/输出)控制器14被集成在一 个芯片上。该微处理器3以例如4[GHz]的工作频率工作。
图像处理系统1的微处理器3主要起与现有的视频标准，比如 MPEG-2或H.264/AVC(先进音频编码)兼容的编解码器的作用，并被 配置成把作为解码处理的结果而获得的视频数据的重放图像传给 GPU4，改变视频数据的重放图像的诸如重放速度之类的设置(后面说 明)，把静止图像数据传给GPU 4，或者执行物理模拟。
特别地，在微处理器3中，八个副CPU核3SA～3SH充当用于 通过对视频数据编码而获得的视频流的解码器，并且能够并行地解码 HD(高清晰度)视频流。
被配置成执行除由这八个副CPU核3SA～3SH执行的处理或管 理之外的处理或管理的主CPU核3M接收通过南桥6从鼠标38、键 盘39或操作控制器37供给的指令，并按照接收到的指令执行各种处 理。
如上所述，微处理器3被配置成能够利用八个副CPU核3SA～ 3SH并行地对视频流解码，并利用高带宽总线10，以高达30 [Gbyte/sec]的传输速率在微处理器3和GPU 4之间传送数据。即， 能够在较短时间内解码和传送许多高清晰度视频流。
GPU 4执行与当移动将在显示器40上显示的视频数据的重放图 像时所需的纹理粘贴相关的最终渲染处理，当在显示器40上显示视 频数据的重放图像或者静止图像数据的静止图像时所需的坐标变换 计算，和关于视频数据的重放图像或静止图像数据的静止图像的放大 /缩小处理，并从而减轻微处理器3的处理负载。
特别地，当启动时，微处理器3读出保存在硬盘驱动器7中的所 需应用程序，并根据硬盘驱动器7中的控制程序在XDR-RAM 5中展 开该应用程序，之后根据该应用程序和用户操作执行所需的控制处 理。
当用户通过鼠标38、键盘39或操作控制器37输入用于把记录 在录像带上的AV流输入存储单元22的剪辑捕捉窗口的显示指令时， 微处理器3对应地控制硬盘驱动器7，以便读出与显示指令对应的AV 数据，并且同时控制GPU 4以便在显示器40上显示基于该AV数据 的剪辑捕捉窗口。
这种状态下，当用户通过鼠标38、键盘39或操作控制器37输 入对磁带录像机231～23n的重放操作指令时，微处理器3对应地控 制磁带录像机231～23n，以便执行记录在录像带上的AV数据的重放 操作。
从而，从装入磁带录像机231～23n中的录像带中重放的AV流 顺序通过PCI总线15、南桥6和微处理器3从磁带录像机231～23n 输出到GPU 4。
在微处理器3的控制下，GPU 4对供给的视频数据应用预定的信 号处理，并把获得的视频数据发给显示器40，从而在剪辑捕捉窗口中 的预定位置显示基于该视频数据的重放图像。同时，微处理器3通过 音频I/O编解码器9，把从AV数据提取的音频信号发给扬声器41， 从而从扬声器41输出基于所述音频信号的声音。
于是，在查看显示在显示器40上的视频数据的重放图像和听取 从扬声器41输出的音频数据的重放声音的同时，用户能够利用鼠标 38、键盘39或操作控制器37，指定作为剪辑的所希望的重放视频/音 频部分，并且能够把包括入点和出点的时间代码，剪辑长度，剪辑ID， 剪辑名称，AV数据的拍摄时间和剪辑的创建时间在内的管理信息登 记成元数据。在微处理器3的控制下，该剪辑管理信息被登记在硬盘 驱动器7中的剪辑管理数据库中。
微处理器3不仅能够把上面提及的剪辑管理信息，而且能够把构 成AV数据的视频数据的各个参数的特征量登记成元数据文件，这在 后面详细说明。
之后，当用户通过鼠标38、键盘39或操作控制器37输入AV 流的捕捉指令时，微处理器3对应地控制磁带录像机231～23n，以便 重放指定的AV流。
从而，包括在从录像带重放的AV流中的视频流或音频流从磁带 录像机231～23n输出。该视频流随后依次通过PCI总线15、南桥6、 微处理器3和总线10被提供给GPU 4。
用户能够在显示器40上显示编辑窗口(后面说明)，用于通过利 用鼠标38、键盘39或操作控制器37由预定操作执行编辑工作，从而 能够利用所述编辑窗口创建一个编辑列表，所述编辑列表规定表示如 何相互连接剪辑的编辑内容。此外，在创建编辑列表之后或同时，用 户能够按照编辑列表确认编辑的视频和编辑的音频。
当在创建编辑列表之后，通过鼠标38输入编辑列表的登记指令 时，微处理器3把在编辑列表中指定的所有用户创建的编辑数据转换 成文件，并把该文件登记在硬盘驱动器7中的编辑列表数据库中。
此外，当在创建编辑列表之后或中间，通过鼠标38、键盘39或 操作控制器37输入基于编辑列表的编辑的视频/音频的重放指令时， 微处理器3对应地控制存储单元22，以便读取包括在所需AV流中的 视频流和音频流。
从而，如果需要，在微处理器3的控制下，读取的包括在读取自 存储单元22的AV流中的视频流和音频流依次通过PCI总线15、南 桥6、微处理器3和总线10被提供给GPU 4，以便进行视频特效处理。
在微处理器3的控制下，GPU 4对作为视频特效处理的结果而获 得的视频数据应用预定的信号处理，并把得到的视频信号发给显示器 40。
同时，微处理器3对包括在AV数据中的视频数据和音频数据之 中的音频数据应用音频混合，并通过音频I/O编解码器9把得到的音 频数据发给扬声器41。
从而，在编辑窗口中的预定位置显示视频数据的重放图像，并从 扬声器41输出音频数据的重放声音。如上所述，图像处理系统1允 许用户在根据编辑列表确认重放图像和重放声音的同时，进行编辑工 作。
从而，在图像处理系统1中，设置在图像处理设备2中的微处理 器3和GPU 4能够对显示在显示器40上的编辑屏幕上的重放图像执 行包括特效处理在内的视频显示处理，以及各种高级处理或编辑处 理。
由微处理器3中的八个副CPU核3SA～3SH同时并行解码的视 频数据通过总线10被传给GPU 4。此时的数据传输速率高达例如30 [GByte/sec]，于是甚至能够高速并且平滑地显示已经经过特效处理 的非常复杂的视频数据。
(2)视频数据的显示处理
在图像处理系统1中，准备了编辑模式和查看模式。在编辑模式 下，执行上述产生编辑的视频图像数据的编辑处理。在查看模式下， 执行允许用户容易地管理或搜索保存在存储单元22中的大量视频图 像数据和静止图像数据的分类显示。
(2-1)编辑窗口的显示内容
当用户通过鼠标38、键盘39或操作控制器37输入显示编辑窗 口的指令时，图像处理设备2的微处理器3控制硬盘驱动器7和GPU 4，以便进入查看模式，从而图2中所示的编辑窗口50被显示在显示 器40上。
编辑窗口50具有剪辑列表显示区51，情节串连图板区52，时间 线区53，效果信息显示区54和该编辑窗口50特有的显示区55。在 编辑窗口50上，编辑工作主要在显示区55上进行，情节串连图板区 52和时间线区53只是辅助提供的。
这种情况下，剪辑列表显示区51显示登记在图像处理设备2中 的各种文件箱(bin)和文件。当用户选择所希望的文件箱或文件时，剪 辑列表显示区51显示包含在该文件箱或文件中的AV数据的列表。
随后，用户根据显示在剪辑列表显示区51中的剪辑列表，从作 为运动画面的AV数据中选择所希望的AV数据，把所希望的剪辑拖 放到显示区55，从而在显示区55上显示表示该AV数据的第一图像(就 视频数据来说，第一静止图像)的显示窗口W57。注意在显示区55上 可显示多个显示窗口W57。
这种状态下，用户能够点击显示窗口W57，使图像处理设备2 在显示区55上重放拖放的AV数据，并快进、快倒、或者停止显示 的重放图像。
从而，在通过显示区55上的多个显示窗口W57视觉地确认包含 在AV数据中的视频数据的重放图像的同时，用户能够搜索所希望的 一帧，并且能够指定将从AV数据中切掉的所希望的视频/音频部分的 起点(下面称为入点)和终点(下面称为出点)。
当这样指定了入点和出点时，图像处理设备2的微处理器3进入 编辑模式。这种状态下，通过拖放操作，用户能够在情节串连图板区 52中，粘贴在这样指定的AV数据的入点和出点之间的视频/音频数 据作为新的AV数据。
编辑窗口50在情节串连图板区52中布置编辑目标AV数据的剪 辑，这使得用户能够容易地想象编辑的视频。情节串连图板区52显 示与每个粘贴的剪辑的第一图像等对应的主图像的缩略图和详细信 息。
随后，通过拖放操作，用户把粘贴在情节串连图板区52上的剪 辑依次布置在时间线区53的视轨上。此时，以时间线作为索引，与 每个粘贴的剪辑的长度对应的条带(未示出)出现在视轨上。当粘贴的 视频伴随有音频时，在时间线指示的相同位置，具有相同长度的条带 (未示出)出现在音轨上。
由于所述条带存在于时间线区53中的视轨和音轨上，因此在时 间线上指定的时间显示和输出与所述条带对应的剪辑的视频和音频。 于是，能够创建把待重放的一系列剪辑指定为编辑的视频/音频的编辑 列表。
(2-2)图像组的显示
此外，图像处理设备2的微处理器3在编辑窗口50的显示区55 上显示多个显示窗口W57，从而呈现图像组58，每个显示窗口W57 具有预定的框架尺寸，表现用户从显示在剪辑列表显示区51中的剪 辑列表中选择，并放到显示区55的AV数据。
在图像处理设备2的微处理器3中，能够把一个附加剪辑从剪辑 列表显示区51拖放到表现至少一个显示窗口W57的显示区55，按照 用户的选择/删除操作，能够删除存在于显示区55上的一个或多个显 示窗口。
这里，如图3中所示，图像组58指的是在三维显示空间中，根 据视频数据的特征量(基于画面或者基于GOP)，以显示窗口W57的 形式布置的视频数据的多个第一画面(静止图像)，或者典型画面(静止 图像)，在所述三维显示空间中，“红(R)”，“蓝(B)”和“亮度”分别被设 置成构成显示轴的X轴，Y轴和Z轴。
构成三维显示空间中的各显示轴(X轴，Y轴和Z轴)的参数被共 同称为代表包含视频数据的AV数据的特征的“特征参数”。基本上， 对于构成视频数据的每个画面来说，包括在特征参数中的特征量是不 同的，除非相同静止图像的画面在时间方面相互连续。
尽管如图3中所示的三维显示区的各显示轴实际上未被明确地 显示在编辑窗口50的显示区55上，不过显示窗口W57是按照各显 示轴布置的，使得表现具有包括在图像组58中的高红色等级视频数 据的画面(静止图像)的显示窗口W57被置于显示区55的右下侧，表 现具有包括在图像组58中的高亮度等级视频数据的画面的显示窗口 W57被置于显示区55的正中上方，表现具有包括在图像组58中的高 蓝色等级视频数据的画面的显示窗口57被设置在显示区55的左下 方。这种布置使用户可以直观地识别包含在作为图像的多个视频数据 中的亮度或颜色分量的粗略分布。
顺便提及，在该三维显示空间中，只有相对于原点的正象限被用 于“红(R)”(X轴)，“蓝(B)”(Y轴)和“亮度”(Z轴)中的各参数，多个显 示窗口W57被布置在与所述象限对应的空间中。但是，作为选择， 象限可包括相对于原点的负方向。
对于包含在图像组58中的视频数据，图像处理设备2的微处理 器3能够以与显示窗口W57中的预定帧频率相应的更新速度，顺序 更新构成视频数据的画面，从而将视频数据显示为运动图像。
此时，由于每次更新画面时，构成视频数据的画面的特征量发生 变化，因此图像处理设备2的微处理器3按照特征量在三维显示空间 中重新布置显示窗口W57，从而视频数据的显示窗口57在三维显示 空间上移动的同时被显示。
通过改变画面的更新速度，图像处理设备2能够控制视频数据的 重放速度。当更新速度被增大时，视频数据能够快速重放，因此，显 示窗口W57的移动速度被增大，从而使得显示窗口W57能够在三维 显示空间上高速移动。另一方面，当更新速度被增大时，显示窗口 W57的移动速度被降低，从而使得显示窗口57以好像漂浮在三维显 示空间上的方式慢速移动。
此外，图像处理设备2能够在显示窗口W57中快倒重放视频数 据。这种情况下，显示窗口W57沿着与上述情况相反的方向移动。 顺便提及，在显示窗口W57沿正向方向或反向方向移动的同时，图 像处理设备2能够在用户所希望的定时停止显示窗口W57，以显示与 该定时对应的画面(静止图像)。
(2-3)视频数据的显示
图像处理设备2预先提取代表构成视频数据的画面的特征量的 特征参数作为元数据，并且当通过显示窗口W57显示视频数据的重 放图像时，图像处理设备2按照待更新的各画面的特征量，在三维虚 拟空间上重新布置显示窗口W57。下面对于由微处理器3和GPU 4 构成的功能块说明移动显示窗口W57的上述配置。
这里，将说明下面的三种配置。第一配置例子是预先从构成视频 数据的各画面中提取特征参数作为元数据，并使用所提取的特征参数 来显示视频数据的方法。第二配置例子是在根据构成视频数据的各画 面产生元数据的同时，使用元数据来显示视频数据的方法。第三配置 例子是当视频数据被编码以便记录时，在产生作为元数据的特征参数 的同时，使用特征参数来显示视频数据的方法。
(2-3-1)第一配置例子
如图4中所示，元数据提取部分61提取代表包括在包含视频数 据的AV数据中的各种特征量的特征参数，并把所提取的特征参数登 记在元数据数据库(下面称为“元数据DB”)62中，作为与视频数据对 应的基于画面或者基于多个画面(例如基于GOP)的元数据文件MDF。
压缩图像生成部分63压缩通过元数据提取部分61供给的视频数 据的各个画面，以便把压缩的画面登记在视频数据库(下面称为“视频 DB”)64中作为主视频流HD1，以及以预定的比率减少视频数据中的 各个画面的像素数目，从而把像素数目减少的画面登记在视频DB 64 中作为子视频流LD1。
这种配置使得能够以视频数据为单位，或者以预定的时间段为单 位，把像素数目未被减少的主视频流HD1和像素数目已被减少的子 视频流LD1被保存在视频DB 64中。从而，微处理器3能够按照在 三维显示空间上的位置，有选择地使用主视频流和子视频流。例如， 当显示窗口W57的图像尺寸需要被缩小时，使用子视频流LD1；另 一方面，当显示窗口W57的图像尺寸需要被放大时，使用主视频流 HD1。
显示空间控制器66识别用于生成由用户通过显示在显示区55 上的图形用户界面(GUI)65指定的三维显示空间的显示轴的参数，识 别向用户呈现图像组58的视点坐标，或者做出关于所述显示的各种 确定，比如确定在三维显示空间上用户选择的AV数据的布置。
于是，显示空间控制器66根据确定结果，把与构成将作为图像 组58(图3)显示在显示区55上的视频数据的多个画面对应的帧编号输 出给元数据DB 62，以使得元数据DB 62可以使用与帧编号对应的画 面的特征参数作为元数据，从中读取元数据文件MDF，并把元数据 文件MDF发给坐标计算部分67。
此外，根据确定结果，显示空间控制器66还把构成视频数据的 画面的帧编号输出给视频DB 64。这使得当通过显示窗口W57显示视 频数据的重放图像时，与帧编号对应的子视频流LD1可被发给解码器 68，并且使得当以放大的形式显示视频数据的重放图像时，与帧编号 对应的主视频流HD1可被发给解码器68。
解码器68对从视频DB 64供给的子视频流LD1和主视频流HD1 解码，并把解码后的子视频数据和主视频数据发给图像显示部分69。
坐标计算部分67对显示空间的显示轴设置从显示空间控制器66 供给的特征参数，通过计算把特征参数转换成三维显示空间的坐标(坐 标参数)，并按照所获得的坐标参数值，确定在三维显示空间上的布置。 随后，根据相对于包括将在三维显示空间上布置的多个显示窗口W57 的图像组58的视点坐标，以及各个显示窗口W57的位置，坐标计算 部分67确定每个显示窗口W57的显示尺寸，并把和每个显示窗口 W57的显示有关的各种信息(显示参数)发给图像显示部分69。
图像显示部分69使用从坐标计算部分67接收到的坐标参数来确 定在其上布置从解码器68供给的子视频数据的三维显示空间上的三 维坐标位置，并在三维显示空间上布置与子视频数据对应的显示窗口 W57。在对于与其它视频数据对应的显示窗口W57执行上述处理之 后，图像显示部分69把显示窗口W57的坐标参数转换成显示区55 的二维坐标位置(显示位置参数)，从而在显示区55上显示包括多个显 示窗口W57的图像组58。
(2-3-2)第二配置例子
参见图5，图5中，与图4中的组件相同的组件用与图4中的相 应部分相同的附图标记表示，显示空间控制器66识别对用户通过显 示在显示区55上的GUI 65指定的三维显示空间的显示轴设置的特征 参数，或者识别用于向用户呈现图像组58的视点坐标。此外，显示 空间控制器66做出关于所述显示的各种确定，比如确定在三维显示 空间上对用户选择的视频数据的布置，并把该确定发给坐标计算部分 67。
于是，显示空间控制器66还根据确定结果，把构成视频数据的 画面的帧编号输出给视频DB 64，从而使得当通过显示窗口W57显示 视频数据的重放图像时，与帧编号对应的子视频流LD1可被发给解码 器68，并且使得当以放大的方式显示视频数据的重放图像时，与帧编 号对应的主视频流HD1可被发给解码器68。
顺便提及，与上面的第一配置例子的情况一样，以其像素数目未 被减少的方式编码的主视频流HD1和以其像素数目被减少的方式编 码的子视频流LD1被预先保存在视频DB 64中。
解码器68对从视频DB 64供给的子视频流LD1和主视频流HD1 解码，并把解码的主视频数据发给元数据提取部分61，把解码的子视 频数据发给图像显示部分69。
元数据提取部分61提取包括在从解码器68供给的主视频数据中 的特征参数作为元数据，并把提取的元数据登记在元数据DB 62中作 为元数据文件MDF，以及把该元数据文件MDF发给坐标计算部分 67。
坐标计算部分67生成三维显示空间，其中通过计算对显示轴设 置从显示空间控制器66供给的特征参数，把由将在各个显示窗口W57 上显示的视频数据的特征参数代表的特征量转换成三维显示空间中 的坐标参数，并按照获得的坐标参数值，确定在三维显示空间上的布 置。随后，根据相对于包括将在三维显示空间上布置的多个显示窗口 W57的图像组58的视点坐标，以及各个显示窗口W57的位置，坐标 计算部分67确定每个显示窗口W57的显示尺寸，并把和每个显示窗 口W57的显示有关的各种信息(显示参数)发给图像显示部分69。
图像显示部分69使用从坐标计算部分67接收到的坐标参数来确 定从解码器68供给的子视频数据在三维显示空间上布置的三维坐标 位置(坐标参数)，并在三维显示空间上布置与子视频数据对应的显示 窗口W57。在对与其它视频数据对应的显示窗口W57执行上述处理 之后，图像显示部分69把多个显示窗口W57的三维坐标参数转换成 显示区55的二维坐标位置(显示位置参数)，从而在显示区55上显示 包括多个显示窗口W57的图像组58。
(2-3-3)第三配置例子
参见图6，图6中，与图5中的组件相同的组件用与图5中的对 应部分相同的附图标记表示，显示空间控制器66识别对用户通过GUI 65指定的三维显示空间的显示轴设置的特征参数，或者识别向用户呈 现图像组58的视点坐标。此外，显示空间控制器66做出关于所述显 示的各种确定，比如确定在三维显示空间上对用户选择的视频数据的 布置，并把该确定发给坐标计算部分67。
于是，显示空间控制器66根据确定结果，把构成视频数据的画 面的帧编号输出给元数据和视频数据库(下面称为“元数据/视频 DB)”70。
元数据/视频DB 70保存图像拍摄设备拍摄和编码的主视频流 HD1，以及通过对经减少主图像数据的像素数目而获得的子视频数据 编码得到的子视频流LD1。当通过显示窗口57显示视频数据的重放 图像时，元数据/视频DB 70把与帧编号对应的子视频流LD1发给解 码器68。当以放大的方式显示视频数据的重放图像时，元数据/视频 DB 70把与帧编号对应的主视频流HD1发给解码器68。
此外，元数据/视频DB 70把包括在主视频数据中的特征参数保 存为元数据文件MDF，所述主视频数据由包括在图像拍摄设备中的 元数据提取部分在拍摄主视频数据的时候提取。
于是，元数据/视频DB 70把与从显示空间控制器66供给的帧编 号对应的特征参数作为元数据文件MDF发给坐标计算部分67。
坐标计算部分67生成三维显示空间，其中通过计算对显示轴设 置从显示空间控制器66供给的特征参数，把将在各个显示窗口W57 上显示的视频数据的特征参数转换成三维显示空间中的坐标参数，并 按照获得的坐标参数值，确定在三维显示空间上的布置。随后，根据 对应于包括将在三维显示空间上布置的多个显示窗口W57的图像组 58的视点坐标，以及各个显示窗口的位置，坐标计算部分67确定每 个显示窗口W57的显示尺寸，并把和每个显示窗口W57的显示有关 的各种信息发给图像显示部分69。
解码器68对从元数据/视频DB 70供给的子视频流LD1或主视 频流HD1解码，并把解码的主视频数据或子视频数据发给图像显示 部分69。
图像显示部分69使用从坐标计算部分67接收到的坐标参数来确 定从解码器68供给的子视频数据在三维显示空间上布置的三维坐标 位置(坐标参数)，并在三维显示空间上布置与子视频数据对应的显示 窗口W57。在对与其它视频数据对应的显示窗口W57执行上述处理 之后，图像显示部分69把多个显示窗口W57的三维坐标参数转换成 显示区55的二维坐标位置(显示位置参数)，从而在显示区55上显示 包括多个显示窗口W57的图像组58。
(2-4)元数据提取部分的具体配置
下面将说明上面提及的元数据提取部分61的具体配置。如图7 中所示，元数据提取部分61包括密度信息计算部分71，运动检测部 分72，DCT垂直/水平频率分量检测部分73，颜色分量检测部分76， 音频检测部分80，亮度/色差检测部分83，和元数据文件生成部分86， 以便提取特征参数，所述特征参数包括与构成视频数据的每个画面的 密度(复杂度)，运动向量，DCT(离散余弦变换)垂直/水平频率分量， 颜色分量和音频电平对应的各种特征量。元数据提取部分61可包括 用于提取除上述之外的参数的特征量的附加检测部分。
(2-4-1)密度信息计算部分的配置
密度信息计算部分71包括平均值计算部分1071，差值计算部分 1072和累加部分1073。视频数据被供给平均值计算部分1071和差值 计算部分1072。
平均值计算部分1071顺序地把构成视频数据的各帧设置成目标 帧，并把目标帧分成例如如图8中所示的8×8像素块。此外，平均值 计算部分1071计算目标帧上的各个块的像素值的平均值，并把所获 得的平均值供给差值计算部分1072。
这里假定对于8×8像素块，按照光栅扫描顺序的第k个像素的 像素值为Pk，平均值计算部分1071按照下面的表达式计算平均值 Pave：
Pave＝1/(8×8)×∑Pk
其中求和∑表示从k＝1到k＝64(＝8×8)相对于k的求和。
差值计算部分1072按照和平均值计算部分1071相同的方式把目 标帧分成例如8×8像素块，并计算每个块的像素值Pk与8×8像素块 的像素值的平均值Pave之间的差值的绝对值|Pk-Pave|，并顺序把所 获得的值提供给累加部分1073。
累加部分1073累加顺序地从差值计算部分1072供给的对于各个 块的相应像素计算的差值的绝对值|Pk-Pave|，从而获得累加值 Q＝∑|Pk-Pave|，其中求和∑表示从k＝1到k＝64(＝8×8)相对于k的求 和。
此外，累加部分1073计算对于目标帧的所有块获得的累加值Q 的总和，并把所述总和输出给元数据文件生成部分86作为目标帧密 度信息QS1。
对于目标帧获得的累加值Q的总和被称为“Intra-AC”。Intra-AC 的值变得越大，那么在目标帧中的像素值中存在更大的变差。于是， 可以认为当作为累加值Q的总和的密度信息QS1变得更大时，目标 帧的静止图像变得更密集(更复杂)。
(2-4-2)运动检测部分的配置
在运动检测部分72(图7)中，如图9中所示，运动向量检测部分 1041把在先帧分成均具有16×16像素的宏块，并检测目标帧中与在先 帧中的每个宏块最相似的16×16像素块(下面称为“相似块”)中的每一 个。随后，运动向量检测部分1041计算始于该宏块的左上部，并止 于相似块的左上部的向量，作为该宏块的运动向量ΔF0(h，v)。
现在假定在先帧中从左端起的第h个和从上端起的第v个宏块的 位置由F0(h，v)表示，并且目标帧中已从宏块F0(h，v)移动与运动向量 ΔF0(h，v)对应的距离的16×16像素块，即相似块的位置由F1(h，v)表示， 那么宏块F0(h，v)的运动向量ΔF0(h，v)由下面的表达式表示：
ΔF0(h，v)＝F1(h，v)-F0(h，v)
统计量计算部分1042计算对于在先帧中的宏块获得的运动向量 的统计量。更具体地说，统计量计算部分1042计算在先帧中的所有 宏块的运动向量ΔF0(h，v)的量值的总和D0＝∑|ΔF0(h，v)|，并输出所获 得的总和D0作为目标帧的运动信息。
上述表达式：D0＝∑|ΔF0(h，v)|中的求和∑表示相对于h(h＝1～h＝ 在先帧中的宏块的水平数目)和v(v＝1～v＝在先帧中的宏块的垂直数 目)的求和。
在先帧中的每个宏块F0(h，v)的运动向量ΔF0(h，v)的量值越大， 作为运动向量的总和的运动信息D0变得越大。于是，可以认为当目 标帧的运动信息D0变得更大时，目标帧的图像的运动变得更大(更剧 烈)。
在上面的情况下，作为对于在先帧中的宏块获得的运动向量的统 计量，获得在先帧中的所有宏块的运动向量ΔF0(h，v)的量值的总和 D0＝∑|ΔF0(h，v)|。但是，作为选择，对于在先帧中的宏块获得的运动 向量的离差可被用作统计量。
这种情况下，统计量计算部分1042计算在先帧中的所有宏块的 运动向量ΔF0(h，v)的平均值Δave，并例如利用下面的表达式计算在先 帧中的所有宏块F0(h，v)的运动向量ΔF0(h，v)的离差σ0：
σ0＝∑(ΔF0(h，v)-Δave)/2
其中求和∑表示相对于h(h＝1～h＝在先帧中的宏块的水平数目)和 v(v＝1～v＝在先帧中的宏块的垂直数目)的求和。
和总和D0的情况一样，当目标帧的图像的运动变得更大(更剧烈) 时，离差σ0变得更大。
图10表示图7的运动检测部分72的另一配置。该运动检测部分 72A包括直方图创建部分1051，直方图存储部分1052和差值计算部 分1053。
当视频数据被供给直方图创建部分1051时，直方图创建部分 1051顺序地把构成视频数据的帧设置成目标帧，创建目标帧的像素值 的简单直方图，并把为每个目标创建的直方图供给直方图存储部分 1052和差值计算部分1053。
直方图存储部分1052保存从直方图创建部分1051供给的目标帧 的直方图。直方图存储部分1052具有大到足以保存至少与两帧对应 的直方图的存储容量，从而保存从直方图创建部分1051供给的目标 帧的直方图和在先目标帧(即，在先帧)的直方图。
差值计算部分1053计算从直方图创建部分1051供给的目标帧的 直方图与保存在直方图存储部分1052中的在先帧的直方图的差值绝 对值总和(后面说明)，并输出计算结果作为目标帧的运动信息D0。
参考图11，更详细地说明在图10的运动检测部分72A中进行的 上述处理。假定供给直方图创建部分1051的视频数据的像素值通过8 位以值0～255表示，那么直方图创建部分1051把0～255的范围均 分成例如八个小范围0-31，32-63，64-95，96-127，127-159，160-191， 192-223和224-255，并计算包括在每个小范围中的像素值的出现频 率，从而创建目标帧的简单直方图。
例如，假定第(i+1)帧是目标帧，差值计算部分1053计算在相同 的小范围中，作为目标帧的第(i+1)帧中的频率和作为在先帧的第i帧 中的频率之间的差值的绝对值Δ(图11中的阴影部分)。此外，差值计 算部分1053计算对于直方图中的相应8个小范围获得的频率的差值 的绝对值的总和(差值绝对值总和)∑Δ，并把获得的总和∑Δ作为目标 帧的运动信息D0输出给元数据文件生成部分86。
当目标帧的运动较大(剧烈)时，目标帧中的像素值的频率分布不 同于在先帧中的像素值的频率分布。于是，可以认为当目标帧的差值 绝对值总和∑Δ变得更大时，目标帧的图像的运动变得更大(更剧烈)。
(2-4-3)DCT垂直/水平频率分量检测部分的配置
图12表示DCT垂直/水平频率分量检测部分73(图7)中的频率分 析部分74的配置例子。频率分析部分74包括DCT变换部分1061， 加权系数计算部分1062和累加部分1063。
当视频数据被供给DCT变换部分1061时，DCT变换部分1061 顺序地把构成视频数据的帧设置成目标帧，并把目标帧分成8×8像素 块。此外，DCT变换部分1061DCT变换目标帧中的各块，并把对于 各块获得的8×8DCT系数供给累加部分1063。
加权系数计算部分1062计算将分别加到8×8DCT系数中的权 重，并把所述权重供给累加部分1063。累加部分1063把从加权系数 计算部分1062供给的权重分别和从DCT变换部分1061供给的8×8 DCT系数相加，以便进行累加，从而获得每个块的累加值。另外，累 加部分1063计算对于各个块获得的累加值的总和，并把所述总和发 给垂直线/水平线级别计算部分75(图7)作为目标帧的密度信息。
参见图13，更详细地说明在图12的频率分析部分74中执行的 处理。图13的左侧表示在DCT变换之后的基本图像。该基本图像由 8×8图案(频率分量)构成。在该基本图像中，朝着右侧和下方，频率 分量变高。
图13的右侧示出DCT系数F(i-1，j-1)，它是每个块的8×8DCT 系数中从左侧起的第i个(i＝1，2，...，8)，从顶部起的第j个(j＝1，2，...， 8)DCT系数。DCT系数F(i-1，j-1)表示基本图像的从左侧起的第i个， 从顶部起的第j个图案的频率分量被包含在基本图像中的程度(比率)。
出现在图13的左侧的基本图像中的数字都指示由图12的加权系 数计算部分1062计算的权重G(i-1，j-1)。权重G(i-1，j-1)是将加到DCT 系数F(i-1，j-1)中的权重。加权系数计算部分1062按照下面的表达式 计算权重G(i-1，j-1)：
G(i-1，j-1)＝i×j
因此，在加权系数计算部分1062中，当DCT系数F(i-1，j-1)的频率分 量变亮时，将加到DCT系数F(i-1，j-1)中的权重G(i-1，j-1)变大。
累加部分1063(图12)把从DCT变换部分1061供给的块的DCT 系数F(i-1，j-1)乘以从加权系数计算部分1062供给的权重G(i-1，j-1)， 以获得乘积值G(i-1，j-1)×F(i-1，j-1)。随后，累加部分1063累加对于块 中的各8×8DCT系数F(i-1，j-1)获得的乘积值G(i-1，j-1)×F(i-1，j-1)，以 获得累加值V＝∑G(i-1，j-1)×F(i-1，j-1)。V＝∑G(i-1，j-1)×F(i-1，j-1)中的求 和∑表示相对于i(i＝1～i＝8)和j(j＝1～j＝8)的求和。
此外，累加部分1063计算对于目标帧的所有块获得的累加值V 的总和K，并把总和K输出给垂直线/水平线级别计算部分75，作为 目标帧的密度信息。
包括在目标帧中的频率分量越高，作为累加值V的总和K的密 度信息的值就越大，目标帧的静止图像就越密集(越复杂)。
DCT垂直/水平频率分量检测部分73的垂直线/水平线级别计算 部分75根据目标帧的区域AR1中的DCT系数，检测到目标帧的图 像包括细的垂直线，即，该图像在水平方向上具有高频分量，或者根 据目标帧的区域AR2中的DCT系数，检测到目标帧的图像包括细的 水平线，即，该图像在垂直方向上具有高频分量。
从而，DCT垂直/水平频率分量检测部分73能够利用频率分析 部分74，确定目标帧的图像的密度(复杂度)级别，并利用垂直线/水平 线级别计算部分75确定水平频率和垂直频率的级别。所获得的信息 随后作为DCT垂直/水平频率分量信息FVH被输出给元数据文件生 成部分86。
(2-4-4)颜色分量检测部分的配置
颜色分量检测部分76包括像素RGB级别检测部分77，RGB级 别统计量/离差检测部分78，和HLS级别统计量/离差检测部分79。 供给的视频数据被输入像素RGB级别检测部分77。
像素RGB级别检测部分77检测视频数据的目标帧中的每个像 素的RGB级别，并把检测到的RGB级别发给RGB级别统计量/离差 检测部分78和HLS级别统计量/离差检测部分79。
RGB级别统计量/离差检测部分78计算从像素RGB级别检测部 分77供给的目标帧中的每个像素的RGB级别的统计量和离差，并把 代表目标帧中的RGB的各颜色分量的级别的统计量，和代表是全局 还是局部地增加目标帧中的颜色分量的离差值作为颜色分量信息 CL1输出给元数据文件生成部分86。
HLS级别统计量/离差检测部分79把从像素RGB级别检测部分 77供给的目标帧中的每个像素的RGB级别转换成“色调”、“饱和度” 和“亮度/明度”三个分量，计算在如图14中所示由色调、饱和度和亮 度构成的HLS空间中上述元素中的每一个的统计量和离差值，并把 检测结果作为HLS信息CL2输出给元数据文件生成部分86。
HLS空间中的色调由从0°到359°的角度表示，其中0°为红色， 180°为与红色相对的蓝绿色。即，在HLS空间中，易于找出相对的颜 色。
HLS空间中的饱和度是彩色的混合率。和HSV(色调，饱和度和 明暗关系)空间不同，HLS空间是基于从纯色降低饱和度意味着该颜 色具有更多的灰色的思想的。即，较低的饱和度意味着该颜色接近灰 色，较高的饱和度意味着该颜色远离灰色。
与其中亮度100％被设置成纯色，并且表现从100％亮度状态失 去多少亮度级别的HSV空间的情况不同，HLS空间中的亮度是其中 亮度0％为黑色，亮度100％为白色，亮度50％为纯白色的索引。
于是，HLS级别统计量/离差检测部分79能够向元数据文件生成 部分86输出HLS信息CL2，HLS信息CL2以远远比RGB空间更好 理解的方式表现色调。
(2-4-5)音频检测部分的配置
在上面的说明中，特征参数提取自视频数据。但是，在音频数据 包括在AV数据中的情况下，可根据与视频数据对应的音频数据计算 代表音频数据的特征的特征量，作为特征参数。即，特征参数是既可 应用于视频数据又可应用于音频数据的参数。
音频检测部分80(图7)包括频率分析部分81和电平检测部分82。 供给音频检测部分80的视频数据被输入到频率分析部分81中。
频率分析部分81分析与视频数据的目标帧对应的音频数据的频 率，并把其频带通知电平检测部分82。电平检测部分82检测在从频 率分析部分81通知的频带中音频数据的电平，并把检测的电平作为 音频电平信息AL输出给元数据文件生成部分86。
(2-4-6)亮度/色差检测部分的配置
亮度/色差检测部分83(图7)包括Y/Cb/Cr级别检测部分84和 Y/Cb/Cr级别统计量/离差检测部分85。供给亮度/色差检测部分83的 视频数据被输入到Y/Cb/Cr级别检测部分84中。
Y/Cb/Cr级别检测部分84对于视频数据的目标帧中的每个像素， 检测亮度信号Y的亮度级别和色差信号Cb及Cr的信号级别，并把 检测到的级别供给Y/Cb/Cr级别统计量/离差检测部分85。
Y/Cb/Cr级别统计量/离差检测部分85计算从Y/Cb/Cr级别检测 部分84供给的目标帧中的每个像素的亮度信号Y的亮度级别和色差 信号Cb及Cr的信号级别的统计量和离差值，并把代表亮度信号Y， 色差信号Cb和Cr的级别的统计量，和目标帧中的亮度信号Y，色差 信号Cb和Cr的离差值作为颜色分量信息CL3输出给元数据文件生 成部分86。
(2-4-7)元数据文件生成部分的配置
根据从密度信息计算部分71供给的密度信息QS1，从运动检测 部分72供给的目标帧的运动信息D0，从DCT垂直/水平频率分量检 测部分73供给的DCT垂直/水平频率分量信息FVH，从颜色分量检 测部分76供给的颜色分量信息CL1和HLS信息CL2，从音频检测 部分80供给的音频电平信息AL，和从亮度/色差检测部分83供给的 颜色分量信息CL3，元数据文件生成部分86分别产生构成视频数据 的画面的特征参数，和与视频数据对应的音频数据的特征参数，作为 包括元数据的元数据文件MDF，并输出它们。
在元数据文件MDF中，如图15中所示，为构成视频数据的各 个画面(从第一帧到最后一帧)登记各种特征参数，比如“时间代码”， “运动量”，“密度”，“红”，“蓝”，“绿”，“亮度”，“红色离差 (dispersion)”，“绿色离差”，“色调”，“饱和度”，“垂直线”，“水平线”， “运动离差”和“音频电平”。
尽管在本例中，0和1之间的归一化相对值被用作元数据文件 MDF的各特征参数中的特征量值，不过也可以使用绝对值。此外， 元数据文件MDF的内容并不局限于上面提及的特征参数。例如，在 显示窗口W57已经被布置在三维显示空间上之后，实际布置显示窗 口W57的三维显示空间上的坐标值可被登记成元数据。
在图像处理设备2中，当如上所述把三维显示空间上的坐标值登 记在元数据文件MDF中时，不必为了把视频数据的下一个显示窗口 W57布置在三维显示空间上，而根据特征参数另外计算三维显示空间 中的坐标参数，从而能够立刻把显示窗口W57布置在三维显示空间 上。
(2-5)显示处理程序
下面利用流程图具体说明由图像处理设备2的微处理器3执行的 对于视频数据的显示处理程序和对于多个视频数据的显示处理程序。
(2-5-1)对于视频数据的画面(静止图像)的分类显示处理程序
如图16中所示，图像处理设备2的微处理器3执行例程RT1的 初始化步骤，并进入下一步骤SP1，在步骤SP1，微处理器3确定用 户指定的三维显示空间的显示轴，和向用户显示图像组58的视点坐 标，之后进入步骤SP2。
在步骤SP1，图像处理设备2的微处理器3能够确定显示轴，从 而生成各种三维显示空间，比如由代表RGB的颜色分量的R轴，G 轴和B轴定义的三维显示空间(图17(A))；由亮度级别轴，R轴和B 轴定义的三维显示空间(图17(B))；由运动向量轴，Cb轴和Cr轴定 义的三维显示空间(图17(C))；由密度信息轴，亮度级别轴和色调轴定 义的三维显示空间(图17(D))；由R轴，DCT垂直频率轴和DCT水 平频率轴定义的三维显示空间(图17(E))；由DCT垂直频率轴，Cb 轴和Cr轴定义的三维显示空间(图17(F))；和由作为HLS空间的元素 的L(亮度)轴，H(色调)轴和S(饱和度)轴定义的三维显示空间(图 17(G))。但是，用于生成三维显示空间的显示轴并不局限于上面所述， 相反，可以把登记在元数据文件中的特征参数的另一组合用作显示 轴。
在步骤SP2中，图像处理设备2的微处理器3识别用户指定的 待重放的视频数据的画面(静止图像)，随后进入步骤SP3。在步骤SP3， 微处理器3把该静止图像设置成目标帧，解码其子视频流LD1，把解 码的子视频数据传给GPU 4，并进入步骤SP4。
在步骤SP4，图像处理设备2的微处理器3询问用作三维显示空 间的显示轴的特征参数的特征量，从与该静止图像关联的元数据文件 MFD接收它们，并进入步骤SP5。
在步骤SP5，图像处理设备2的微处理器3根据在步骤SP4中接 收到的特征参数的特征量，计算在其上粘贴静止图像的显示窗口W57 的三维显示空间上的坐标位置(坐标参数)，并进入步骤SP6。即，图 像处理设备2的微处理器3把静止图像具有的与显示轴对应的特征量 转换成三维显示空间上的坐标值。
在步骤SP6中，图像处理设备2的微处理器3确定当前静止图 像是否是待显示的最后图像。当获得肯定的结果(这意味用户未指定除 当前静止图像之外的静止图像，即，不存在待显示的任何其它显示窗 口W57)时，微处理器3进入步骤SP7。
另一方面，当在步骤SP6中获得否定结果(这意味用户指定了除 当前静止图像之外的视频数据的画面(静止图像)，即，存在与待显示 的静止图像的另一显示窗口W57)时，图像处理设备2的微处理器3 返回步骤SP2，重复上述处理，从而按照在各静止图像的特征参数中 设置的特征量，为与多个静止图像对应的多个显示窗口W57计算在 三维显示空间上的坐标位置。
在步骤SP7中，图像处理设备2的微处理器3使得GPU 4能够 根据在步骤SP5中计算的坐标参数(坐标位置)，把与静止图像对应的 显示窗口W57粘贴在三维显示空间上，根据在步骤SP1中确定的视 点坐标，把三维显示空间上的坐标参数(坐标位置)转换成显示区55的 二维屏幕上的二维坐标位置(显示位置参数)，确定每个显示窗口W57 的显示尺寸，并在二维坐标位置上画出显示窗口W57以供显示。之 后，图像处理设备2的微处理器3进入步骤SP8。
此时，在用户指定多个视频数据的静止图像(画面)的情况下，图 像处理设备2的微处理器3按照静止图像的特征参数，在相应的坐标 位置(由坐标参数代表的位置)上布置与多个静止图像对应的多个显示 窗口W57，作为由所述多个显示窗口W57构成的图像组58。
在步骤SP8中，图像处理设备2的微处理器3根据用户是否已 经发出了终止指令，或者是否已经过去了预定的时间，确定是否结束 对显示窗口W57的显示处理。当获得了肯定的结果时，微处理器3 进入步骤SP11，结束显示处理。
另一方面，当在步骤SP8中获得了否定结果时，图像处理设备2 的微处理器3进入步骤SP9，而不结束对显示窗口W57的显示处理。 在步骤SP9中，图像处理设备2的微处理器3进行等待，直到显示窗 口W57的视点坐标被用户的光标操作改变为止，随后进入下一步骤 SP10。
在步骤SP10，图像处理设备2的微处理器3确定显示窗口W57 的视点坐标是否已被用户实际改变。当获得否定的结果时，微处理器 3返回步骤SP7，在步骤SP7，微处理器3继续在初始坐标位置显示 静止图像的显示窗口W57。另一方面，当获得肯定的结果时，微处理 器3返回步骤SP1，在步骤SP1中，微处理器3确定变化后的新的视 点坐标，重复步骤SP2和后续步骤的处理，并根据新的视点坐标在三 维显示空间上重新布置显示窗口W57。
当根据新的视点坐标在三维显示空间上重新布置显示窗口W57 时，图像处理设备2的微处理器3布置显示窗口W57，使得显示窗口 W57总是被设置成正对用户，而与视点的变化无关，从而使得用户总 是能够从正面视觉地确认显示窗口W57。
如上所述，图像处理设备2的微处理器3能够按照视频数据的静 止图像具有的特征参数，把静止图像的显示窗口W57布置在三维显 示空间上的坐标位置。从而，在指定多个视频数据的画面(静止图像) 的情况下，微处理器3能够把所述多个静止图像呈现成由与多个视频 数据对应的静止图像的显示窗口W57构成的图像组58(图3)，从而使 用户能够通过图像组58，以一个图像的方式直观地掌握多个视频数据 的总趋势。
在与视频数据的画面(静止图像)对应的显示窗口W57被布置在 例如由DCT水平频率轴，R轴和G轴定义的三维显示空间上的状态 下，当通过用户的放大操作，视点坐标被移动到偏向DCT水平频率 轴的水平频率较高的位置时，图像处理设备2的微处理器3能够呈现 一个放大图像组58Z1，其中大量的具有细的垂直线的静止图像的显 示窗口W57被布置在DCT水平频率轴附近，如图18中所示。
此外，在与视频数据的静止图像对应的显示窗口W57被布置在 例如由DCT水平频率轴，R轴和G轴定义的三维显示空间上的状态 下，当通过用户的放大操作，视点坐标被移动到偏向R轴的R值较 大的位置时，图像处理设备2的微处理器3能够呈现一个放大图像组 58Z2，其中大量的具有较强红色分量的静止图像的显示窗口W57被 布置在R轴附近，如图19中所示。
此外，在与视频数据的静止图像对应的显示窗口W57被布置在 例如由DCT水平频率轴，R轴和G轴定义的三维显示空间上的状态 下，当通过用户的放大操作，视点坐标被移动到偏向G轴的G值较 大的位置时，图像处理设备2的微处理器3能够呈现一个放大图像组 58Z3，其中大量的具有较强绿色分量的静止图像的显示窗口W57被 布置在G轴附近，如图20中所示。
(2-5-2)视频数据(运动画面)的分类显示处理程序
下面说明视频数据(运动画面)的显示处理程序。视频数据(运动画 面)的显示处理程序基于上和上面提及的关于视频数据的画面(静止图 像)的显示处理例程RT1相同。即，每次按照预定的帧频率更新构成 视频数据的画面(静止图像)时，执行和对于静止图像的显示处理例程 RT1相同的处理。
具体地说，如图21中所示，图像处理设备2的微处理器3执行 例程RT2的初始化步骤，并进入下一步骤SP21，在步骤SP21，微处 理器3确定用户指定的三维显示空间的显示轴，和向用户显示图像组 58的视点坐标，之后进入步骤SP22。
在步骤SP22中，图像处理设备2的微处理器3识别用户指定的 待重放的视频数据的静止图像，随后进入步骤SP23。在步骤SP23中， 图像处理设备2的微处理器3把静止图像设置成目标帧，解码其子视 频流LD1，把解码的子视频数据传给GPU 4，并进入步骤SP24。
在步骤SP24，图像处理设备2的微处理器3询问用作三维显示 空间的显示轴的特征参数的特征量，从与静止图像关联的元数据文件 MDF接收它们，并进入步骤SP25。
在步骤SP25中，图像处理设备2的微处理器3根据在步骤SP24 中接收到的特征参数的特征量，计算在其上粘贴与构成视频数据的静 止图像对应的显示窗口W57的三维显示空间上的坐标参数(坐标位 置)，并进入下一子例程SRT1。即，图像处理设备2的微处理器3把 特征参数的特征量转换成三维显示空间的坐标参数(坐标位置)，所述 三维显示空间具有显示轴，对显示轴设置构成视频数据的各个画面(静 止图像)所具有的特征参数。
在子例程SRT1中，图像处理设备2的微处理器3根据先前显示 的静止图像的三维显示空间上的坐标参数(坐标位置)和将在更新之后 显示的静止图像的三维显示空间上的坐标参数(坐标位置)之间的相互 位置关系，进行坐标补偿处理，以计算补偿的坐标，并进入步骤SP26。 子例程SRT1中的该坐标补偿处理程序将在后面说明。
在步骤SP26中，图像处理设备2的微处理器3使得GPU 4能够 根据在步骤SP25中计算的三维显示空间上的坐标位置，或者在子例 程SRT1中获得的补偿坐标，在三维显示空间上粘贴与构成视频数据 的静止图像对应的显示窗口W57，根据在步骤SP21中确定的视点坐 标，把三维显示空间上的坐标位置转换成显示区55上的二维屏幕上 的二维坐标位置(显示位置参数)，确定每个显示窗口W57的显示尺 寸，并按照静止图像的更新顺序在二维坐标位置上画出显示窗口W57 以供显示。之后，图像处理设备2的微处理器3进入步骤SP27。
在步骤SP27中，图像处理设备2的微处理器3根据用户是否已 经发出了终止指令，或者是否已经过去了预定的时间，确定是否终止 对与视频数据的静止图像对应的显示窗口W57的显示处理。当获得 肯定的结果时，微处理器3进入步骤SP28，在步骤SP28中，微处理 器3结束对显示窗口W57的显示处理。
另一方面，当在步骤SP27中获得否定结果时，图像处理设备2 的微处理器3不结束对显示窗口W57的显示处理，而是返回步骤 SP21，在步骤SP21，微处理器3执行对与接下来要指定的视频数据 对应的显示窗口W57的显示处理。
如上所述，图像处理设备2的微处理器3在对显示轴设置构成视 频数据的静止图像所具有的特征参数的三维显示空间上的坐标位置 上，布置静止图像的显示窗口W57，并且根据每次按照预定帧频率更 新布置在三维显示空间上的显示窗口W57的静止图像时产生的静止 图像的特征参数的特征量的变化，改变三维显示空间上的坐标位置(坐 标参数)以便重新布置，从而使用户产生每次更新显示窗口W57的静 止图像时，显示窗口W57好像以浮动的方式在三维显示空间上移动 的印象。当显示窗口W57的运动图像随着重放图像的前进而改变时， 这使得用户能够直观并且立即识别视频数据的时序特征(趋势)。
(2-5-3)对多个视频数据(运动画面)的同时显示处理程序
下面，说明对多个视频数据的显示处理程序。对多个视频数据的 显示处理程序基本上与上面提及的对一个视频数据的显示处理例程 RT2相同。即，图像处理设备2的微处理器3并行地同时执行对每个 视频数据的显示处理，以便在改变三维显示空间上的位置的同时，按 照每次更新各静止图像时发生的静止图像的特征参数的变化，以运动 的方式显示显示窗口W57。
具体地说，如图22中所示，图像处理设备2的微处理器3执行 例程RT3的初始化步骤，并进入下一步骤SP31，在步骤SP31中， 微处理器3确定用户指定的三维显示空间的显示轴，和对用户显示图 像组58的视点坐标，之后进入步骤SP32。
在步骤SP32中，图像处理设备2的微处理器3识别用户指定的 待重放的多个视频数据的相应的静止图像，随后进入步骤SP33、SP36 和SP39。
在步骤SP33、SP36和SP39中，图像处理设备2的微处理器3 把静止图像设置成目标帧，解码它们的子视频流LD1，把解码的子视 频数据分别传给GPU 4，并进入步骤SP34、SP37和SP40。
在步骤SP34、SP37和SP40中，图像处理设备2的微处理器3 询问用作三维显示空间的显示轴的特征参数的特征量，从与各静止图 像关联的元数据文件MDF接收它们，并进入后续步骤SP35、SP38 和SP41。
在步骤SP35、SP38和SP41中，图像处理设备2的微处理器3 根据在步骤SP34、SP37和SP40中接收到的特征参数的特征量，计 算在其上粘贴与构成各视频数据的静止图像对应的显示窗口W57的 三维显示空间上的坐标参数(坐标位置)，并进入下一子例程SRT1。即， 图像处理设备2的微处理器3把特征参数的特征量转换成三维显示空 间的坐标参数(坐标位置)，所述三维显示空间具有显示轴，对显示轴 设置构成多个视频数据的各静止图像所具有的特征参数。
在子例程SRT1中，图像处理设备2的微处理器3根据先前显示 的静止图像的三维显示空间上的坐标参数(坐标位置)和将在更新之后 显示的静止图像的三维显示空间上的坐标参数(坐标位置)之间的相互 位置关系，进行坐标补偿处理，以计算补偿的坐标，并进入步骤SP42。
在步骤SP42中，图像处理设备2的微处理器3使GPU 4能够根 据在步骤SP35、SP38和SP41中计算的三维显示空间上的相应的坐 标位置，在三维显示空间上粘贴与构成视频数据的静止图像对应的显 示窗口W57，根据在步骤SP31中确定的视点坐标，分别把三维显示 空间上的坐标位置转换成显示区55上的二维屏幕上的二维坐标位置 (显示位置参数)，确定各显示窗口W57的显示尺寸，并在二维坐标位 置画出显示窗口W57，从而显示图像组58。之后，图像处理设备2 的微处理器3进入后续步骤SP43。
在步骤SP43中，图像处理设备2的微处理器3根据用户是否已 经发出了终止指令，或者是否已经过去了预定的时间，确定是否终止 对图像组58的显示处理。当获得肯定的结果时，微处理器3进入步 骤SP44，在步骤SP44中，微处理器3结束对由与多个视频数据对应 的多个显示窗口W57构成的图像组58的显示处理。
另一方面，在步骤SP44中获得否定结果，图像处理设备2的微 处理器3不结束对图像组58的显示处理，而是返回步骤SP31，在步 骤SP31，微处理器3执行对与接下来要指定的视频数据对应的显示 窗口W57的显示处理。
如上所述，图像处理设备2的微处理器3按照多个视频数据中的 各静止图像具有的显示轴的特征参数的特征量，在三维显示空间上的 坐标参数(坐标位置)上布置与多个静止图像对应的多个显示窗口 W57，并且根据每次按照预定帧频率更新布置在三维显示空间上的显 示窗口W57的静止图像时产生的静止图像的特征参数的特征量的变 化，分别改变三维显示空间上的坐标参数(坐标位置)以便重新布置， 从而使用户产生每次更新显示窗口W57的静止图像时，显示窗口W57 好像以浮动的方式在三维显示空间上移动的印象。当显示窗口W57 的运动图像随着重放图像的前进而改变时，这使得用户能够直观并且 立即识别多个视频数据的时序特征(趋势)。
即，在构成多个不同视频数据的静止图像的特征彼此非常相似的 情况下，与各视频数据对应的显示窗口W57按照相同的浮动方式沿 相同的方向移动。另一方面，在构成多个不同视频数据的静止图像的 特征彼此不同的情况下，与各视频数据对应的显示窗口W57按照不 同的浮动方式沿不同的方向移动。
因此，当用户选择该用户想要关注的视频数据时，用户易于把注 意力仅仅集中在与所选择的视频数据对应的显示窗口W57上，于是， 通过代表显示窗口W57的运动的变化的有效图像，用户能够容易地 掌握视频数据的特征(趋势)。
具体地说，如图23中所示，在与给定的视频数据对应的显示窗 口W57的第一静止图像包括与B轴对应的强蓝色分量的情况下，图 像处理设备2的微处理器3按照静止图像具有的对应于B轴的特征参 数代表的特征量，把显示窗口W57布置在屏幕的左下角的位置PO1 处。
在更新视频数据的静止图像之后，图像处理设备2的微处理器3 按照该更新的静止图像中的蓝色分量的特征量，在不同于位置PO1 的位置PO2处重新布置更新的静止图像的显示窗口W57。
在进一步更新视频数据的静止图像之后，图像处理设备2的微处 理器3按照此更新的静止图像中的蓝色分量的特征量，在不同于位置 PO2的位置PO3处重新布置更新的静止图像的显示窗口W57。
如上所述，每次视频数据的静止图像被更新时，在按照各静止图 像的特征参数的特征量改变三维显示空间上的坐标位置的同时，图像 处理设备2的微处理器3重新布置显示窗口W57。这使用户可以视觉 地确认对应于视频数据的显示窗口W57好像以浮动的方式在显示区 55的屏幕上移动的状态。
(2-5-4)坐标补偿处理程序
下面说明例程RT2中的子例程SRT1(图21)的坐标补偿处理程序 和例程RT3中的子例程SRT1(图22)的坐标补偿处理程序。这两个程 序彼此相同。
在图24中所示的坐标补偿处理例程SRT1中，当显示窗口W57 的静止图像被更新，从而使该显示窗口W57按照其静止图像的特征 量顺序移动时，在如图25中所示的场景变化的时候，图像处理设备2 的微处理器3不使显示窗口W57通过单一动作跳到目的地，而是在 调节显示窗口W57的移动速度的同时，使显示窗口W57逐渐移动到 目的地(使显示窗口W57以步进的方式移动)。即，图像处理设备2的 微处理器3执行补偿计算，以获得除初始目的地的坐标之外的补偿坐 标，从而使显示窗口W57一次移动到由补偿坐标代表的位置，于是 使用户能够跟随显示窗口W57的运动。
具体地说，图像处理设备2的微处理器3执行子例程SRT1的初 始化，并进入下一步骤SP61。在步骤SP61，在更新视频数据的静止 图像时，图像处理设备2的微处理器3计算与当前静止图像对应的显 示窗口W57的三维显示空间上的当前坐标(位置POn)和与下一静止 图像对应的显示窗口W57的三维显示空间上的目的地坐标(位置 POn+1)之间的差值，从而获得假定的移动距离(欧几里德距离)，并进 入步骤SP62。
在步骤SP62中，图像处理设备2的微处理器3计算目的地坐标 和当前坐标，从而获得差值为“1”的向量作为移动方向向量，并进入 步骤SP63。
在步骤SP63中，图像处理设备2的微处理器3确定在步骤SP61 中获得的假定移动距离是否小于预先设置的预定最小移动值。当获得 肯定的结果(这意味假定的移动距离小于最小移动值，即，与当前静止 图像对应的显示窗口W57的位置POn和与下一静止图像对应的显示 窗口W57的位置POn+1之间的距离小到足以使用户能够跟随显示窗 口W57的运动)时，那么图像处理设备2的微处理器3进入下一步骤 SP64。
在步骤SP64中，图像处理设备2的微处理器3认为显示窗口 W57将位于的目的地坐标是按照下一个静止图像的特征量确定的坐 标值本身，把显示窗口W57布置在对应于该坐标值的位置上，并进 入步骤SP68，在步骤SP68中，图像处理设备2的微处理器3结束该 处理流程。
另一方面，当在步骤SP63中获得否定的结果(这意味假定的移动 距离大于最小移动值，即，与当前静止图像对应的显示窗口W57的 位置POn和与下一静止图像对应的显示窗口W57的位置POn+1之间 的距离过大，以致用户难以跟随显示窗口W57的运动)时，图像处理 设备2的微处理器3进入步骤SP65。
在步骤SP65中，图像处理设备2的微处理器3确定在步骤SP61 中获得的假定移动距离的1/2(下面称为“假定移动距离/2”)是否大于预 先设置的预定最大移动距离。当获得肯定的结果(这意味假定移动距离 /2大于最大移动距离，即，与当前静止图像对应的显示窗口W57的 位置POn和与假定移动距离/2对应的补偿坐标位置之间的距离仍然 较大，因此用户难以跟随显示窗口W57的运动)时，那么图像处理设 备2的微处理器3进入下一步骤SP66。
在步骤SP66中，图像处理设备2的微处理器3计算补偿坐标(＝ 当前坐标+移动方向向量×最大移动值)，把计算的补偿坐标设成显示 窗口W57的目的地坐标，并进入步骤SP68，在步骤SP68中，图像 处理设备2的微处理器3结束该处理流程。
另一方面，当在步骤SP65中获得否定的结果(这意味假定移动距 离/2小于最大移动距离，即，与当前静止图像对应的显示窗口W57 的位置POn和与假定移动距离/2对应的补偿坐标位置之间的距离小 到足以使用户能够容易地跟随显示窗口W57的运动)时，那么图像处 理设备2的微处理器3进入步骤SP67。
在步骤SP67中，图像处理设备2的微处理器3计算补偿坐标(＝ 当前坐标+移动方向向量×假定移动距离/2)，把计算的补偿坐标设成显 示窗口W57的目的地坐标，并进入步骤SP68，在步骤SP68中，图 像处理设备2的微处理器3结束该处理流程。
如图26中所示，假定发生场景变化，其中给定视频数据的显示 窗口W57立刻从与此时的静止图像对应的当前坐标位置POn移动到 与下一个静止图像对应的位置POn+1。这种情况下，在显示窗口W57 的位置POn和目的地坐标位置POn+1之间的假定移动距离大于最小 移动距离的情况下，图像处理设备2的微处理器3执行上面的坐标补 偿处理例程SRT1，来计算补偿坐标，以便把显示窗口W57移动与假 定移动距离/2或者最大移动距离对应的量(这种情况下，对应于假定移 动距离/2的坐标位置)，并临时把显示窗口W57布置在与计算的补偿 坐标对应的位置POm以便显示。
此时，图像处理设备2的微处理器3通过显示窗口W57显示场 景变化后的静止图像。但是，作为选择，在场景变化之后的位置POn+1 之前，可通过显示窗口W57显示场景变化之前的静止图像。此外， 可以采用另一种方法，其中在场景变化前后的位置之间的中间位置之 前，通过显示窗口W57显示场景变化之前的静止图像，在所述中间 位置和后续位置，通过显示窗口W57显示场景变化之后的静止图像。
在显示窗口W57的位置POm和与最后更新的静止图像对应的 位置POn+2之间的假定移动距离仍然大于最小移动值的情况下，图 像处理设备2的微处理器3再次计算补偿坐标，以便把显示窗口W57 移动与假定移动距离/2或者最大移动距离对应的量，并临时把显示窗 口W57布置在与计算的补偿坐标对应的位置POm+1以便显示。
随后，在显示窗口W57的位置POm+1和与进一步更新的静止 图像对应的位置POn+3之间的假定移动距离仍然大于最小移动值的 情况下，图像处理设备2的微处理器3再次计算补偿坐标，以便把显 示窗口W57移动与假定移动距离/2或者最大移动距离对应的量，并 临时把显示窗口W57布置在与计算的补偿坐标对应的位置POm+2以 便显示。
之后，在显示窗口W57的位置POm+2和与进一步更新的静止 图像对应的位置POn+4之间的假定移动距离小于最小移动值时的时 刻，图像处理设备2的微处理器3直接把显示窗口W57移动到与假 定移动距离对应的位置POn+4以便显示。
即，当按照预定的帧频率更新对应于视频数据的显示窗口W57 的静止图像，以便以帧为单位按照显示窗口W57的静止图像的特征 参数的特征量重新布置显示窗口W57时，即使由于场景变化的缘故， 需要使显示窗口W57进行较大的跳跃，图像处理设备2的微处理器3 也不使显示窗口W57通过单一动作跳到目的地，而是在以步进的方 式缩短窗口W57的移动距离的同时，使显示窗口W57逐渐接近目的 地，从而在场景变化时，使用户能够跟随显示窗口W57的运动。
(3)重新布置处理
在本发明的图像处理设备2中，即使在三维显示空间上的确定显 示轴上布置视频数据的显示窗口W57之后，也能够按照用户的操作 任意改变定义三维显示空间的显示轴，从而重新布置显示窗口W57。 下面说明对显示窗口W57的这种重新布置处理。
当在三维显示空间上布置视频数据的显示窗口W57之后，用户 通过GUI 65(图4-6)发出改变显示轴的参数的指令时，图像处理设备2 的微处理器3根据新的显示轴重新生成新的三维显示空间。
具体地说，图像处理设备2的微处理器3执行图27中所示的例 程RT4的初始化步骤，并进入下一步骤SP71，在步骤SP71，微处理 器3识别用户相对于显示轴的特征参数改变操作的内容，从而确认与 将从当前显示轴变成的新显示轴对应的特征参数，并进入下一步骤 SP72。
在步骤SP72中，图像处理设备2的微处理器3确定新的三维显 示空间的显示轴和此时设置的视点坐标，并进入步骤SP73。如果视 频坐标没有变化，那么微处理器3使用先前设置的视点坐标，而不进 行修改。
在步骤SP72中，图像处理设备2的微处理器3把通过构成图像 组58的多个显示窗口W57显示的视频数据的静止图像设成目标帧， 询问用作新的三维显示空间的显示轴的特征参数的特征量，从与目标 帧关联的元数据文件MDF接收它们，并进入步骤SP74。
在步骤SP74，图像处理设备2的微处理器3根据在步骤SP73 中接收到的特征参数的特征量，计算在其上粘贴静止图像的显示窗口 W57的新的三维显示空间上的坐标参数(坐标位置)，并进入步骤 SP75。
在步骤SP75，图像处理设备2的微处理器3确定是否不存在将 通过显示窗口W57显示的视频数据的任何其它静止图像。
当获得肯定的结果(这意味不存在待显示的视频数据的任何其它 显示窗口W57)时，微处理器3进入后续步骤SP76。
另一方面，当在步骤SP75中获得否定的结果(这意味存在待显示 的视频数据的另一显示窗口W57)时，图像处理设备2的微处理器3 返回步骤SP72，在步骤SP72，微处理器3重复上述处理，从而按照 各静止图像的特征参数，为与多个视频数据对应的多个显示窗口W57 计算在新的三维显示空间上的坐标位置。
在步骤SP76中，图像处理设备2的微处理器3使GPU 4根据在 步骤SP74中计算的新的三维显示空间的坐标位置，把对应于静止图 像的显示窗口W57粘贴在新的三维显示空间上，根据在步骤SP72中 确定的视点坐标，把三维显示空间上的坐标参数(坐标位置)转换成显 示区55的二维屏幕上的二维坐标位置(显示位置参数)，确定多个显示 窗口W57的显示尺寸，在二维坐标位置画出显示窗口W57以便显示， 从而能够显示由已在新的三维显示空间上重新布置的多个显示窗口 W57构成的图像组58。之后，图像处理设备2的微处理器3进入步 骤SP77。
在步骤SP77中，图像处理设备2的微处理器3根据用户是否已 经发出了终止指令，或者是否已经过去了预定时间，确定是否结束对 图像组58的显示处理。当获得肯定的结果时，微处理器3进入步骤 SP80，在步骤SP80，微处理器3结束图像组58的显示处理。
另一方面，当在步骤SP77中获得否定的结果时，图像处理设备 2的微处理器3进入步骤SP78，而不结束对图像组58的显示处理。 在步骤SP78中，微处理器3进行等待，直到显示窗口W57的视点坐 标被用户的光标操作改变为止，随后进入后续步骤SP79。
在步骤SP79中，微处理器3确定用户是否已经实际改变了显示 窗口W57的视点坐标。当获得否定的结果时，微处理器3返回步骤 SP76，在步骤S76微处理器3继续在初始坐标位置显示图像组58。 另一方面，当获得肯定的结果时，微处理器3返回步骤SP71，在步 骤SP71，微处理器3识别用户相对于显示轴的特征参数改变操作的 内容，以确认与要从当前显示轴变成的新显示轴对应的特征参数，并 重复步骤SP72和后续步骤的处理。
例如，如图28中所示，假定显示窗口W571和W572被布置在 由B轴、DCT垂直频率轴和DCT水平频率轴定义的三维显示空间上。 这种情况下，当定义三维显示空间的显示轴被变成R轴，B轴和G轴 时，图像处理设备2的微处理器3按照与新设置的显示轴对应的视频 数据的静止图像的特征参数的特征量，重新布置显示窗口W571和 W572。
于是，图像处理设备2的微处理器3任意改变定义三维显示空间 的显示轴，以适合用户的重新布置显示窗口W57的需要或偏爱，从 而使得用户能够通过重排结果，直观地掌握视频数据的总体特征(趋 势)。
从而，例如，显示在图28的左侧中的由B轴，DCT垂直频率轴 和DCT水平频率轴定义的三维显示空间上的显示窗口W571和W572 使用户产生窗口W571和W572的静止图像(大海)具有相似特征量的 蓝色分量的印象，而显示在图28的右侧中的由R轴，B轴和G轴定 义的新的三维显示空间上的显示窗口W571和W572使用户产生窗口 W571和W572的静止图像(大海)具有不同特征量的绿色分量和红色 分量的印象。利用这种配置，用户能够容易地管理和搜索视频数据。
(4)组显示处理
此外，在图像处理设备2中，可以分组的方式显示与其具有相似 特征的静止图像对应的显示窗口W57。这里将说明分组显示处理。
例如，如图29(A)和29(B)中所示，在图像处理设备2的微处理 器3中，在对应于多个视频数据的多个显示窗口W571-W578被布置 在三维显示空间上的情况下，当所述多个视频数据被重放时，每次更 新通过显示窗口显示的静止图像时，显示窗口W571-W578沿着相应 的箭头的方向一点一点地移动。
随后，如图29(C)中所示，在视频数据的重放过程中或之后，图 像处理设备2的微处理器3计算相邻的显示窗口之间的距离L1。当 距离L1小于预定阈值TH1时，微处理器3确定相邻静止图像之间特 征量方面的相似性较高；另一方面，当所述距离L1大于预定阈值TH1 时，微处理器3确定相邻静止图像之间特征量方面的相似性较低。例 如，图像处理设备2的微处理器3把具有较高相似性的显示窗口W571 和W573放在一起作为第一组，并给予显示窗口W571和W573的框 架第一预定颜色，类似地，把显示窗口W572、W577和W578放在 一起作为第二组，并给予显示窗口W572、W577和W578的框架第 二预定颜色。
这种情况下，例如就显示窗口W574、W576和W575来说，彼 此之间的距离L1大于阈值TH1，因此相邻静止图像之间特征量方面 的相似性较低，从而图像处理设备2的微处理器3从分组目标中除去 显示窗口W574、W576和W575，并例如降低显示窗口W574、W576 和W575的亮度级别，以产生与第一组和第二组的视觉差异。
具体地说，如图30中所示，图像处理设备2的微处理器3执行 例程RT5的初始化步骤，并进入下一步骤SP91，在步骤SP91中， 微处理器3对于构成显示在显示区55上的图像组58的多个显示窗口 W571-W578，计算相邻的显示窗口W57之间的距离L1，并进入下一 步骤SP92。
在步骤SP92，图像处理设备2的微处理器3比较相邻显示窗口 W57之间的距离L1和预先设置的预定阈值TH1，以确定距离L1是 否小于阈值L1。当获得肯定的结果时，微处理器3进入步骤SP93。
在步骤SP93，由于相邻显示窗口W57之间的距离L1小于阈值 TH1，因此图像处理设备2的微处理器3认为多个显示窗口W57被布 置在三维显示空间上接近的位置，即，显示窗口W57的静止图像的 特征量彼此相似，从而确定显示窗口W57之间的相似性较高，并进 入步骤SP94。
在步骤SP94，图像处理设备2的微处理器3给予被确定为具有 相似性的多个显示窗口W57的显示框架第一或第二预定颜色，从而 把它们显示成具有相似特征量的组，并进入后续步骤SP95。
在步骤SP95中，图像处理设备2的微处理器3确定图像组58 中的所有显示窗口W57的相似性是否都已被确定。当获得否定的结 果时，微处理器3返回步骤SP91，重复上述处理，并且当完成关于 所有显示窗口W57的相似性的确定时，从而获得肯定的结果。随后 处理器3进入步骤SP98，以结束该处理流程。
另一方面，当在步骤SP92中获得否定的结果时，图像处理设备 2的微处理器3进入步骤SP96，在步骤SP96中，因为相邻显示窗口 W57之间的距离L1不小于阈值TH1，因此微处理器3确定相邻的显 示窗口W57不具有相似性，于是两个显示窗口W57不被布置在三维 显示空间上的接近位置，即，相邻显示窗口W57的静止图像的特征 量并不彼此相似，微处理器3进入步骤SP97。
在步骤SP97中，图像处理设备2的微处理器3并不把被确定为 无相似性的相邻显示窗口W57放在一起，而是降低显示窗口W57的 亮度级别，从而使用户能够视觉地确认这些显示窗口W57不能被分 类为一组，从而导致分组的显示窗口W57的突出显示。之后，微处 理器3进入步骤SP98，从而结束该处理流程。
如上所述，在视频数据的重放过程中或之后，图像处理设备2 的微处理器3根据与多个视频数据对应的多个显示窗口W57的静止 图像，确定所述多个显示窗口，从而把图像组58分成具有相似性的 一组和无相似性的一组。此外，图像处理设备2的微处理器3给予属 于具有相似性的一组的显示窗口W57的框架预定颜色，同时降低属 于无相似性的一组的显示窗口W57的亮度级别，从而使用户能够根 据该突出显示，立刻直观地识别图像组58的各显示窗口W57的特征 量的趋势。
图像处理设备2的微处理器3可在开始对多个视频数据的重放处 理之前的时刻，或者每次更新正被重放的视频数据的静止图像时，根 据第一静止图像执行分组显示处理例程RT5。
顺便提及，代替降低无相似性的显示窗口W57的亮度级别，图 像处理设备2的微处理器3可给予无相似性的显示窗口W57与分组 的显示窗口W57相反的颜色。此外，代替给予分组的显示窗口W57 预定颜色，微处理器3可增大分组的显示窗口W57的亮度级别或者 使分组的显示窗口W57闪烁。问题在于，只需要突出显示属于具有 相似性的一组的显示窗口W57，以便把它们和其它显示窗口W57区 分开。
可以产生代表视频数据的特征参数彼此相似，或者把具有相似性 的组表示成一个新的特征参数或关联参数(后面说明)的相似性信息。 例如，为每个视频数据提供用于计数相似性的出现次数的计数器，从 而测量视频数据之间的相似性。这种情况下，可以仅仅自动显示计数 值大于预定阈值的视频数据。
(5)显示应用例子
下面，说明图像处理设备2的微处理器3能够执行的对于显示窗 口W57的显示应用例子。
(5-1)在显示窗口的位置保持固定的情况下，移动三维显示空间时 的显示处理
如上所述，在图像处理设备2中，当对应于视频数据的显示窗口 W57的静止图像被更新时，每个静止图像的特征量被改变。此时，可 以采用这样一种配置，其中在其上静止图像数据的特征量被更新的目 标显示窗口W57的位置不被改变，而是移动三维显示空间和其它显 示窗口W57以便重新布置。这里，将说明这种使目标显示窗口的位 置保持固定的显示处理。
在上面的说明中，在图像处理设备2中，如图23中所示，每次 更新显示窗口W57的静止图像时，在三维显示空间保持固定的情况 下，按照静止图像的特征量布置更新的静止图像的显示窗口W57的 三维显示空间上的坐标参数(坐标位置)被改变，以便以浮动的方式把 显示窗口W57从位置PO1移动到位置PO3。
但是，可以采用这样一种配置，其中在显示区55上固定目标显 示窗口W57的显示位置的状态下，每次更新显示窗口W57的静止图 像时，按照静止图像的特征量移动和/或旋转三维显示空间本身，从而 改变目标显示窗口W57和三维显示空间之间的相对位置关系，使得 其它显示窗口W57以浮动的方式接近或远离固定的目标显示窗口 W57。
具体地说，在如图31中所示位于图23中的位置PO1的显示窗 口W57C的位置被固定到显示区55的屏幕中心位置POc的情况下， 在保持与显示窗口W57C的相对位置关系的同时，图像处理设备2的 微处理器3显示存在于显示窗口W57C周围的其它显示窗口W57。
之后，如图32中所示，当更新显示窗口W57C的静止图像时， 在显示窗口W57C的位置被固定到屏幕中心位置POc的情况下，图 像处理设备2的微处理器3按照更新的静止图像的特征量，移动其它 显示窗口W57和三维显示空间。
类似地，如图33中所示，当进一步更新显示窗口W57C的静止 图像时，在显示窗口W57C的位置始终地被固定到屏幕中心位置POc 的情况下，图像处理设备2的微处理器3按照更新的静止图像的特征 量，移动其它显示窗口W57和三维显示空间。
即，在按照逐帧地变化的静止图像的特征量，移动三维显示空间 和其它显示窗口W57的时候，图像处理设备2的微处理器3通过显 示窗口W57C显示视频数据的重放图像，同时显示窗口W57C的位置 被保持固定到屏幕中心位置POc，从而使关注显示窗口W57C的用户 产生用户他或她自己和显示窗口W57C一起在三维显示空间上移动 的印象，同时消除了用户失去显示窗口W57的轨迹的风险。
下面具体说明在显示窗口W57C的位置保持固定的情况下执行 的这种显示处理程序。如图34中所示，图像处理设备2的微处理器3 执行例程RT6的初始化步骤，并进入下一步骤SP101。
在步骤SP101中，图像处理设备2的微处理器3确定用户指定 的三维显示空间的显示轴，和向用户显示图像组58的视点坐标，之 后进入步骤SP102。
在步骤SP102中，图像处理设备2的微处理器3识别用户指定 的待重放的视频数据的静止图像，随后进入步骤SP103。在步骤SP103 中，微处理器3把该静止图像设置成目标帧，解码其子视频流LD1， 把解码的子视频数据传给GPU 4，随后进入后续步骤SP104。
在步骤SP104中，图像处理设备2的微处理器3询问用作三维 显示空间的显示轴的特征参数的特征量，从与该静止图像关联的元数 据文件MDF接收它们，并进入步骤SP105。
在步骤SP105中，图像处理设备2的微处理器3根据在步骤 SP104中接收到的特征参数的特征量，计算在其上粘贴静止图像的显 示窗口W57C的三维显示空间上的坐标参数(坐标位置)，改变视点坐 标，使得三维显示空间上的坐标位置对应于屏幕中心位置POc，并进 入步骤SP106。
在步骤SP106，在目标帧的显示窗口W57C的位置被固定到屏幕 中心位置POc的状态下，图像处理设备2的微处理器3显示第一静止 图像，重新布置与存在于显示窗口W57C周围的其它视频数据对应的 显示窗口W57，并进入后续步骤SP107。
在步骤SP107，在显示窗口W57C的位置被固定到屏幕中心位置 POc的状态下，图像处理设备2的微处理器3按照例如预定的帧频率 更新显示窗口W57C的静止图像，询问用作显示轴的特征参数的特征 量，从与更新的静止图像关联的元数据文件MDF接收它们，并进入 步骤SP108。
在步骤SP108，在显示窗口W57C的位置被固定到屏幕中心位置 POc的情况下，图像处理设备2的微处理器3使得GPU 4能够按照 更新的静止图像的特征量，重新画出三维显示空间和存在于显示窗口 W57C周围的其它显示窗口W57，并进入步骤SP109。
在步骤SP109，微处理器3根据用户是否已经发出了终止指令， 或者是否已经过去了预定时间，确定是否结束对位于屏幕中心位置 POc的显示窗口W57C的显示处理。当获得肯定的结果时，微处理器 3进入步骤SP10，结束对显示窗口W57C的显示处理。
另一方面，当在步骤SP109中获得否定的结果时，微处理器3 并不结束对位于屏幕中心位置POc的显示窗口W57C的显示处理， 而是返回步骤SP101，重复上述处理。
如上所述，在按照待更新的静止图像的特征量移动三维显示空间 和其它显示窗口W57C的时候，图像处理设备2的微处理器3通过显 示窗口W57C显示视频数据的重放图像，同时显示窗口W57C的位置 被固定到屏幕中心位置POc，从而使用户能够通过显示窗口W57C与 三维显示空间和其它显示窗口W57之间的相对位置关系的变化，直 观地识别目标视频数据的特征。
(5-3)利用子浏览器的放大显示例子
在图像处理设备2的微处理器3中，构成图像组58的各个显示 窗口W57的显示尺寸并不总是足够大。从而，可能存在用户不能通 过显示窗口W57满意地视觉确认视频的重放图像的情况。
为了解决该问题，在图像处理设备2中，当用户通过双击操作从 显示窗口W57中选择图像组58的显示窗口W571和W572时，具有 相对较大尺寸的子浏览器弹出，并按照放大的方式通过子浏览器上的 放大的显示窗口BW571和BW572，显示和通过显示窗口W571和 W572显示的重放图像相同的重放图像，如图35中所示。
借助这种配置，即使当取决于显示窗口W571和W572的位置或 显示尺寸，以很小的尺寸显示重放图像时，图像处理设备2也可使用 放大的显示窗口BW571和BW572，从而使用户能够满意地确认重放 图像的内容，从而易于从与多个视频数据对应的多个显示窗口W57 中搜索用户所希望的视频数据。
图像处理设备2的微处理器3沿着显示区55的边缘布置放大的 显示窗口BW571和BW572，给予显示窗口W571及其对应的放大显 示窗口BW571的框架相同的颜色，给予显示窗口W572及其对应的 放大显示窗口BW572的框架相同的颜色(不同于给予显示窗口W571 和放大的显示窗口BW571的颜色)。
这种配置使得用户能够容易地识别显示在放大的显示窗口 BW571和显示窗口W571上的重放图像，或者显示在放大的显示窗口 BW572和显示窗口W572上的重放图像之间的对应关系。
放大的显示窗口BW571和BW572沿着显示区55的边缘布置， 使得当放大的显示窗口BW571和BW572的数目过度增大时，图像组 58的一些显示窗口可能被放大的显示窗口隐藏。为了避免这种情况， 当放大的显示窗口BW571和BW572的数目超过预定值时，放大的显 示窗口的纵向和横向长度被减小，以减小其整个屏幕尺寸。
(6)显示窗口轨迹显示处理
如上所述，在图像处理设备2中，当通过显示窗口W57显示视 频数据的重放图像时，每次更新构成视频数据的画面(静止图像)时， 三维显示空间上显示窗口W57的位置被改变。在这种配置中，可能 存在在预定时间已经过去之后，位于给定位置的显示窗口W57被移 动到远离先前位置的位置的情况。在这种情况下，用户难以记住在前 一定时，正在重放的图像所具有的特征，其结果是用户无法充分掌握 视频数据的总体特征(趋势)。
鉴于上述问题，在图像处理设备2中，在三维显示空间上移动显 示窗口W57的时候，显示窗口W57的移动过程被显示成轨迹，从而 在视频数据的显示过程中，使得用户能够视觉地确认重放视频数据图 像在过去和/或未来已具有和/或将具有何种特征。从而，即使在显示 视频数据的重放图像之后，用户也能够充分识别视频数据的特征(趋 势)。下面将说明实现上述优点的轨迹显示处理。
(6-1)标准轨迹显示模式
图36表示其中选择完整轨迹显示模式的情况。这种情况下，每 次静止图像被更新时，图像处理设备2的微处理器3沿着箭头的方向 移动视频数据的显示窗口W57，同时把描述与正被显示的静止图像关 联地布置的显示窗口W57的过去移动的轨迹，和描述显示窗口W57 的未来移动的轨迹显示成线条。
当显示过去的轨迹时，图像处理设备2的微处理器3通过连接每 次更新显示窗口W57的静止图像时随同显示窗口W57的移动一起移 动的显示窗口W57的重心，产生线条，并用例如红色把所产生的线 条显示成过去的轨迹。
当显示未来的轨迹时，图像处理设备2的微处理器3根据将从现 在更新的显示窗口W57的静止图像的特征量，计算显示窗口W57将 移到的坐标参数(坐标位置)，通过顺序连接位于计算的坐标位置的显 示窗口W57的未来重心，产生线条，并用例如蓝色把所产生的线条 显示成未来的轨迹。
即，在图像处理设备2中，从显示窗口W57沿向后方向延伸的 过去轨迹被显示成红线，而从显示窗口W57沿向前方向延伸的未来 轨迹被显示成蓝线。如上所述，按照颜色编码的方式显示过去和未来 的轨迹，从而使得用户能够立即直观地识别显示窗口W57将沿哪个 方向移动。
代替按照颜色编码方式显示过去和未来轨迹，图像处理设备2 的微处理器3可采用任何其它显示方式来表示轨迹。例如，可分别用 实线和虚线显示过去的轨迹和未来的轨迹。
尽管在上面的说明中，图像处理设备2的微处理器3既显示显示 窗口W57的过去轨迹，又显示它的未来轨迹，不过按照用户的模式 选择，可以只显示过去轨迹和未来轨迹之一。
下面利用图37的流程图，说明由图像处理设备2的微处理器3 执行的上述轨迹显示处理的程序。
图像处理设备2的微处理器3执行例程RT9的初始化步骤，并 进入下一步骤SP161，在步骤SP161，微处理器3接收用户的选择以 指定其轨迹将被显示的视频数据，并进入步骤SP162。
在步骤SP162中，图像处理设备2的微处理器3识别位于与构 成目标视频数据的各个静止图像对应的位置处的显示窗口W57的重 心，并进入步骤SP163。
在步骤SP163中，图像处理设备2的微处理器3连接在步骤 SP162中识别的重心，从而产生代表描述视频数据的显示窗口W57 的移动轨迹的线条，并进入步骤SP164。
在步骤SP164，图像处理设备2的微处理器3确定用户是否已经 选择了显示过去轨迹的过去轨迹显示模式。当获得肯定的结果时，图 像处理设备2的微处理器3进入步骤SP165，在步骤SP165中，微处 理器3显示从当前显示窗口W57沿过去方向延伸的线条作为过去轨 迹，并进入步骤SP169，从而结束该处理流程。
另一方面，当在步骤SP164中获得否定的结果(这意味用户已经 选择了显示未来轨迹的未来轨迹显示模式，或者显示包括过去和未来 轨迹的整个轨迹的完整轨迹显示模式)时，图像处理设备2的微处理器 3进入步骤SP166。
在步骤SP166中，图像处理设备2的微处理器3确定用户是否 已经选择了未来轨迹显示模式。当获得肯定的结果时，微处理器3进 入步骤SP167，在步骤SP167中，微处理器3显示从当前显示窗口 W57沿未来方向延伸的线条作为未来轨迹，并进入步骤SP169，从而 结束该处理流程。
另一方面，当在步骤SP166中获得否定的结果(这意味用户选择 了完整轨迹显示模式)时，图像处理设备2的微处理器3进入步骤 SP168，在步骤SP168中，微处理器3显示包括从当前显示窗口W57 延伸的过去侧线条和未来侧线条的整个轨迹，并进入步骤SP169，从 而结束该处理流程。
从而，在图像处理设备2的微处理器3中，在相对于显示窗口 W57只显示过去轨迹的情况下，如图38中所示，只有从当前显示窗 口W57沿过去方向(即，沿向后方向)延伸的线条被显示，使得用户获 得运动对象好像在排出空气的同时移动的印象。
此外，在相对于显示窗口W57只显示未来轨迹的情况下，如图 39中所示，只有从当前显示窗口W57沿未来方向(即，沿向前方向) 延伸的线条被显示，使得用户获得运动对象好像在照亮其移动方向的 同时移动的印象。
顺便提及，在显示未来轨迹的情况下，可以采用这样一种配置， 其中一开始并不显示直到结束位置POe(图36)的整个未来轨迹，而只 有从当前显示的显示窗口W57延伸的预定长度的线条被显示成未来 轨迹。当如上所述一开始未向用户呈现结束位置POe时，用户能够欣 赏显示窗口W57的移动，同时估计结束位置POe。
此外，在对显示窗口W57显示包括过去和未来轨迹二者的整个 轨迹的情况下，如图40中所示显示从当前显示窗口W57沿向前方向 和向后方向延伸的线条，使得用户获得好像火车在轨道上移动的印 象。
如上所述，图像处理设备2的微处理器3使得用户能够从上述三 种模式中任意选择轨迹显示方式，从而借助最易于识别的轨迹模式， 呈现视频数据的每个静止图像的特征(趋势)。
(6-2)利用多个显示窗口的轨迹显示模式
如图36中所示，图像处理设备2的微处理器3被配置成不仅显 示正在移动的显示窗口W57，而且还在视频数据重放开始时刻的显示 窗口W57的开始位置POs和在视频数据重放结束时刻的显示窗口 W57的结束位置POe，保持显示在该时刻各自显示的静止图像的显示 窗口W57s和W57e。
图像处理设备2的这种配置使得用户能够视觉地确认与该视频 数据对应的显示窗口W57，从而直观地把从三维显示空间上的开始位 置POs到三维显示空间上的结束位置POe的整个过程识别为表示显 示窗口W57的整个轨迹的图像。
当然，在图像处理设备2的微处理器3中，并非总是需要显示位 于开始位置POs和结束位置POe的显示窗口W57s和W57e，相反可 以通过用户的选择操作不显示它们。
此外，当用户双击设置在开始位置POs附近的所有窗口显示按 钮Z1(图36)时，如图45中所示，图像处理设备2的微处理器3在由 构成视频数据构成的多个画面(静止图像)确定的三维显示空间上的位 置，以预定的间隔显示一部分显示窗口W57(W57s～W57e)或者所有 的显示窗口W57s～W57e，从而代替显示过去和未来轨迹，或者在显 示过去和未来轨迹的同时，向用户呈现由多个显示窗口W57(W57s～ W57e)形成的连续序列作为视频数据的特征(趋势)。
此外，如图42中所示，当识别出用户对轨迹上的给定点的点击 操作时，图像处理设备2的微处理器3启动通过显示窗口W57的重 放处理，并执行直到与显示窗口W57e对应的结束位置POe的重放图 像的预览显示。
借助图像处理设备2的这种配置，在使得用户能够通过重放视频 数据视觉地确认从开始位置POs到结束位置POe通过显示窗口W57 以移动的方式显示静止图像的状态之后，可以通过位于用户所希望的 位置的显示窗口W57恢复显示处理，从而显著增强用户的可操作性。
顺便提及，即使在显示与视频数据对应的显示窗口期间，当用户 点击轨迹上的给定点时，图像处理设备2的微处理器3通过位于所述 给定点的显示窗口W57开始重复处理，并且同时在可视性方面使此 时已被显示的显示窗口W57消失，从而在轨迹线上只保留一个显示 窗口W57。
但是，当用户确定在图像处理设备2中不减弱可视性时，可同时 在轨迹线上以移动的方式显示多个显示窗口W57。
这种情况下，如图43所示，图像处理设备2的微处理器3以移 动的方式在轨迹上并行显示两个显示窗口W57，使得用户更易于搜索 他或她所希望的场景。
此外，如图44中所示，图像处理设备2的微处理器3可以在显 示窗口W57的轨迹上的预定位置，保持显示预先已经被设置成典型 场景的静止图像的显示窗口W57a、W57b、W57c和W57d。
借助这种配置，即使在从开始位置POs到结束位置Poe以移动 的方式显示显示窗口W57之后，显示与典型场景对应的静止图像的 显示窗口W57a、W57b、W57c和W57d保持显示在轨迹上。从而， 仅仅通过经显示窗口W57a、W57b、W57c和W57d视觉地确认与典 型场景对应的静止图像，用户就不仅能够容易地掌握视频数据的总体 趋势，而且能够掌握各典型场景的特征的趋势。
在视频数据的来源是DVD的情况下，这样的典型场景对应于预 先已经为每个章节设置的典型静止图像。因此，当通过显示窗口W57 重放DVD的视频数据时，图像处理设备2的微处理器3易于对保持 显示的典型场景实现轨迹显示处理。
在图像处理设备2中，尽管在上面的说明中，对应于典型场景的 显示窗口W57保持被显示，不过可以基于时间，比如以恒定的时间 间隔保持显示显示窗口。这种情况下，用户能够视觉地确认通过以恒 定的时间间隔存在的显示窗口W57显示的静止图像，使得即使在利 用显示窗口W57的视频数据的重放处理之后，用户也能够通过以恒 定的时间间隔保持显示的显示窗口W57立即掌握视频数据的特征(趋 势)。
(6-3)场景变化时或快闪时的轨迹显示模式
如图45中所示，在通过显示窗口W57重放视频数据的图像的期 间，存在场景变化或快闪。当在场景变化前的静止图像的特征量明显 不同于在场景变化之后的静止图像的特征量时，在一些情况下，场景 变化之前的显示窗口W57before可显著地跳跃到场景变化之后的显 示窗口W57after。
这种情况下，图像处理设备2执行如上所述的坐标补偿处理例程 SRT1(图24)，从而不使显示窗口W57before通过一次动作跳跃到显 示窗口W57after，而是在以步进的方式降低移动距离的同时，从对应 于显示窗口W57before的位置朝着目的地顺序布置显示窗口W57， 从而在场景变化的时候，使得用户能够视觉地确认从显示窗口 W57before到W57after的移动。
这种情况下，图像处理设备2的微处理器3不使显示窗口W57 在其轨迹上通过一次动作跳跃到目的地，而是使显示窗口W57以步 进的方式从场景变化之前的显示窗口W57before的位置移动到场景 变化之后的显示窗口W57after的位置。此时，图像处理设备2的微 处理器3仅仅突出显示以步进的方式移动的显示窗口W57(例如，用 半透明颜色，或者以闪烁的方式显示显示窗口W57)。
图像处理设备2的微处理器3保持显示场景变化之前的显示窗口 W57before和场景变化之后的显示窗口W57after，从而使用户总是能 够视觉地确认场景变化前后的内容。
顺便提及，代替执行上面提及的坐标补偿处理例程SRT1，图像 处理设备2的微处理器3可以以恒定的间隔，反复显示在显示窗口 W57after的场景变化之前和之后的位置之间变化的静止图像。此时， 相对于跳跃速度，移动显示速度极低。
图像处理设备2的微处理器3可以设置移动显示速度，使得在显 示窗口W57after的场景变化之前和之后的位置之间的距离L2与显示 窗口W57移动距离L2所需的移动时间t2具有如图46(A)中所示的线 性关系，或者使得距离L2和移动时间t2具有如图46(B)和46(C)中所 示的非线性关系。
这种情况下，当使得显示窗口W57以步进的方式从场景变化之 前的显示窗口W57before的位置移动到在场景变化之后的显示窗口 W57after的位置时，图像处理设备2的微处理器3能够按照开始时高 速移动显示窗口W57并逐渐降低其移动显示速度的方式改变显示窗 口W57的移动速度。
此外，当识别出用户对在轨迹上移动的显示窗口W57的点击操 作时，图像处理设备2的微处理器3在按照此时的对应静止图像的特 征量确定的位置，持续数秒或者半永久性地保持显示点击的显示窗口 W57。当识别出对该显示窗口W57的另一点击操作时，图像处理设 备2的微处理器3删除点击的显示窗口W57，或者在此时刻通过显示 窗口W57恢复图像的重放。
(6-4)利用时间代码的轨迹显示模式
如图47中所示，当显示窗口W57位于三维显示空间上的时候， 通过显示窗口W57重放视频数据时，图像处理设备2的微处理器3 能够沿着显示窗口W57的轨迹上的预定位置，显示时间代码显示帧 TW1～TWn。
图像处理设备2的微处理器3从与各静止图像对应的元数据文件 MDF中读出显示在时间代码显示窗口TW1～TWn中的与视频数据 关联的时间代码信息，并使用所读出的时间代码信息显示时间代码显 示帧TW1～TWn的时间代码。
此外，图像处理设备2的微处理器3不仅能够把对应的时间代码 添加到轨迹上的位置，而且还能够通过时间代码显示帧TW3和TWe， 把时间代码添加到保持被显示的表示与典型场景对应的静止图像的 显示窗口W57，和保持被显示的位于结束位置Poe处的显示窗口 W57e。
从而，不仅显示窗口W57的轨迹按照视频数据的进展以移动的 方式显示，而且通过对轨迹线上的位置和显示窗口W57添加的时间 代码显示帧TW1～TWn，能够向用户呈现视频数据的时间信息，从 而在通过时间代码显示帧TW1～TW4识别视频数据的时间进程的同 时，用户能够搜索他或她所希望的场景。
在具有非常相似特征的多个视频数据通过它们各自的显示窗口 W57被重放的情况下，所得到的各显示窗口W57的轨迹彼此非常类 似。这种情况下，显示三个相似的轨迹。
通过视觉地确认这种状态，用户能够根据轨迹之间的相似性，估 计这三个视频数据具有相似的内容，从而易于管理和搜索视频数据。
(6-5)轨迹显示期间的显示窗口控制模式
图像处理设备2能够按照视频数据的重放图像的进展，以移动的 方式显示显示窗口W57，同时除了显示显示窗口W57的轨迹之外， 还能够改变显示窗口W57的大小和形状，这一点将在下面描述。
具体地说，在如图48(A)中所示，沿着显示窗口W57在RGB颜 色分量被设置成显示轴的参数的三维显示空间上的轨迹，以移动的方 式显示视频数据的显示窗口W57的情况下，除了用作显示轴的特征 参数的RGB颜色分量中的特征量之外，图像处理设备2的微处理器3 还从静止图像的相应元数据文件MDF中，获得例如构成该视频数据 的静止图像的密度信息的特征量。当密度信息的特征量超过预定阈值 时，如图48(B)中所示，图像处理设备2的微处理器3按照预定的因 数放大与此时刻的静止图像对应的显示窗口W57的尺寸。
当静止图像的密度信息的特征量小于预定阈值时，如图48(C)中 所示，图像处理设备2的微处理器3按照预定的因数缩小与此时刻的 静止图像对应的显示窗口W57的尺寸。
即，在静止图像包括大量的高频分量，导致密度信息的特征量超 过预定阈值的情况下，图像处理设备2的微处理器3放大与静止图像 对应的显示窗口W57的尺寸，从而增强用户的可视性。
另一方面，在静止图像几乎不包括高频分量，导致密度信息的特 征量小于预定阈值的情况下，图像处理设备2的微处理器3确定即使 图像尺寸被缩小，对于用户来说的可视性也几乎不发生变化，并缩小 显示窗口W57的尺寸，从而导致处理负载的降低。
顺便提及，尽管在上面的说明中，除了构成显示轴的颜色分量之 外，静止图像的密度信息还被用作放大或缩小显示窗口W57的显示 尺寸的参数，不过也可使用其它各种特征量，比如运动量，色调和音 频电平来放大或缩小显示窗口W57的尺寸。此外，不仅可以放大或 缩小显示窗口W57的尺寸，而且还可以改变显示窗口W57的框架的 形状，或者同时控制显示尺寸和框架形状二者。
(7)操作和优点
如上所述，当通过显示窗口W57显示视频数据的重放图像时， 每次按照构成视频数据的各静止图像的特征量更新视频数据的帧时， 图像处理设备2的微处理器3把显示窗口W57布置在利用用户指定 的显示轴产生的三维显示空间上。
每次视频数据的帧被更新时，特征量发生变化，从而改变显示窗 口W57的目的地坐标位置，由此使用户产生显示窗口W57好像以浮 动的方式在三维显示空间上移动的印象。
例如，当在旅行目的地用摄像机拍摄的视频数据被布置在三维显 示空间上，并通过显示窗口W57显示视频数据的重放图像时，显示 例如“大海”的显示窗口W57移动到其中布置在海滩上拍摄的视频数 据的许多显示窗口W57的区域。当视频数据的场景随后被更新到“山 脉”的静止图像时，显示窗口W57相应地移动到其中布置在山林中拍 摄的视频数据的许多显示窗口W57的区域。当视频数据的场景随后 被更新为“建筑物”的静止图像时，显示窗口W57相应地移动到其中 布置在市区中拍摄的视频数据的许多显示窗口W57的区域。
显示窗口W57的运动本身代表视频数据的特征，从而用户能够 通过三维显示空间上显示窗口W57的位置变化，以及显示窗口W57 本身的运动图像，直观地识别视频数据的特征(趋势)。
在常规方法中，只有构成视频数据的多个静止图像的第一图像被 显示在缩略图中。但是，上述方法不必表现视频数据的趋势。在本发 明中，由构成视频数据的静止图像的特征量的变化造成的显示窗口 W57本身的移动以运动图像的形式被呈现给用户，使得用户能够正确 地理解视频数据的特征(趋势)，这便于视频数据的搜索或管理。
当在视频数据的重放期间，存在场景变化或快闪的情况下，图像 处理设备2不使显示窗口W57通过一次动作从场景变化或快闪之前 的三维显示空间上的位置跳到场景变化或快闪之后的三维显示空间 上的位置，而是在朝着目的地以步进的方式减小移动距离的同时，以 移动的方式显示显示窗口W57，从而避免用户失去显示窗口W57的 轨迹。从而，用户能够在不中断的情况下掌握作为运动图像的显示窗 口W57。
此外，当对应于多个视频数据的多个显示窗口W57被用于同时 进行重放处理时，每次更新视频数据的帧时，对应于具有相似特征量 的视频数据的显示窗口W57被集中在三维显示空间上的特定区域， 从而使得用户能够通过集中或分散在三维显示空间上的显示窗口 W57的布置状态，直观且容易地识别多个视频数据的特征(趋势)。
此外，当在重放视频数据，从而在三维显示空间上显示显示窗口 W57的状态下，通过用户的指令改变定义三维显示空间的显示轴的参 数时，图像处理设备2产生新的三维显示空间，从而明显改变将在其 上显示的显示窗口W57的布置状态。即，用户可以根据他或她所需 的参数，自由地改变显示窗口W57的布置状态。
此外，当以移动的方式显示显示窗口W57时，图像处理设备2 按照用户的选择，连同显示窗口W57一起显示显示窗口W57的过去 轨迹，其未来轨迹，或者其过去轨迹和未来轨迹二者，从而在三维显 示空间上视觉地呈现显示窗口W57的过去和未来的移动。于是，仅 仅通过比较与多个视频数据对应的显示窗口W57的轨迹，用户能够 直观地获知在作为轨迹线图像的视频数据之间是否存在相似性。
当在编辑窗口的显示区55上布置对应于视频数据的显示窗口 W57，从而呈现显示窗口作为图像组58时，图像处理设备2不显示 定义三维显示空间的显示轴本身，并布置显示窗口W57，使得所有显 示窗口W57总是被置于用户视界的正前方，使得用户能够容易地获 知多个显示窗口W57被布置在三维显示空间上。
如上所述，在重放视频数据的情况下，每次构成视频数据的各个 静止图像被更新时，静止图像的特征量被改变。按照图像的特征量的 变化，图像处理设备2在显示窗口W57和三维显示空间之间的相对 位置关系变化的同时，以移动的方式显示显示窗口W57，从而按照画 面的特征的变化，把视频数据所具有的重放图像的特征(趋势)表示成 显示窗口W57的运动，使得用户能够直观地识别显示窗口W57的运 动图像。从而，可以通过直观的图像，促进大量视频数据的分类，管 理和搜索。
(8)其它实施例
尽管在上面的实施例中已经说明了其中按照本发明的另一实施 例的视频处理设备被应用于图像处理设备2的情况，不过本发明并不 局限于此情况。作为选择，视频处理设备可适用于简单计算机。这种 情况下，由摄像机拍摄的多个视频数据被保存在计算机的内部硬盘驱 动器中，所有视频数据被布置在三维显示空间上以供显示，从而使得 用户能够直观地识别静止图像视频数据的特征或总体趋势，并易于搜 索他或她所希望的图像。
此外，尽管在上面的实施例中已经说明了显示窗口W57被布置 在三维显示空间上的情况，不过本发明并不局限于此情况。作为选择， 如图49中所示，显示窗口W57可被布置在二维显示空间上，此外， 其轨迹可被显示在二维显示空间上。
此外，尽管在上面的实施例中已经说明了当作为特征参数，对显 示轴设置构成视频数据的画面(静止图像)所具有的R(红)，B(蓝)和亮 度时产生三维显示空间的情况，不过本发明并不局限于此情况。另一 方面，可以使用与静止图像关联的音频信息或者时间信息作为显示轴 的参数，或者可以使用R(红)和B(蓝)两者作为显示轴的一个参数。如 上所述，可按照用户的偏爱，为显示窗口W57的布置产生各种多维 显示空间。
例如，如图50中所示，图像处理设备2可沿着时间轴布置由亮 度，R(红)和B(蓝)确定的显示轴定义的三维显示空间，和由运动量， DCT垂直频率和DCT水平频率确定的显示轴定义的三维显示空间， 以产生四维显示空间，从而把视频数据的显示窗口W57布置在四维 显示空间上，并随同重放处理一起以移动的方式显示显示窗口W57。
此外，尽管在上面的实施例中已经说明了按照视频数据的重放， 在三维显示空间上以移动的方式显示显示窗口W57的情况，不过本 发明并不局限于此情况。作为选择，如图51中所示，可以按照用户 对设置在编辑窗口50的显示区55上的水平滚动条66上的标签67的 操作，沿着显示窗口W57的轨迹向过去或未来侧移动显示窗口W57。
这种情况下，用户能够按照他或她自己的意愿，自由地控制三维 显示空间上显示窗口W57的位置，从而进一步容易地搜索他或她所 希望的场景或者执行编辑工作。
此外，尽管在上面的实施例中，已经说明了通过显示窗口W57 显示视频数据的重放图像的情况，不过本发明并不局限于此情况。例 如，在构成图像组58的显示窗口W57相互重叠的情况下，一些显示 窗口W57可能被其它显示窗口W57隐藏。这种情况下，对于被隐藏 的显示窗口W57来说，可降低构成视频数据的静止图像的更新速率， 从而极大地减小重放速度，分辨率可被降低，可不更新静止图像，或 者不显示任何图像。如上所述，通过消除对用户不能视觉确认的显示 窗口W57的重放显示处理，能够降低微处理器3上的处理负载。
此外，尽管在上面的实施例中已经说明了向轨迹线或者显示窗口 W57添加时间代码显示帧TW(图47)的情况，不过本发明并不局限于 此情况。作为选择，可向显示窗口W57的轨迹线添加各种通知窗口， 比如帧编号通知窗口或者场编号通知帧，只要能够向用户通知过去的 重放时间即可。
此外，尽管在上面的实施例中为视频数据的每个画面(静止图像) 计算特征参数或关联参数，不过可基于多个画面，例如以一个GOP 为单位计算特征参数或关联参数。例如，可采用构成一个GOP的所 有画面的特征参数的平均值或者选自构成一个GOP的画面中的指定 I画面的特征参数(关联参数)作为一个GOP的特征参数。
在以多个画面，例如一个GOP为单位计算特征参数或关联参数， 以便保存为元数据的情况下，与基于一个画面计算特征参数或关联参 数的情况相比，元数据的大小可被降低，并且分析元数据所需的处理 负载也可被降低。
在通过MPEG视频格式编码视频数据的情况下，在生成元数据 的时候计算基于画面或者基于GOP的特征参数或关联参数时，所获 得的特征参数或关联参数可被包括在作为MPEG编码处理的结果而 获得的视频流中的画面头或GOP头中。
(9)与视频数据联系的关联参数
尽管在上面的实施例中已经说明了构成视频数据的画面(静止图 像)的特征参数，不过本发明可应用于利用与视频数据联系(关联)的参 数(关联参数)的配置。关联参数的例子包括表示视频数据的拍摄或记 录的时间的时间信息，表示视频数据的拍摄或记录的地点的位置信息 (纬度/经度信息)，识别视频数据的所有者或创作者的标识信息，识别 通过网络访问视频数据的用户的标识信息，表示视频数据被访问的次 数的访问次数，识别视频数据的分组的分组标识信息，识别包括在视 频数据中的人脸的面部标识信息，和包括在视频数据中的标题类别、 关键字或者字幕信息。这些关联参数能够利用已知的技术生成。
术语“联系(关联)”状态表示数据和参数(元数据)相互联系的状 态。例如，即使当视频数据和元数据被记录在不同的记录介质中，或 者传输自不同的传输线路时，如果用于识别视频数据的信息或者视频 数据的画面编号被包括在参数(元数据)中，那么之后可把视频数据和 元数据相互关联起来。在本实施例中，这样的情况被包括在“联系(关 联)”状态中。
这样的关联参数按照如上所述的相同处理程序，和特征参数一起 被用于实现上面提及的显示配置。
如图52中所示，可以考虑以下应用：在服务器(视频DB，元数 据/视频DB)中集中管理从多个用户1～N提供(上传)的视频数据，并 使得用户能够通过网络访问他或她感兴趣的视频数据，以便确认视频 数据的内容。
这种情况下，数据库可管理对每个视频数据的关联参数。例如， 在表示视频数据被访问的次数的访问次数被包括在关联参数中的情 况下，可按照访问次数的增减，改变显示窗口的显示尺寸(例如，当访 问次数超过预先设置的阈值时，对应的视频数据被确定为是受欢迎 的，该视频数据的显示窗口的尺寸被增大，或者其显示窗口被突出显 示)。此外，在识别视频数据的所有者或创作者的标识信息被包括在关 联参数中的情况下，可为每个用户设置显示空间。此外，可基于类别 产生显示空间。
例如，如图53中所示，以比显示窗口W57_1，W57_3和W57_4 更大的尺寸显示显示窗口W57_2，W57_5和W57_6。这意味对显示 窗口W57_2，W57_5和W57_6的访问次数大于对显示窗口W57_1， W57_3和W57_4的访问次数。
在图50中，已经说明了时间轴被用于产生四维显示空间窗口的 情况。当使用上面提及的关联参数时，能够实现各种显示配置。例如， 在利用GPS产生的，并与视频数据联系的位置信息(纬度/经度)被包括 在关联参数中的情况下，如图54中所示，产生向其增加位置信息作 为显示轴的显示空间。这种情况下，随同位置信息方面的变化，视频 数据和三维显示空间相互联合地移动。
此外，在如图52中所示，大量的用户提供大量的视频数据的情 况下，作为特征参数的相似性和关联参数被用于在相似性和位置信息 方面对视频数据分组，并为每个组产生一个显示空间。特别地，在类 似于视频张贴站点和SNS(社会性网络服务)的应用中，为每个组产生 的显示空间可被看作一个社区。从而，从许多用户张贴的视频数据可 用于促进用户之间的通信。
(10)本发明适用的设备
尽管在上面的实施例中已经说明了本发明应用于具有如图1中 所示配置的图像处理设备2的情况，不过本发明并不局限于这种情况。 作为选择，本发明可广泛应用于其它各种图像处理设备，只要其能够 实现作为图像处理设备的功能即可。
图像处理设备的例子包括实现用于体现本发明的功能的计算机， 摄像机，数字照相机，游戏机，便携式信息终端(便携式计算机，移动 电话，便携式游戏机)，存储装置(光盘装置，家用服务器)，和处理板 或处理卡。
在任意一种情况下，上述图像处理设备共同包括机壳，信号处理 部分和外部接口，并且分别包括与其产品形式对应的外围单元。例如， 就摄像机或数字照相机来说，除了上面提及的公共组件之外，它包括 照相机单元和把拍摄的视频图像数据保存在存储介质中的写入电路。 就具有通信功能的电子设备，比如移动电话来说，除了上面提及的公 共组件之外，它包括发射/接收电路和天线。
此外，尽管在上面的实施例中已经说明了微处理器3启动保存在 硬盘驱动器7中的视频处理程序，从而以移动的方式在三维空间上显 示显示窗口W57的情况，不过本发明并不局限于此情况。作为选择， 可对微处理器3安装保存视频处理程序的程序存储介质，以便执行上 面提及的显示处理。
在把程序装入硬盘驱动器7中之后，使用于执行显示处理的视频 处理程序可被执行的上述程序存储介质的例子不仅包括诸如软盘， CD-ROM(光盘只读存储器)，DVD(数字万用盘)之类的封装介质，而 且包括临时或永久保存视频处理程序的半导体存储器或磁盘。另外， 作为把视频处理程序保存在上述程序存储介质中的手段，可以利用有 线或者无线通信介质，比如局域网，因特网，或者数字卫星广播，并 且在这种情况下，程序可通过诸如路由器或调制解调器之类的各种通 信接口被保存在程序存储介质中。
此外，尽管在上面的实施例中已经说明了作为按照本发明的视频 处理设备的图像处理设备2由充当显示空间生成装置和转换装置的微 处理器3和充当分类/布置装置的微处理器3和GPU 4构成，不过本 发明并不局限于此情况。作为选择，按照本发明的图像处理设备可由 借助其它各种电路配置实现的显示空间生成装置，转换装置和分类/ 布置装置构成。
在本发明的精神和范围内可做出各种修改。此外，根据本发明的 上述说明可做出各种修改和应用。
工业实用性
按照本发明的图像处理设备和图像处理方法可广泛应用于在显 示屏幕上重放视频数据的各种图像处理设备。
| 标题 | 发布/更新时间 | 阅读量 |
|---|---|---|
| 一种远距离大视场虹膜光学成像的装置及方法 | 2020-05-08 | 393 |
| 电视机 | 2020-05-08 | 587 |
| 一种控制终端的方法及终端 | 2020-05-08 | 821 |
| 信号采集装置、虚拟现实设备及其控制方法 | 2020-05-08 | 342 |
| 一种平板灯具 | 2020-05-08 | 356 |
| 可调整聚焦深度的高能超音波探头及其调整方法 | 2020-05-08 | 482 |
| 保护装置 | 2020-05-08 | 442 |
| 一种基于I2C总线的灯光高频控制系统及其控制方法 | 2020-05-08 | 421 |
| 一种车辆前照灯及车辆 | 2020-05-08 | 529 |
| 一种无需外接控制器的WIFI音乐灯带 | 2020-05-08 | 711 |
高效检索全球专利专利汇是专利免费检索,专利查询,专利分析-国家发明专利查询检索分析平台，是提供专利分析，专利查询，专利检索等数据服务功能的知识产权数据服务商。
我们的产品包含105个国家的1.26亿组数据，免费查、免费专利分析。
分析报告
专利汇分析报告产品可以对行业情报数据进行梳理分析，涉及维度包括行业专利基本状况分析、地域分析、技术分析、发明人分析、申请人分析、专利权人分析、失效分析、核心专利分析、法律分析、研发重点分析、企业专利处境分析、技术处境分析、专利寿命分析、企业定位分析、引证分析等超过60个分析角度，系统通过AI智能系统对图表进行解读，只需1分钟，一键生成行业专利分析报告。
亮度模式热门专利
QQ群二维码
意见反馈
意见反馈