图像处理装置、图像处理系统、图像处理方法及计算机程序 |
|||||||
| 申请号 | CN201410264180.4 | 申请日 | 2014-06-13 | 公开(公告)号 | CN104243995B | 公开(公告)日 | 2017-10-13 |
| 申请人 | 索尼电脑娱乐公司; | 发明人 | 大场章男; 势川博之; 稻田彻悟; | ||||
| 摘要 | 提供了 图像处理 装置、图像处理系统和图像处理方法。该图像处理装置包括：用以获取输入信息的输入信息获取部分，所述输入信息用于改变在作为显示对象的图像中的显示区域；用于作为显示图像生成基于输入信息所确定的显示区域内部的图像的显示图像处理部分；以及用于在显示器上显示所生成的显示图像的显示部分，其中当输入信息获取部分获取用于缩放显示图像的输入信息时，显示图像处理部分根据输入信息缩放显示图像，并且执行图像操作，以使在包括作为图像平面中缩放的中心的焦点的预定范围内的区域的可见性不同于别的区域的可见性。 | ||||||
| 权利要求 | 1.一种图像处理装置，包括： |
||||||
| 说明书全文 | 图像处理装置、图像处理系统、图像处理方法及计算机程序技术领域[0001] 本技术涉及一种用于根据用户操作来更新显示图像的图像处理技术。 背景技术[0003] 当这种图像显示技术实现其中显示对象图像可放大和缩小并且显示区域可通过卷动而移动的显示模式时，理想地连续且流畅地改变显示区域。然而，取决于诸如图像的数据大小、显示系统的处理能力等的各种因素，在移动显示区域的时段中可能无法及时执行连续的显示更新处理，因此例如可能存在丢帧，这可使观看者产生奇怪的感觉。 [0004] 本技术已经考虑到这些问题。需要提供一种能够在显示区域中流畅地实现包括放大和缩小的变化的图像处理技术。 [0005] 本技术的模式涉及一种图像处理装置。所述图像处理装置包括：输入信息获取部分，被配置用以获取输入信息，所述输入信息用于改变在作为显示对象的图像中的显示区域；显示图像处理部分，被配置用以将基于所述输入信息所确定的所述显示区域内部的图像生成为显示图像；以及显示部分，被配置用以在显示器上显示所生成的显示图像，其中当所述输入信息获取部分获取用于缩放所述显示图像的输入信息时，所述显示图像处理部分根据所述输入信息缩放所述显示图像，并且执行图像操纵，以使在包括作为图像平面中缩放的中心的焦点的预定范围内的区域的可见性不同于别的区域的可见性。 [0006] 在该情形中，根据区域“使可见性不同”是使观看所述显示图像的容易性不同，即详细程度不同，通过所述详细程度示出图像中对象的轮廓、形状或运动。具体地，使可见性不同可以是向某一掩模对象或具有掩模效果的图案或图形全部或部分地渲染可见性减小的区域的方法和降低亮度、光亮度、空间分辨率或时间分辨率的方法中的任何方法。 [0007] 本技术的另一模式涉及图像处理系统。所述图像处理系统包括：客户端，由用户操作；以及服务器，被配置用以从所述客户端获取关于用户操作的信息，根据所述信息生成要在所述客户端上显示的显示图像的数据，并且将所述数据发送至所述客户端，其中所述服务器包括：输入信息获取部分，被配置用以从所述客户端获取输入信息，所述输入信息用于改变在作为显示对象的图像中的显示区域；显示图像处理部分，被配置用以将基于所述输入信息所确定的所述显示区域内部的图像生成为显示图像；编码部分，被配置用以对所生成的显示图像的数据进行压缩编码；以及发送部分，被配置用以将经压缩编码的数据发送至所述客户端；所述客户端包括：解码部分，被配置用以对从所述服务器发送的经压缩编码的数据进行解码和解压缩，以及显示部分，被配置用以将经解码和解压缩的图像显示在显示器上；以及在所述服务器中，当所述输入信息获取部分获取用于缩放所述显示图像的输入信息时，所述显示图像处理部分改变所述显示图像，以使得执行所述图像的缩放，以便限制在包括作为图像平面中缩放的中心的焦点的预定范围内的区域中。 [0008] 本技术的再一模式涉及图像处理方法。所述图像处理方法是用于通过图像处理装置来控制在显示器上显示的图像的图像处理方法，所述图像处理方法包括：从输入装置获取用于改变在作为显示对象的图像中的显示区域的输入信息；将基于所述输入信息所确定的所述显示区域内部的图像生成为显示图像，并且将所述显示图像存储在存储器中；以及读取存储在所述存储器中的所述显示图像，并且将所述显示图像显示在所述显示器上，其中当在从所述输入装置获取所述输入信息时获取用于缩放所述显示图像的输入信息时，根据所述输入信息对所述显示图像进行缩放，并且执行图像操纵，使得在包括作为图像平面中的缩放的中心的焦点的预定范围内的区域的可见性不同于另一区域的可见性。 [0009] 本技术的再一模式还涉及一种图像处理方法。所述图像处理方法由客户端和服务器执行，所述客户端由用户操作，所述服务器用于从所述客户端获取关于用户操作的信息、根据所述信息生成要在所述客户端上显示的显示图像的数据、并且将所述数据发送至所述客户端，所述图像处理方法包括：在所述服务器中，从所述客户端获取用于改变在作为显示对象的图像中的显示区域的输入信息；将基于所述输入信息所确定的所述显示区域内部的图像生成为所述显示图像，并且将所述显示图像存储在存储器中；从所述存储器读取所生成的显示图像的数据，并且对所生成的显示图像的数据进行压缩编码；以及将经压缩编码的数据发送至所述客户端；以及在所述客户端中，对从所述服务器发送的经压缩编码的数据进行解码和解压缩，并且将所述数据存储在存储器中；以及从所述存储器读取经解码和解压缩的图像，并且将所述图像显示在显示器上；其中当在从所述客户端获取所述输入信息时所述服务器获取用于缩放所述显示图像的输入信息时，所述显示图像被改变，以使得执行所述图像的缩放，以便限制在包括作为图像平面中缩放的中心的焦点的预定范围内的区域。 [0010] 本技术的再一模式还涉及计算机程序。所述计算机程序使计算机实现：从输入装置获取输入信息的功能，所述输入信息用于改变在作为显示对象的图像中的显示区域；将基于所述输入信息所确定的所述显示区域内部的图像生成为所述显示图像的功能；以及将所生成的显示图像显示在显示器上的功能，其中当从所述输入装置获取输入信息的功能获取了用于缩放所述显示图像的输入信息时，将所述图像生成为所述显示图像的功能根据所述输入信息对所述显示图像进行缩放，并且执行图像操纵，使得在包括作为图像平面中的缩放的中心的焦点的预定范围内的区域的可见性不同于另一区域的可见性。 [0011] 本技术的再一模式还涉及计算机程序。所述计算机程序使服务器实现：从输入装置获取输入信息的功能，所述输入信息用于改变在作为显示对象的图像内的显示区域；将基于所述输入信息所确定的所述显示区域内部的图像生成为所述显示图像的功能；对所生成的显示图像的数据进行压缩编码的功能；以及将经压缩编码的数据发送至所述客户端的功能，其中当从所述客户端获取所述输入信息的功能获取了用于缩放所述显示图像的输入信息时，将所述图像生成为所述显示图像的功能改变所述显示图像，以使得执行所述图像的缩放，以便限制在包括作为图像平面中缩放的中心的焦点的预定范围内的区域，该服务器用于从经由网络连接的客户端获取关于用户操作的信息，根据所述信息生成要在客户端上显示的显示图像的数据，和发送数据到客户端。 [0012] 应注意的是，将本技术的表述转换为上述组成要素及方法、装置、系统、计算机程序等的任意组合也与本技术的模式一样有效。 [0015] 图2是可用在本实施例中的图像数据的层次结构的概念图； [0016] 图3是辅助说明在本实施例中显示图像的缩放操作的图； [0017] 图4是示出本实施例中在缩放操作时所显示的屏幕中的变化的实例的图； [0018] 图5是详细示出本实施例中的信息处理装置的功能配置的图； [0019] 图6是辅助说明本实施例中的缩放速度的变化的图； [0020] 图7是辅助说明本实施例中的缩放速度与更新区域的尺寸之间的关系的图； [0021] 图8是辅助说明在本实施例中的放大操作的焦点不是屏幕的中心的情形中用于生成显示图像的方法的图； [0022] 图9是在本实施例中信息处理装置根据缩放操作来更新显示图像的处理过程的流程图； [0023] 图10是示出本实施例中的信息处理系统的配置的图； [0024] 图11是示出本实施例中的客户端和服务器的功能配置的图； [0025] 图12是本实施例中的客户端和服务器更新客户端中的显示图像的处理过程的流程图； [0026] 图13是示出在本实施例中在客户端一侧上执行掩模图像合成处理的情形中客户端和服务器的功能配置的图；以及 [0027] 图14是示意性示出在本实施例中对包括层次数据的多条图像数据设置链接的状态的图。 具体实施方式[0028] 第一实施例 [0029] 图1示出本实施例中的信息处理装置的内部电路配置。信息处理装置10包括CPU(中央处理单元)12、GPU14以及主存储器16。CPU12基于诸如操作系统、应用程序等的程序来控制信息处理装置10内的组成元件中的处理以及信号传输。GPU14执行图像处理。主存储器16由RAM(随机存取存储器)形成。主存储器16存储处理所必要的程序和数据。 [0030] 这些部件通过总线20相互连接。总线20还与输入-输出接口18连接。输入-输出接口18连接：通信部分22，包括诸如USB(通用串行总线)、IEEE1394等外围装置接口以及有线或无线LAN(本地区域网络)的网络接口；存储部分24，例如硬盘驱动器、非易失性存储器等；输出部分26，用于输出图像和音频数据；输入部分28，用于接收来自诸如用户等外界的输入；以及记录介质驱动部分29，用于驱动可移除记录介质，例如磁盘、光盘、半导体存储器等。 [0031] CPU12通过执行在存储部分24中存储的操作系统来控制信息处理装置10的整体。CPU12还执行从存储部分24和可移除记录介质读取的、以及加载到主存储器16中的、或者通过通信部分22下载的各种程序。GPU14具有几何引擎的功能以及渲染处理器的功能。GPU14根据来自CPU12的渲染指令来执行渲染处理，并且将显示图像存储在图中未示出的帧缓冲器中。然后，GPU14将存储在帧缓冲器中的显示图像转换为视频信号，并且将该视频信号输出至输出部分26。 [0032] 输入部分28包括普通的输入装置和用于从输入装置获取输入信号的机制，所述普通的输入装置例如是键盘、触摸板、按钮、控制杆、麦克风、相机等。输出部分26包括普通的输出装置和用于将输出信号发送至输出装置的机制，所述普通的输出装置例如是用于显示图像的显示器、用于输出音频的扬声器等。附带说明，本实施例集中于图像处理技术。因此，在下文中，将不会提及音频输出。然而，根据需要，音频可与图像显示一起输出。 [0033] 信息处理装置10、输入部分28中所包括的输入装置以及输出部分26中所包括的显示器可分别具有各自的外壳，并且可通过线缆(wire cable)彼此连接。可选择地，可通过使用蓝牙(注册商标)协议、IEEE802.11协议等在信息处理装置10、输入部分28中所包括的输入装置以及输出部分26中所包括的显示器之间建立无线连接。可选择地，可形成具有集成外壳的装置，在该装置内，信息处理装置10、输入部分28中所包括的输入装置以及输出部分26中所包括的显示器彼此连接。例如，通过在外壳的表面中设置显示器并且通过在前表面上提供触摸板作为输入装置可实现便携式游戏机、平板终端、高级便携式电话等。 [0034] 根据本实施例的信息处理装置10至少具有根据用户的操作来放大/缩小(下文简称为“缩放”)显示图像以及沿向上-向下方向或左-右方向卷动(scroll)显示图像的功能。因此，在下文中，在作为显示对象的图像中改变在显示器上所显示的区域可被统称为“移动显示区域”。 [0035] 在本实施例中，被设定为显示对象的图像的数据并不特别地受限。然而，将以具有包括不同分辨率的图像的层次结构的图像数据为例进行下文的说明，该图像通过将原始图像缩小多个级来生成。在这样的图像数据中，每个层中的图像被分为一个或多个平铺图像(tile image)。例如，最低分辨率的图像由一个平铺图像形成，而最高分辨率的原始图像由最大数量的平铺图像形成。在图像显示时，当将显示图像变为预定的分辨率时，用于渲染的平铺图像变为不同层中的平铺图像。这使得能够快速地进行放大显示或缩小显示。 [0036] 图2是具有这种层次结构的图像数据的概念图。图像数据在深度方向上(Z轴)具有层次结构，该层次结构包括第零层30、第一层32、第二层34和第三层36。附带说明，尽管在图2中仅示出了四个层，但是层的数量并不限于此。在下文中，具有这种层次结构的图像数据将被称为“层次数据”。 [0037] 图2中所示的层次数据具有四叉树(quadtree)层次结构。每一层均由一个或多个平铺图像38形成。所有的平铺图像38均形成为具有相同数量的像素的同样大小，并且例如具有256×256个像素。在每个层中的图像数据表示一个具有不同分辨率的图像。通过将第三层36中的具有最高分辨率的原始图像缩小多个级来生成第二层34、第一层32和第零层30中的图像数据。例如，在左-右(X轴)方向和向上-向下(Y轴)方向上，第N层(N为0或更大的整数)的分辨率可以是第(N+1)层的分辨率的1/2。 [0038] 在信息处理装置10中，层次数据以被压缩为预定的压缩格式的状态保留在存储部分24中，并且在被显示在显示器上之前被从存储部分24读取并被解码。根据本实施例的信息处理装置10具有支持多种压缩格式的解码功能，并且能够对S3TC格式、JPEG格式和JPEG2000格式的压缩数据进行解码。 [0039] 如图2中所示，在层次数据的层次结构中，左-右方向被设定为X轴，向上-向下方向被设定为Y轴，并且深度方向被设定为Z轴，并且构成虚拟三维空间。在信息处理装置10基于从输入装置提供的显示区域移动请求信号推导出显示区域中的变化量之后，信息处理装置10使用所述变化量顺序地推导出虚拟空间中的帧的四个角的坐标(帧坐标)。附带说明，信息处理装置10可推导出标识层的信息以及该层中的纹理坐标(UV坐标)，代替虚拟空间中的帧坐标。在下文中，层标识信息与纹理坐标的组合也将被称为帧坐标。 [0040] 在本实施例中被设定为显示对象的图像的数据可以是如上述的层次数据，或者可具有别的结构。此外，显示对象不仅可以是静止图像，还可以是运动图像。运动图像可具有通过将图像帧按照时间顺序排列而获得的普通运动图像的数据结构，或者可具有层次结构。后者是如下这样的结构：在该结构中，为每个图像帧创建如图2中所示的层次数据，并且层次数据按照时间顺序排列。附带说明，在以下的说明中，在这些显示对象图像中，由帧坐标所确定的、在将要显示的区域内的图像，即，将要在显示器上显示的区域中的图像将被称为“显示图像”。 [0041] 当在显示图像的同时执行显示区域移动操作时，需要将要新显示的区域的经压缩编码的数据从存储部分24读出至主存储器16中，并经历解码和解压缩处理。例如，在层次数据的情形中，当根据缩放操作改变用于显示的数据的层时，在改变之后的层中的平铺图像的数据需要被再次解码并解压缩。此外，当运动补偿用于运动图像的压缩编码时，在缩放操作时增大了由运动向量无法预测的变化分量，以使得与卷动相比，显示图像的生成会耗时。 [0042] 因此，需要例如通过限制显示区域移动的速度或者对除了显示区域或被预测为将要显示的区域以外的区域的图像数据进行推测性地读取和解码来采取措施。然而，由于意在通过增大显示图像的清晰度或者增加层的数量而实现更高的功能性和更高质量的图像显示，所以倾向于增加在显示图像更新之前所必要的处理，例如关于新图像数据的读取、解码、解压缩处理。结果，存在如下增大的可能性：在移动显示区域的处理中从操作到显示图像的更新的响应时间变得更长或者暂时停止显示或者使得连续进行显示。 [0043] 因此，本实施例通过在这些问题趋于显而易见的显示图像缩放操作期间选择性地输出所需信息来降低处理成本并保证响应性。图3是辅助说明显示图像的缩放操作的图。首先，图像200将整体图像表示为显示对象，或者将显示区域中的图像表示为放大操作的起点。图像200示出例如直立的两个圆形的圆柱体和一个立方体。 [0044] 当在显示这种图像的同时对屏幕的中心处的位置203周围的区域执行放大操作时，显示区域的变化如虚线矩形所示，并且当放大操作结束时，显示区域变成最终的显示区域202。在图3中，显示区域的四个角的变化由各个箭头显示。在缩小操作的情形中进行相反的变化。附带说明，作为显示图像中缩放操作的中心的位置203在下文中将被称为缩放操作的“焦点”。 [0045] 图4示出了响应于图3中所示的操作在本实施例所显示的屏幕的变化的实例。首先，屏幕204表示图3中的起点处的显示图像。在显示图像被放大从而显示示出终点处的显示图像的屏幕208的情形中，在放大处理期间合成单独制备的掩模图像210。如图4中所示，掩模图像210包括从屏幕的外围会聚到作为放大操作的焦点的屏幕中心的多条线，即，所谓的会聚线。 [0046] 同时，对于正被放大的显示图像，图3中所示的虚线矩形内的显示区域的一部分，即，如图4中的显示图像206中的、在具有将放大操作的焦点作为中心的预定范围中的区域206a被设定为更新对象。在下文中，根据缩放操作而被设定为更新对象的区域206a将被称为更新区域。附带说明，图4示出了仅在正被放大的显示图像206中的更新区域206a中的图像。在作为起点的屏幕204的图像中的相应区域的图像可被按照原样地留在其它区域中，或者所述其它区域可以是填充有诸如白色等单一颜色的区域。总之，做出变化以使在显示图像中的更新区域内的图像被放大。 [0047] 通过由alpha混合处理将这样改变的显示图像与掩模图像210彼此合成而形成屏幕，其该屏幕中，在更新区域中正被放大的图像呈现在会聚线的中心。结果，例如，在放大操作中所显示的屏幕从屏幕204变成屏幕212再变成屏幕208。 [0048] 在所述合成时，掩模图像210的整体可以是半透明的，或者与更新区域相对应的区域可以是透明或半透明的而其它区域可以是不透明的。在前者的情形中，与更新区域相对应的区域的透射率可高于其它区域的透射率。另一方面，在显示图像206中除了更新区域以外的区域可以是透明或半透明的，而更新区域可以是不透明的或具有比其它区域更低的透射率。此外，关于多个图像中的每个图像，当在该图像内改变图像的透射率时，通过将图像的透射率设为在更新区域的边界处进行连续的变化从而在合成之后的图像中理想地获得在更新区域与其它区域之间的连续性。在缩小操作的情形中，相反地，屏幕208是起点并且屏幕208被变成屏幕212，然后被变成屏幕204。然而，在缩小处理中的屏幕的配置与放大操作中的配置相似。 [0049] 可通过以会聚到一个消失点的方式绘制诸如掩模图像210的聚集线这样的放射线来表示在对象的深度方向上的运动以及观看者的视点的会聚。通过将所述掩模图像210与正被放大或缩小的图像相合成，可使作为缩放操作的焦点的位置或者图4中的立方体的部分变得清楚，并且可明确且自然地表示正在执行缩放操作的状态。 [0050] 如在乘坐高速交通工具时沿行进方向看去的情形，通常，执行缩放操作的观看者观看图像，同时随着缩放操作的操作速度的增大，更会聚在放大/缩小变化的焦点上改变。此外，当缩放图像时，更靠近焦点的区域进行更小的变化。利用这种特性，本实施例通过将显示区域中的被设定为更新对象的区域限制在焦点及其附近从而降低了处理成本并且改善了响应性。同时，由于在除了感兴趣的区域以外的区域中的复杂运动并不进入视野，所以观看者易于观看屏幕。 [0051] 附带说明，将会聚线引入到掩模图像中可被称之为适于从能够直观地掌握与图像平面垂直的方向上的动作的视点的缩放操作。然而，除了会聚线以外的图像可以是掩模图像，只要该图像能够将更新区域的可见性(visibility)与其它区域的可见性相区分即可。也就是说，被制备为掩模图像的图像并不特别地受限，只要满足以下条件即可：其中装置执行缩放处理的状态可被清楚地示出、并且与操作相对应的缩放动作至少在该图像中的焦点周围的部分区域中清晰可见而可见性在其它区域中可以相对降低。例如，可使用云、微粒、同心圆、同心矩形、框等的图像。可选择地，例如通过将在会聚线的方向上的运动模糊应用于作为操作的起点的图像等或者通过降低除了更新区域以外的区域的亮度或者通过模糊除了更新区域以外的区域，图像本身可经历某种处理。 [0052] 图5详细示出信息处理装置10的功能配置。稍后将要说明的图5、图11和图13中所示的每个功能框就硬件来说可由图1中所示的CPU和GPU的配置、RAM、各种处理器等实现，并且就软件来说由运行诸如图像处理功能、算术功能、数据存取功能等各种功能的程序来实现，该程序从记录介质等加载到存储器中。因此，本领域技术人员可以理解的是，可仅由硬件、仅由软件、或硬件与软件的组合以各种形式实现这些功能框，并且不限于所述形式中的任何一种。 [0053] 信息处理装置10包括：输入信息获取部分102，用于获取关于由用户在输入装置上所执行的操作的信息；帧坐标确定部分104，用于根据用户的操作在正显示的图像中连续地确定所要显示的区域的帧坐标；加载部分108，用于从存储部分24加载图像显示所必要的数据；解码部分106，用于对经压缩的图像数据进行解码和解压缩；以及显示图像处理部分114，用于对显示图像进行渲染。 [0054] 此外，存储部分24存储图像数据116和掩模数据118，其中图像数据116是显示对象图像的经压缩编码的数据，掩模数据118是掩模图像的经压缩编码的数据。附带说明，必要的数据以及用于操作信息处理装置10的各种程序可存储在存储部分24中并在适当时被加载至主存储器16中。然而，图5中并未示出所述各种程序和必要的数据。 [0055] 输入信息获取部分102通过由用户操作的输入装置来获取关于操作的细节的信息。具体地，输入信息获取部分102获取如下信息：所述信息指示请求移动显示区域、所要启动的应用程序或所要显示的图像的选择等。附带说明，信息处理装置10不仅可执行用于图像显示、显示区域移动等的处理，而且还可执行一般的信息处理，涉及用于游戏、网络浏览器、通信等的图像显示。由输入信息获取部分102所获取的信息还可以是取决于处理的细节的各种信息。此外，作为这种信息处理的结果，显示区域不仅可根据用户的操作来移动，而且还可由装置自身来移动。 [0056] 然而，在下文的说明中，注意力将会被引导至作为实施例的根据用户的操作的显示区域的移动上。因此，尽管图5仅示出了与相应的模式相关的功能，然而包括其它功能的基本处理是共同的。帧坐标确定部分104从当前显示区域的帧坐标来确定在每个随后的时间阶段中的显示区域的帧坐标，并且基于输入的显示区域移动请求来确定移动速度向量。这里，“时间阶段”是基于帧速率的显示图像更新定时。所确定的帧坐标被通报给加载部分 108、解码部分106和显示图像处理部分114。 [0057] 加载部分108基于从帧坐标确定部分104所通报的帧坐标来检查是否存在将要从存储部分24加载至主存储器16中的经压缩图像数据。加载部分108根据需要加载经压缩图像数据。例如，在使用如图2中所示的层次数据的情形中，标识进行显示所必要的层以及该层中的平铺图像的数据。当存在并未加载在主存储器16中的数据时，加载该数据。附带说明，加载部分108可根据显示区域中目前为止的变化、当前的显示区域等来适当地预测随后可能变得必要的数据，并且预先加载该数据。根据图像的尺寸以及主存储器16的容量，可加载全部图像数据。 [0058] 在开始图像显示时、在启动涉及这种显示的应用程序时等，加载部分108还将掩模数据118从存储部分24加载至主存储器16中。解码部分106根据从帧坐标确定部分104所通报的帧坐标来对进行显示所必要的区域中的数据进行解码和解压缩，该数据包括在被加载在主存储器16中的经压缩图像数据中。解码部分106将数据存储在内部缓冲存储器中。预先在宽范围中对图像数据进行解码和解压缩并将该图像数据存储在缓冲存储器中可减少从主存储器16读取的次数，并且因此实现了显示区域的流畅移动。 [0059] 解码部分106内部包括区域调整部120。在显示图像的缩放操作的开始和结束的定时，区域调整部120从输入信息获取部分102接收通知，该通知指示显示图像的缩放操作的开始和结束的定时，并且区域调整部120在缩放操作期间确定所要更新的更新区域。假设从帧坐标确定部分104所通报的帧坐标指示图4中的显示图像206的帧，则区域调整部120在显示图像206的帧内确定更新区域206a。如上所述，在该情形中所确定的更新区域是在具有将缩放操作的焦点作为中心的预定范围内的矩形区域。此外，如下文将描述的，例如，特别地当从缩放操作的操作量所确定的缩放速度暂时改变时，还可暂时改变更新区域的尺寸。 [0060] 解码部分106至少预先对如此确定的更新区域的数据进行解码和解压缩并且将更新区域的数据存储在缓冲存储器中。也就是说，即使当根据信息处理装置10的处理能力、缓冲存储器的容量、到目前为止执行的用户操作、显示对象图像的数据大小等没有资源供更新显示图像所必要的处理所用时，也提供一种其中至少更新区域的图像可被更新的状态。在这样的条件下，这使得显示图像能够针对变化是鲁棒的。 [0061] 更简单地，如上所述，执行数据解码和解压缩，从而始终仅对更新区域中的图像进行更新。另一方面，可对处理区分优先次序，以便优先对更新区域的数据进行解码和解压缩，然后，对更新区域外围的数据进行解码和解压缩。附带说明，在除了缩放操作以外的时间段中，将由从帧坐标确定部分104所通报的帧坐标所指示的区域按照原样地设为更新区域就足够了。 [0062] 此外，解码部分106对加载在主存储器16中的掩模数据118进行解码和解压缩，并且在开始图像显示时、在启动涉及这种显示的应用程序时等分别将掩模数据118存储在缓冲存储器中。显示图像处理部分114根据从帧坐标确定部分104所通报的帧坐标，使用存储在解码部分106的缓冲存储器中的图像数据对在外部帧缓冲器中的显示图像进行渲染，并以适当的定时将显示图像显示在显示器上。 [0063] 显示图像处理部分114内部包括掩模控制部122。当进行缩放操作时，至少将来自根据缩放操作的前一时间阶段所更新的图像的数据存储在解码部分106的缓冲存储器中用于更新区域。因此，显示图像处理部分114根据从帧坐标确定部分104所通报的帧坐标，读取帧缓冲器中的图像数据并对该图像数据进行渲染。 [0064] 同时，在显示图像的缩放操作的开始和结束的定时，掩模控制部122接收通知，该通知指示来自输入信息获取部分102的显示图像缩放操作的开始和结束的定时，并且掩模控制部122使用被解码和解压缩之后的掩模数据将掩模图像与帧缓冲器中所渲染的显示图像进行合成，其中掩模数据从解码部分106读取。显示图像处理部分114在显示器上显示合成之后的图像。由此，在缩放操作期间显示诸如图4中的屏幕212的图像。 [0065] 下面将对缩放操作的操作量、缩放速度以及更新区域的尺寸之间的关系进行说明。当进行缩放操作时，用户可通过调整缩放操作的操作量来控制缩放速度，即，每单位时间的帧坐标的移动量。有多种方法用于根据输入单元调整操作量。例如，当由提供给输入装置的模拟杆(analog stick)来实现缩放操作时，通过模拟杆的倾斜角度来调整操作量。当由与触摸板接触的食指与拇指之间的间隔的变化或者所谓的捏进(pinch-in)或捏出(pinch-out)操作来实现缩放时，由手指的速度来调整操作量。 [0066] 帧坐标确定部分104根据操作量确定帧坐标的速度向量，并且相应地计算每一时间阶段的新的帧坐标。在该情形中，当在缩放操作开始之后帧坐标立即以与操作量成正比的速度移动时，显示区域可能突然改变，并且可能执行比在操作中所预期的缩放更大的缩放，或者可能延迟显示图像的更新并且可能间断地改变显示图像。 [0067] 因此，帧坐标确定部分104通过对指示所请求的操作量的、从输入装置获取的方波信号和预定的迁移函数执行卷积操作来逐渐改变缩放速度。在该情形中，迁移函数可以是高斯函数。图6是辅助说明此时缩放速度的变化的图。在图6中，时间变化220表示来自输入装置的输入信号，并且指示执行用于将帧坐标从坐标A移动到坐标B的缩放操作。附带说明，由于帧坐标是显示区域的四个角的坐标，所以帧坐标实际上由四个坐标组成。然而，如图3中所示，四个坐标常常联动以便组成具有显示器的纵横比的矩形的四个角。因此，可由所述四个坐标中的一个坐标的移动来定义缩放速度。 [0068] 通过高斯函数224对输入信号执行的卷积操作提供了帧坐标的实际时间变化228。具体地，以坐标A作为起点以缓慢的速度开始移动，该速度逐渐增大，至中间点处达到最大速度，然后该速度逐渐减小，并且在坐标B处结束移动。根据显示图像中的实际变化、处理能力等适当地确定定义最大速度的高斯函数的最大值。特别地，确定高斯函数224的最大值，以使得在达到最大速度的中间点处及时执行显示更新处理。 [0069] 图7是辅助说明缩放速度与更新区域的尺寸之间的关系的图。图7的上部的行示出了帧坐标的移动速度的变化。图7的中间行示出了根据帧坐标的移动速度的变化的更新区域的尺寸的变化。横坐标轴指示经过的时间。假设，在时间0处开始缩放处理，并且在时间T处结束该处理，即图像被显示作为终点。如参照图6所述，通过以高斯函数等对缩放操作的信号执行卷积操作，帧坐标的移动速度230根本地改变，从而在缩放处理开始之后立刻变得低并且在缩放处理结束之前立刻变得低，并且在处理的中间点处最大化。附带说明，实际上，还根据操作的持续时间和在操作的持续时间中的操作量的变化来改变帧坐标的移动速度。 [0070] 如图7中所示，对于缩放速度的这种变化，区域调整部120确定更新区域，以使得缩放速度越大，更新区域的尺寸232越小。附带说明，图7中所示的更新区域的尺寸232中的变化为一实例。存在用于根据缩放速度计算区域尺寸的各种转换方程式，只要在定性上满足上述条件即可。例如，区域尺寸可以与缩放速度成反比，或者整个显示区域的尺寸的减小量与缩放速度成正比。此外，区域尺寸可以是一侧或一区域的长度。 [0071] 总之，如图7的下部的行中所示，在缩放操作期间在各个时间T1、T2和T3处掩模图像合成之前的显示图像240、242和244中的更新区域分别具有诸如更新区域240a、242a和244a的尺寸这样的尺寸。也就是说，在达到最大的缩放速度的时间T2的更新区域242a小于其它时间T1和T3的更新区域240a和244a。附带说明，如上所述，通过将其它区域从更新区域中排除，紧邻操作之前的图像可按照原样留在其它区域中，或者其它区域可以是填充区域。 此外，图7假定为放大操作，其中在更新区域240a、242a和244a内的图像随着时间的经过而被放大。当然，在缩小操作中，更新区域内的图像被缩小。 [0072] 因此，随着缩放速度的增大而减小更新区域的尺寸减少了对更新显示图像所必要的处理，由此，易于避免针对缩放速度而无法及时执行更新处理的情况。此外，如上所述，随着缩放速度的增大而缩小以焦点作为中心的兴趣区域的人的特性与实际屏幕的变化匹配。因此，对于观看者而言进行了自然且易于观看的显示。 [0073] 在目前为止所述的模式中，屏幕的中心被设定为缩放操作的焦点。然而，当在除了屏幕的中心以外的位置被放大的情形中，可同时接收卷动和缩放操作，或者通过将该位置作为中心而执行缩小。在该情形中，缩放操作的焦点从起点的位置向屏幕的中心移动。因此，更新区域的中心也与缩放操作的焦点一起移动。并且，需要改变掩模图像，以便会聚线始终会聚至该焦点。图8是辅助说明用于在放大操作的焦点并不位于屏幕的中心的情形中生成显示图像的方法的图。 [0074] 首先，假设当显示图像250的同时对区域252执行放大操作。如图8中所示，区域252位于图像250的右上方。在允许其中屏幕的中心如此未设定为焦点的缩放操作的情形中，制备具有比屏幕的尺寸更大的尺寸的掩模图像254的数据。然后，切下掩模图像，以使得会聚线所会聚到的点位于屏幕内的缩放操作的焦点位置。切下的区域254a与被放大的显示图像合成从而显示屏幕256。此时，更新区域的中心被确定为放大操作的焦点。可以以与参照图7所描述的方式相似的方式改变更新区域的尺寸。 [0075] 随着放大处理的进行，放大操作的焦点逐渐向屏幕的中心移动。更新区域与掩模图像的切下的区域也相应地移动。然后，在放大操作的终点，焦点位于屏幕的中心。因此，掩模图像被切下，以使得会聚线所会聚到的点位于中心处。切下的区域254b与作为终点的图像合成，从而显示屏幕258。因此，即使当放大操作的焦点并不位于屏幕的中心时，也能够容易地将会聚线所会聚到的位置调整为焦点。此外在缩小操作的情形中，根据焦点的位置对更新区域的布置和掩模图像的切下的区域进行类似地改变。 [0076] 下面将对可由上述配置来实现的信息处理装置的操作进行说明。图9是信息处理装置10根据缩放操作来更新显示图像的处理过程的流程图。当用户请求信息处理装置10与对所要显示的内容或图像的选择一起开始显示处理时，该流程图开始。附带说明，信息处理装置10可根据用户的操作、内容输出处理的进展等适当地执行除了显示图像缩放操作以外的处理。然而，在本流程图中省略了除了显示图像缩放处理以外的处理。 [0077] 当用户已经执行了用于选择内容或图像的输入时，信息处理装置10根据该选择，通过加载部分108、解码部分106、显示图像处理部分114等之间的合作使用图像数据116来显示初始图像(S10)。当运动图像显示为初始图像时，基于帧速率在每个时间阶段中更新图像帧的显示。此外，无论初始图像是静止图像还是运动图像，均根据用户操作、内容的进展等适当地更新所述显示。附带说明，此时，掩模数据118还被解码和解压缩，并被存储在解码部分106内的缓冲存储器、掩模控制部122的内部存储器等中。可预先将解码之后的掩模数据118或掩模图像的数据保留在掩模控制部122内。 [0078] 当用户在这样的条件下执行显示图像缩放操作时(S12)，解码部分106中的区域调整部120从输入信息获取部分102获取该效果的通知和关于操作量的信息，并且确定由来自帧坐标确定部分104通报的帧坐标所指示的显示区域中的更新区域(S14)。具体地，区域调整部120根据与操作量相对应的缩放速度来确定更新区域的尺寸，并且确定更新区域的位置，以使缩放操作的焦点为更新区域的中心。解码部分106从主存储器16读取至少更新区域内的图像的数据，对该数据进行解码和解压缩，并且将该数据存储在缓冲存储器中。当图像数据为层次数据时，经解码的数据的层根据缩放操作而适当地改变。 [0079] 接下来，通过根据缩放操作将至少更新区域内的图像放大或缩小与一个时间阶段相对应的量并且将相应区域中的放大或缩小图像绘制在帧缓冲器中，显示图像处理部分114对内部帧缓冲器中的更新区域的数据进行更新(S16)。接下来，显示图像处理部分114中的掩模控制部122将掩模图像与存储在帧缓冲器中的图像进行合成(S18)。此时，如上所述，例如通过执行仅使得掩模图像中的更新区域半透明的alpha混合，清晰地示出更新区域中的图像的缩放，并且隐藏了其它区域。 [0080] 显示图像处理部分114将如此生成的显示图像转换为视频信号，并且以适当的定时按顺序发出视频信号，从而在显示装置上更新显示图像(S20)。通过重复从S14至S20的处理直到作为根据缩放操作的终点的图像被显示为止，显示其中至少更新区域中的图像根据缩放操作而缩放的图像(S22中的N以及S14至S20)。然后，在作为终点的图像被显示之后，缩放处理结束(S22中的Y)。 [0081] 附带说明，在图9的流程图中，在缩放处理开始时，在S14和S16中对更新区域进行限制和更新之后，在S18第一次合成掩模图像。另一方面，掩模图像可与在S12中的缩放操作开始之后紧邻的时间点显示的图像一起合成并显示，并且可在那之后开始在更新区域中的图像的缩放处理。在该情形中，在缩放操作之后紧邻的以及在终点图像的显示之前紧邻的缩放速度甚至可能小于根据关于如图7中所示的操作量的卷积操作所确定的速度。总之，无论信息处理装置的处理能力、图像的详细程度等如何，通过立即显示掩模图像，可产生装置对缩放操作的良好响应性。 [0082] 根据上述本实施例，在执行显示图像缩放操作期间，在缩放图像的同时合成会聚线等的掩模图像。从而，可以以良好的响应性呈现用户所需的信息，例如诸如指示正在执行的缩放处理以及指示缩放的焦点的信息。用作掩模图像的会聚线可为用户提供将观看点带到距离会聚线所会聚到的对象更近或远离对象的感觉，从而具有图像放大和缩小处理的强烈的近似性(affinity)。 [0083] 此外，合成掩模图像消除了对远离焦点的区域进行精确缩放和显示的需要。因此，远离焦点的区域可被排除在缩放处理的对象之外，或者在处理中给予较低的优先级。结果，无论信息处理装置的能力、图像的类型、数据结构、清晰度等如何，可降低缩放处理中的处理成本，并且可进行具有稳定响应性的缩放处理。同时，可通过有意地减少用户并不关注的部分中的信息量来实现易于观看且简单的图像显示。 [0084] 第二实施例 [0085] 在第一实施例中，已经以如下这样的模式进行了说明：在该模式中，一个信息处理装置显示由信息处理装置自己保留的图像数据并且在信息处理装置内执行缩放处理。在本实施例中，将以如下这样的模式进行说明：在该模式中，服务器保留显示对象图像数据的一部分或全部，并且根据客户端中的用户操作通过网络将必要的数据实时发送至客户端，由此客户端根据操作进行显示。 [0086] 图10示出本实施例中的信息处理系统的配置。信息处理系统300中的客户端310a、310b、…310n中的每个均配置为可通过网络303连接至服务器330，从而向服务器330发送数据并从服务器330接收数据。服务器330根据来自客户端310a、310b、…310n的请求来执行信息处理，然后将所生成作为信息处理结果的输出数据发送至客户端310a、310b、…310n。客户端310a、310b、…310n以及服务器330通过有线或通过无线与网络303连接。可将普通技术应用在用于将客户端310a、310b、…310n与服务器330彼此连接的方法、请求信息处理、以及关于输出数据的发送和接收的过程。 [0087] 客户端310a、310b、…310n是由各自用户操作的装置。客户端310a、310b、…310n将由用户执行的操作作为输入信息发送至服务器330，并且根据该操作来请求信息处理。然后，客户端310a、310b、…310n接收作为服务器330执行信息处理的结果所生成的输出数据，然后将该输出数据输出为图像和音频。客户端310a、310b、…310n可以是诸如平板、便携式电话、便携式终端、个人电脑等的任意普通装置或终端。附带说明，与网络303连接的客户端310a、310b、…310n和服务器330的数量并不特别受限。在下文中，客户端310a、310b、…310n将被统称为客户端310。 [0088] 附带说明，根据来自客户端310的请求由服务器330所执行的处理的细节并不特别受限，但是可以是用于显示特定静止图像或特定运动图像的处理，或者可以是用于游戏、计算、数据创建等的任意普通的信息处理。总之，服务器330根据客户端310上用户的操作实时执行处理，并且将根据用户的操作所生成的诸如图像、音频等输出数据连续地发送至客户端310。 [0089] 客户端310和服务器330具有与在第一实施例中参照图1所描述的信息处理装置10的电路配置相似的电路配置。图11示出了客户端310和服务器330的功能配置。客户端310包括：输入部分312，用于接收用户操作；输入信息发送部分314，用于将所接收的操作的细节作为输入信息发送至服务器330；数据接收部分316，用于接收从服务器330发送的图像数据；解码部分318，用于解码图像数据；以及显示部分320，用于显示图像。 [0090] 服务器330包括：输入信息接收部分332，用于接收来自客户端310的由用户输入的输入信息；信息处理部分336，用于执行从客户端310请求的信息处理；图像生成部分344，用于生成将作为信息处理的结果显示的图像；编码部分338，用于对所生成的显示图像的数据进行压缩编码；以及数据发送部分340，用于将经压缩编码的图像数据发送至客户端310。 [0091] 服务器330还包括存储部分334，该存储部分334存储作为显示对象图像的经压缩编码的数据的图像数据356以及作为掩模图像的经压缩编码的数据的掩模数据358。存储部分334与图1和图5中的存储部分24相对应。可适当地将用于操作服务器330的各种程序和必要的数据存储在存储部分334中并加载到主存储器等中。然而，图11中未示出各种程序和必要的数据。 [0092] 客户端310中的输入部分312是输入单元，该输入单元用于用户指定显示对象图像和所要执行的信息处理的细节并输入包括显示图像缩放操作的各种命令。输入部分312可由诸如游戏板、按钮、触摸板、键盘、鼠标、控制杆等的普通输入装置中的至少一个来实现。输入信息发送部分314通过普通方法与服务器330建立通信，生成指示输入部分312上的用户操作的细节的输入信息的信号，并且将该信号发送至服务器330。 [0093] 服务器330中的输入信息接收部分332接收从客户端310发送的输入信息。信息处理部分336根据由输入信息接收部分332所接收的输入信息来执行信息处理。如上述所述，输入信息从客户端310连续地发送，并且信息处理部分336根据输入信息使信息处理实时进行。将来自客户端310中的输入信息发送部分314的输入信息瞬时发送至服务器330中的输入信息接收部分332和信息处理部分336使信息处理能够被执行为好像在客户端310内执行信息处理一样。 [0094] 可将普通的仿真技术应用于具体的协议、输入信号的格式、为此的解释方法等，因此这里将省略说明。图像生成部分344根据来自信息处理部分336的请求来生成将作为处理结果显示的图像。当由客户端310所请求的信息处理是用于根据用户的操作来显示特定图像并改变该图像的显示区域的处理时，信息处理部分336执行与第一实施例中的信息处理装置10中的帧坐标确定部分104的处理相对应的处理，并且图像生成部分344执行与加载部分108、解码部分106以及显示图像处理部分114的处理相对应的处理。 [0095] 具体地，图像生成部分344基于从信息处理部分336所通报的帧坐标，将所要加载的经压缩的图像数据从存储部分334加载到内部存储器中，此后，对经压缩的图像数据进行解码和解压缩，并且将图像数据存储在内部缓冲存储器中。然后，图像生成部分344使用该数据生成将要最终显示的区域的图像，并且将该图像提供给编码部分338。另一方面，当由信息处理部分336所执行的信息处理是用于游戏等时，图像生成部分344例如可在信息处理部分336的控制下使用存储在存储部分334中的模型数据、纹理数据等由计算机制图技术来渲染图像。 [0096] 图像生成部分344内部包括区域调整部346和掩模控制部348。区域调整部346和掩模控制部348的功能与根据第一实施例的信息处理装置10中的区域调整部120和掩模控制部122的功能基本相似。具体地，当从输入信息接收部分332通报了用户在客户端310上已经执行了缩放操作时，区域调整部346在显示区域中标识更新区域。掩模控制部348将掩模图像与其中更新区域根据缩放操作而被更新的显示图像相合成。为了这个目的，图像生成部分344在缩放操作之前的定时对从存储部分334读取的掩模数据358适当地进行解码和解压缩，并且在内部保留掩模数据358。 [0097] 然而，与第一实施例相比，本实施例涉及如下处理：在图像显示在客户端310之前对由图像生成部分344所生成的显示图像进行压缩编码，然后将显示图像传输至客户端310。因此，可以预期这样的新效果：通过更新图像以使将图像的更新限制在更新区域来减小将被传输的数据的大小。当然，当通过普通的帧间预测来压缩运动图像时，帧之间的差别越小，压缩之后的数据大小可减小地越多。因此，通过将根据缩放操作的变化限制在更新区域并且使用其它区域中的静止图像，可显著地减小数据大小。 [0098] 在其中仅在图像平面中转变显示区域的卷动操作的情形中，通过在压缩时所生成的运动向量可高精度地预测显示区域的移动。另一方面，在图像中根据缩放操作的变化难以由运动向量表达，因此自然地导致携带大量信息的差异图像。结果，压缩效率退化，并且使用经压缩的数据的显示图像的图像质量也降低。因此，通过将区域限制为更新对象可使关于经压缩编码的数据的缩放操作的特定效果最小化，并且通过部分地增大比特率可保持正在更新的区域的图像质量。 [0099] 并且在该模式中，如参照第一实施例中的图7所述，缩放速度越大，更新区域的尺寸越小，因此，即使当缩放速度在一系列缩放操作时段中增大时，也可抑制经压缩编码的数据大小的变化并且转而抑制关于比特率的效果，以便可进行稳定的传输和显示。 [0100] 无论缩放操作执行与否，编码部分338均对来自图像生成部分344的显示图像的数据进行压缩编码，然后按顺序将经压缩编码的数据提供给数据发送部分340。如上所述，当根据缩放操作仅对更新区域进行更新时，该区域的比特率被设定为高于其它区域的比特率。为了这个目的，编码部分338从区域调整部346按顺序获取关于更新区域的信息，并且根据该信息改变将设定的比特率的分布。数据发送部分340按顺序将经压缩编码的图像数据传输至客户端310。可将普通技术应用于具体的传输处理。 [0101] 客户端310中的数据接收部分316接收从服务器330发送的图像数据。解码部分318对所接收的图像数据进行解码和解压缩，并且在内部帧缓冲器中将图像数据展开为图像。此时，可能存在不同的比特率。因此，根据数据中所包括的解码参数设定信息适当地改变解码条件。 [0102] 显示部分320将帧缓冲器中所展开的图像显示在显示器上。因此，显示部分320包括用于显示图像的诸如液晶显示器、有机EL(电致发光)显示器、等离子体显示器等的普通显示器以及用于控制这些装置的机制。显示部分320还可以包括用于将音频信号作为声音输出的音频输出装置，例如扬声器、耳机、头戴式耳机等。 [0103] 接下来将对可由这种配置实现的系统的操作进行说明。图12是其中客户端310和服务器330更新客户端310中的显示图像的处理过程的流程图。在图12中，诸如数据生成、发送、输出等的每个处理均被示出为一个步骤，但是可具有根据处理的细节的时间宽度。假设在该情形中，在适当时彼此并行地进行多个处理。 [0104] 首先，当用户通过例如指定信息处理的细节或者将要显示的图像数据来操作客户端310的输入部分312以请求开始处理时(S30)，输入信息发送部分314生成用于请求开始处理的信号，并且将该信号发送至服务器330。在服务器330中的输入信息接收部分332接收到处理开始请求信号之后，通过数据发送部分340将由信息处理部分336、图像生成部分344和编码部分338之间的合作所生成并压缩编码的初始图像的数据发送至客户端310(S32)。 [0105] 在客户端310中的数据接收部分316接收到初始图像的数据之后，解码部分318对该数据进行解码并解压缩，然后显示部分320输出该数据，由此将初始图像显示在客户端310上(S34)。附带说明，当初始图像的数据是具有时间宽度的运动图像等的数据时，S32中的发送处理是流传输就足够了，并且客户端310按顺序对所接收的数据进行解码和显示。 [0106] 每次在用户观看如此显示的初始图像的同时操作输入部分312用于显示区域移动等，输入信息发送部分314将相应的输入信息发送至服务器330(S36)。当用户的操作不是缩放操作时(S38中的N)，信息处理部分336根据该操作的细节来执行处理，并且图像生成部分344相应地生成显示图像(S40)。这种处理是普通的显示图像更新处理，例如根据卷动操作来移动显示区域、使游戏屏幕进展等。 [0107] 另一方面，当用户的操作是缩放操作时(S38中的Y)，图像生成部分344根据缩放操作仅更新一个时间阶段的显示区域中的更新区域(S42)，然后合成掩模图像(S44)。然后，无论是否正在执行缩放操作，编码部分338都对由图像生成部分344所生成的显示图像进行压缩编码(S46)。然而，如上所述，在缩放处理时，高比特率被分配给更新区域。 [0108] 当数据发送部分340在每个时间阶段中发送经压缩编码的数据时，客户端310中的解码部分318对数据进行解码和解压缩(S48)。然后，显示部分320将数据输出至显示器，由此在客户端310上显示根据用户的操作改变的图像(S50)。例如，在缩放操作时，生成其中仅更新区域被逐渐缩放的运动图像的数据。因此，服务器330按顺序执行数据的流传输。可通过重复从S36至S50的处理来实现其中屏幕根据用户的操作而被适当地更新的模式。 [0109] 在上述实施例中，服务器330完成最终的显示图像，对该显示图像进行压缩编码，并且将经压缩编码的显示图像传输至客户端310。客户端310可仅通过解码和解压缩处理来实现显示。因此，即使当客户端310具有简单配置时，也可进行高级图像显示。即使当缩放操作的焦点不在屏幕的中心并且掩模图像遍布屏幕地改变时，也可充分地获得根据这种形式改善压缩效率的效果。 [0110] 具体地，如参照第一实施例中的图8所述，当缩放操作的焦点在屏幕内移动时，所要合成的掩模图像的切下的区域被移动。这种处理实质上恰是掩模图像的卷动。可通过运动向量来预测在多个帧之间的在该处理中涉及的变化。结果，与通过缩放整个屏幕所获得的图像相比，可预期高压缩效率。 [0111] 另一方面，可在客户端310一侧上执行掩模图像合成处理。图13示出了在该情形中客户端310和服务器330的功能配置。图13的配置与图11的配置不同在于：客户端310包括用于存储掩模数据358的存储部分334a，并且在显示部分320中包括掩模控制部348a。当然，服务器330不需要具有掩模数据和掩模控制部。其它配置与图11中的相同，因此将省略对其的详细说明。 [0112] 在该情形中，响应于缩放操作，服务器330省略图12中的S44中的掩模图像合成处理，但是对其中更新区域根据缩放操作而被更新的图像的数据进行压缩编码并且将该数据传输至客户端310。在客户端310中，掩模控制部348a使用掩模数据358，以便合成掩模图像与由解码部分318所解码和解压缩的图像。为了这个目的，客户端310中的输入部分312将用于合成掩模图像所必要的、根据缩放操作的细节而确定的信息，例如缩放操作量、缩放的焦点等连续地通报至掩模控制部348a。 [0113] 通过这种配置，服务器330足以仅对掩模图像合成之前的图像，即，其中仅更新区域包括与前一帧的差异的图像进行压缩编码，以便进一步提高压缩效率。此外，在这样的模式中，即在其中以执行缩放操作的定时在客户端310一侧上将掩模图像与显示图像相合成而无需等待来自服务器330的数据的模式中，可像前述第一实施例一样产生对缩放操作的良好响应性。 [0114] 作为这种划分的延伸，客户端310可由第一实施例中所述的信息处理装置10代替。也就是说，客户端310自身可提供有显示图像渲染功能。在该情形中，可以实现一模式，在该模式中，仅当客户端310不保留图像数据时，客户端310接收并显示来自服务器330的显示图像的数据。在该情形中，无论显示图像是在自有装置内生成的图像还是从服务器330传输的图像，在缩放操作时，客户端310中所提供的掩模控制部348a(或第一实施例中的掩模控制部122)均将掩模图像与显示图像相合成并且显示结果。当显示图像从服务器330传输时，如参照图13所述，在掩模图像合成之前足以对显示图像的数据进行压缩编码和发送。当显示图像在客户端310内生成时，执行与第一实施例的操作相似的操作。 [0115] 考虑对图像内的预定区域设定链接的方法，作为其中根据客户端310是否保留显示对象图像数据因而改变数据所读取的源的形式的合适的实例。例如，当在客户端310正在显示图像的同时显示区域进入预先设定的区域时，用于显示的图像数据被改变。为了实现这种模式，制备其中作为用于改变图像数据的触发的区域以及该图像数据所改变成的图像数据与图像的数据自身一起设定的数据。在下文中，多条图像数据之间的这种关联将被称为“链接”，根据链接改变图像数据将被称为“链接的执行”，并且在图像中的用作用于链接的执行的触发的区域将被称为“链接区域”。 [0116] 图14示意性示出对包括层次数据的多条图像数据设定链接的状态。在图14的实例中，链接被设定给三条层次数据170、172和174以及一条运动图像数据182，并且在链接区域之间的对应性由虚线箭头指示。例如，当在使用层次数据170显示图像的同时显示区域与被设定在层次数据170的第二层中的链接区域176交叠时，使用另一条层次数据172的第零层(链接a)来对显示进行改变。在该情形中，作为链接目标的链接区域是层次数据172的第零层中的整个图像。 [0117] 通过这种设定，在使用层次数据170的图像显示中链接区域176及其附近的放大首先从层次数据170中的第零层至第一层然后至第二层改变用于渲染图像的数据，并且还将该层次数据本身改变为层次数据172。结果，可进一步放大链接区域176内的对象。 [0118] 相反地，在通过使用层次数据172显示图像的同时对层次数据172的第零层的分辨率进行缩小使图像返回至前一层次数据170的链接区域176。相似地，当在通过使用层次数据172显示图像的同时显示区域与设定在层次数据172的第二层中的链接区域178交叠时，使用层次数据174的第零层(链接b)来对显示进行改变。然后，对层次数据174的第零层的分辨率进行缩小使图像返回至前一层次数据172的链接区域178。 [0119] 由被设定有多个链接的多条层次数据所表示的多个对象可以是同一对象，或者可以是完全不同的多个对象。在后一情形中，可实现其中另一图像将以图像数据的变化发展的呈现。同时，对层次数据170设定另一链接区域180。链接区域180的链接目标是运动图像数据182(链接C)。例如，相应的运动图像的标题图像被嵌入在链接区域180中作为链接源，并且对区域进行放大可执行链接并且开始运动图像的再现。 [0120] 链接目标并不限于层次数据和运动图像数据，而是可以是不具有层次结构的静止图像数据、由幻灯片放映顺序显示的多条静止图像数据、音频数据等。在链接目标是运动图像数据或音频数据的情形中，当用户停止再现运动图像数据或音频数据时或者运动图像数据或音频数据的再现完成时，可进行返回至作为链接源的图像。在链接目标为另一类型的数据而不是诸如运动图像数据、音频数据等这样的目前已经处理的图像数据的情形中，不仅作为处理对象的数据改变，而且还适当地启动用于再现和处理数据的功能。 [0121] 这种技术的使用可实现这样的模式：在该模式中，随着显示区域在客户端310上移动，客户端310根据需要保留被设定有多个链接的多条图像数据的一部分并且服务器330传输显示图像的数据。这根据数据是否由客户端310所保留来澄清数据的区别，同时在统一的可操作性下扩展数据网络上的可访问范围。因此，还便于进行质量控制和计费控制。 [0122] 例如，图14中所示的数据网络上的层次数据170和172被存储在客户端310的存储部分中。然后，当链接b和链接c(其链接目标是未由客户端310所保留的图像数据)被执行时，数据所被读取的源从客户端310的存储部分变为服务器330。图14中的长短交替的虚线184指示变化的边界。如上所述，对于变化边界之外的图像数据，客户端310中的输入信息被发送至服务器330，并且显示图像的数据被发送至客户端310作为根据输入信息在服务器 330一侧上执行的处理的结果。 [0123] 上述技术具有如下主要特征：根据显示区域的运动而无缝地改变图像数据所被读取的源。因此，从对于这种数据读出源改变技术的近似性的观点来看，在本实施例中无论数据读出源如何，使得能够通过在客户端310一侧上合成掩模图像总是以相同的响应速度来响应缩放操作。 [0124] 根据上述本实施例，在其中服务器根据客户端上的用户操作来生成显示图像并且该显示图像显示在客户端一侧上的系统中，当执行显示图像缩放操作时，服务器更新图像，以使得图像的更新仅限于显示图像的一部分区域。紧邻缩放操作之前的图像按照原样地留在其它区域中，或者其它区域是填充区域等。这对包括多个帧之间的差异的区域进行限制直到作为缩放操作的终点的图像被显示为止，因此增大了压缩效率。当由普通的缩放处理改变整个屏幕时，与屏幕的卷动中一样，存在少量可由运动向量所表示的分量，以使得压缩效率很差并且还降低了图像质量。如上所述通过限制更新区域，可使缩放操作所特有的缺陷最小化。 [0125] 此外，服务器或客户端将会聚线等的掩模图像与以受限制的方式如此更新的显示图像相合成。由此，如第一实施例中所述，可隐藏不被更新的区域，并且可呈现用户所需的信息，例如诸如以良好的响应性指示正在执行缩放处理以及指示缩放的焦点的信息。转而，通过减少用户并不关注的部分中的信息的量，可实现易于观看且简单的图像显示。 [0127] 本公开包含的主题内容涉及2013年6月21日在日本专利局提交的日本优先权专利申请JP2013-131130中所公开的主题内容，通过援引的方式将该专利申请的全部内容并入本文。 |
||||||
QQ群二维码
意见反馈
意见反馈