云流服务器
阅读：629发布：2020-05-11
专利汇可以提供云流服务器专利检索，专利查询，专利分析的服务。并且本 发明 涉及一种用于 云 流服务的系统、用于基于静止图像的云流服务的方法及其设备。可通过捕获与先前 帧 相比变化的帧中的变化区域，通过考虑所述变化区域的尺寸和图像特性当中的一个或更多个来选择静止图像压缩技术，并且将通过所述静止图像压缩技术编码的变化区域发送给用户，来提供基于静止图像的云流服务。当提供基于静止图像的云流服务时，通过使用适合于条件的静止图像压缩技术，静止图像的压缩效率和云流服务的速度可改进。，下面是云流服务器专利的具体信息内容。
1.一种云流服务器，该云流服务器包括：
捕获单元，该捕获单元被配置为捕获与先前帧相比变化的帧中所包含的变化区域；
编码单元，该编码单元被配置为通过考虑所述变化区域的尺寸和所述变化区域所对应的图像类型中的一个或更多个或者考虑所述云流服务器的负载大小和网络的数据处理速率中的一个或更多个来选择静止图像压缩技术，并且利用所选择的静止图像压缩技术来执行与一个帧对应的所述变化区域的静止图像编码；以及
发送单元，该发送单元被配置为通过将经静止图像编码的变化区域发送至用户来执行基于静止图像的云流服务，
其中，所述编码单元还被配置为：如果所述变化区域的尺寸小于预定基准值，则通过应用便携式网络图形PNG静止图像压缩技术来对所述变化区域进行编码，如果所述变化区域的尺寸等于或大于所述基准值，则通过考虑所述图像类型来选择所述静止图像压缩技术，其中，所述编码单元还被配置为：如果所述云流服务器的负载大小小于预定基准值，则通过应用联合图像专家组JPEG静止图像压缩技术来对所述变化区域进行编码，如果所述云流服务器的负载大小等于或大于所述预定基准值，则通过考虑所述网络的数据处理速率来选择所述静止图像压缩技术，
其中，所述捕获单元还被配置为捕获在所述变化的帧所对应的画面区域中与所述先前帧所对应的画面区域相比变化的特定区域，作为所述变化区域，
其中，所述捕获单元还被配置为在要发送至所述用户的终端装置的所有帧中检测具有较小帧变化的区段，并且在所检测的区段中捕获所述变化区域，
其中，所述捕获单元还被配置为通过感测在所述用户的所述终端装置处发生的应用的事件类型来检测具有较小帧变化的所述区段，
其中，所述事件类型包括发生的当执行应用时具有较小帧变化的静态事件和具有频繁变化的帧的动态事件，并且
其中，所述捕获单元还被配置为：如果所述事件类型是静态事件，则从与事件对应的所有帧检测具有较小帧变化的区段。
2.根据权利要求1所述的云流服务器，其中，所述编码单元还被配置为利用包括便携式网络图形PNG、调色板便携式网络图形PNG和联合图像专家组JPEG的静止图像压缩技术之一来对所述变化区域进行压缩。
3.根据权利要求2所述的云流服务器，其中，所述编码单元还被配置为：如果所述图像类型为自然图像，则通过应用JPEG静止图像压缩技术来对所述变化区域进行编码。
4.根据权利要求3所述的云流服务器，其中，所述编码单元还被配置为：如果所述变化区域的尺寸等于或大于预定基准值并且如果所述图像类型为合成图像，则通过应用调色板PNG静止图像压缩技术来对所述变化区域进行编码。
5.根据权利要求4所述的云流服务器，其中，所述编码单元还被配置为：如果所述图像类型是所述自然图像和所述合成图像的混合图像，则通过将所述变化区域中的所述自然图像所对应的部分与所述合成图像所对应的另一部分进行比较来根据与所述变化区域中的较大部分对应的图像类型选择所述静止图像压缩技术。
6.根据权利要求2所述的云流服务器，其中，所述编码单元还被配置为：如果所述网络的数据处理速率小于预定处理速率，则通过应用PNG静止图像压缩技术来对所述变化区域进行编码，如果所述云流服务器的负载大小等于或大于预定基准值并且如果所述数据处理速率等于或大于所述预定处理速率，则通过应用调色板PNG静止图像压缩技术来对所述变化区域进行编码。
7.一种云流服务器，该云流服务器包括：
捕获单元，该捕获单元被配置为捕获与先前帧相比变化的帧中所包含的变化区域；
编码单元，该编码单元被配置为根据通过考虑所述变化区域所对应的图像的颜色的数量和所述图像的像素值的标准偏差中的一个或更多个而确定的图像类型来选择静止图像压缩技术，并且利用所选择的静止图像压缩技术来执行与一个帧对应的所述变化区域的静止图像编码；以及
发送单元，该发送单元被配置为通过将经静止图像编码的变化区域发送至用户来执行基于静止图像的云流服务，
其中，所述编码单元还被配置为：如果所述变化区域所对应的所述图像的颜色的数量大于预定基准数量，则将所述图像类型确定为自然图像，如果所述变化区域所对应的所述图像的颜色的数量等于或小于所述预定基准数量，则通过考虑所述变化区域所对应的图像的像素值的标准偏差来确定所述图像类型，
其中，所述捕获单元还被配置为捕获在所述变化的帧所对应的画面区域中与所述先前帧所对应的画面区域相比变化的特定区域，作为所述变化区域，
其中，所述捕获单元还被配置为在要发送至所述用户的终端装置的所有帧中检测具有较小帧变化的区段，并且在所检测的区段中捕获所述变化区域，
其中，所述捕获单元还被配置为通过感测在所述用户的所述终端装置处发生的应用的事件类型来检测具有较小帧变化的所述区段，
其中，所述事件类型包括发生的当执行应用时具有较小帧变化的静态事件和具有频繁变化的帧的动态事件，并且
其中，所述捕获单元还被配置为：如果所述事件类型是静态事件，则从与事件对应的所有帧检测具有较小帧变化的区段。
8.根据权利要求7所述的云流服务器，其中，所述编码单元还被配置为根据包括自然图像和合成图像的图像类型之一来选择所述静止图像压缩技术。
9.根据权利要求8所述的云流服务器，其中，所述编码单元还被配置为：如果所述变化区域所对应的所述图像的颜色的数量等于或小于所述预定基准数量并且如果所述变化区域所对应的所述图像的像素值的标准偏差等于或小于预定基准值，则将所述图像类型确定为所述合成图像。
云流服务器
技术领域
[0001] 本发明涉及云流服务系统、基于静止图像的云流服务方法以及相关设备。更具体地讲，本发明涉及一种云流服务系统、方法和设备，其捕获与先前帧相比变化的帧中所包含的变化区域，基于变化区域的尺寸、变化区域的图像类型、云流服务器的负载大小和网络的数据处理速率中的至少一个来选择静止图像压缩技术，并且利用所选择的静止图像压缩技术来对变化区域进行编码，从而改进云流服务中的压缩效率和服务速度。
[0002] 本申请要求2014年7月30日提交的韩国专利申请No.10-2014-0097322、2014 年8月25日提交的韩国专利申请No.10-2014-0110551、2014年10月16日提交的韩国专利申请No.10-2014-0139556以及2014年11月11日提交的韩国专利申请No. 10-2014-0156004的优先权和利益，其整体以引用方式并入本文。
背景技术
[0003] 云流服务基本上应用基于视频编解码器的云流技术。因此，在菜单显示等的情况下，由于没有必要捕获整个画面并且利用视频编解码器进行编码，所以云流服务效率低。
[0004] 即，对于静态图像响应于用户输入略微变化的画面，基于图像的云流服务可能比使用视频编解码器的云流服务更有效率。
[0005] 换言之，当执行基于静止图像的云流服务时，检测帧之间变化的区域然后仅发送这种最小区域更有效率。
[0006] 然而，在应用静止图像编解码器的情况下，数据的量可能根据待压缩的图像的类型而显著变化。另外，云流服务的效率可能根据用于压缩的静止图像压缩技术而显著变化。因此，需要一种快速地和准确地识别图像类型然后自适应地应用图像云的新技术。
[0007] 另外，为了执行基于静止图像的云流服务，非常重要的是准确地检测发生帧之间的变化的区域。因此，还需要一种更简单和更有效地检测这种变化区域的技术。
[0008] 另外，由于有线或IPTV提供商已经供应各种类型的机顶盒很长时间，这些机顶盒之间存在很大性能差异。事实上，在最近10年里已经引入了超过15种类型的机顶盒。好机顶盒和差机顶盒之间的性能差异如此大，使得内容提供商可能无法以期望的方式向用户提供内容。
[0009] 此外，在基于静止图像的云流服务的情况下，编写web应用的代码的web应用开发人员想要以他们所习惯的相同方式来编写代码，而云流服务器想要的是没有应用动画，仅包含关于需要捕获的图像的信息以及与动画的性质对应的信息的代码。即，为了提供CS服务器所期望的代码，web应用开发人员需要以新的方式而非他们所习惯的方式来编写代码。
[0010] 相关技术公开于2013年6月23日公开的韩国专利公布No.10-2014-0076668(发明名称：用于提供基于云流的游戏的方法、系统、客户终端和服务设备(Method for providing game based on cloud streaming,system,client terminal and service apparatus)) 以及2014年3月6日公开的韩国专利公布No.10-2014-0027040(发明名称：自适应预测图像压缩系统及其方法(Adaptive predictive image compression system and method thereof))。
发明内容
[0011] 技术问题
[0012] 本发明的目的在于当提供基于静止图像的云流服务时针对上下文利用合适的静止图像压缩技术改进云流服务中的压缩效率和服务速度。
[0013] 另外，本发明的目的在于当提供基于静止图像的云流服务时针对图像类型利用合适的静止图像压缩技术改进云流服务中的压缩效率和服务速度。
[0014] 另外，本发明的目的在于当提供基于静止图像的云流服务时针对云流服务器的状态利用合适的静止图像压缩技术防止可能由云流服务器的负载导致的服务延迟并且快速地提供服务。
[0015] 另外，本发明的目的在于通过经由基于静止图像的云流服务使流压缩的效率最大化来经由相同频带向更多用户提供更快速的云流服务。
[0016] 另外，本发明的目的在于提供一种云流服务方法，其中云流服务器检测具有较小帧变化的菜单画面等中的帧之间的变化，然后仅利用静止图像编解码器来压缩这种变化区域。
[0017] 技术方案
[0018] 为了实现上述目的，根据本发明的云流服务器包括：捕获单元，其被配置为捕获与先前帧相比变化的帧中所包含的变化区域；编码单元，其被配置为通过考虑变化区域的尺寸和变化区域所对应的图像类型中的一个或更多个来选择静止图像压缩技术，并且利用所选择的静止图像压缩技术来执行与一个帧对应的变化区域的静止图像编码；以及发送单元，其被配置为通过将经静止图像编码的变化区域发送至用户来执行基于静止图像的云流服务。
[0019] 在该云流服务器中，所述编码单元还可被配置为利用包括PNG(便携式网络图形)、调色板PNG(便携式网络图形)和JPEG(联合图像专家组)的静止图像压缩技术之一来对变化区域进行压缩。
[0020] 在该云流服务器中，所述编码单元还可被配置为：如果变化区域的尺寸小于预定基准值，则通过应用PNG静止图像压缩技术来对变化区域进行编码。
[0021] 在该云流服务器中，所述编码单元还可被配置为：如果变化区域的尺寸等于或大于所述基准值，则通过考虑图像类型来选择静止图像压缩技术。
[0022] 在该云流服务器中，所述编码单元还可被配置为：如果图像类型为自然图像，则通过应用JPEG静止图像压缩技术来对变化区域进行编码。
[0023] 在该云流服务器中，所述编码单元还可被配置为：如果变化区域的尺寸等于或大于预定基准值并且如果图像类型为合成图像，则通过应用调色板PNG静止图像压缩技术来对变化区域进行编码。
[0024] 在该云流服务器中，所述编码单元还可被配置为：如果图像类型是自然图像和合成图像的混合图像，则通过将自然图像所对应的部分与合成图像所对应的另一部分进行比较来根据与变化区域中的较大部分对应的图像类型选择静止图像压缩技术。
[0025] 在该云流服务器中，所述捕获单元还可被配置为捕获在变化的帧所对应的画面区域中与先前帧所对应的画面区域相比变化的特定区域，作为变化区域。
[0026] 在该云流服务器中，所述捕获单元还可被配置为在要发送至用户的终端装置的所有帧中检测具有较小帧变化的区段，并且在所检测的区段中捕获变化区域。
[0027] 在该云流服务器中，所述捕获单元还可被配置为通过感测在用户的终端装置处发生的应用的事件类型来检测具有较小帧变化的所述区段。
[0028] 另外，根据本发明的基于静止图像的云流服务方法包括以下步骤：捕获与先前帧相比变化的帧中所包含的变化区域；通过考虑所述变化区域的尺寸和所述变化区域所对应的图像类型中的一个或更多个来选择静止图像压缩技术，并且利用所选择的静止图像压缩技术来执行与一个帧对应的所述变化区域的静止图像编码；以及通过将经静止图像编码的变化区域发送至用户来执行基于静止图像的云流服务。
[0029] 在该方法中，所述编码步骤可包括利用包括PNG(便携式网络图形)、调色板PNG (便携式网络图形)和JPEG(联合图像专家组)的静止图像压缩技术之一来对变化区域进行压缩。
[0030] 在该方法中，所述编码步骤可包括以下步骤：如果变化区域的尺寸小于预定基准值，则通过应用PNG静止图像压缩技术来对变化区域进行编码。
[0031] 在该方法中，所述编码步骤可包括以下步骤：如果变化区域的尺寸等于或大于所述基准值，则通过考虑图像类型来选择静止图像压缩技术。
[0032] 在该方法中，所述编码步骤可包括以下步骤：如果图像类型为自然图像，则通过应用JPEG静止图像压缩技术来对变化区域进行编码。
[0033] 在该方法中，所述编码步骤可包括以下步骤：如果变化区域的尺寸等于或大于预定基准值并且如果图像类型为合成图像，则通过应用调色板PNG静止图像压缩技术来对变化区域进行编码。
[0034] 在该方法中，所述编码步骤可包括以下步骤：如果图像类型是自然图像和合成图像的混合图像，则通过将自然图像所对应的部分与合成图像所对应的另一部分进行比较来根据与变化区域中的较大部分对应的图像类型选择静止图像压缩技术。
[0035] 在该方法中，所述捕获步骤可包括以下步骤：捕获在变化的帧所对应的画面区域中与先前帧所对应的画面区域相比变化的特定区域，作为变化区域。
[0036] 在该方法中，所述捕获步骤可包括以下步骤：在要发送至用户的终端装置的所有帧中检测具有较小帧变化的区段，并且在所检测的区段中捕获变化区域。
[0037] 在该方法中，所述捕获步骤可包括以下步骤：通过感测在用户的终端装置处发生的应用的事件类型来检测具有较小帧变化的所述区段。
[0038] 另外，根据本发明的云流服务系统包括：云流服务器，其被配置为捕获与先前帧相比变化的帧中所包含的变化区域，通过考虑所述变化区域的尺寸和所述变化区域所对应的图像类型中的一个或更多个来选择静止图像压缩技术，利用所选择的静止图像压缩技术来执行与一个帧对应的所述变化区域的静止图像编码，并且通过将经静止图像编码的变化区域发送至用户来执行基于静止图像的云流服务；以及终端，其被配置为从所述云流服务器接收与云流服务对应的应用执行结果画面。
[0039] 另外，根据本发明的另一实施方式的云流服务器包括：捕获单元，其被配置为捕获与先前帧相比变化的帧中所包含的变化区域；编码单元，其被配置为根据通过考虑所述变化区域所对应的图像的颜色的数量和所述图像的像素值的标准偏差中的一个或更多个而确定的图像类型来选择静止图像压缩技术，并且利用所选择的静止图像压缩技术来执行与一个帧对应的所述变化区域的静止图像编码；以及发送单元，其被配置为通过将经静止图像编码的变化区域发送至用户来执行基于静止图像的云流服务。
[0040] 在该云流服务器中，所述编码单元还可被配置为根据包括自然图像和合成图像的图像类型之一来选择静止图像压缩技术。
[0041] 在该云流服务器中，所述编码单元还可被配置为：如果变化区域所对应的图像的颜色的数量大于预定基准数量，则将图像类型确定为自然图像。
[0042] 在该云流服务器中，所述编码单元还被配置为：如果变化区域所对应的图像的颜色的数量等于或小于所述预定基准数量，则通过考虑变化区域所对应的图像的像素值的标准偏差来确定图像类型。
[0043] 在该云流服务器中，所述编码单元还可被配置为：如果变化区域所对应的图像的颜色的数量等于或小于所述预定基准数量并且如果变化区域所对应的图像的像素值的标准偏差等于或小于预定基准值，则将图像类型确定为合成图像。
[0044] 在该云流服务器中，所述编码单元还可被配置为：如果变化区域所对应的图像的像素值的标准偏差大于预定基准值，则将图像类型确定为自然图像。
[0045] 在该云流服务器中，所述编码单元还可被配置为根据图像类型利用从PNG(便携式网络图形)和JPEG(联合图像专家组)选择的静止图像压缩技术来对变化区域进行编码。
[0046] 在该云流服务器中，所述捕获单元还可被配置为捕获在变化的帧所对应的画面区域中与先前帧所对应的画面区域相比变化的特定区域，作为变化区域。
[0047] 在该云流服务器中，所述捕获单元还可被配置为在要发送至用户的终端装置的所有帧中检测具有较小帧变化的区段，并且在所检测的区段中捕获变化区域。
[0048] 在该云流服务器中，所述捕获单元还可被配置为通过感测在用户的终端装置处发生的应用的事件类型来检测具有较小帧变化的所述区段。
[0049] 另外，根据本发明的基于图像类型的云流服务方法包括以下步骤：捕获与先前帧相比变化的帧中所包含的变化区域；根据通过考虑所述变化区域所对应的图像的颜色的数量和所述图像的像素值的标准偏差中的一个或更多个而确定的图像类型来选择静止图像压缩技术，并且利用所选择的静止图像压缩技术来执行与一个帧对应的所述变化区域的静止图像编码；以及通过将经静止图像编码的变化区域发送至用户来执行基于静止图像的云流服务。
[0050] 在该方法中，所述编码步骤可包括根据包括自然图像和合成图像的图像类型之一来选择静止图像压缩技术。
[0051] 在该方法中，所述编码步骤可包括以下步骤：如果变化区域所对应的图像的颜色的数量大于预定基准数量，则将图像类型确定为自然图像。
[0052] 在该方法中，所述编码步骤可包括以下步骤：如果变化区域所对应的图像的颜色的数量等于或小于所述预定基准数量，则通过考虑变化区域所对应的图像的像素值的标准偏差来确定图像类型。
[0053] 在该方法中，所述编码步骤可包括以下步骤：如果变化区域所对应的图像的颜色的数量等于或小于所述预定基准数量并且如果变化区域所对应的图像的像素值的标准偏差等于或小于预定基准值，则将图像类型确定为合成图像。
[0054] 在该方法中，所述编码步骤可包括以下步骤：如果变化区域所对应的图像的像素值的标准偏差大于预定基准值，则将图像类型确定为自然图像。
[0055] 在该方法中，所述编码步骤可包括根据图像类型来利用从PNG(便携式网络图形)和JPEG(联合图像专家组)选择的静止图像压缩技术对变化区域进行编码。
[0056] 在该方法中，所述捕获步骤可包括捕获在变化的帧所对应的画面区域中与先前帧所对应的画面区域相比变化的特定区域，作为变化区域。
[0057] 另外，根据本发明的另一实施方式的云流服务系统包括：云流服务器，其被配置为捕获与先前帧相比变化的帧中所包含的变化区域，根据通过考虑所述变化区域所对应的图像的颜色的数量和所述图像的像素值的标准偏差中的一个或更多个而确定的图像类型来选择静止图像压缩技术，利用所选择的静止图像压缩技术来执行与一个帧对应的所述变化区域的静止图像编码，并且通过将经静止图像编码的变化区域发送至用户来执行基于静止图像的云流服务；以及终端，其被配置为从所述云流服务器接收与云流服务对应的应用执行结果画面。
[0058] 另外，根据本发明的另一实施方式的云流服务器包括：捕获单元，其被配置为捕获与先前帧相比变化的帧中所包含的变化区域；编码单元，其被配置为通过考虑所述云流服务器的负载大小和网络的数据处理速率中的一个或更多个来选择静止图像压缩技术，并且利用所选择的静止图像压缩技术来执行与一个帧对应的所述变化区域的静止图像编码；以及发送单元，其被配置为通过将经静止图像编码的变化区域发送至用户来执行基于静止图像的云流服务。
[0059] 在该云流服务器中，所述编码单元还可被配置为利用包括PNG(便携式网络图形)、调色板PNG(便携式网络图形)和JPEG(联合图像专家组)的静止图像压缩技术之一来对变化区域进行压缩。
[0060] 在该云流服务器中，所述编码单元还可被配置为：如果云流服务器的负载大小小于预定基准值，则通过应用JPEG静止图像压缩技术来对变化区域进行编码。
[0061] 在该云流服务器中，所述编码单元还可被配置为：如果云流服务器的负载大小等于或大于所述预定基准值，则通过考虑网络的数据处理速率来选择静止图像压缩技术。
[0062] 在该云流服务器中，所述编码单元还可被配置为：如果网络的数据处理速率小于预定处理速率，则通过应用PNG静止图像压缩技术来对变化区域进行编码。
[0063] 在该云流服务器中，所述编码单元还可被配置为：如果云流服务器的负载大小等于或大于预定基准值并且如果数据处理速率等于或大于所述预定处理速率，则通过应用调色板PNG静止图像压缩技术来对变化区域进行编码。
[0064] 在该云流服务器中，所述捕获单元还可被配置为捕获在变化的帧所对应的画面区域中与先前帧所对应的画面区域相比变化的特定区域，作为变化区域。
[0065] 在该云流服务器中，所述捕获单元还可被配置为在要发送至用户的终端装置的所有帧中检测具有较小帧变化的区段，并且在所检测的区段中捕获变化区域。
[0066] 在该云流服务器中，所述捕获单元还可被配置为通过感测在用户的终端装置处发生的应用的事件类型来检测具有较小帧变化的所述区段。
[0067] 另外，根据本发明的另一实施方式的基于静止图像的云流服务方法包括以下步骤：捕获与先前帧相比变化的帧中所包含的变化区域；通过考虑所述云流服务器的负载大小和网络的数据处理速率中的一个或更多个来选择静止图像压缩技术，并且利用所选择的静止图像压缩技术来执行与一个帧对应的所述变化区域的静止图像编码；以及通过将经静止图像编码的变化区域发送至用户来执行基于静止图像的云流服务。
[0068] 在该方法中，所述编码步骤可包括利用包括PNG(便携式网络图形)、调色板PNG (便携式网络图形)和JPEG(联合图像专家组)的静止图像压缩技术之一来对变化区域进行压缩。
[0069] 在该方法中，所述编码步骤可包括以下步骤：如果云流服务器的负载大小小于预定基准值，则通过应用JPEG静止图像压缩技术来对变化区域进行编码。
[0070] 在该方法中，所述编码步骤可包括以下步骤：如果云流服务器的负载大小等于或大于所述预定基准值，则通过考虑网络的数据处理速率来选择静止图像压缩技术。
[0071] 在该方法中，所述编码步骤可包括以下步骤：如果网络的数据处理速率小于预定处理速率，则通过应用PNG静止图像压缩技术来对变化区域进行编码。
[0072] 在该方法中，所述编码步骤可包括以下步骤：如果云流服务器的负载大小等于或大于预定基准值并且如果数据处理速率等于或大于所述预定处理速率，则通过应用调色板PNG静止图像压缩技术来对变化区域进行编码。
[0073] 在该方法中，所述捕获步骤可包括捕获在变化的帧所对应的画面区域中与先前帧所对应的画面区域相比变化的特定区域，作为变化区域。
[0074] 在该方法中，所述捕获步骤可包括在要发送至用户的终端装置的所有帧中检测具有较小帧变化的区段，并且在所检测的区段中捕获变化区域。
[0075] 在该方法中，所述捕获步骤可包括通过感测在用户的终端装置处发生的应用的事件类型来检测具有较小帧变化的所述区段。
[0076] 另外，根据本发明的另一实施方式的云流服务系统包括：云流服务器，其被配置为捕获与先前帧相比变化的帧中所包含的变化区域，通过考虑所述云流服务器的负载大小和网络的数据处理速率中的一个或更多个来选择静止图像压缩技术，利用所选择的静止图像压缩技术来执行与一个帧对应的所述变化区域的静止图像编码，并且通过将经静止图像编码的变化区域发送至用户来执行基于静止图像的云流服务；以及终端，其被配置为从所述云流服务器接收与云流服务对应的应用执行结果画面。
[0077] 另外，为了解决上述目的，本发明提供了一种用于执行上述方法的记录在介质上的计算机程序。
[0078] 有益效果
[0079] 根据本发明，可在基于图像的云流服务中准确地和快速地检测帧之间的画面变化区域。因此，通过仅压缩并发送最小区域，基于高质量图像的云流服务可改进效率并且被更经济地提供。
[0080] 另外，本发明可通过使基于图像的流的压缩效率最大化来改进云流服务的效率。具体地讲，可经由相同频带向更多用户提供更快速的基于图像的云流服务。
[0081] 另外，由于可在基于图像的云流服务中准确地和快速地检测帧之间的画面变化区域，本发明可改进基于图像的云流服务的效率并且还更经济地提供高质量云流服务。
[0082] 另外，本发明可通过准确地确定图像类型，针对图像类型应用合适的压缩技术并且使压缩效率最大化来改进云流服务的效率。具体地讲，可经由相同频带向更多用户提供更快速的基于图像的云流服务。
[0083] 另外，本发明可在提供基于静止图像的云流服务时针对上下文利用合适的静止图像压缩技术来改进图像的压缩效率和云流服务的服务速度。
[0084] 另外，本发明可在提供基于静止图像的云流服务时针对云流服务器的状态利用合适的静止图像压缩技术防止可能由云流服务器的负载导致的服务延迟并且还可快速地提供服务。
[0086] 图1是示出根据本发明的实施方式的云流服务系统的框图。
[0087] 图2是示出图1所示的云流服务器的示例的框图。
[0088] 图3是示出根据本发明的实施方式的基于静止图像的云流系统的示图。
[0089] 图4是示出根据本发明的实施方式的在基于静止图像的云流服务中捕获变化区域的处理的示图。
[0090] 图5是示出根据本发明的实施方式的基于静止图像的云流服务方法的流程图。
[0091] 图6是示出根据本发明的实施方式的基于静止图像的云流服务方法的详细流程图。
[0092] 图7是示出根据本发明的另一实施方式的云流服务系统的框图。
[0093] 图8是示出图7所示的云流服务器的示例的框图。
[0094] 图9是示出根据本发明的实施方式的根据图像类型的云流服务方法的流程图。
[0095] 图10是示出根据本发明的实施方式的根据图像类型的云流服务方法的详细流程图。
[0096] 图11是示出根据本发明的另一实施方式的云流服务系统的框图。
[0097] 图12是示出图11所示的云流服务器的示例的框图。
[0098] 图13是示出根据本发明的另一实施方式的基于静止图像的云流服务方法的流程图。
[0099] 图14是示出根据本发明的另一实施方式的基于静止图像的云流服务方法的详细流程图。
具体实施方式
[0100] 现在，将参照附图详细描述本发明。本文中，熟知功能和元件可能没有详细描述以避免使本发明的主题模糊。提供本发明的实施方式是为了帮助本领域技术人员完整地理解本发明。在附图中，为了清楚例示，一些元件的形状和大小可能被夸大。
[0101] 以下，将参照附图描述本发明的优选实施方式。
[0102] 图1是示出根据本发明的实施方式的云流服务系统的框图。
[0103] 参照图1，根据本发明的实施方式的云流服务系统包括云流服务器110、终端装置120-1至120-N和网络130。
[0105] 云流服务基本上应用基于视频编解码器的云流技术。因此，即使当云流技术被应用于诸如菜单显示的静态画面时，以没有必要地捕获整个画面并且利用视频编解码器进行编码的低效方式执行云流服务。为了解决此问题，本发明提供了云流服务系统，其中云流服务器在帧之间的变化较小(例如，菜单显示画面)的情况下检测帧之间的变化区域并且通过静止图像压缩技术仅对变化区域进行编码。
[0106] 云流服务器110捕获与先前帧相比变化的帧中所包含的变化区域。即，与先前帧所对应的画面相比，可捕获与变化的帧对应的画面中的不同区域作为变化区域。在这种情况下，服务器可在要发送至终端装置120-1至120-N的所有帧中检测具有较小帧变化的区段，然后在所检测的区段中捕获变化区域。此时，通过识别在终端装置120-1 至120-N处发生的应用的事件类型，可检测这种具有较小帧变化的区段。
[0107] 另外，云流服务器110通过考虑变化区域的尺寸以及与变化区域对应的图像类型中的一个或更多个来选择静止图像压缩技术，并且利用所选择的静止图像压缩技术来执行与一个帧对应的变化区域的静止图像编码。在这种情况下，利用诸如PNG(便携式网络图形)、调色板PNG(便携式网络图形)和JPEG(联合图像专家组)的静止图像压缩技术，可对变化区域进行压缩。如果变化区域的尺寸小于预定基准值，则可应用PNG静止图像压缩技术来对变化区域进行编码。如果变化区域的尺寸等于或大于预定基准值，则可通过考虑图像类型来选择合适的静止图像压缩技术。如果图像类型为自然图像，则可应用JPEG静止图像压缩技术来对变化区域进行编码。如果变化区域的尺寸等于或大于预定基准值并且如果图像类型为合成图像，则可应用调色板 PNG静止图像压缩技术来对变化区域进行编码。如果图像类型是自然图像和合成图像的混合图像，则可通过将自然图像所对应的部分与合成图像所对应的另一部分进行比较来根据与变化区域中的较大部分对应的图像类型选择合适的静止图像压缩技术。
[0108] 另外，云流服务器110将经静止图像编码的变化区域发送至用户，因此执行基于静止图像的云流服务。
[0109] 终端装置120-1至120-N从云流服务器110接收与云流服务对应的应用执行结果画面然后将它提供给用户。
[0110] 终端装置120-1至120-N连接至通信网络，并且基于云计算系统，可执行应用。终端装置可以是(但不限于)移动通信终端、诸如信息通信装置、多媒体装置、有线装置、固定装置和互联网协议(IP)装置的各种装置。另外，终端装置120-1至120-N 中的每一个可以是具有各种移动通信规范的移动装置，诸如移动电话、便携式多媒体播放器(PMP)、移动互联网装置(MID)、智能电话、台式机、平板PC、笔记本、上网本、个人数字助理(PDA)、智能电话和信息通信装置。
[0111] 网络130提供在云流服务器110与终端装置120-1至120-N之间传送数据的路由，包括通常使用的网络以及任何未来可开发的网络。例如，网络130可以是在有限的区域内提供各种信息装置的通信的有线/无线短距离通信网络、在移动实体之间以及移动实体与移动实体之外的任何其它实体之间提供通信的移动通信网络、利用卫星在地面站之间提供通信的卫星通信网络、有线/无线通信网络之一、或者其任何组合。此外，网络130的传输方案的标准不限于现有传输方案标准，可包括未来将要开发的所有传输方案标准。另外，图1中用在云流服务器110与终端装置120-1至120-N之间的网络可与终端装置120-1至120-N之间的网络不同或相同。
[0112] 图2是示出图1所示的云流服务器的示例的框图。
[0113] 参照图2，图1所示的云流服务器110包括捕获单元210、编码单元220、发送单元230和存储单元240。
[0114] 云流服务基本上应用基于视频编解码器的云流技术。因此，即使当云流技术被应用于诸如菜单显示的静态画面时，以没有必要地捕获整个画面并且利用视频编解码器进行编码的低效方式执行云流服务。为了解决此问题，本发明提供了云流服务器110，其在帧之间的变化较小(例如，菜单显示画面)的情况下检测帧之间的变化区域并且通过静止图像压缩技术仅对变化区域进行编码。
[0115] 捕获单元210捕获与先前帧相比变化的帧中所包含的变化区域。基于视频编解码器的云流技术可捕获并编码与应用正在运行的画面对应的所有帧。然而，如果在画面上帧之间存在较小变化，则捕获单元210可通过仅捕获与先前帧相比变化的帧的变化区域来执行静止图像编码。因此，用户的终端装置可固定地显示未变化区域并且仅动态地显示变化区域。
[0116] 在这种情况下，可捕获与先前帧所对应的画面区域不同的变化的帧所对应的画面区域的特定区域作为变化区域。例如，如果变化的帧相对于先前帧的对应区域变化的区域是区域A，则可仅捕获变化的帧的画面区域中的区域A作为变化区域。根据在用户的终端装置处输入的输入信号，这种变化区域可具有各种尺寸，并且与变化区域对应的图像可具有各种类型。
[0117] 在这种情况下，可在要发送给用户的终端装置的所有帧中检测具有较小帧变化的区段，并且可在所检测的区段中捕获变化区域。
[0118] 此时，通过识别从用户的终端装置发生的应用的事件类型，可检测这种具有较小帧变化的区段。例如，根据用户的终端装置的输入信号，可确定应用的事件类型。根据输入信号，可发生当应用被执行时具有较小帧变化的静态事件(例如，菜单、选项或通知窗口)或者具有频繁变化的帧的动态事件(例如，视频回放或玩游戏)。因此，可从用户的终端装置的输入信号识别事件类型，并且如果事件类型是静态事件，则从与该事件对应的所有帧检测具有较小帧变化的区段。
[0119] 编码单元220通过考虑变化区域的尺寸和变化区域所对应的图像类型中的一个或更多个来选择静止图像压缩技术，然后利用所选择的静止图像压缩技术来执行与一个帧对应的变化区域的静止图像编码。例如，所捕获的区域可根据帧中变化的区域具有从非常小的尺寸到与整个帧对应的大尺寸的各种尺寸。另外，所捕获的区域的图像类型可以是诸如照片或图片的自然图像或者通过几个图像的混合形成的合成图像。另外，自然图像和合成图像可同时存在于所捕获的变化区域中。
[0120] 在这种情况下，利用诸如PNG(便携式网络图形)、调色板PNG(便携式网络图形)和JPEG(联合图像专家组)的静止图像压缩技术，可对变化区域进行压缩。PNG 静止图像压缩技术可获得良好质量的图像，但是在编码时可能导致数据的大小增加。因此，如果传输网络的带宽低，则传输速度可能降低。调色板PNG静止图像压缩技术在编码时由于图像的数据大小减小而可确保传输速度，但是由于以8比特来表现颜色而可能导致图像质量的劣化。JPEG静止图像压缩技术具有良好的压缩效率，因此在编码时可显著减小传输数据量，但是在编码和解码时由于高压缩效率而可能导致很大的系统负载。
[0121] 如果变化区域的尺寸小于预定基准值，则编码单元可通过应用PNG静止图像压缩技术来对变化区域进行编码。例如，如果与预定基准值相比变化区域具有较小的尺寸，则编码单元可通过应用由于图像大小较小并且要发送的数据量较小而允许相对高质量的编码的PNG静止图像压缩技术来对变化区域进行编码。所述预定基准值可由服务器管理员考虑云流服务器110的处理性能、网络的传输速度和服务器系统的负载来设定。
[0122] 如果变化区域的尺寸等于或大于基准值，则编码单元可通过考虑图像类型来选择静止图像压缩技术。当由于变化区域的尺寸等于或大于基准值，要发送的数据量很大时，编码单元可利用具有高压缩效率的JPEG静止图像压缩技术或者能够减小数据大小的调色板PNG静止图像压缩技术来执行编码。
[0123] 如果图像类型是自然图像，则编码单元可利用JPEG静止图像压缩技术来对变化区域进行编码。JPEG静止图像压缩技术在对相似的颜色聚集在一个像素周围的自然图像进行压缩时可能更有效率。因此，如果变化区域的尺寸等于或大于基准值并且如果与变化区域对应的图像类型是自然图像，则编码单元可利用JPEG静止图像压缩技术来对变化区域进行编码。
[0124] 如果变化区域的尺寸等于或大于预定基准值并且如果图像类型是合成图像，则编码单元可利用调色板PNG静止图像压缩技术来对变化区域进行编码。由于变化区域的尺寸很大，所以可使用具有高压缩效率的JPEG静止图像压缩技术。然而，对于合成图像，JPEG静止图像压缩技术无法达到预期。因此，在这种情况下，编码单元可利用能够减小数据大小的调色板PNG静止图像来对变化区域进行编码。
[0125] 如果图像类型是自然图像和合成图像的混合图像，则编码单元可通过将自然图像所对应的部分与合成图像所对应的另一部分进行比较来根据与变化区域中的较大部分对应的图像类型选择静止图像压缩技术。例如，如果在变化区域中与自然图像对应的部分大于与合成图像对应的另一部分，则编码单元可利用JPEG静止图像来对变化区域进行编码。或者，如果在变化区域中与合成图像对应的部分大于与自然图像对应的另一部分，则编码单元可利用调色板PNG静止图像压缩技术来对变化区域进行编码。
[0126] 另外，考虑变化区域的尺寸和变化区域所对应的图像类型以确定用于对变化区域进行编码的静止图像压缩技术的顺序可根据云流服务来不同地确定。
[0127] 发送单元230通过向用户发送经静止图像编码的变化区域来执行基于静止图像的云流服务。即，通过将通过编码而压缩的变化区域发送至用户的终端装置，用户可感觉就像正在用户的终端装置处执行应用一样。
[0128] 存储单元240存储在根据本发明的实施方式的云流服务处理中创建的各种类型的上述信息。
[0129] 根据实施方式，存储单元240可独立于云流服务110来形成并且支持用于云流服务的功能。在这种情况下，存储单元240可作为单独的大容量存储装置来操作并且包括用于操作的控制功能。
[0130] 另外，上述云流服务器110还可通过一个或更多个服务器来实现。
[0131] 此外，云流服务器110具有可存储信息的存储器。在实施方式中，存储器是计算机可读介质。存储器在一个实施方式中可以是易失性存储器单元，在另一实施方式中可以是非易失性存储器单元。在实施方式中，存储单元是计算机可读介质。在各种不同的实施方式中，存储单元可包括硬盘装置、光盘装置或者任何其它大容量存储装置。
[0132] 图3是示出根据本发明的实施方式的基于静止图像的云流系统的示图。
[0133] 参照图3，服务器300可响应于从用户的终端装置接收的用户输入执行节目画面 310，并且执行画面捕获。在这种情况下，服务器300可以是云流服务器或者web应用服务器。
执行节目画面310并且执行画面捕获的处理可对应于图2所示的捕获单元 210的操作流程。
执行节目画面310并且执行画面捕获的处理可对应于图2所示的捕获单元 210的操作流程。
[0134] 服务器300可通过静止图像压缩技术来执行所捕获的节目画面310的图像编码 320。在这种情况下，执行图像编码320的处理可对应于图2所示的编码单元220的操作流程。
[0135] 此时，服务器可通过将变化的帧与先前帧进行比较来仅捕获变化区域。另外，服务器可通过考虑变化区域的尺寸和变化区域所对应的图像类型来选择诸如PNG(便携式网络图形)、调色板PNG(便携式网络图形)和JPEG(联合图像专家组)的静止图像压缩技术之一，并且通过所选择的静止图像压缩技术来对变化区域进行编码。
[0136] 此后，服务器300执行经静止图像编码的变化区域向用户的终端装置的流处理 330，因此提供基于静止图像的云流服务。在这种情况下，执行流处理330的处理可对应于图
2所示的发送单元230的操作流程。
2所示的发送单元230的操作流程。
[0137] 此后，用户的终端装置执行所接收到的数据的渲染340，从而将节目画面310显示给用户，就像响应于用户输入在应用中执行的节目画面在用户的终端装置处执行一样。
[0138] 图4是示出根据本发明的实施方式的在基于静止图像的云流服务中捕获变化区域的处理的示图。
[0139] 参照图4，根据本发明的实施方式的基于静止图像的云流服务可将第一帧410与第二帧420进行比较，然后仅捕获并编码变化区域430。
[0140] 例如，假定第一帧410和第二帧420中的区域B、C、D和E是菜单显示。在第一帧410中，光标位于区域C处，以使得区域C可被高亮以与其它区域B、D和E 相区别。在第二帧420中，光标从区域C移至区域D，以使得区域D可被高亮以与其它区域B、C和E相区别。
[0141] 在这种情况下，作为第一帧410和第二帧420之间的比较的结果，可仅捕获区域 C和D作为变化区域430。服务器还可通过考虑变化区域430的尺寸和变化区域430 的图像类型来选择静止图像压缩技术，然后利用所选择的静止图像压缩技术来对变化区域430进行编码。
[0142] 典型的云流服务可通过捕获与帧频对应的所有帧(包括一定变化的第一帧410 和第二帧420)来执行编码。然而，基于静止图像的云流服务仅捕获变化区域430并且通过静止图像压缩技术对它进行编码，因此与不必要地捕获许多帧以及这种帧的整个画面的典型云流服务相比，改进了服务的效率。
[0143] 图5是示出根据本发明的实施方式的基于静止图像的云流服务方法的流程图。
[0144] 参照图5，根据本发明的实施方式的基于静止图像的云流服务方法捕获与先前帧相比变化的帧中所包含的变化区域(S510)。基于视频编解码器的云流技术可通过捕获与正在运行应用的画面对应的所有帧来执行编码。然而，当在正在运行应用的画面上帧之间的变化较小时，可通过仅捕获与先前帧相比变化的帧的变化区域来执行静止图像编码，使得用户的终端装置可固定地显示未变化区域并且仅动态地显示变化区域。
[0145] 在这种情况下，可捕获与先前帧所对应的画面区域不同的变化的帧所对应的画面区域的特定区域作为变化区域。例如，如果变化的帧相对于先前帧的对应区域变化的区域是区域A，则可仅捕获变化的帧的画面区域中的区域A作为变化区域。根据在用户的终端装置处输入的输入信号，这种变化区域可具有各种尺寸，并且与变化区域对应的图像可具有各种类型。
[0146] 在这种情况下，可在要发送给用户的终端装置的所有帧中检测具有较小帧变化的区段，并且可在所检测的区段中捕获变化区域。
[0147] 此时，通过识别从用户的终端装置发生的应用的事件类型，可检测这种具有较小帧变化的区段。例如，根据用户的终端装置的输入信号，可确定应用的事件类型。根据输入信号，可发生当应用被执行时具有较小帧变化的静态事件(例如，菜单、选项或通知窗口)或者具有频繁变化的帧的动态事件(例如，视频回放或玩游戏)。因此，可从用户的终端装置的输入信号识别事件类型，并且如果事件类型是静态事件，则从与该事件对应的所有帧检测具有较小帧变化的区段。
[0148] 另外，根据本发明的实施方式的基于静止图像的云流服务方法通过考虑变化区域的尺寸和变化区域所对应的图像类型中的一个或更多个来选择静止图像压缩技术，然后执行与一个帧对应的变化区域的静止图像编码(S520)。例如，根据帧中变化的区域，所捕获的区域可具有从非常小的尺寸到与整个帧对应的大尺寸的各种尺寸。另外，所捕获的区域的图像类型可以是诸如照片或图片的自然图像或者通过几个图像的混合形成的合成图像。另外，自然图像和合成图像可同时存在于所捕获的变化区域中。
[0149] 在这种情况下，利用诸如PNG(便携式网络图形)、调色板PNG(便携式网络图形)和JPEG(联合图像专家组)的静止图像压缩技术，可对变化区域进行压缩。PNG 静止图像压缩技术可获得良好质量的图像，但是在编码时可能导致数据大小的增加。因此，如果传输网络的带宽低，则传输速度可能降低。调色板PNG静止图像压缩技术在编码时由于图像的数据大小减小而可确保传输速度，但是由于以8比特来表现颜色而可能导致图像质量的劣化。JPEG静止图像压缩技术具有良好的压缩效率，因此在编码时可显著减小传输数据量，但是在编码和解码时由于高压缩效率而可能导致很大的系统负载。
[0150] 如果变化区域的尺寸小于预定基准值，则编码单元可通过应用PNG静止图像压缩技术来对变化区域进行编码。例如，如果与预定基准值相比变化区域具有较小的尺寸，则编码单元可通过应用由于图像大小较小并且要发送的数据量较小而允许相对高质量的编码的PNG静止图像压缩技术来对变化区域进行编码。所述预定基准值可由服务器管理员考虑云流服务器的处理性能、网络的传输速度和服务器系统的负载来设定。
[0151] 如果变化区域的尺寸等于或大于基准值，则编码单元可通过考虑图像类型来选择静止图像压缩技术。当由于变化区域的尺寸等于或大于基准值，要发送的数据量很大时，编码单元可利用具有高压缩效率的JPEG静止图像压缩技术或者能够减小数据大小的调色板PNG静止图像压缩技术来执行编码。
[0152] 如果图像类型是自然图像，则编码单元可利用JPEG静止图像压缩技术来对变化区域进行编码。JPEG静止图像压缩技术在对相似的颜色聚集在一个像素周围的自然图像进行压缩时可能更有效率。因此，如果变化区域的尺寸等于或大于基准值并且如果与变化区域对应的图像类型是自然图像，则编码单元可利用JPEG静止图像压缩技术来对变化区域进行编码。
[0153] 如果变化区域的尺寸等于或大于预定基准值并且如果图像类型是合成图像，则编码单元可利用调色板PNG静止图像压缩技术来对变化区域进行编码。由于变化区域的尺寸很大，所以可使用具有高压缩效率的JPEG静止图像压缩技术。然而，对于合成图像，JPEG静止图像压缩技术无法达到预期。因此，在这种情况下，编码单元可利用能够减小数据大小的调色板PNG静止图像来对变化区域进行编码。
[0154] 如果图像类型是自然图像和合成图像的混合图像，则编码单元可通过将自然图像所对应的部分与合成图像所对应的另一部分进行比较来根据与变化区域中的较大部分对应的图像类型选择静止图像压缩技术。例如，如果在变化区域中与自然图像对应的部分大于与合成图像对应的另一部分，则编码单元可利用JPEG静止图像来对变化区域进行编码。或者，如果在变化区域中与合成图像对应的部分大于与自然图像对应的另一部分，则编码单元可利用调色板PNG静止图像压缩技术来对变化区域进行编码。
[0155] 另外，考虑变化区域的尺寸和变化区域所对应的图像类型以确定用于对变化区域进行编码的静止图像压缩技术的顺序可根据云流服务来不同地确定。
[0156] 另外，根据本发明的实施方式的基于静止图像的云流服务方法通过将经静止图像编码的变化区域发送给用户来执行基于静止图像的云流服务(S530)。即，通过将通过静止图像编码压缩的变化区域发送给用户的终端装置，用户可感觉就像正在用户的终端装置处执行应用一样。
[0157] 图6是示出根据本发明的实施方式的基于静止图像的云流服务方法的详细流程图。
[0158] 参照图6，在根据本发明的实施方式的基于静止图像的云流服务方法中，云流服务器捕获与先前帧相比变化的帧中所包含的变化区域(S610)。在这种情况下，可捕获与先前帧所对应的画面区域不同的变化的帧所对应的画面区域的特定区域作为变化区域。在这种情况下，可在要发送给用户的终端装置的所有帧中检测具有较小帧变化的区段，并且可在所检测的区段中捕获变化区域。此时，通过识别从用户的终端装置发生的应用的事件类型，可检测这种具有较小帧变化的区段。
[0159] 云流服务器确定变化区域的尺寸是否小于预定基准值(S615)。
[0160] 如果在步骤S615确定变化区域的尺寸小于预定基准值，则云流服务器通过PNG 静止图像压缩技术来对变化区域进行编码(S620)。PNG静止图像压缩技术可获得良好质量的图像，但是在编码时可能导致数据大小的增加。因此，如果传输网络的带宽低，则传输速度可能降低。然而，由于变化区域的图像大小不很大并且要发送的数据量也不很大，所以服务器可通过应用允许相对高质量的编码的PNG静止图像压缩技术来执行编码。
[0161] 如果在步骤S615确定变化区域的尺寸等于或大于预定基准值，则云流服务器确定与变化区域对应的图像类型是否为自然图像(S625)。
[0162] 如果在步骤S625确定与变化区域对应的图像类型是自然图像，则云流服务器通过JPEG静止图像压缩技术来对变化区域进行编码(S630)。JPEG静止图像压缩技术具有良好的压缩效率，因此在编码时可显著减小传输数据量，但是在编码和解码时由于高压缩效率而可能导致很大的系统负载。另外，JPEG静止图像压缩技术在对相似的颜色聚集在一个像素周围的自然图像进行压缩(而非对涉及多个图片或照片的合成图像进行压缩)时可能更有效率。因此，如果变化区域的尺寸等于或大于基准值并且如果与变化区域对应的图像类型是自然图像，则服务器可利用JPEG静止图像压缩技术来对变化区域进行编码。
[0163] 如果在步骤S625确定与变化区域对应的图像类型是合成图像，则云流服务器通过调色板PNG静止图像压缩技术来对变化区域进行编码(S640)。即，如果变化区域的尺寸等于或大于预定基准值并且如果图像类型是合成图像，则服务器可利用能够减小数据大小的调色板PNG静止图像来对变化区域进行编码。
[0164] 此后，云流服务器将经静止图像编码的变化区域传送给用户(S650)。通过将通过静止图像编码来压缩的变化区域发送给用户的终端装置，用户可感觉就像正在用户的终端装置处执行应用一样。
[0165] 图7是示出根据本发明的另一实施方式的云流服务系统的框图。
[0166] 参照图7，根据本发明的实施方式的云流服务系统包括云流服务器710、终端装置720-1至720-N以及网络730。
[0167] 云流服务器710响应于来自终端装置720-1至720-N的对云流服务的请求执行应用，并且向终端装置720-1至720-N提供与执行应用的结果对应的执行结果画面。
[0168] 云流服务基本上应用基于视频编解码器的云流技术。因此，即使当云流技术被应用于诸如菜单显示的静态画面时，以不必要地捕获整个画面并且利用视频编解码器进行编码的低效方式执行云流服务。为了解决此问题，本发明提供了云流服务系统，其中云流服务器在帧之间的变化较小(例如，菜单显示画面)的情况下检测帧之间的变化区域并且通过静止图像压缩技术仅对变化区域进行编码。
[0169] 云流服务器710捕获与先前帧相比变化的帧中所包含的变化区域。即，与先前帧所对应的画面相比，可捕获与变化的帧对应的画面中的不同区域作为变化区域。在这种情况下，服务器可在要发送至终端装置720-1至720-N的所有帧中检测具有较小帧变化的区段，然后在所检测的区段中捕获变化区域。此时，通过识别在终端装置720-1 至720-N处发生的应用的事件类型，可检测这种具有较小帧变化的区段。
[0170] 另外，云流服务器710根据通过考虑与变化区域对应的图像的颜色的数量和图像的像素值的标准偏差中的一个或更多个而确定的图像类型来选择静止图像压缩技术，并且利用所选择的静止图像压缩技术来执行与一个帧对应的变化区域的静止图像编码。在这种情况下，服务器可根据诸如自然图像和合成图像的图像类型之一来选择静止图像压缩技术。如果与变化区域对应的图像的颜色的数量大于预定基准数量，则服务器可将图像类型确定为自然图像。如果与变化区域对应的图像的颜色的数量等于或小于预定基准数量，则服务器可通过考虑与变化区域对应的图像的像素值的标准偏差来确定图像类型。如果与变化区域对应的图像的颜色的数量等于或小于预定基准数量并且如果与变化区域对应的图像的像素值的标准偏差等于或小于预定基准值，则服务器可将图像类型确定为合成图像。如果与变化区域对应的图像的像素值的标准偏差大于预定基准值，则服务器可将图像类型确定为自然图像。在这种情况下，服务器可根据图像类型利用从PNG(便携式网络图形)和JPEG(联合图像专家组)选择的静止图像压缩技术来执行变化区域的静止图像编码。
[0171] 另外，云流服务器710将经静止图像编码的变化区域发送给用户，因此执行基于静止图像的云流服务。
[0172] 终端装置720-1至720-N从云流服务器710接收与云流服务对应的应用执行结果画面，然后将它提供给用户。
[0173] 终端装置720-1至720-N连接至通信网络，并且基于云计算系统，可执行应用。终端装置可以是(但不限于)移动通信终端、诸如信息通信装置、多媒体装置、有线装置、固定装置和互联网协议(IP)装置的各种装置。另外，终端装置720-1至720-N 中的每一个可以是具有各种移动通信规范的移动装置，例如移动电话、便携式多媒体播放器(PMP)、移动互联网装置(MID)、智能电话、台式机、平板PC、笔记本、上网本、个人数字助理(PDA)、智能电话和信息通信装置。
[0174] 网络730提供在云流服务器710与终端装置720-1至720-N之间传送数据的路由，包括通常使用的网络以及任何未来可开发的网络。例如，网络730可以是在有限的区域内提供各种信息装置的通信的有线/无线短距离通信网络、在移动实体之间以及移动实体与移动实体之外的任何其它实体之间提供通信的移动通信网络、利用卫星在地面站之间提供通信的卫星通信网络、有线/无线通信网络之一、或者其任何组合。此外，网络730的传输方案的标准不限于现有传输方案标准，可包括未来将要开发的所有传输方案标准。另外，图7中用在云流服务器710与终端装置720-1至720-N之间的网络可与终端装置720-1至720-N之间的网络不同或相同。
[0175] 图8是示出图7所示的云流服务器的示例的框图。
[0176] 参照图8，图7所示的云流服务器710包括捕获单元810、编码单元820、发送单元830和存储单元840。
[0177] 云流服务基本上应用基于视频编解码器的云流技术。因此，即使当云流技术被应用于诸如菜单显示的静态画面时，以不必要地捕获整个画面并且利用视频编解码器进行编码的低效方式执行云流服务。为了解决此问题，本发明提供了云流服务器710，其在帧之间的变化较小(例如，菜单显示画面)的情况下检测帧之间的变化区域并且通过静止图像压缩技术仅对变化区域进行编码。
[0178] 捕获单元810捕获与先前帧相比变化的帧中所包含的变化区域。基于视频编解码器的云流技术可捕获并编码与正在运行应用的画面对应的所有帧。然而，如果在画面上帧之间存在较小变化，则捕获单元810可通过仅捕获与先前帧相比变化的帧的变化区域来执行静止图像编码。因此，用户的终端装置可固定地显示未变化区域并且仅动态地显示变化区域。
[0179] 在这种情况下，可捕获与先前帧所对应的画面区域不同的变化的帧所对应的画面区域的特定区域作为变化区域。例如，如果变化的帧相对于先前帧的对应区域变化的区域是区域A，则可仅捕获变化的帧的画面区域中的区域A作为变化区域。根据在用户的终端装置处输入的输入信号，这种变化区域可具有各种尺寸，并且与变化区域对应的图像可具有各种类型。
[0180] 在这种情况下，可在要发送给用户的终端装置的所有帧中检测具有较小帧变化的区段，并且可在所检测的区段中捕获变化区域。
[0181] 此时，通过识别从用户的终端装置发生的应用的事件类型，可检测这种具有较小帧变化的区段。例如，根据用户的终端装置的输入信号，可确定应用的事件类型。根据输入信号，可发生当应用被执行时具有较小帧变化的静态事件(例如，菜单、选项或通知窗口)或者具有频繁变化的帧的动态事件(例如，视频回放或玩游戏)。因此，可从用户的终端装置的输入信号识别事件类型，并且如果事件类型是静态事件，则从与该事件对应的所有帧检测具有较小帧变化的区段。
[0182] 编码单元820根据通过考虑与变化区域对应的图像的颜色的数量和图像的像素值的标准偏差中的一个或更多个而确定的图像类型来选择静止图像压缩技术，并且利用所选择的静止图像压缩技术来执行与一个帧对应的变化区域的静止图像编码。例如，由于所捕获的变化区域的图像类型可以是单个图像(例如，一张照片或一张图片) 或者几个图像的混合图像，所以编码单元可确定图像类型，选择适合于各个图像类型的静止图像压缩技术，并且执行静止图像编码以增加变化区域的压缩效率。
[0183] 在这种情况下，编码单元可根据诸如自然图像和合成图像的图像类型之一来选择静止图像压缩技术。自然图像可表示自然地产生的对象的图像。例如，自然图像可表示光学图像(例如，一张照片或一张图片)或者具有诸如x射线和红外线的其它波长的图像。与自然图像相反，合成图像可表示通过计算机或者任何其它人为手段创建或混合的图像。
[0184] 如果与变化区域对应的图像的颜色的数量大于预定基准数量，则编码单元可将图像类型确定为自然图像。由于自然图像可以是自然地产生的对象的图像，所以与合成图像相比，应用于表示图像的颜色的亮度和饱和度的变化可复杂。因此，由于与合成图像相比，由构成自然图像的像素表现的颜色的数量可变化，所以与变化区域对应的图像类型可通过考虑与变化区域对应的图像的颜色的数量来确定。例如，如果预定基准数量为100000，则当构成与变化区域对应的图像的颜色的数量大于100000时，图像类型可被确定为自然图像，当颜色的数量等于或小于100000时，图像类型可被确定为合成图像。
[0185] 如果与变化区域对应的图像的颜色的数量等于或小于预定基准数量，则编码单元可通过考虑与变化区域对应的图像的像素值的标准偏差来确定图像类型。像素值的标准偏差可表示由变化区域所对应的图像的像素表现的颜色值的分布的变化。如果该变化表示零，这可意味着所有颜色具有相同的值。即，像素值的标准偏差越小可表示图像由越少数量的颜色形成。因此，通过考虑图像的像素值的标准偏差，可确定与变化区域对应的图像的图像类型。
[0186] 如果与变化区域对应的图像的颜色的数量等于或小于预定基准数量并且如果与变化区域对应的图像的像素值的标准偏差等于或小于预定基准值，则编码单元可将图像类型确定为合成图像。例如，假定关于图像颜色的数量的所述预定基准数量为 100000并且关于图像像素值的标准偏差的所述预定基准值为N。在这种情况下，如果与变化区域对应的图像的颜色的数量等于或小于100000并且如果与变化区域对应的图像的颜色值的标准偏差等于或小于N，则图像类型可被确定为合成图像。
[0187] 如果与变化区域对应的图像的像素值的标准偏差大于预定基准值，则编码单元可将图像类型确定为自然图像。例如，如果图像的像素值的标准偏差大于预定基准值，这可意味着图像由较大数量的颜色形成。因此，如果图像的像素值的标准偏差大于预定基准值，则编码单元可确定与变化区域对应的图像是由许多颜色形成的自然图像。
[0188] 在这种情况下，编码单元可根据图像类型来利用从PNG(便携式网络图形)和 JPEG(联合图像专家组)选择的静止图像压缩技术执行变化区域的静止图像编码。
[0189] PNG静止图像压缩技术可获得良好质量的图像，但是在编码时可能导致数据大小的增加。因此，如果传输网络的带宽低，则传输速度可能降低。JPEG静止图像压缩技术具有良好的压缩效率，因此在编码时可显著减小传输数据量，但是在编码和解码时由于高压缩效率而可能导致很大的系统负载。另外，JPEG静止图像压缩技术在对相似的颜色聚集在一个像素周围的自然图像进行压缩时可能更有效率。因此，如果与变化区域对应的图像类型是自然图像，则编码单元可通过JPEG静止图像压缩技术来对变化区域进行编码。
[0190] 另外，如果变化区域是合成图像，则JPEG静止图像压缩技术无法达到与自然图像差不多的压缩效率预期。因此，在合成图像的情况下，编码单元可通过选择能够增强图像质量的PNG静止图像压缩技术来执行变化区域的静止图像编码。
[0191] 另外，如果变化区域是合成图像并且具有较大的尺寸从而导致很多数据，则编码单元可利用能够减小数据大小的调色板PNG静止图像压缩技术来对变化区域进行编码。调色板PNG静止图像压缩技术在编码时由于图像的数据大小减小而可确保传输速度，但是由于以8比特来表现颜色而可能导致图像质量的劣化。
[0192] 发送单元830通过向用户发送经静止图像编码的变化区域来执行基于静止图像的云流服务。即，通过将通过编码而压缩的变化区域发送至用户的终端装置，用户可感觉就像正在用户的终端装置处执行应用一样。
[0193] 存储单元840存储在根据本发明的实施方式的云流服务处理中创建的各种类型的上述信息。
[0194] 根据实施方式，存储单元840可独立于云流服务710来形成并且支持用于云流服务的功能。在这种情况下，存储单元840可作为单独的大容量存储装置来操作并且包括用于操作的控制功能。
[0195] 另外，上述云流服务器710还可通过一个或更多个服务器来实现。
[0196] 此外，云流服务器710具有可存储信息的存储器。在实施方式中，存储器是计算机可读介质。存储器在一个实施方式中可以是易失性存储器单元，在另一实施方式中可以是非易失性存储器单元。在实施方式中，存储单元是计算机可读介质。在各种不同的实施方式中，存储单元可包括硬盘装置、光盘装置或者任何其它大容量存储装置。
[0197] 图9是示出根据本发明的实施方式的根据图像类型的云流服务方法的流程图。
[0198] 参照图9，根据本发明的实施方式的根据图像类型的云流服务方法捕获与先前帧相比变化的帧中所包含的变化区域(S910)。基于视频编解码器的云流技术可通过捕获与正在运行应用的画面对应的所有帧来执行编码。然而，当在正在运行应用的画面上帧之间的变化较小时，可通过仅捕获与先前帧相比变化的帧的变化区域来执行静止图像编码，使得用户的终端装置可固定地显示未变化区域并且仅动态地显示变化区域。
[0199] 在这种情况下，可捕获与先前帧所对应的画面区域不同的变化的帧所对应的画面区域的特定区域作为变化区域。例如，如果变化的帧相对于先前帧的对应区域变化的区域是区域A，则可仅捕获变化的帧的画面区域中的区域A作为变化区域。根据在用户的终端装置处输入的输入信号，这种变化区域可具有各种尺寸，并且与变化区域对应的图像可具有各种类型。
[0200] 在这种情况下，可在要发送给用户的终端装置的所有帧中检测具有较小帧变化的区段，并且可在所检测的区段中捕获变化区域。
[0201] 此时，通过识别从用户的终端装置发生的应用的事件类型，可检测这种具有较小帧变化的区段。例如，根据用户的终端装置的输入信号，可确定应用的事件类型。根据输入信号，可发生当应用被执行时具有较小帧变化的静态事件(例如，菜单、选项或通知窗口)或者具有频繁变化的帧的动态事件(例如，视频回放或玩游戏)。因此，可从用户的终端装置的输入信号识别事件类型，并且如果事件类型是静态事件，则从与该事件对应的所有帧检测具有较小帧变化的区段。
[0202] 另外，根据本发明的实施方式的根据图像类型的云流服务方法根据通过考虑与变化区域对应的图像的颜色的数量和图像的像素值的标准偏差中的一个或更多个而确定的图像类型来选择静止图像压缩技术，并且利用所选择的静止图像压缩技术来执行与一个帧对应的变化区域的静止图像编码(S920)。例如，由于所捕获的变化区域的图像类型可以是单个图像(例如，一张照片或一张图片)或者几个图像的混合图像，所以编码单元可确定图像类型，选择适合于各个图像类型的静止图像压缩技术，并且执行静止图像编码以增加变化区域的压缩效率。
[0203] 在这种情况下，编码单元可根据诸如自然图像和合成图像的图像类型之一来选择静止图像压缩技术。自然图像可表示自然地产生的对象的图像。例如，自然图像可表示光学图像(例如，一张照片或一张图片)或者具有诸如x射线和红外线的其它波长的图像。与自然图像相反，合成图像可表示通过计算机或者任何其它人为手段创建或混合的图像。
[0204] 如果与变化区域对应的图像的颜色的数量大于预定基准数量，则编码单元可将图像类型确定为自然图像。由于自然图像可以是自然地产生的对象的图像，所以与合成图像相比，应用于表示图像的颜色的亮度和饱和度的变化可复杂。因此，由于与合成图像相比，由构成自然图像的像素表现的颜色的数量可变化，所以与变化区域对应的图像类型可通过考虑与变化区域对应的图像的颜色的数量来确定。例如，如果预定基准数量为100000，则当构成与变化区域对应的图像的颜色的数量大于100000时，图像类型可被确定为自然图像，当颜色的数量等于或小于100000时，图像类型可被确定为合成图像。
[0205] 如果与变化区域对应的图像的颜色的数量等于或小于预定基准数量，则编码单元可通过考虑与变化区域对应的图像的像素值的标准偏差来确定图像类型。像素值的标准偏差可表示由变化区域所对应的图像的像素表现的颜色值的分布的变化。如果该变化表示零，这可意味着所有颜色具有相同的值。即，像素值的标准偏差越小可表示图像由越少数量的颜色形成。因此，通过考虑图像的像素值的标准偏差，可确定与变化区域对应的图像的图像类型。
[0206] 如果与变化区域对应的图像的颜色的数量等于或小于预定基准数量并且如果与变化区域对应的图像的像素值的标准偏差等于或小于预定基准值，则编码单元可将图像类型确定为合成图像。例如，假定关于图像颜色的数量的所述预定基准数量为 100000并且关于图像像素值的标准偏差的所述预定基准值为N。在这种情况下，如果与变化区域对应的图像的颜色的数量等于或小于100000并且如果与变化区域对应的图像的颜色值的标准偏差等于或小于N，则图像类型可被确定为合成图像。
[0207] 如果与变化区域对应的图像的像素值的标准偏差大于预定基准值，则编码单元可将图像类型确定为自然图像。例如，如果图像的像素值的标准偏差大于预定基准值，这可意味着图像由较大数量的颜色形成。因此，如果图像的像素值的标准偏差大于预定基准值，则编码单元可确定与变化区域对应的图像是由许多颜色形成的自然图像。
[0208] 在这种情况下，编码单元可根据图像类型来利用从PNG(便携式网络图形)和 JPEG(联合图像专家组)选择的静止图像压缩技术执行变化区域的静止图像编码。
[0209] PNG静止图像压缩技术可获得良好质量的图像，但是在编码时可能导致数据大小的增加。因此，如果传输网络的带宽低，则传输速度可能降低。JPEG静止图像压缩技术具有良好的压缩效率，因此在编码时可显著减小传输数据量，但是在编码和解码时由于高压缩效率而可能导致很大的系统负载。另外，JPEG静止图像压缩技术在对相似的颜色聚集在一个像素周围的自然图像进行压缩时可能更有效率。因此，如果与变化区域对应的图像类型是自然图像，则编码单元可通过JPEG静止图像压缩技术来对变化区域进行编码。
[0210] 另外，如果变化区域是合成图像，则JPEG静止图像压缩技术无法达到与自然图像差不多的压缩效率预期。因此，在合成图像的情况下，编码单元可通过选择能够增强图像质量的PNG静止图像压缩技术来执行变化区域的静止图像编码。
[0211] 另外，如果变化区域是合成图像并且具有较大的尺寸从而导致很多数据，则编码单元可利用能够减小数据大小的调色板PNG静止图像压缩技术来对变化区域进行编码。调色板PNG静止图像压缩技术在编码时由于图像的数据大小减小而可确保传输速度，但是由于以8比特来表现颜色而可能导致图像质量的劣化。
[0212] 另外，根据本发明的实施方式的根据图像类型的云流服务方法可通过将经静止图像编码的变化区域发送给用户来执行基于静止图像的云流服务(S930)。即，通过将通过编码而压缩的变化区域发送至用户的终端装置，用户可感觉就像正在用户的终端装置处执行应用一样。
[0213] 此外，尽管图9中未示出，根据本发明的实施方式的根据图像类型的云流服务方法存储在根据本发明的实施方式的云流服务处理中创建的各种类型的上述信息。
[0214] 图10是示出根据本发明的实施方式的根据图像类型的云流服务方法的详细流程图。
[0215] 参照图10，在根据本发明的实施方式的根据图像类型的云流服务方法中，云流服务器捕获与先前帧相比变化的帧中所包含的变化区域(S1010)。在这种情况下，可捕获与先前帧所对应的画面区域不同的变化的帧所对应的画面区域的特定区域作为变化区域。
[0216] 此后，服务器确定与变化区域对应的图像的颜色的数量是否大于预定基准数量 (S1015)。
[0217] 如果在步骤S1015确定颜色的数量超过预定基准数量，则服务器确定变化区域的图像类型是自然图像(S1020)。
[0218] 如果在步骤S1015确定颜色的数量没有超过预定基准数量，则服务器确定与变化区域对应的图像的像素值的标准偏差是否大于预定基准值(S1025)。
[0219] 如果在步骤S1025确定标准偏差超过预定基准值，则服务器确定变化区域的图像类型是自然图像(S1020)。
[0220] 如果在步骤S1025确定标准偏差没有超过预定基准值，则服务器确定变化区域的图像类型是合成图像(S1030)。
[0221] 此后，根据所确定的图像类型，云流服务器选择静止图像压缩技术(S1040)。此时，PNG(便携式网络图形)和JPEG(联合图像专家组)中的一个可被选为静止图像压缩技术。另外，如果图像类型是合成图像，可使用调色板PNG(便携式网络图形)静止图像压缩技术。
[0222] 此后，云流服务器利用所选择的静止图像压缩技术来执行变化区域的静止图像编码(S1050)。
[0223] 此后，云流服务器将经静止图像编码的变化区域传送至用户的终端装置(S1060)。通过将通过静止图像编码来压缩的变化区域发送给用户的终端装置，用户可感觉就像正在用户的终端装置处执行应用一样。
[0224] 图11是示出根据本发明的另一实施方式的云流服务系统的框图。
[0225] 参照图11，根据本发明的实施方式的云流服务系统包括云流服务器1110、终端装置1120-1至1120-N以及网络1130。
[0226] 云流服务器1110响应于来自终端装置1120-1至1120-N的对云流服务的请求来执行应用，并且向终端装置1120-1至1120-N提供与执行应用的结果对应的执行结果画面。
[0227] 云流服务基本上应用基于视频编解码器的云流技术。因此，即使当云流技术被应用于诸如菜单显示的静态画面时，以不必要地捕获整个画面并且利用视频编解码器进行编码的低效方式执行云流服务。为了解决此问题，本发明提供了云流服务系统，其中云流服务器在帧之间的变化较小(例如，菜单显示画面)的情况下检测帧之间的变化区域并且通过静止图像压缩技术仅对变化区域进行编码。
[0228] 云流服务器1110捕获与先前帧相比变化的帧中所包含的变化区域。即，与先前帧所对应的画面相比，可捕获与变化的帧对应的画面中的不同区域作为变化区域。在这种情况下，服务器可在要发送至终端装置1120-1至1120-N的所有帧中检测具有较小帧变化的区段，然后在所检测的区段中捕获变化区域。此时，通过识别在终端装置 1120-1至1120-N处发生的应用的事件类型，可检测这种具有较小帧变化的区段。
[0229] 另外，云流服务器1110通过考虑云流服务器的负载大小和网络的数据处理速率中的一个或更多个来选择静止图像压缩技术，并且利用所选择的静止图像压缩技术来执行与一个帧对应的变化区域的静止图像编码。在这种情况下，利用诸如PNG(便携式网络图形)、调色板PNG(便携式网络图形)和JPEG(联合图像专家组)的静止图像压缩技术，变化区域可被压缩。如果云流服务器的负载大小小于预定基准值，则可应用JPEG静止图像压缩技术来对变化区域进行编码。如果云流服务器的负载大小等于或大于预定基准值，则可通过考虑网络的数据处理速率来选择合适的静止图像压缩技术。如果网络的数据处理速率小于预定处理速率，则可应用PNG静止图像压缩技术以对变化区域进行编码。如果云流服务器的负载大小等于或大于预定基准值并且如果网络的数据处理速率等于或大于预定处理速率，则可应用调色板PNG静止图像压缩技术以对变化区域进行编码。
[0230] 另外，云流服务器1110将经静止图像编码的变化区域发送给用户，因此执行基于静止图像的云流服务。
[0231] 终端装置1120-1至1120-N从云流服务器1110接收与云流服务对应的应用执行结果画面，然后将它提供给用户。
[0232] 终端装置1120-1至1120-N连接至通信网络，并且基于云计算系统，可执行应用。终端装置可以是(但不限于)移动通信终端、诸如信息通信装置、多媒体装置、有线装置、固定装置和互联网协议(IP)装置的各种装置。另外，终端装置1120-1至1120-N 中的每一个可以是具有各种移动通信规范的移动装置，例如移动电话、便携式多媒体播放器(PMP)、移动互联网装置(MID)、智能电话、台式机、平板PC、笔记本、上网本、个人数字助理(PDA)、智能电话和信息通信装置。
[0233] 网络1130提供在云流服务器1110与终端装置1120-1至1120-N之间传送数据的路由，包括通常使用的网络以及任何未来可开发的网络。例如，网络1130可以是在有限的区域内提供各种信息装置的通信的有线/无线短距离通信网络、在移动实体之间以及移动实体与移动实体之外的任何其它实体之间提供通信的移动通信网络、利用卫星在地面站之间提供通信的卫星通信网络、有线/无线通信网络之一、或者其任何组合。此外，网络1130的传输方案的标准不限于现有传输方案标准，可包括未来将要开发的所有传输方案标准。另外，图11中用在云流服务器1110与终端装置1120-1 至1120-N之间的网络可与终端装置1120-1至
1120-N之间的网络不同或相同。
1120-N之间的网络不同或相同。
[0234] 图12是示出图11所示的云流服务器的示例的框图。
[0235] 参照图12，图11所示的云流服务器1110包括捕获单元1210、编码单元1220、发送单元1230和存储单元1240。
[0236] 云流服务基本上应用基于视频编解码器的云流技术。因此，即使当云流技术被应用于诸如菜单显示的静态画面时，以不必要地捕获整个画面并且利用视频编解码器进行编码的低效方式执行云流服务。为了解决此问题，本发明提供了云流服务器1110，其在帧之间的变化较小(例如，菜单显示画面)的情况下检测帧之间的变化区域并且通过静止图像压缩技术仅对变化区域进行编码。
[0237] 捕获单元1210捕获与先前帧相比变化的帧中所包含的变化区域。基于视频编解码器的云流技术可捕获并编码与正在运行应用的画面对应的所有帧。然而，如果在画面上帧之间存在较小变化，则捕获单元1210可通过仅捕获与先前帧相比变化的帧的变化区域来执行静止图像编码。因此，用户的终端装置可固定地显示未变化区域并且仅动态地显示变化区域。
[0238] 在这种情况下，可捕获与先前帧所对应的画面区域不同的变化的帧所对应的画面区域的特定区域作为变化区域。例如，如果变化的帧相对于先前帧的对应区域变化的区域是区域A，则可仅捕获变化的帧的画面区域中的区域A作为变化区域。根据在用户的终端装置处输入的输入信号，这种变化区域可具有各种尺寸，并且与变化区域对应的图像可具有各种类型。
[0239] 在这种情况下，可在要发送给用户的终端装置的所有帧中检测具有较小帧变化的区段，并且可在所检测的区段中捕获变化区域。
[0240] 此时，通过识别从用户的终端装置发生的应用的事件类型，可检测这种具有较小帧变化的区段。例如，根据用户的终端装置的输入信号，可确定应用的事件类型。根据输入信号，可发生当应用被执行时具有较小帧变化的静态事件(例如，菜单、选项或通知窗口)或者具有频繁变化的帧的动态事件(例如，视频回放或玩游戏)。因此，可从用户的终端装置的输入信号识别事件类型，并且如果事件类型是静态事件，则从与该事件对应的所有帧检测具有较小帧变化的区段。
[0241] 编码单元1220通过考虑云流服务器的负载大小和网络的数据处理速率中的一个或更多个来选择静止图像压缩技术，然后利用所选择的静止图像压缩技术来执行与一个帧对应的变化区域的静止图像编码。
[0242] 云流服务器的负载表示为了实现特定的期望效果，服务器的动作所需的操作或资源。例如，当对与变化区域对应的静止图像进行编码或解码时，云流服务器的负载可变得较大。这种服务器负载的限制可根据构成服务器的硬件装置而变化。如果输入超出服务器负载的限制的命令，则可能发生导致服务器性能劣化的瓶颈。因此，在云流服务中，服务器可通过考虑服务器负载的大小来选择具有较小负载的静止图像压缩技术。
[0243] 另外，网络的数据处理速率表示基于相同的网络带宽处理数据的速率。网络的数据处理速率也可能成为当需要超出网络带宽的数据处理时发生的瓶颈的原因。因此，在云流服务中，服务器可识别网络的数据处理速率并且选择能够减小数据大小的静止图像压缩技术。
[0244] 在这种情况下，使用诸如PNG(便携式网络图形)、调色板PNG(便携式网络图形)和JPEG(联合图像专家组)的静止图像压缩技术，变化区域可被压缩。PNG静止图像压缩技术可获得良好质量的图像，但是在编码时可能导致数据大小的增加。因此，如果传输网络的带宽低，则传输速度可能降低。调色板PNG静止图像压缩技术在编码时由于图像的数据大小减小而可确保传输速度，但是由于以8比特来表现颜色而可能导致图像质量的劣化。JPEG静止图像压缩技术具有良好的压缩效率，因此在编码时可显著减小传输数据量，但是在编码和解码时由于高压缩效率而可能导致很大的系统负载。
[0245] 如果云流服务器的负载大小小于预定基准值，则编码单元可通过应用JPEG静止图像压缩技术来对变化区域进行编码。由于与PNG静止图像压缩技术和调色板静止图像压缩技术相比具有较高的压缩率，所以当服务器执行编码时或者当客户端执行解码时JPEG静止图像压缩技术可能导致很大负载。因此，如果云流服务器的负载大小较小，则可通过JPEG静止图像压缩技术来对变化区域进行编码。此外，由于具有较高的压缩率，所以当网络具有较大的数据处理量时，JPEG静止图像压缩技术可减小数据大小并防止数据处理量的增加。
[0246] 如果云流服务器的负载大小等于或大于预定基准值，则编码单元可通过考虑网络的数据处理速率来选择静止图像压缩技术。例如，如果云流服务器的负载大小等于或大于预定基准值，则编码单元可通过从PNG静止图像压缩技术和调色板PNG静止图像压缩技术选择静止图像压缩技术来对变化区域进行编码。在这种情况下，根据从 PNG静止图像压缩技术和调色板PNG静止图像压缩技术选择的静止图像压缩技术，传输数据的大小可变得不同。因此，通过考虑网络的数据处理速率，可选择静止图像压缩技术。
[0247] 如果网络的数据处理速率小于预定处理速率，则编码单元可通过应用PNG静止图像压缩技术来对变化区域进行编码。例如，在通过PNG静止图像压缩技术对变化区域进行编码的情况下，提供给用户的终端装置的变化区域的图像质量可良好，但是数据大小可增加。即，如果网络的带宽较低，则服务速度可降低。因此，如果网络的数据处理速率较低，因此网络平滑，则能够增强图像质量的PNG静止图像压缩技术可合适于对变化区域进行编码。另外，由于PNG静止图像压缩技术在编码和解码时具有较小负载，所以当云流服务器具有较大负载时，编码单元可通过PNG静止图像压缩技术来对变化区域进行编码，从而防止服务器负载增加。
[0248] 如果云流服务器的负载大小等于或大于预定基准值并且如果网络的数据处理速率等于或大于预定处理速率，则编码单元可通过应用调色板PNG静止图像压缩技术来对变化区域进行编码。例如，当通过调色板PNG静止图像压缩技术来对变化区域进行编码时，图像质量可能劣化，但是传输数据的大小可减小。因此，如果存在由于网络的较高数据处理速率而导致瓶颈的可能性，则编码单元可通过能够减小数据大小的调色板PNG静止图像压缩技术来对变化区域进行编码，从而防止数据传输量的增加。
[0249] 另外，考虑云流服务器的负载大小和网络的数据处理速率以确定用于对变化区域进行编码的静止图像压缩技术的顺序可根据云流服务来不同地确定。
[0250] 发送单元1230通过向用户发送经静止图像编码的变化区域来执行基于静止图像的云流服务。即，通过将通过编码而压缩的变化区域发送至用户的终端装置，用户可感觉就像正在用户的终端装置处执行应用一样。
[0251] 存储单元1240存储在根据本发明的实施方式的云流服务处理中创建的各种类型的上述信息。
[0252] 根据实施方式，存储单元1240可独立于云流服务1110来形成并且支持用于云流服务的功能。在这种情况下，存储单元1240可作为单独的大容量存储装置来操作并且包括用于操作的控制功能。
[0253] 另外，上述云流服务器1110还可通过一个或更多个服务器来实现。
[0254] 此外，云流服务器1110具有可存储信息的存储器。在实施方式中，存储器是计算机可读介质。存储器在一个实施方式中可以是易失性存储器单元，在另一实施方式中可以是非易失性存储器单元。在实施方式中，存储单元是计算机可读介质。在各种不同的实施方式中，存储单元可包括硬盘装置、光盘装置或者任何其它大容量存储装置。
[0255] 图13是示出根据本发明的另一实施方式的基于静止图像的云流服务方法的流程图。
[0256] 参照图13，根据本发明的实施方式的基于静止图像的云流服务方法捕获与先前帧相比变化的帧中所包含的变化区域(S1310)。基于视频编解码器的云流技术可通过捕获与正在运行应用的画面对应的所有帧来执行编码。然而，当在正在运行应用的画面上帧之间的变化较小时，可通过仅捕获与先前帧相比变化的帧的变化区域来执行静止图像编码，使得用户的终端装置可固定地显示未变化区域并且仅动态地显示变化区域。
[0257] 在这种情况下，可捕获与先前帧所对应的画面区域不同的变化的帧所对应的画面区域的特定区域作为变化区域。例如，如果变化的帧相对于先前帧的对应区域变化的区域是区域A，则可仅捕获变化的帧的画面区域中的区域A作为变化区域。根据在用户的终端装置处输入的输入信号，这种变化区域可具有各种尺寸，并且与变化区域对应的图像可具有各种类型。
[0258] 在这种情况下，可在要发送给用户的终端装置的所有帧中检测具有较小帧变化的区段，并且可在所检测的区段中捕获变化区域。
[0259] 此时，通过识别从用户的终端装置发生的应用的事件类型，可检测这种具有较小帧变化的区段。例如，根据用户的终端装置的输入信号，可确定应用的事件类型。根据输入信号，可发生当应用被执行时具有较小帧变化的静态事件(例如，菜单、选项或通知窗口)或者具有频繁变化的帧的动态事件(例如，视频回放或玩游戏)。因此，可从用户的终端装置的输入信号识别事件类型，并且如果事件类型是静态事件，则从与该事件对应的所有帧检测具有较小帧变化的区段。
[0260] 另外，根据本发明的实施方式的基于静止图像的云流服务方法通过考虑云流服务器的负载大小和网络的数据处理速率中的一个或更多个来选择静止图像压缩技术，然后利用所选择的静止图像压缩技术来执行与一个帧对应的变化区域的静止图像编码 (S1320)。
[0261] 云流服务器的负载表示为了实现特定的期望效果，服务器的动作所需的操作或资源。例如，当对与变化区域对应的静止图像进行编码或解码时，云流服务器的负载可变得较大。这种服务器负载的限制可根据构成服务器的硬件装置而变化。如果输入超出服务器负载的限制的命令，则可能发生导致服务器性能劣化的瓶颈。因此，在云流服务中，服务器可考虑服务器负载的大小来选择具有较小负载的静止图像压缩技术。
[0262] 另外，网络的数据处理速率表示基于相同的网络带宽处理数据的速率。网络的数据处理速率也可能成为当需要超出网络带宽的数据处理时发生的瓶颈的原因。因此，在云流服务中，服务器可识别网络的数据处理速率并且选择能够减小数据大小的静止图像压缩技术。
[0263] 在这种情况下，使用诸如PNG(便携式网络图形)、调色板PNG(便携式网络图形)和JPEG(联合图像专家组)的静止图像压缩技术，变化区域可被压缩。PNG静止图像压缩技术可获得良好质量的图像，但是在编码时可能导致数据大小的增加。因此，如果传输网络的带宽低，则传输速度可能降低。调色板PNG静止图像压缩技术在编码时由于图像的数据大小减小而可确保传输速度，但是由于以8比特来表现颜色而可能导致图像质量的劣化。JPEG静止图像压缩技术具有良好的压缩效率，因此在编码时可显著减小传输数据量，但是在编码和解码时由于高压缩效率而可能导致很大的系统负载。
[0264] 如果云流服务器的负载大小小于预定基准值，则编码单元可通过应用JPEG静止图像压缩技术来对变化区域进行编码。由于与PNG静止图像压缩技术和调色板静止图像压缩技术相比具有较高的压缩率，所以当服务器执行编码时或者当客户端执行解码时JPEG静止图像压缩技术可能导致很大负载。因此，如果云流服务器的负载大小较小，则可通过JPEG静止图像压缩技术来对变化区域进行编码。此外，由于具有较高的压缩率，所以当网络具有较大的数据处理量时，JPEG静止图像压缩技术可减小数据大小并防止数据处理量的增加。
[0265] 如果云流服务器的负载大小等于或大于预定基准值，则编码单元可通过考虑网络的数据处理速率来选择静止图像压缩技术。例如，如果云流服务器的负载大小等于或大于预定基准值，则编码单元可通过从PNG静止图像压缩技术和调色板PNG静止图像压缩技术选择静止图像压缩技术来对变化区域进行编码。在这种情况下，根据从 PNG静止图像压缩技术和调色板PNG静止图像压缩技术选择的静止图像压缩技术，传输数据的大小可变得不同。因此，通过考虑网络的数据处理速率，可选择静止图像压缩技术。
[0266] 如果网络的数据处理速率小于预定处理速率，则编码单元可通过应用PNG静止图像压缩技术来对变化区域进行编码。例如，在通过PNG静止图像压缩技术对变化区域进行编码的情况下，提供给用户的终端装置的变化区域的图像质量可良好，但是数据大小可增加。即，如果网络的带宽较低，则服务速度可降低。因此，如果网络的数据处理速率较低，因此网络平滑，则能够增强图像质量的PNG静止图像压缩技术可合适于对变化区域进行编码。另外，由于PNG静止图像压缩技术在编码和解码时具有较小负载，所以当云流服务器具有较大负载时，编码单元可通过PNG静止图像压缩技术来对变化区域进行编码，从而防止服务器负载的增加。
[0267] 如果云流服务器的负载大小等于或大于预定基准值并且如果网络的数据处理速率等于或大于预定处理速率，则编码单元可通过应用调色板PNG静止图像压缩技术来对变化区域进行编码。例如，当通过调色板PNG静止图像压缩技术来对变化区域进行编码时，图像质量可能劣化，但是传输数据的大小可减小。因此，如果存在由于网络的较高数据处理速率而导致瓶颈的可能性，则编码单元可通过能够减小数据大小的调色板PNG静止图像压缩技术来对变化区域进行编码，从而防止数据传输量的增加。
[0268] 另外，考虑云流服务器的负载大小和网络的数据处理速率以确定用于对变化区域进行编码的静止图像压缩技术的顺序可根据云流服务来不同地确定。
[0269] 另外，根据本发明的实施方式的基于静止图像的云流服务方法通过将经静止图像编码的变化区域发送给用户来执行基于静止图像的云流服务(S1330)。即，通过将通过编码而压缩的变化区域发送至用户的终端装置，用户可感觉就像正在用户的终端装置处执行应用一样。
[0270] 图14是示出根据本发明的另一实施方式的基于静止图像的云流服务方法的详细流程图。
[0271] 参照图14，在根据本发明的实施方式的基于静止图像的云流服务方法中，云流服务器捕获与先前帧相比变化的帧中所包含的变化区域(S1410)。在这种情况下，可捕获与先前帧所对应的画面区域不同的变化的帧所对应的画面区域的特定区域作为变化区域。在这种情况下，可在要发送给用户的终端装置的所有帧中检测具有较小帧变化的区段，并且可在所检测的区段中捕获变化区域。此时，通过识别从用户的终端装置发生的应用的事件类型，可检测这种具有较小帧变化的区段。
[0272] 云流服务器确定云流服务器的负载大小是否小于预定基准值(S1415)。
[0273] 如果在步骤S1415确定云流服务器的负载大小小于预定基准值，则服务器通过 JPEG静止图像压缩技术来对变化区域进行编码(S1420)。由于与PNG静止图像压缩技术和调色板静止图像压缩技术相比具有较高的压缩率，所以当服务器执行编码时或者当客户端执行解码时JPEG静止图像压缩技术可能导致很大负载。因此，如果云流服务器的负载大小较小，则可通过JPEG静止图像压缩技术来对变化区域进行编码。
[0274] 如果在步骤S1415确定云流服务器的负载大小等于或大于预定基准值，则服务器确定网络的数据处理速率是否小于预定处理速率(S1425)。
[0275] 如果在步骤S1425确定网络的数据处理速率小于预定处理速率，则服务器通过 PNG静止图像压缩技术来对变化区域进行编码(S1430)。在通过PNG静止图像压缩技术对变化区域进行编码的情况下，提供给用户的终端装置的变化区域的图像质量可良好，但是数据大小可增加。即，如果网络的带宽较低，则服务速度可降低。因此，如果网络的数据处理速率较低，因此网络平滑，则能够增强图像质量的PNG静止图像压缩技术可合适于对变化区域进行编码。
[0276] 如果在步骤S1425确定网络的数据处理速率等于或大于预定处理速率，则服务器通过调色板PNG静止图像压缩技术来对变化区域进行编码(S1440)。当通过调色板 PNG静止图像压缩技术来对变化区域进行编码时，图像质量可能劣化，但是传输数据的大小可减小。因此，如果存在由于网络的较高数据处理速率而导致瓶颈的可能性，则编码单元可通过能够减小数据大小的调色板PNG静止图像压缩技术来对变化区域进行编码，从而防止数据传输量的增加。
[0277] 此后，云流服务器将经静止图像编码的变化区域传送给用户(S1450)。通过将通过静止图像编码来压缩的变化区域发送给用户的终端装置，用户可感觉就像正在用户的终端装置处执行应用一样。
[0278] 合适于存储并记录有计算机程序命令语言和数据的计算机可读存储介质包括：磁介质，例如硬盘、软盘和磁带；光学介质，例如紧凑盘只读存储器(CD-ROM)和数字多功能盘(DVD)；磁光介质，例如软光盘；以及半导体存储器，例如只读存储器 (ROM)、随机存取存储器(RAM)、闪存、可擦除可编程ROM(EPROM)和电EPROM (EEPROM)。处理器和存储器可由专用逻辑电路来补充或与之集成。程序命令可包括可在计算机中利用解释器执行的高级语言代码以及通过编译器形成的机器代码。上述硬件装置可被配置为作为一个或更多个软件模块来操作以便执行本发明的操作，反之亦然。
[0279] 尽管本公开包含许多具体实现的细节，这些细节不应被解释为对本发明或者可要求保护的内容的范围的限制，而是解释为可为本发明的特定实施方式所特定的特征的描述。本公开中在分离的实施方式的背景下描述的特定特征也可在单个实施方式中组合实现。反之，在单个实施方式的背景下描述的各种特征也可在多个实施方式中分离地实现或者按照任何合适的子组合来实现。此外，尽管上面可将特征描述为按照特定组合来作用，甚至初始如此要求保护，但是要求保护的组合中的一个或更多个特征在一些情况下可从所述组合中删去，要求保护的组合可指向子组合或者子组合的变型。
[0280] 尽管在附图中将操作示出为按照预定顺序执行，但是不应解释为要求所述操作顺序地或者按照所述预定顺序来执行以获得优选结果，或者要求执行所示的所有操作。在一些情况下，多任务和并行处理可为有利的。另外，不应解释为在所有类型的实现方式中均要求各种系统组件的划分。应该理解，所描述的程序组件和系统通常被集成为单个软件产品或者被封装在多软件产品中。
[0282] 工业实用性
[0283] 本发明可捕获与先前帧相比变化的帧中所包含的变化区域，通过考虑变化区域的尺寸和变化区域所对应的图像类型中的一个或更多个来选择静止图像压缩技术，利用所选择的静止图像压缩技术来执行与一个帧对应的变化区域的静止图像编码，并且通过将经静止图像编码的变化区域发送至用户来执行基于静止图像的云流服务。另外，本发明可通过基于静止图像的云流服务使流压缩效率最大化，并且还经由相同频带向更多用户提供更快速的云流服务。因此，云流服务提供商可在节省频带扩展所需的资源的同时向用户提供高效服务。
[0284] 另外，本发明可捕获与先前帧相比变化的帧中所包含的变化区域，根据通过考虑变化区域所对应的图像的颜色的数量和所述图像的像素值的标准偏差中的一个或更多个而确定的图像类型来选择静止图像压缩技术，利用所选择的静止图像压缩技术来执行与一个帧对应的变化区域的静止图像编码，并且通过将经静止图像编码的变化区域发送至用户来执行基于静止图像的云流服务。另外，本发明可通过根据图像类型的云流服务使流压缩效率最大化，并且还经由相同频带向更多用户提供更快速的云流服务。因此，云流服务提供商可在节省频带扩展所需的资源的同时向用户提供高效服务。
[0285] 另外，本发明可捕获与先前帧相比变化的帧中所包含的变化区域，通过考虑云流服务器的负载大小和网络的数据处理速率中的一个或更多个来选择静止图像压缩技术，利用所选择的静止图像压缩技术来执行与一个帧对应的变化区域的静止图像编码，并且通过将经静止图像编码的变化区域发送至用户来执行基于静止图像的云流服务。另外，本发明可通过基于静止图像的云流服务使流压缩效率最大化，并且还经由相同频带向更多用户提供更快速的云流服务。因此，云流服务提供商可在节省频带扩展所需的资源的同时向用户提供高效服务。
| 标题 | 发布/更新时间 | 阅读量 |
|---|---|---|
| 一种驾驶人实车考试扣分取证方法与装置 | 2020-05-18 | 813 |
| 云流服务器 | 2020-05-11 | 629 |
| 一种模块化无人艇 | 2020-05-13 | 449 |
| 一种基于内容的视频片段检索及定位方法 | 2020-05-08 | 216 |
| 山火诱发钢结构杆塔结构失效的仿真模拟和安全预警方法 | 2020-05-18 | 232 |
| 一种基于3D体感模型的智能动作打分系统 | 2020-05-12 | 319 |
| 医疗机构依法执业自查管理系统 | 2020-05-18 | 428 |
| 一种多模式复合式馈能型悬架作动器及其控制方法 | 2020-05-12 | 374 |
| 一种电力设备巡检中使用的图形图像识别方法及巡查系统 | 2020-05-19 | 685 |
| 一种驾驶人实车考试扣分取证装置 | 2020-05-14 | 153 |
高效检索全球专利专利汇是专利免费检索,专利查询,专利分析-国家发明专利查询检索分析平台，是提供专利分析，专利查询，专利检索等数据服务功能的知识产权数据服务商。
我们的产品包含105个国家的1.26亿组数据，免费查、免费专利分析。
分析报告
专利汇分析报告产品可以对行业情报数据进行梳理分析，涉及维度包括行业专利基本状况分析、地域分析、技术分析、发明人分析、申请人分析、专利权人分析、失效分析、核心专利分析、法律分析、研发重点分析、企业专利处境分析、技术处境分析、专利寿命分析、企业定位分析、引证分析等超过60个分析角度，系统通过AI智能系统对图表进行解读，只需1分钟，一键生成行业专利分析报告。
QQ群二维码
意见反馈
意见反馈