技术领域
[0001] 本
发明方案涉及用于设置显示在
图像处理装置中的图像的刷新率和压缩率的方法。
背景技术
[0002] 最近，诸如能够使用多媒体内容的智能电话或平板个人计算机(PC)的移动装置不断增长。一般来说，在构成移动装置的部件中，
显示面板消耗最多功率。另外，有效地管理图像数据显示方法的需求不断增长以及移动装置中使用需要大功耗的图像数据的百分比不断增加。
具体实施方式
[0003] 技术问题
[0004] 本发明方案用于自适应地改变显示的图像数据的刷新率和压缩方法。
[0005] 技术解决方案
[0006] 根据本发明方案的
实施例，基于显示的图像数据的运动自适应地改变图像数据的刷新率和压缩方法。
[0007] 本发明的有利效果
[0008] 根据本发明方案的实施例，通过使用人眼视觉特性，可将整体数据流量维持在某个
水平并同时维持相对良好的图像
质量。
附图说明
[0009] 图1是根据本发明方案的实施例的说明图像
数据处理装置的图；
[0010] 图2是根据实施例的说明自适应图像
数据压缩装置的配置的方
框图；
[0011] 图3是根据实施例的说明自适应图像数据处理方法的
流程图；
[0012] 图4是根据实施例的说明应用于根据运动水平分类的图像数据的刷新率和压缩率的参考图；
[0013] 图5是根据实施例的说明
无损压缩方法的参考图；
[0014] 图6是根据实施例的说明截位的参考图；
[0015] 图7是根据实施例的说明使用位映射方法的图像数据压缩方法的参考图；
[0016] 图8是根据实施例的说明使用
颜色索引表方法的图像数据压缩方法的参考图；
[0017] 图9是根据实施例的说明确定图像数据的运动信息的方法的参考图；以及[0018] 图10是根据实施例的说明图像数据发射/接收系统的图。
[0019] 最佳模式
[0020] 根据实施例，用于自适应地压缩图像数据的方法包括：基于该图像数据的运动信息来确定该图像数据的刷新率和压缩率；以及基于确定的刷新率和压缩率来压缩并且输出该图像数据。
[0021] 根据实施例，用于自适应地压缩图像数据的装置包括：压缩率确定单元，其基于该图像数据的运动信息来确定该图像数据的刷新率和压缩率；以及图像数据压缩单元，其基于确定的刷新率和压缩率来压缩并且输出该图像数据。
[0022] 发明模式
[0023] 将简要地描述
说明书中使用的术语，且接着将详细地描述本发明方案。
[0024] 说明书中使用的术语是在考虑关于发明概念的功能时目前在本领域中广泛地使用的一般术语，但是这些术语可根据本领域一般技术人员的意图、先例或本领域中的新技术而改变。另外，
申请人可选择
指定术语，且在此情况中，将在发明概念的详述中描述这些术语的详细含义。因此，说明书中使用的术语不应当被理解为简单名称，而应当基于术语的含义和发明概念的整体描述。
[0025] 当某种事物“包括(comprises)”或“包括(includes)”部件时，除非另有指定，否则可进一步包括另一部件。另外，如本文所使用，术语“单元”和“模
块”可指代执行至少一个功能或操作的单元，且这些单元可实施为
硬件或
软件或硬件与软件的组合。
[0026] 贯穿说明书，术语“应用程序”可指代用于执行特定操作的
计算机程序集合。本文所述的应用程序可根据不同实施例而改变。例如，该应用程序可包括(但不限于)网页浏览器、相机应用程序、字典应用程序、翻译应用程序、数据发射应用程序、音乐播放器应用程序、视频播放器应用程序、消息应用程序、社交沟通者应用程序、社交媒体应用程序、地图应用程序、相片管理应用程序、广播应用程序、游戏应用程序、练习支持应用程序、支付应用程序、备忘录应用程序、日历应用程序和电话本应用程序。
[0027] 在下文中，将参考附图详细地描述本发明方案的实施例。
[0028] 图1是根据本发明方案的实施例的说明图像数据处理装置的图。可以不同形式实施根据发明概念的实施例的图像数据处理装置100。例如，图像数据处理装置100可包括(但不限于)
移动电话、智能电话、笔记本计算机(膝上型计算机)、平板个人计算机(PC)、
电子书终端、数字广播终端、个人数字助手(PDA)、便携式多媒体播放器(PMP)、导航装置、MP3播放器、
数码相机和穿戴式装置(例如，眼镜和腕表)。
[0029] 参考图1，根据发明概念的实施例的图像数据处理装置100包括应用程序处理器110、显示单元120和
帧缓冲器130。
[0030] 应用程序处理器110接收图像数据并且解码图像数据以产生图像帧。由应用程序处理器110接收的图像数据可为通过诸如MPEG-2、H.264/AVC和HEVC(高效视频编解码)的不同压缩方法压缩的图像数据。图像数据可为存储在提供于与帧缓冲器130分离的图像数据处理装置100中的
存储器装置中的数据。应用程序处理器110解码接收的图像数据并且恢复图像帧的
像素值。解压缩帧132(是已恢复的原始图像帧)存储在帧缓冲器130中。另外，应用程序处理器110将压缩帧131存储在帧缓冲器130中，该压缩帧131是通过压缩该解压缩帧132而获得。
[0031] 帧缓冲器130是暂时存储显示在显示单元120上的图像帧的信息的存储器装置。由应用程序处理器110处理的图像帧存储在帧缓冲器130中。帧缓冲器130将图像帧的数据存储在像素单元中。即，帧缓冲器130包括对应于显示在显示单元120上的每个像素的多个存储器单元，且存储在帧缓冲器130中的图像帧信息按照原样显示在显示单元120上。帧缓冲器130应当具有能够存储至少一个图像帧的存储空间。
[0032] 应用程序处理器110和显示单元120通过
数据总线连接，且应用程序处理器110将存储在帧缓冲器130中的压缩帧131或解压缩帧132的数据发射至显示单元120。显示单元120包括诸如PDP、LCD或LED的显示面板、用于驱动显示面板的面板驱动单元以及用于解码从应用程序处理器110发射的压缩图像数据的自适应解码单元125。从应用程序处理器110输出的图像数据可包括与显示单元120的显示面板的X、Y座标匹配的每个像素的数据，且每个像素的数据可包括多种颜色成分。例如，每个像素数据可包括红色(R)、绿色(G)和蓝色(B)的多种颜色成分。在真实颜色的情况中，R、G和B均可具有1个字节，即，8位，且解压缩帧
132的每个像素数据(是原始图像数据)可总共具有24位。
[0033] 原始图像数据的大小通常较大。因此，在考虑应用程序处理器110与显示单元120之间的数据总线的带宽时可限制数据发射率。另外，即使数据总线的带宽足够大，也可能限制应用程序处理器110与显示单元120之间的数据发射率以防止功耗。
[0034] 根据实施例，提供在应用程序处理器110中的自适应处理单元115基于图像数据的运动信息来调整图像数据的刷新率和压缩率。刷新率是指1秒钟输出的图像帧的数量(帧/秒)。压缩率是指(压缩图像帧的数据大小)/(原始图像帧的数据大小)。例如，当压缩率是1时，原始图像帧数据大小和压缩图像帧数据大小彼此相等，且当压缩率是1/4时，压缩图像帧数据大小是原始图像帧数据大小的1/4。即，随着压缩率值降低，压缩图像帧数据大小相对于原始图像帧数据大小降低。因此，随着压缩率值下降，对图像数据执行更多压缩。在以下描述中，压缩率具有0至1的值。随着压缩率值越来越接近0，压缩率越来越高。例如，1/4的压缩率表示高于1/2的压缩率的压缩率。
[0035] 自适应压缩单元115基于运动信息来确定与图像数据的运动成反比的刷新率和与运动成比例的压缩率并且根据确定的刷新率和压缩率来压缩原始图像帧。即，随着图像运动增加，自适应压缩单元115确定相对较小的刷新率和相对较大的压缩率并且根据确定的刷新率和压缩率来压缩原始图像帧。当图像存在大幅运动时，人眼视觉无法相对容易地辨别图像质量降级。另外，当图像存在小幅运动时，人眼视觉可容易地辨别图像质量降级。因此，随着图像运动增加，即使使用相对较小的刷新率和相对较大的压缩率来压缩图像数据，人眼视觉辨别的图像质量降级也不会太大。另外，数据发射率具有(刷新率)*(一个帧的数据大小)的值。因此，可通过根据与图像数据的运动成反比的刷新率和与运动成比例的压缩率压缩图像数据来有效地使用数据带。显示单元120的自适应解码单元125解码从自适应压缩单元115输出的压缩图像数据。
[0036] 在下文中，将详细地描述通过图1的自适应压缩单元115确定图像数据的刷新率和压缩率的方法。
[0037] 图2是根据实施例的说明自适应图像数据压缩装置的配置的方框图。图3是根据实施例的说明自适应图像数据压缩方法的流程图。图2的自适应图像数据压缩装置200对应于图1的自适应压缩单元115。
[0038] 参考图2和3，在操作310中，压缩率确定单元210基于图像数据的运动信息来确定图像数据的刷新率和压缩率。
[0039] 可以不同方式确定图像数据的运动信息。例如，当该当前图像数据是关于通过由预定应用程序执行而显示在屏幕上的屏幕图像的数据时，压缩率确定单元210可基于应用程序类型来确定图像的运动信息。可通过表示当前执行的应用程序的索引信息来接收应用程序类型信息。当该当前执行的应用程序是主要显示基于静止图像或文本的数据的应用程序(诸如
互联网浏览器、文本阅读器、电子书阅读器、静止图像查看器、办公程序或文字处理器)时，压缩率确定单元210可确定当前图像数据具有小幅运动。另外，当该当前执行的应用程序是主要显示大幅运动数据的应用程序(诸如视频播放器)时，压缩率确定单元210可确定当前图像数据具有中幅运动。另外，当该当前执行的应用程序是执行频繁转变的应用程序(诸如游戏应用程序)时，压缩率确定单元210可确定当前图像数据具有大幅运动。压缩率确定单元210可根据应用程序类型将运动水平预分类、预制表并且如下表1中说明般存储运动信息，且确定图像数据的运动信息。
[0040] 表1
[0041]
[0042] 可以
修改根据应用程序类型确定运动水平的方法且不限于表1。在下文中，为了方便起见，将主要描述以下情况：根据运动水平将图像数据广泛地分类为三个阶段使得将图像数据分类为具有小幅运动的第一图像数据、具有中幅运动的第二图像数据和具有大幅运动的第三图像数据。然而，图像数据并不限于此并且可以细分方式根据运动水平分类。
[0043] 压缩率确定单元210可通过分析图像数据来确定运动水平。例如，压缩率确定单元210可获取包括在预定时间内输入的图像帧中的块的运动向量、根据运动向量的大小产生运动信息的直方图，且根据运动向量的大小比率来确定包括在图像数据中的运动水平。然而，确定包括在图像数据中的运动水平的方法不限于此并且可不同地实施。
[0044] 当根据运动水平来分类图像数据时，压缩率确定单元210确定应用于已分类的图像数据的刷新率和压缩率。当如上所述根据图像数据的运动水平将图像数据分类为第一至第三图像数据时，压缩率确定单元210可如下表2中一样确定待应用于已分类的图像数据的刷新率和压缩率。
[0045] 表2
[0046] 刷新率 压缩率
第一图像数据 10Hz 1
第二图像数据 30Hz 1/4
第三图像数据 60Hz 1/8
[0047] 如表2中所说明，压缩率确定单元210针对第一图像数据确定具有最低刷新率的第一刷新率和具有最低压缩率的第一压缩率、针对第二图像数据确定具有中间刷新率的第二刷新率和具有中间压缩率的第二压缩率以及针对第三图像数据确定具有最高刷新率的第三刷新率和具有最高压缩率的第三压缩率。不限于表2，压缩率确定单元210可将刷新率设置成与图像数据的运动成反比并且将压缩率设置成与图像数据的运动成比例。
[0048] 在操作320中，图像数据压缩单元220根据确定的刷新率和压缩率来压缩图像数据。
[0049] 图4是根据实施例的说明应用于根据运动水平分类的图像数据的刷新率和压缩率的参考图。
[0050] 当根据运动水平来分类图像数据时，图像数据压缩单元220根据确定的刷新率和压缩率来压缩图像数据。当图像数据是具有小幅运动的第一图像时，应用于第一图像数据的刷新率是10Hz且应用于第一图像数据的压缩率是1，图像数据压缩单元220无损地压缩原始图像帧并且以10Hz的刷新率输出无损压缩的图像帧410。作为实例，当原始图像数据具有60Hz的刷新率时，即，当原始图像数据每秒钟包括60个图像帧时，图像数据压缩单元220可通过图像丢弃而仅仅
采样60个原始图像帧中的10个图像帧，并且通过无损压缩方法来压缩采样的10个图像帧。不同方法可应用为无损压缩方法。作为实例，可应用差分脉码调制(DPCM)方法以无损地压缩采样的图像帧。
[0051] 当图像数据是具有中幅运动的第二图像时，应用于第二图像数据的刷新率是30Hz且应用于第一图像数据的压缩率是1/4，图像数据压缩单元220以1/4的率压缩原始图像帧并且以30Hz的刷新率输出压缩的图像帧420。在此情况中，图像数据压缩单元220通过帧丢失而仅仅采样60个原始图像帧中的30个图像帧，并且以1/4的率压缩采样的30个图像帧中的每一个。即，图像帧压缩单元220执行压缩使得采样的30个图像帧中的每一个的数据大小具有原始图像帧的大小的1/4。压缩方法可通过不同方法(诸如随后将描述的截位、位映射和颜色索引)来实施。
[0052] 当图像数据是具有大幅运动的第三图像时，应用于第三图像数据的刷新率是60Hz且应用于第三图像数据的压缩率是1/8，图像数据压缩单元220以1/8的率压缩接收的原始图像帧并且以60Hz的刷新率输出压缩的图像帧430。在此情况中，因为原始图像帧的帧率是60Hz，所以原始图像帧的帧率和确定的刷新率彼此相等。当原始图像帧的帧率和确定的刷新率彼此相等时，可按照原样使用原始图像帧，且原始图像帧并未丢失。当确定的刷新率大于原始图像帧的帧率时，可通过插值或上采样来调整压缩的图像数据的帧率。例如，如上所述，当原始图像帧的帧率是60Hz且具有大幅运动的图像数据的刷新率是120Hz时，图像数据压缩单元220通过对原始图像帧进行插值来产生120Hz的图像帧，并且根据确定的压缩率来压缩每个图像帧。压缩方法可通过不同方法(诸如随后将描述的截位、位映射和颜色索引)来实施。
[0053] 图5是根据实施例的说明无损压缩方法的参考图。
[0054] 如上所述，当该当前图像数据具有小幅运动时，图像数据压缩单元220可减小图像数据的刷新率并且减小其压缩率。作为实例，当图像数据的运动较小时，可无损地压缩图像数据而非以相对较小的刷新率输出图像数据。DPCM方法被说明为图5中的无损压缩方法。
[0055] DPCM方法计算构成行或列方向上的每个图像帧的像素差值的差分值并且发射差分值而非原始像素的像素值。如图5中所说明，图像数据压缩单元220计算包括在无损压缩图像帧中的相邻像素之间的像素差值。例如，图像数据压缩单元220计算与左侧像素值P(0,0)的差值(P(1,0)-P(0,0))并且使用该差值作为像素值P(1,0)的信息，而非包括在原始帧
510中的像素值P(1,0)。在此情况中，用于参考的像素值P(0,0)的原始值按照原样使用。在解码程序中，可通过将像素值P(0,0)与差值P(1,0)-P(0,0)相加来恢复像素值P(1,0)。以此方式，图像数据压缩单元220可通过DPCM使用相邻像素之间的差分值来产生无损压缩帧
520。
[0056] 图6是根据实施例的说明截位的参考图。
[0057] 当确定压缩率时，图像数据压缩单元220可通过截位缩减原始图像数据的每个像素的位数来执行压缩。假设原始图像数据的每个像素数据具有RGB888(即，R、G和B颜色成分均包括8位)且因此其总共具有24位的大小。图像数据压缩单元220可通过截断原始图像数据的一个像素的位来将原始像素的24-位数据大小压缩至16位，使得其具有RGB565(即，R颜色成分具有5位的值，G颜色成分具有6位的值且B颜色成分具有5位的值)。在此情况中，压缩率是16/24，即，2/3。
[0058] 参考图6，如所说明，假设一个像素的颜色成分的二进制值包括b1至b8的8位(610)，其中b1是最高有效位(MSB)且b8是最低有效位(LSB)。图像数据压缩单元220通过根据确定的压缩率从LSB截断预定数量的位(620)并且仅仅输出除截断位(620)之外的剩余6位将8-位数据压缩至6位。接收截断的图像数据的解码侧可通过将0插入至截断的二进制值部分中来执行解码。可根据压缩率来确定截断位数。例如，当压缩率是1/M(M是整数)时，原始图像数据的一个像素的总位数是T(T是整数)，且截断位数是N(N是整数)，确定N的值使得(T-N)/T＝1/M。当一个像素包括多种颜色成分时，可基于确定的截断位数N来确定每种颜色成分中要截断的位数。如在上述实例中，当将24-位像素数据压缩至16位以总共截断8位时，可设置该像素数据使得在R颜色成分中截断3位、在G颜色成分中截断2位且在B颜色成分中截断2位。
[0059] 图7是根据实施例的说明使用位映射方法的图像数据压缩方法的参考图。
[0060] 图像数据压缩单元220可通过位映射方法而非截位方法来压缩图像数据。例如，当原始图像帧的像素是由8位表示时，像素具有总共256种(0～255)颜色成分中的一个。当将8-位像素压缩至6位时，可由6-位像素值表示64种(0～63)颜色成分。图像数据压缩单元220可通过将由8位表示的原始图像帧的当前像素的颜色成分715映射至可由6位表示的颜色成分中的颜色成分725并且输出对应于颜色成分725的6-位值来压缩图像数据。
[0061] 图8是根据实施例的说明使用颜色索引表方法的图像数据压缩方法的参考图。
[0062] 当根据压缩率确定可用于表示图像数据的一个像素的位数时，图像数据压缩单元220可通过确定可通过使用确定的位数表示的颜色并且输出表示对应于每个像素的颜色的索引的二进制值来压缩图像数据。
[0063] 假设可用于表示根据压缩率压缩的图像数据的一个像素的位数是n(整数)。除其中压缩率是1的情况之外，“n”应当小于原始图像帧的一个像素的位数。可通过使用n位表示的2^n种颜色称为C1至C(2^n)。图像数据压缩单元220确定2^n种颜色中最接近当前像素的颜色的颜色并且输出表示确定的颜色的n-位颜色索引。换句话来说，图像数据压缩单元220可通过构造包括2^n种颜色的
调色板并且输出表示包括在调色板中的一个颜色的n-位索引信息来压缩图像数据。
[0064] 图像数据压缩单元220根据确定的压缩率通过使用上述不同压缩方法来压缩原始图像帧。作为实例，图像数据压缩单元220应用DPCM以对具有小幅运动的第一图像数据执行无损压缩。另外，图像数据压缩单元220可通过截断构成每个像素的多种颜色成分中的至少一种颜色成分的二进制值的位，使得总位数小于原始图像帧的像素的位数，来对具有中幅运动的第二图像数据执行压缩。即，当原始图像数据包括三种颜色成分时，原始图像数据的像素的三种颜色成分的二进制值分别是A、B和C(整数)，且像素的全部三种颜色成分的位数是M(整数)，图像数据压缩单元220可通过截断A、B和C中的至少一个的二进制值的位使得第二图像数据的像素的总位数“m(整数)”小于M来对第二图像数据执行压缩。另外，图像数据压缩单元220可通过使用利用调色板的颜色标引方法来对具有大幅运动的第三图像数据执行压缩。即，图像数据压缩单元可通过将原始图像数据的颜色映射至可由小于“m”的位数“n(整数)”表示的2^n种颜色中的一种颜色并且输出包括“n”位的颜色索引值来压缩第三图像数据。
[0065] 图9是根据实施例的说明确定图像数据的运动信息的方法的参考图。
[0066] 如上所述，压缩率确定单元210可基于显示图像数据的应用程序的类型来确定图像数据的运动信息。然而，在某些情况中，可同时在屏幕图像900中显示多个应用程序。例如，如图9中所说明，可在屏幕图像900中显示不同类型的第一应用程序910和第二应用程序920。当屏幕图像900中应当显示多个应用程序(910和920)时，压缩率确定单元210可基于多个应用程序中具有最大运动的应用程序来确定压缩率。例如，当第一应用程序910是具有小幅运动的互联网浏览器且第二应用程序920是视频播放器时，压缩率确定单元210可基于具有大幅运动的第二应用程序920的运动信息来确定整个屏幕图像900是大幅运动图像。
[0067] 图10是根据实施例的说明图像数据发射/接收系统的图。
[0068] 参考图10，根据实施例的图像数据发射/接收系统可包括发射图像数据的发射装置和接收并且显示图像数据的接收装置。发射图像数据的发射装置将称为第一装置1010，且接收并且显示图像数据的接收装置将称为第二装置1020。
[0069] 根据发明概念的实施例，第一装置1010可包括用于与第二装置1020通信的至少一个通信模块。例如，第一装置1010可包括(但不限于)移动通信模块(例如，3G、4G或5G)、短程通信模块(例如，蓝牙通信模块、BLE(低功耗蓝牙)通信装置、WiFi通信模块、Zigbee通信模块、IrDA(红外线数据联盟)通信模块、WFD(Wi-Fi直连)通信模块、UWB(超宽带)通信模块或Ant+通信模块)或
家庭网络通信模块。
[0070] 可以不同形式实施根据发明概念的实施例的第一装置1010。例如，本文所述的第一装置1010可包括(但不限于)移动电话、智能电话、笔记本计算机(膝上型计算机)、平板个人计算机(PC)、电子书终端、数字广播终端、个人数字助手(PDA)、便携式多媒体播放器(PMP)、导航装置、MP3播放器、数码相机和穿戴式装置(例如，眼镜和腕表)。
[0071] 第二装置1020可包括用于接收从第一装置1010发射的图像数据的至少一个通信模块。例如，第二装置1020可包括(但不限于)移动通信模块(例如，3G、4G或5G)、短程通信模块(例如，蓝牙通信模块、BLE(低功耗蓝牙)通信装置、WiFi通信模块、Zigbee通信模块、IrDA(红外线数据联盟)通信模块、WFD(Wi-Fi直连)通信模块、UWB(超宽带)通信模块或Ant+通信模块)或家庭网络通信模块。
[0072] 根据发明概念的实施例，第二装置1020可为具有显示功能的不同类型的装置。例如，第二装置1020可包括(但不限于)移动电话、智能电话、笔记本计算机(膝上型计算机)、平板个人计算机(PC)、电子书终端、数字广播终端、个人数字助手(PDA)、便携式多媒体播放器(PMP)、导航装置、MP3播放器、数码相机、智能电视(TV)、眼镜、腕表、三星机顶盒(home sync)、
空调、净水器和具有通信功能的
冰箱。
[0073] 第一装置1010可执行类似于图2的图像数据压缩装置200的功能。即，如同图2的图像数据压缩装置200，第一装置1010的自适应压缩单元1015基于输入图像数据的运动信息来确定刷新率和压缩率，根据确定的刷新率和压缩率来压缩图像数据，并且通过通信模块将压缩的图像数据输出至第二装置1020。第二装置1020的自适应解码单元1025解码压缩的图像数据。
[0074] 根据发明概念的实施例的方法可通过以可由不同的计算机构件执行的程序命令的形式实施而存储在计算机可读记录介质中。计算机可读记录介质可单独或组合地包括程序命令、数据文件和数据结构。程序命令可为尤其针对发明概念设计和配置的程序命令，或可为公知且计算机软件领域中的一般技术人员可使用的程序命令。计算机可读记录介质的实例可包括
磁性记录介质(诸如
硬盘、
软盘和磁带)、光学记录介质(诸如光盘
只读存储器(CD-ROM)和数字通用光盘(DVD))、磁性-光学记录介质(诸如软式光盘)和硬件装置(诸如经具体配置以存储并且执行程序命令的只读存储器(ROM)、
随机存取存储器(RAM)和闪存)。程序命令的实例可包括由编译器创建的机器
语言代码和可由计算机通过使用解译器执行的高级语言代码。
[0075] 虽然上文已经详细地描述了发明概念的实施例，但是发明概念的范围并不限于此且本领域一般技术人员将理解的是，在不脱离如由以下
权利要求书界定的发明概念的精神和范围的情况下可在其中做出各种修改和改进。
