图像信号处理器、其操作方法以及应用处理器专利检索-图像比例显示技术专利检索查询-专利查询网

图像 信号处理器、其操作方法以及应用处理器

阅读：1034发布：2020-05-25

专利汇可以提供图像信号处理器、其操作方法以及应用处理器专利检索，专利查询，专利分析的服务。并且本发明提供一种图像信号处理器、其操作方法以及应用处理器。用于基于原始图像产生经转换的图像的图像信号处理器包括处理电路系统，所述处理电路系统被配置成：将与所接收图像的多条线对应的数据存储在线缓冲器中；通过基于至少一个滤波器对存储在所述线缓冲器中的所述数据进行滤波来实行图像处理操作；以及将所述原始图像划分成多个子图像并从其中存储有所述原始图像的存储器请求所述多个子图像，以使得由所述线缓冲器依序接收所述多个子图像，所述多个子图像中的每一者的宽度小于所述线缓冲器的宽度，且所述多个子图像彼此平行。，下面是图像信号处理器、其操作方法以及应用处理器专利的具体信息内容。

权利要求

1.一种用于基于由图像传感器提供的原始图像产生经转换的图像的图像信号处理器，其特征在于，所述图像信号处理器包括：
处理电路系统，被配置以：
将与所接收图像的多条线对应的数据存储在线缓冲器中；
通过基于至少一个滤波器对存储在所述线缓冲器中的所述数据进行滤波来实行图像处理操作；以及
将所述原始图像划分成多个子图像并从其中存储有所述原始图像的第一存储器请求所述多个子图像，以使得由所述线缓冲器依序接收所述多个子图像，所述多个子图像中的每一者的宽度小于所述线缓冲器的宽度，且所述多个子图像彼此平行。
2.根据权利要求1所述的图像信号处理器，其特征在于，所述处理电路系统被配置以将所述原始图像划分成所述多个子图像以使得至少两个相邻的子图像彼此部分地交叠。
3.根据权利要求2所述的图像信号处理器，其特征在于，所述处理电路系统被配置以基于所述至少一个滤波器的大小而确定在所述至少两个相邻的子图像之间共享的交叠区的宽度。
4.根据权利要求3所述的图像信号处理器，其特征在于，所述至少一个滤波器包括有限脉冲响应滤波器。
5.根据权利要求3所述的图像信号处理器，其特征在于，所述处理电路系统被配置以基于所述原始图像的宽度、所述线缓冲器的所述宽度以及所述交叠区的所述宽度而确定所述原始图像要划分成的所述多个子图像中的每一者的所述宽度或所述多个子图像的数目中的至少一者。
6.根据权利要求1所述的图像信号处理器，其特征在于，所述处理电路系统被配置以：
以所述线缓冲器接收到所述多个子图像的次序来依序对所述多个子图像进行图像处理并产生多个经转换的子图像；以及
以所述多个经转换的子图像产生的次序将所述多个经转换的子图像依序存储在所述第一存储器或第二存储器中的至少一者中并将所述多个经转换的子图像合并成所述经转换的图像，所述经转换的图像具有与所述原始图像相同的大小。
7.根据权利要求6所述的图像信号处理器，其特征在于，所述处理电路系统被配置以确定要存储所述多个经转换的子图像的区的地址，以使得存储在所述第一存储器或所述第二存储器中的所述至少一者中的所述多个经转换的子图像构成所述经转换的图像。
8.根据权利要求1所述的图像信号处理器，其特征在于，所述处理电路系统还被配置以基于显示装置的分辨率对所述经转换的图像的大小进行转换。
9.根据权利要求8所述的图像信号处理器，其特征在于，
由所述图像传感器提供的所述原始图像的宽度在第一操作模式中等于或小于所述线缓冲器的所述宽度，且
由所述图像传感器提供的所述原始图像的所述宽度在第二操作模式中大于所述线缓冲器的所述宽度。
10.根据权利要求9所述的图像信号处理器，其特征在于，在所述第一操作模式中，所述处理电路系统被配置以对所述原始图像进行图像处理以产生所述经转换的图像，并对所述经转换的图像进行按比例缩放以产生经按比例缩放的图像。
11.根据权利要求1所述的图像信号处理器，其特征在于，所述第一存储器被配置以存储从所述图像传感器接收的所述原始图像并响应于对所述多个子图像的所述请求而向所述线缓冲器依序提供所述原始图像的所述多个子图像。
12.根据权利要求1所述的图像信号处理器，其特征在于，所述第一存储器包括所述图像传感器中所包括的缓冲器。
13.根据权利要求1所述的图像信号处理器，其特征在于，所述处理电路系统被实施为硬件或被实施为软件或固件与硬件的组合，所述硬件包括至少一个处理器，且所述软件或固件包括由所述至少一个处理器执行的源代码。
14.一种操作图像信号处理器的方法，其特征在于，所述图像信号处理器被配置以对由图像传感器产生的原始图像进行图像处理，所述图像信号处理器包括具有比所述原始图像的宽度小的大小的线缓冲器以及至少一个滤波器，所述方法包括：
将所述原始图像划分成多个条纹图像，所述多个条纹图像中的每一者在第一方向上的大小小于所述线缓冲器的所述大小，且所述多个条纹图像彼此平行；
使用所述线缓冲器及所述至少一个滤波器依序对所述多个条纹图像进行图像处理以产生多个经转换的条纹图像；以及
将所述多个经转换的条纹图像合并成具有与所述原始图像相同大小的经转换的图像。
15.根据权利要求14所述的方法，其特征在于，所述多个条纹图像中的两个相邻的条纹图像彼此部分地交叠。
16.根据权利要求15所述的方法，其特征在于，在所述两个相邻的条纹图像之间共享的交叠区的宽度是基于所述至少一个滤波器的大小而确定的。
17.根据权利要求14所述的方法，其特征在于，所述原始图像要划分成的所述多个条纹图像的数目是基于所述线缓冲器的所述大小以及所述至少一个滤波器的大小而确定的。
18.根据权利要求14所述的方法，其特征在于，所述依序对所述多个条纹图像进行图像处理包括：
以线为单位从其中存储有所述原始图像的所述图像信号处理器的外部存储器依序接收所述多个条纹图像中的第一条纹图像，所述依序接收所述第一条纹图像是由所述线缓冲器实行的；
对存储在所述线缓冲器中的所述第一条纹图像的数据进行滤波并产生经转换的第一条纹图像，所述滤波及所述产生是由所述至少一个滤波器实行的；
在完成所述产生所述经转换的第一条纹图像后以线为单位从所述外部存储器依序接收所述多个条纹图像中的第二条纹图像，所述依序接收所述第二条纹图像是由所述线缓冲器实行的；以及
对存储在所述线缓冲器中的所述第二条纹图像的数据进行滤波并产生经转换的第二条纹图像，所述滤波及所述产生是由所述至少一个滤波器实行的。
19.一种应用处理器，其特征在于，包括：
图像信号处理器，被配置以对由图像传感器产生的原始图像进行图像处理并产生经转换的图像；以及
图像压缩编码器，被配置以对所述经转换的图像进行压缩，
其中，在第二操作模式中，所述图像信号处理器被配置以将所述原始图像划分成多个子图像，依序对所述多个子图像进行图像处理并产生多个经转换的子图像。
20.根据权利要求19所述的应用处理器，其特征在于，在所述第二操作模式中，所述图像信号处理器被配置以从外部存储器接收所述原始图像，所述原始图像以子图像为单位存储在所述外部存储器中。
21.根据权利要求20所述的应用处理器，其特征在于，在所述第二操作模式中，所述图像信号处理器被配置以将所述多个经转换的子图像一同合并成所述经转换的图像，所述经转换的图像具有与所述原始图像相同的大小。
22.根据权利要求19所述的应用处理器，其特征在于，
所述图像信号处理器包括被配置以存储线数据的线缓冲器，且
在所述第二操作模式中，所述原始图像的宽度大于所述线缓冲器的大小。
23.根据权利要求19所述的应用处理器，其特征在于，所述图像压缩编码器被配置以将经压缩的图像存储在非易失性存储器中。
24.根据权利要求19所述的应用处理器，其特征在于，在第一操作模式中，所述图像信号处理器被配置以从所述图像传感器接收所述原始图像，对所述原始图像进行图像处理以产生所述经转换的图像，对所述经转换的图像进行按比例缩放以减小所述经转换的图像的大小并产生经按比例缩放的图像，并将具有所述减小的大小的所述经按比例缩放的图像提供到显示装置。
25.根据权利要求19所述的应用处理器，其特征在于，所述应用处理器还包括接口电路，所述接口电路被配置以从所述图像传感器接收所述原始图像，在所述第二操作模式中将所述原始图像存储在外部存储器中，且在第一操作模式中将所述原始图像传送到所述图像信号处理器。

说明书全文

图像信号处理器、其操作方法以及应用处理器

[0001] [相关申请的交叉参考]

[0002] 本申请主张在2018年9月21日在韩国知识产权局提出申请的韩国专利申请第10-2018-0114379号的权利，所述韩国专利申请的公开内容全部并入本申请供参考。

技术领域

[0003] 本发明概念涉及一种图像信号处理技术，且更具体来说，涉及一种图像信号处理器、一种操作所述图像信号处理器的方法以及包括所述图像信号处理器的应用处理器(AP)，所述图像信号处理器被配置成对从图像传感器接收的原始图像数据进行图像处理。

背景技术

[0004] 成像装置(例如相机及智能电话)中所包括的图像信号处理器可对由图像传感器提供的原始图像进行图像处理并产生经转换的图像，例如RGB图像和/或YUV图像。可基于压缩技术(例如联合图像专家组(joint photographic experts group，JPEG)、运动图像专家组(moving picture experts group，MPEG)及H.264)来对经转换的图像进行压缩，并将经转换的图像存储在存储器中和/或在显示装置上显示经转换的图像。图像信号处理器可包括线缓冲器。图像信号处理器可将原始图像的多条线存储在线缓冲器中并以所述多条所存储的线为单位来实行图像处理操作。

[0005] 近年来，原始图像的大小可随着图像传感器的分辨率的增大而增大。由于线缓冲器的面积占据图像信号处理器的面积的很大一部分，因此当线缓冲器的大小增大以对原始图像进行图像处理时，图像信号处理器的面积(例如，硬件大小、宽度)可增大。因此，需要(或期望)一种对由高分辨率图像传感器提供的原始图像进行处理而不会使线缓冲器的大小增大的方法。

发明内容

[0006] 本发明概念的示例性实施例提供一种图像信号处理器、一种操作所述图像信号处理器的方法以及一种包括所述图像信号处理器的应用处理器(application processor，AP)，所述图像信号处理器可对由高分辨率图像传感器提供的原始图像进行图像处理而不会增大线缓冲器的大小。

[0007] 根据本发明概念的一些示例性实施例，提供一种用于基于由图像传感器提供的原始图像产生经转换的图像的图像信号处理器。所述图像信号处理器包括处理电路系统，所述处理电路系统被配置成：将与所接收图像的多条线对应的数据存储在线缓冲器中；通过基于至少一个滤波器对存储在所述线缓冲器中的所述数据进行滤波来实行图像处理操作；以及将所述原始图像划分成多个子图像并从其中存储有所述原始图像的第一存储器请求所述多个子图像，以使得由所述线缓冲器依序接收所述多个子图像，所述多个子图像中的每一者的宽度小于所述线缓冲器的宽度，且所述多个子图像彼此平行。

[0008] 根据本发明概念的一些示例性实施例，提供一种操作图像信号处理器的方法，所述图像信号处理器被配置成对由图像传感器产生的原始图像进行图像处理。所述图像信号处理器包括具有比所述原始图像的宽度小的大小的线缓冲器以及至少一个滤波器。所述方法包括：将所述原始图像划分成多个条纹图像，所述多个条纹图像中的每一者在第一方向上的大小小于所述线缓冲器的所述大小，且所述多个条纹图像彼此平行；使用所述线缓冲器及所述至少一个滤波器依序对所述多个条纹图像进行图像处理以产生多个经转换的条纹图像；以及将所述多个经转换的条纹图像合并成具有与所述原始图像相同大小的经转换的图像。

[0009] 根据本发明概念的一些示例性实施例，提供一种应用处理器，所述应用处理器包括：图像信号处理器，被配置成对由图像传感器产生的原始图像进行图像处理并产生经转换的图像；以及图像压缩编码器，被配置成对所述经转换的图像进行压缩。在第二操作模式中，所述图像信号处理器被配置成将所述原始图像划分成多个子图像，依序对所述多个子图像进行图像处理并产生多个经转换的子图像。附图说明

[0010] 结合附图阅读以下详细说明，将会更清楚地理解本发明概念的示例性实施例，在附图中：

[0011] 图1是根据一些示例性实施例的图像处理系统的方块图。

[0012] 图2是根据一些示例性实施例的图像划分方法的图。

[0013] 图3是根据一些示例性实施例的图像信号处理器的示意性方块图。

[0014] 图4A及图4B是示出根据一些示例性实施例的图像信号处理器的操作的图。

[0015] 图5示出其中根据一些示例性实施例原始图像被划分成多个子图像的实例。

[0016] 图6示出其中根据一些示例性实施例确定多个子图像之间的交叠区的宽度的实例。

[0017] 图7是根据一些示例性实施例的图像处理系统的方块图。

[0018] 图8A及图8B示出图7所示图像处理系统的图像处理过程。

[0019] 图9是根据一些示例性实施例的图像处理系统的方块图。

[0020] 图10是图9所示图像处理系统的详细方块图。

[0021] 图11是根据一些示例性实施例的图像信号处理器的操作的流程图。

[0022] 图12是根据一些示例性实施例的图像信号处理器的操作的流程图。

[0023] 图13是根据一些示例性实施例的应用处理器(AP)的方块图。

[0024] 图14是根据一些示例性实施例的便携端子的方块图。

具体实施方式

[0025] 图1是根据一些示例性实施例的图像处理系统100的方块图。

[0026] 图像处理系统100可嵌入在电子装置中和/或被实施为电子装置。举例来说，电子装置可被实施为个人计算机(personal computer，PC)、物联网(Internet of Things，IoT)装置和/或便携电子装置。便携电子装置可为膝上型计算机、移动电话、智能电话、平板个人计算机、个人数字助理(personal digital assistant，PDA)、企业数字助理(enterprise digital assistant，EDA)、数字照相机、数字摄像机、音频装置、便携多媒体播放器(portable multimedia player，PMP)、个人导航装置(personal navigation device，PND)、运动图像专家组-1音频3(MPEG-1audio 3，MP3)播放器、手持式游戏机、电子书(electronic book，e-book)和/或可穿戴装置。

[0027] 参照图1，图像处理系统100可包括图像传感器110、图像信号处理器(image signal processor，ISP)120、存储器130及显示装置140。

[0028] 图像传感器110可将通过光学透镜入射的物体OBJECT的光学信号转换成电信号或图像(例如，图像数据)。图像传感器110可包括例如包括以二维方式排列的多个像素的像素阵列以及感测电路。像素阵列可将所接收的光学信号转换成电信号。举例来说，像素阵列可被实施为光电转换元件，例如电荷耦合装置(charge-coupled device，CCD)或互补金属氧化物半导体(complementary metal-oxide-semiconductor，CMOS)元件。另外，像素阵列可被实施为各种光电转换元件。感测电路可将由像素阵列提供的电信号转换成图像数据并输出图像数据作为原始图像RDT。举例来说，图像传感器110可被实施为包括像素阵列及感测电路的半导体芯片。

[0029] 图像信号处理器120可对由图像传感器110提供的原始图像RDT进行图像处理并产生经转换的图像CDT。举例来说，图像信号处理器120可基于设定白平衡、参数和/或颜色空间中的一者或多者对原始图像RDT进行图像处理。举例来说，经转换的图像CDT可为颜色空间图像，例如RGB图像和/或YUV图像。经转换的图像CDT的大小(例如，分辨率)可等于原始图像RDT的大小(例如，分辨率)。经转换的图像CDT可存储在存储器130中。存储器130可为：易失性存储器，例如动态随机存取存储器(dynamic random access memory，DRAM)和/或静态随机存取存储器(static RAM，SRAM)；或非易失性存储器，例如相变随机存取存储器(phase-change RAM，PRAM)、电阻式随机存取存储器(resistive RAM，ReRAM)和/或闪存存储器。存储在存储器130中的经转换的图像CDT接着可由图像处理系统100使用和/或存储在存储装置(未示出)中。

[0030] 另外，图像信号处理器120可减小或增大经转换的图像CDT的大小并产生经按比例缩放的图像SDT。举例来说，图像信号处理器120可对经转换的图像CDT的大小(例如，分辨率)进行按比例缩放以使得经按比例缩放的图像SDT对应于显示装置140的分辨率。举例来说，图像信号处理器120可将经按比例缩放的图像SDT输出到显示装置140以进行显示。

[0031] 图像信号处理器120可包括线缓冲器LB，线缓冲器LB被配置成存储与从图像传感器110接收的图像(例如，原始图像RDT)的多条线对应的数据。图像信号处理器120可使用线缓冲器LB实行图像处理操作。图像信号处理器120可临时将与原始图像RDT的多条线对应的数据存储在线缓冲器LB中并对与所述多条线对应的数据实行图像处理操作(例如，滤波操作)。举例来说，图像信号处理器120可将原始图像RDT的N条线(其中N是等于或大于2的整数)的数据存储在线缓冲器LB中并对所述N条线的数据实行图像处理操作。当完成对所述N条线的数据的图像处理操作时，图像信号处理器120可将原始图像RDT的至少一条下一条线的数据存储在线缓冲器LB中，对临时存储在线缓冲器LB中的线数据进行更新并对经更新的线数据实行图像处理操作。

[0032] 在一些示例性实施例中，当输入图像(例如，由图像传感器110提供的原始图像RDT)的宽度大于线缓冲器LB的大小(例如，宽度)时，图像信号处理器120可在列方向上将输入图像划分成多个子图像并依序对所述多个子图像进行图像处理。举例来说，所述多个子图像可被称为多个列图像或多个垂直条纹图像。

[0033] 图像信号处理器120可接收所述多个子图像中的一个子图像(例如，第一子图像)，将所接收的子图像存储在线缓冲器LB中，并对所存储的子图像进行图像处理。当完成对存储在线缓冲器LB中的子图像的图像处理时，图像信号处理器120可接收另一子图像(例如，第二子图像)，将所接收的子图像存储在线缓冲器LB中并对所存储的子图像进行图像处理。以下将参照图2详细阐述图像信号处理器120的图像划分方法，所述图像划分方法包括图像划分操作及图像重新配置操作。

[0034] 图2是示出根据一些示例性实施例的图像划分方法的图。举例来说，图2所示图像划分方法可由图1所示图像处理系统100中的图像信号处理器120来实行。

[0035] 参照图2，由图像传感器110产生的原始图像RDT可包括在第一方向(例如，X轴方向)上排列成行且在与第一方向垂直的第二方向(例如，Y轴方向)上排列成列的多条像素数据PX。之后，原始图像RDT在第一方向上的数据长度可被定义为原始图像RDT的宽度W，且原始图像RDT在第二方向上的数据长度可被定义为原始图像RDT的高度H。举例来说，当原始图像RDT的大小(例如，分辨率)包括4000个位的宽度W以及3000个位的高度H时，原始图像RDT可包括3000条线，且3000条线中的每一者可包括4000条像素数据PX，但是示例性实施例并非仅限于此。

[0036] 线缓冲器LB可存储与所接收的输入图像的多条线对应的数据，且线缓冲器LB的大小LS(或宽度)可指代所述多条线中的一者中所包括的像素数据PX的条数。

[0037] 如以上参照图1所述，图像信号处理器120可将与原始图像RDT的多条线对应的数据(被称为线数据)临时存储在线缓冲器LB中并对所存储的线数据进行图像处理。当原始图像RDT的宽度W小于或等于线缓冲器LB的大小LS时，原始图像RDT可以多条线为单位存储在线缓冲器LB中。因此，图像信号处理器120可对原始图像RDT进行图像处理。然而，当原始图像RDT的宽度W大于线缓冲器LB的大小LS时，原始图像RDT不会以多条线为单位存储在线缓冲器LB中。因此，当原始图像RDT的宽度W大于线缓冲器的大小LS时，图像信号处理器120可能不可对原始图像RDT进行图像处理。

[0038] 然而，在根据一些示例性实施例的图像处理系统100中，当原始图像RDT的宽度W大于线缓冲器LB的大小LS时，原始图像RDT可在第一方向(例如，X轴方向)上划分成多个子图像，且图像信号处理器120可依序接收所述多个经划分的子图像作为输入图像并以多条线为单位将输入图像存储在线缓冲器LB中。因此，即使当原始图像RDT的宽度W大于线缓冲器LB的大小LS时，图像信号处理器120仍可依序对所接收的输入图像(例如，所述多个子图像)进行图像处理并对原始图像RDT进行图像处理。

[0039] 如图2所示，原始图像RDT可在第二方向(例如，Y轴方向)(即，列方向)上划分成具有相同长度的多个子图像(例如，第一子图像SP1及第二子图像SP2)。举例来说，图像信号处理器120可将原始图像RDT划分成所述多个子图像。第一子图像SP1及第二子图像SP2的高度可等于原始图像RDT的高度，且第一子图像SP1及第二子图像SP2的宽度可小于线缓冲器LB的大小LS。第一子图像SP1可与第二子图像SP2部分地交叠(或反之亦然)以实现边界处理操作来防止(限制或减小)第一子图像SP1与第二子图像SP2之间的边界处的图像发生明显改变。在一些示例性实施例中，可基于用于图像信号处理器120的至少一个滤波器的大小而确定交叠区OR(例如，其中第一子图像SP1与第二子图像SP2彼此部分地交叠的区域)的宽度。

[0040] 尽管图2示出其中原始图像RDT被划分成两个子图像(即，第一子图像SP1及第二子图像SP2)的示例性实施例，然而本发明概念并非仅限于此，且根据一些其他示例性实施例，原始图像RDT可被划分成至少三个子图像。在一些示例性实施例中，原始图像RDT要划分成的子图像的数目可基于原始图像RDT的宽度W、线缓冲器LB的大小LS以及交叠区OR的宽度来确定。

[0041] 图像信号处理器120可依序接收所述多个子图像作为输入图像，并依序对所接收的子图像进行图像处理以产生多个经转换的子图像作为输出图像。举例来说，图像信号处理器120可接收第一子图像SP1并对第一子图像SP1进行图像处理以产生第一经转换的子图像SPc1，且接着接收第二子图像SP2并对第二子图像SP2进行图像处理以产生第二经转换的子图像SPc2。由图像信号处理器120依序接收的输入图像(例如，第一子图像SP1及第二子图像SP2)可以所述多条线为单位存储在线缓冲器LB中，并以存储在线缓冲器LB中的所述多条线为单位进行图像处理以产生输出图像(例如，第一经转换的子图像SPc1及第二经转换的子图像SPc2)。

[0042] 可因图像处理操作而依序产生的所述多个经转换的子图像(例如，第一经转换的子图像SPc1及第二经转换的子图像SPc2)可存储在存储器130中以对经转换的图像CDT进行重新配置。第一经转换的子图像SPc1及第二经转换的子图像SPc2二者可包括经转换的交叠区ORc。在存储第一经转换的子图像SPc1之后，当存储第二经转换的子图像SPc2时，图像信号处理器120可以第二经转换的子图像SPc2中所包括的经转换的交叠区ORc的数据来对第一经转换的子图像SPc1中所包括的经转换的交叠区ORc的数据进行重写。因此，图像信号处理器120可将所述多个经转换的子图像合并在一起以产生经转换的图像CDT。经转换的图像CDT的大小(例如，分辨率)可等于原始图像RDT的大小。

[0043] 如上所述，依据根据一些示例性实施例的图像划分方法，当由图像传感器110提供的原始图像RDT的宽度W大于图像信号处理器120中所包括的线缓冲器LB的大小LS时，图像信号处理器120可将原始图像RDT划分成具有比线缓冲器LB的大小LS小的宽度的多个子图像并依序对所述多个子图像进行图像处理。另外，图像信号处理器120可将因图像处理操作产生的多个经转换的子图像存储在存储器130中并对所述多个经转换的子图像进行合并以产生具有与原始图像RDT相同大小的经转换的图像CDT。因此，即使由图像传感器110提供的原始图像RDT的大小(例如，宽度W)增大，以使得原始图像RDT的宽度W大于线缓冲器LB的大小LS，图像信号处理器120仍可对具有增大的大小的原始图像RDT进行图像处理而不增大线缓冲器LB的大小LS，且由此，不会增大图像信号处理器120的面积(例如，硬件大小、宽度)。

[0044] 图3是根据一些示例性实施例的图像信号处理器120的示意性方块图。

[0045] 参照图3，图像信号处理器120可包括至少一个线缓冲器LB、处理引擎PE(也被称为图像处理引擎)、按比例缩放器SL及输入/输出(input/output，I/O)管理器IOM。尽管线缓冲器LB及处理引擎PE在图3中被示出为单独的组件，然而本发明概念并非仅限于此。在一些其他示例性实施例中，线缓冲器LB可包括在处理引擎PE中。

[0046] 线缓冲器LB、处理引擎PE及按比例缩放器SL可被实施为硬件。举例来说，线缓冲器LB、处理引擎PE及按比例缩放器SL可使用例如但不限于以下处理电路系统来实施：一个或多个处理器、一个或多个中央处理器(Central Processing Unit，CPU)、一个或多个控制器、一个或多个算术逻辑单元(arithmetic logic unit，ALU)、一个或多个数字信号处理器(digital signal processor，DSP)、一个或多个微计算机、一个或多个现场可编程门阵列(field programmable gate array，FPGA)、一个或多个系统芯片(System-on-Chip，SoC)、一个或多个可编程逻辑单元(programmable logic unit，PLU)、一个或多个微处理器、一个或多个应用专用集成电路(Application Specific Integrated Circuit，ASIC)或能够对指令作出反应并以界定的方式执行指令的任何其他一或多种装置。线缓冲器LB可以多条线为单位存储图像信号处理器120的输入图像。在一些示例性实施例中，基于队列方法，线缓冲器LB可输出先前存储的线并存储输入图像的新的线。

[0047] 处理引擎PE可基于至少一个滤波器对存储在线缓冲器LB中的数据(例如，输入图像的多条线)进行滤波并对输入图像实行图像处理操作。处理引擎PE可包括多个图像处理块，且至少一个图像处理块可对线缓冲器LB进行存取并基于所述至少一个滤波器实行滤波操作。举例来说，所述多个图像处理块可实行例如以下功能：不良像素校正、透镜阴影补偿、白平衡、去噪、去马赛克、锐化、颜色补偿和/或颜色空间转换。处理引擎PE可输出经转换的图像和/或多个经转换的子图像。在其中原始图像的宽度小于或等于线缓冲器LB的大小的一些示例性实施例中，处理引擎PE可(例如，以多条线为单位)对原始图像进行图像处理并产生经转换的图像。在其中原始图像的宽度大于线缓冲器LB的大小的一些其他示例性实施例中，处理引擎PE可(例如，以线缓冲器LB接收到所述多个子图像的次序)依序对原始图像所划分成的多个子图像进行图像处理并产生多个经转换的子图像。经转换的图像和/或所述多个经转换的子图像可存储在存储器(指代图1所示存储器130)中。

[0048] 按比例缩放器SL可对经转换的图像的大小进行按比例缩放。举例来说，按比例缩放器SL可增大或减小由处理引擎PE输出的经转换图像的大小并产生经按比例缩放的图像。另外，按比例缩放器SL可接收存储在存储器(指代图1所示存储器130)中的经转换的图像并对经转换的图像的大小进行按比例缩放。

[0049] 输入/输出管理器IOM可管理图像信号处理器120的输入图像及输出图像。在一些示例性实施例中，由图像传感器(指代图1所示图像传感器110)提供的原始图像RDT可存储在存储器(例如，图1所示存储器130和/或图像传感器110的嵌入式存储器)中。输入/输出管理器IOM可将存储在存储器中的原始图像RDT划分成多个子图像以使得至少两个相邻的子图像彼此部分地交叠，并依序从其中存储有原始图像RDT的存储器(例如，图1所示存储器130和/或图像传感器110的嵌入式存储器)请求所述多个子图像。举例来说，输入/输出管理器IOM可基于线缓冲器LB的大小以及原始图像RDT的宽度W而确定原始图像RDT要划分成的子图像的数目、所述多个子图像中的每一者的宽度以及交叠区OR的宽度，且输入/输出管理器IOM可将读取命令以及指定宽度小于线缓冲器LB的大小LS的所述多个子图像中的每一者的地址传送到存储器130。因此，线缓冲器LB可依序接收到所述多个子图像。另外，输入/输出管理器IOM可将所述多个经转换的子图像依序(例如，以其中因处理引擎PE对所述多个子图像实行图像处理操作而产生所述多个经转换的子图像的次序)存储在存储器(例如，图1所示存储器130)中并将所述多个经转换的子图像合并成具有与原始图像相同大小(例如，分辨率)的经转换的图像。

[0050] 输入/输出管理器IOM可确定原始图像RDT要划分成的子图像的数目、子图像中的每一者的宽度以及彼此部分地交叠的两个相邻的子图像之间的交叠区OR的宽度。输入/输出管理器IOM可基于用于处理引擎PE的所述至少一个滤波器的大小来确定交叠区OR的宽度。输入/输出管理器IOM可基于原始图像RDT的宽度W、线缓冲器LB的大小LS以及交叠区OR的宽度而确定原始图像RDT要划分成的子图像的数目以及子图像中的每一者的宽度。

[0051] 另外，当所述多个经转换的子图像存储在存储器130中时，输入/输出管理器IOM可指定其中要存储所述多个经转换的子图像中的每一者的区的地址以使得存储在存储器(例如，图1所示存储器130)上的所述多个经转换的子图像构成经转换的图像。

[0052] 输入/输出管理器IOM可被实施为硬件或软件(或固件)与硬件的组合。在一些示例性实施例中，当输入/输出管理器IOM被实施为软件(或固件)与硬件的组合时，输入/输出管理器IOM可与图像信号处理器120中所包括的可执行软件(或固件)的处理器(例如，微处理器)相组合地实施为其中将上述功能编程及加载在图像信号处理器120中所包括的存储器中或存储在只读存储器(read-only memory，ROM)中的源代码以使得可实施输入/输出管理器IOM的功能。在一些其他示例性实施例中，当输入/输出管理器IOM被实施为硬件时，输入/输出管理器IOM可包括逻辑电路及寄存器并基于寄存器设定管理输入图像及输出图像。实施输入/输出管理器IOM的硬件或软件(或固件)与硬件的组合以及实施线缓冲器LB的硬件、处理引擎PE及按比例缩放器SL可被统称为图像信号处理器120的处理电路系统。

[0053] 图4A及图4B是示出根据一些示例性实施例的图像信号处理器的操作的图。

[0054] 参照图4A，原始图像RDT可被划分成多个子图像，例如，第一子图像SP1、第二子图像SP2及第三子图像SP3。第一子图像SP1可与第二子图像SP2部分地交叠(或反之亦然)。举例来说，第一交叠区OR1可在第一子图像SP1与第二子图像SP2之间共享。第二子图像SP2可与第三子图像SP3部分地交叠(或反之亦然)。举例来说，第二交叠区OR2可在第二子图像SP2与第三子图像SP3之间共享。

[0055] 图像信号处理器120可依序接收第一子图像SP1、第二子图像SP2及第三子图像SP3。举例来说，可首先接收到第一子图像SP1并对第一子图像SP1进行图像处理，其次可接收到第二子图像SP2并对第二子图像SP2进行图像处理，且第三可接收到第三子图像SP3并对第三子图像SP3进行图像处理。

[0056] 图像信号处理器120可接收第一子图像SP1并对第一子图像SP1进行图像处理且产生第一经转换的子图像SPc1。图像信号处理器120可以多条线将第一子图像SP1存储在线缓冲器LB中，且基于至少一个滤波器对存储在线缓冲器LB中的所述多条线进行滤波以产生第一经转换的子图像SPc1。举例来说，具有预定(或期望)大小的滤波器FT可在水平方向上滑动存储在线缓冲器LB中的第一子图像SP1的多条线(例如，线数据)并对所述多条线进行滤波。举例来说，滤波器FT可具有K*K的分辨率(例如，大小)(其中K是等于或大于2的整数)。

[0057] 输入图像(例如，第一子图像SP1)的其他线可以队列方式依序存储在线缓冲器LB中以使得可对线数据进行更新且可对经更新的线数据进行滤波。因此，第一子图像SP1可在图4A所示方向上转换。图像信号处理器120可将第一经转换的子图像SPc1存储在存储器130中。

[0058] 接着，图像信号处理器120可接收第二子图像SP2并对第二子图像SP2进行图像处理，产生第二经转换的子图像SPc2，并将第二经转换的子图像SPc2存储在存储器130中。当第二经转换的子图像SPc2存储在存储器130中时，图像信号处理器120可接收第三子图像SP3并对第三子图像SP3进行图像处理，产生第三经转换的子图像SPc3，并将第三经转换的子图像SPc3存储在存储器130中。

[0059] 参照图4B，可将多个经转换的子图像(例如，第一经转换的子图像SPc1、第二经转换的子图像SPc2及第三经转换的子图像SPc3)依序存储在存储器130中。首先，图像信号处理器120可产生第一经转换的子图像SPc1并将第一经转换的子图像SPc1存储在存储器130中。接着，图像信号处理器120可产生第二经转换的子图像SPc2并将第二经转换的子图像SPc2存储在存储器130中。第一经转换的子图像SPc1及第二经转换的子图像SPc2二者可包括第一经转换的交叠区ORc1。在存储第一经转换的子图像SPc1之后，当存储第二经转换的子图像SPc2时，图像信号处理器120可以第二经转换的子图像SPc2中所包括的第一经转换的交叠区ORc1的数据来对第一经转换的子图像SPc1中所包括的第一经转换的交叠区ORc1的数据进行重写。

[0060] 之后，图像信号处理器120可产生第三经转换的子图像SPc3并将第三经转换的子图像SPc3存储在存储器130中。第二经转换的子图像SPc2及第三经转换的子图像SPc3二者可包括第二经转换的交叠区ORc2。在存储第二经转换的子图像SPc2之后，当存储第三经转换的子图像SPc3时，图像信号处理器120可以第三经转换的子图像SPc3中所包括的第二经转换的交叠区ORc2的数据来对第二经转换的子图像SPc2中所包括的第二经转换的交叠区ORc2的数据进行重写。

[0061] 因此，图像信号处理器120可将第一经转换的子图像SPc1、第二经转换的子图像SPc2及第三经转换的子图像SPc3合并在一起以产生具有与原始图像RDT相同大小(例如，分辨率)的经转换的图像CDT。因此，即使由图像传感器110提供的原始图像RDT的大小(例如，宽度W)增大，以使得原始图像RDT的大小大于线缓冲器LB的大小，图像信号处理器120仍可对具有增大的大小的原始图像RDT进行图像处理而不会增大线缓冲器LB的大小LS，且由此，不会增大图像信号处理器120的面积(例如，硬件大小、宽度)。

[0062] 图5示出其中根据一些示例性实施例原始图像RDT被划分成多个子图像的实例。举例来说，假设原始图像RDT被划分成第一子图像SP1、第二子图像SP2及第三子图像SP3。

[0063] 参照图5，原始图像RDT可被划分成第一子图像SP1、第二子图像SP2及第三子图像SP3。在一些示例性实施例中，第一子图像SP1的宽度W1、第二子图像SP2的宽度W2及第三子图像SP3的宽度W3可彼此相等。在第一子图像SP1与第二子图像SP2之间共享的第一交叠区OR1的宽度WO1可等于在第二子图像SP2与第三子图像SP3之间共享的第二交叠区OR2的宽度WO2。在一些其他示例性实施例中，第一子图像SP1的宽度W1可等于第二子图像SP2的宽度W2，且第三子图像SP3的宽度W3可不同于第一子图像SP1的宽度W1及第二子图像SP2的宽度W2。然而，第一交叠区OR1的宽度WO1可等于第二交叠区OR2的宽度WO2。

[0064] 第一交叠区OR1的宽度WO1及第二交叠区OR2的宽度WO2可基于用于图像信号处理器(指代图4A所示图像信号处理器120)的滤波器(指代图4A所示滤波器FT)的大小来确定。第一子图像SP1的宽度W1、第二子图像SP2的宽度W2及第三子图像SP3的宽度W3可基于原始图像RDT的宽度W、线缓冲器LB的大小LS以及第一交叠区OR1的宽度WO1及第二交叠区OR2的宽度WO2来确定。

[0065] 图6示出其中根据一些示例性实施例确定多个子图像之间的交叠区的宽度的实例。

[0066] 参照图6，图像信号处理器(指代图4A所示图像信号处理器120)可包括有限脉冲响应(finite impulse response，FIR)滤波器。图像信号处理器120可基于FIR滤波器的大小而确定在两个相邻的子图像(例如，SP1与SP2、SP2与SP3)之间共享的交叠区(例如，OR1、OR2)的宽度(例如，WO1、WO2)。FIR滤波器可为其中横坐标表示频率范围且纵坐标表示功率增益的高斯滤波器。当对目标像素数据PX_T应用FIR滤波器时，可使用与目标像素数据PX_T相邻的像素数据PXs。如图6所示，当对目标像素数据PX_T进行滤波时，可对位于目标像素数据PX_T两侧上的像素数据PXs应用FIR滤波器。举例来说，假设对目标像素数据PX_T的每一侧上的六条像素数据PXs应用FIR滤波器，则交叠区可包括至少12条像素数据PXs。因此，交叠区的宽度可被确定成至少12个位。

[0067] 再次参照图5，子图像的数目可为可变的。在一些示例性实施例中，图像信号处理器(指代图1所示图像信号处理器120)可基于原始图像RDT的宽度W、线缓冲器(指代图4A所示线缓冲器LB)的大小以及交叠区(例如，OR1和/或OR2)的宽度(例如，WO1和/或WO2)将子图像的数目设定为最小值。举例来说，当原始图像RDT的宽度W是6000个位且线缓冲器LB的大小是3000个位时，图像信号处理器120可虑及交叠区的宽度而将原始图像RDT划分成三个子图像。当图像信号处理器120将子图像的数目设定为二时，所述两个子图像中的每一者的宽度可为3000个位或小于3000个位。在此种情形中，可不存在交叠区。也就是说，在上述实例中，子图像的数目的最小值可被确定成三。因此，图像信号处理器120可虑及交叠区的宽度而将原始图像RDT划分成至少三个子图像。

[0068] 图7是根据一些示例性实施例的图像处理系统100a的方块图。

[0069] 参照图7，图像处理系统100a可包括图像传感器110、系统芯片(SoC)20a、存储器130及显示装置140。SoC 20a可包括图像信号处理器120、第一接口21及第二接口22，且还可包括其他功能块(未示出)。在一些示例性实施例中，SoC 20a可被实施为应用处理器(AP)。

[0070] SoC 20a可经由第一接口21从图像传感器110接收原始图像RDT。举例来说，第一接口21可被实施为例如以下接口技术：串行接口、移动显示数字接口(mobile display digital interface，MDDI)、集成间电路(inter-integrated circuit，I2C)接口、串行外围接口(serial peripheral interface，SPI)、微控制器单元(micro controller unit，MCU)接口、移动行业处理器接口(mobile industry processor interface，MIPI)、嵌入式显示端口(embedded display port，eDP)接口、D-超小型(D-subminiature，D-sub)、光学接口和/或高清晰度多媒体接口(high-definition multimedia interface，HDMI)。另外，第一接口21可被实施为各种串行或并行接口技术中的一者。

[0071] 第一接口21可将所接收的原始图像RDT存储在存储器130中和/或将所接收的原始图像RDT提供到图像信号处理器120。举例来说，当图像处理系统100a以第一操作模式操作时第一接口21可将原始图像RDT提供到图像信号处理器120，且当图像处理系统100a以第二操作模式操作时，第一接口21可将原始图像RDT存储在存储器130中。举例来说，第一操作模式可为图像预览模式，而第二操作模式可为图像捕获模式。当图像处理系统100a以第一操作模式(例如，图像预览模式)操作时，由图像传感器110提供的原始图像RDT的宽度可等于或小于图像信号处理器120中所包括的线缓冲器(指代图3所示线缓冲器LB)的大小(例如，宽度)。当图像处理系统100a以第二操作模式(例如，图像捕获模式)操作时，由图像传感器110提供的原始图像RDT的宽度可大于图像信号处理器120中所包括的线缓冲器(指代图3所示线缓冲器LB)的大小。

[0072] 在第一操作模式(例如，图像预览模式)中，图像信号处理器120可对从第一接口21接收的原始图像RDT进行图像处理，产生经转换的图像CDT，对经转换的图像CDT的大小进行按比例缩放并产生经按比例缩放的图像SDT。图像信号处理器120可将经按比例缩放的图像SDT提供到第二接口22，且第二接口22可将经按比例缩放的图像SDT输出到显示装置140。第二接口22可被实施为上述关于第一接口21的各种接口技术中的任意者。

[0073] 在第二操作模式(例如，图像捕获模式)中，如以上参照图2所述，图像信号处理器120可将存储在存储器130中的原始图像RDT划分成多个子图像，从存储器130依序接收所述多个子图像，依序对所述多个子图像进行图像处理并依序产生多个经转换的子图像。图像信号处理器120可以其中因图像处理操作而依序产生所述多个经转换的子图像的次序来将所述多个经转换的子图像依序存储在存储器130中。所述多个经转换的子图像可被合并以产生经转换的图像CDT。经转换的图像CDT可具有与原始图像RDT相同的大小(例如，分辨率)。

[0074] 在一些示例性实施例中，图像信号处理器120可从存储器130读取经转换的图像CDT，对经转换的图像CDT的大小进行按比例缩放并产生经按比例缩放的图像SDT。举例来说，图像信号处理器120可基于显示装置140的分辨率而减小经转换的图像CDT的大小。图像信号处理器120可将经按比例缩放的图像SDT提供到第二接口22，且第二接口22可将经按比例缩放的图像SDT输出到显示装置140。

[0075] 第一操作模式(例如，图像预览模式)可需要对具有小的大小(例如，具有小于或等于图像信号处理器120中所包括的线缓冲器LB的大小的宽度)的原始图像RDT实行实时图像处理操作。相比之下，第二操作模式(例如，图像捕获模式)可需要对具有大的大小(例如，具有大于图像信号处理器120中所包括的线缓冲器LB的大小的宽度)的原始图像实行图像处理操作。因此，在第一操作模式中，图像传感器110可输出具有小的大小的原始图像RDT，且图像信号处理器120可同时对具有小的大小的原始图像RDT进行图像处理。相比之下，在第二操作模式中，图像传感器110可输出具有大的大小的原始图像，且图像信号处理器120可将原始图像划分成多个子图像并依序对所述多个子图像进行图像处理。由于在第二操作模式(例如，图像捕获模式)中不需要进行实时图像处理操作，因此即使与第一操作模式(例如，图像预览模式)中的图像处理时间相比图像处理时间因图像划分操作而在某种程度上增加，在第二操作模式中图像处理时间增加对图像处理系统100a的操作速度的影响仍可忽略不计。

[0076] 图8A及图8B示出图7所示图像处理系统100a的图像处理过程。

[0077] 图8A示出第一操作模式中的操作，且图8B示出第二操作模式中的操作。图8A及图8B所示具体数值仅用于例示简明起见，且并非旨在对本发明概念进行限制。

[0078] 参照图8A，图像传感器110的分辨率可为48兆字节(megabyte，MB)或小于48MB。在第一操作模式中(例如，在图像预览模式中)，图像传感器110可输出具有12MB的大小(即，图像传感器110的最大大小的1/4)的原始图像RDTa。如以上参照图7所述，在第一操作模式中，原始图像RDTa可被传送到图像信号处理器120。

[0079] 图像信号处理器120可包括处理引擎PE及按比例缩放器SL。处理引擎PE可包括线缓冲器(未示出)。处理引擎PE可对原始图像RDTa进行图像处理并产生经转换的图像CDTa。经转换的图像CDTa的大小可为12MB，其等于原始图像RDTa的大小。经转换的图像CDTa可被提供到按比例缩放器SL。在一些示例性实施例中，经转换的图像CDTa也可存储在存储器130中。按比例缩放器SL可对经转换的图像CDTa进行按比例缩放(例如，以减小经转换的图像CDTa的大小)以使得经转换的图像CDTa可显示在显示装置140上。举例来说，按比例缩放器SL可对12MB经转换的图像CDTa进行按比例缩放并产生2MB经按比例缩放的图像SDTa。图像信号处理器120可将经按比例缩放的图像SDTa输出到显示装置140。显示装置140可显示经按比例缩放的图像SDTa。

[0080] 参照图8B，在第二操作模式中(例如，在图像捕获模式中)，图像传感器110可输出完整大小的原始图像RDTb(例如，48MB原始图像RDTb)。原始图像RDTb可存储在存储器130中。原始图像RDTb的宽度可大于图像信号处理器120中所包括的线缓冲器的大小。图像信号处理器120可将原始图像RDTb划分成多个子图像SP，从存储器130依序接收所述多个子图像SP，并依序对所述多个子图像SP进行图像处理以产生多个经转换的子图像SPc。举例来说，图像信号处理器120可将原始图像RDTb划分成分别具有约24MB的大小的两个子图像SP。子图像SP的宽度可小于图像信号处理器120中所包括的线缓冲器的大小。处理引擎PE可对从存储器130依序接收的所述两个子图像SP进行图像处理以产生所述两个经转换的子图像SPc。所述两个经转换的子图像SPc可存储在存储器130中并合并在一起以构成48MB经转换的图像CDTb。

[0081] 图像处理系统100a可包括压缩编码器23。举例来说，压缩编码器23可包括在SoC(指代图7所示SoC 20a)中。压缩编码器23可从存储器130接收经转换的图像CDTb，对经转换的图像CDTb进行编码并输出经编码的图像EDT(例如，经压缩的图像)。在一些示例性实施例中，压缩编码器23可为JPEG模块。JPEG模块可对经转换的图像CDTb进行编码并输出JPEG格式图像。举例来说，JPEG格式图像可存储在包括非易失性存储器的存储器中。

[0082] 在一些示例性实施例中，当用户旨在看到所捕获的图像时，图像信号处理器120可减小经转换的图像CDTb的大小并产生经按比例缩放的图像SDTb以在显示装置140上显示。

[0083] 图像信号处理器120可包括被配置成对图像的大小进行按比例缩放的按比例缩放器SL。按比例缩放器SL可从存储器130接收经转换的图像CDTb并减小经转换的图像CDTb的大小。举例来说，按比例缩放器SL可将48MB经转换的图像CDTb按比例缩放成2MB经按比例缩放的图像SDTb。图像信号处理器120可将经按比例缩放的图像SDTb输出到显示装置140。显示装置140可显示经按比例缩放的图像SDTb。

[0084] 图9是根据一些示例性实施例的图像处理系统100b的实例的方块图。

[0085] 参照图9，图像处理系统100b可包括图像传感器110b、SoC 20b、存储器130及显示装置140。SoC 20b可包括图像信号处理器120、第一接口21及第二接口22，且还可包括其他功能块(未示出)。

[0086] 图9所示图像处理系统100b的操作可相似于图7所示图像处理系统100a的操作。因此，将省略其重复说明，且将阐述图9所示图像处理系统100b的操作与图7所示图像处理系统100a的操作之间的不同之处。

[0087] 当图像处理系统100b以第二操作模式(例如，图像捕获模式)操作时，由图像传感器110b提供的原始图像RDT的宽度可大于图像信号处理器120中所包括的线缓冲器的大小。在此种情形中，图像传感器110b可将原始图像RDT划分成多个子图像SP并将所述多个子图像SP依序输出到SoC 20b。第一接口21可从图像传感器110b依序接收所述多个子图像SP并将所述多个子图像SP传送到图像信号处理器120。图像信号处理器120可从图像传感器110b依序接收所述多个子图像SP，依序对所述多个子图像SP进行图像处理，并将因图像处理操作而依序产生的多个经转换的图像SPc存储在存储器130中。图像信号处理器120可将所述多个经转换的图像SPc合并在一起以构成具有与原始图像RDT相同大小的经转换的图像CDT。

[0088] 如上所述，在第二操作模式中，图像传感器110b可将原始图像RDT划分成所述多个子图像SP并将所述多个子图像SP依序输出到SoC 20b。因此，可省略在将原始图像RDT存储在存储器130中之后将所述多个子图像SP从存储器130提供到图像信号处理器120的操作。

[0089] 图10是图9所示图像处理系统100b的详细方块图。

[0090] 参照图10，图像传感器110b可包括像素阵列111、模数转换器(analog-to-digital converter，ADC)112、行驱动器113、时序产生器114、斜坡信号产生器115、控制寄存器116及缓冲器117。

[0091] 像素阵列111可包括排列成矩阵形式的多个像素且可使用所述多个像素中的每一者将光学图像信号转换成电像素信号。

[0092] 行驱动器113可通过时序产生器114的控制来以行单位对像素阵列111进行驱动。行驱动器113可对由时序产生器114产生的行控制信号(例如，地址信号)进行解码并响应于经解码的行控制信号来选择像素阵列111中所包括的行线中的至少一条行线。像素阵列111可将像素信号从基于由行驱动器113提供的行控制信号选择的行输出到ADC 112。

[0093] ADC 112可将从像素阵列111接收的像素信号与由斜坡信号产生器115提供的斜坡信号进行比较，产生结果信号，对结果信号进行计数并将经计数的结果信号转换成数字信号。ADC 112可将经转换的信号作为原始图像RDT输出到缓冲器117。

[0094] 时序产生器114可通过控制寄存器116的控制对行驱动器113、ADC 112及斜坡信号产生器115的操作进行控制。

[0095] 控制寄存器116可控制时序产生器114、斜坡信号产生器115及缓冲器117中的每一者的操作。控制寄存器116可通过图像信号处理器120中所包括的传感器控制器122的控制来操作。

[0096] 缓冲器117可临时存储从ADC 112接收的原始图像RDT并将原始图像RDT输出到SoC 20b。在第二操作模式(例如，图像捕获模式)中，缓冲器117可通过控制寄存器116的控制将原始图像RDT划分成多个子图像(例如，第一子图像SP1及第二子图像SP2)并将所述多个子图像依序输出到SoC 20b。

[0097] 图像信号处理器120可包括处理引擎121及传感器控制器122。尽管图中未示出，然而图像信号处理器120还可包括其他组件，例如线缓冲器及按比例缩放器。处理引擎121可对通过第一接口21从缓冲器117接收的原始图像RDT进行图像处理。在第二操作模式(例如，图像捕获模式)中，处理引擎121可对依序接收的所述多个子图像SP(例如，第一子图像SP1及第二子图像SP2)进行图像处理，产生多个经转换的子图像SPc(例如，第一经转换的子图像SPc1及第二经转换的子图像SPc2)，并将所述多个经转换的子图像SPc存储在存储器130中。存储在存储器130中的所述多个经转换的子图像SPc可被合并以产生具有与原始图像RDT相同大小的经转换的图像CDT。

[0098] 传感器控制器122可对控制寄存器116进行控制以使得图像传感器110b的缓冲器117可将所述多个子图像SP依序输出到SoC 20b。在一些示例性实施例中，传感器控制器122可将指示用于将原始图像RDT划分成所述多个子图像SP的信息(例如，子图像SP的数目、所述多个子图像SP的宽度以及在两个相邻的子图像之间共享的交叠区的宽度)的控制信号输出到控制寄存器116。在一些示例性实施例中，当完成对所接收的子图像的成像处理时，处理引擎121可将完成信号传送到传感器控制器122，且传感器控制器122可响应于完成信号输出用于请求图像传感器110b的缓冲器117的控制信号以将另一所接收的子图像(例如，以接收到所述多个子图像的次序将下一子图像)传送到控制寄存器116。

[0099] 图11是根据一些示例性实施例的图像信号处理器(指代图1所示图像信号处理器120)的操作的流程图。

[0100] 参照图11，图像信号处理器120可以第一操作模式操作(S10)。包括图像信号处理器120的图像处理系统(指代图1所示图像处理系统100)(例如，相机及智能电话)可以第一操作模式(例如，图像预览模式)正常地操作。当接收到用于请求图像捕获操作的用户输入时，可对图像处理系统100的操作模式进行转换以使得图像处理系统100可以第二操作模式(例如，图像捕获模式)操作。因此，图像信号处理器120可首先以第一操作模式操作。

[0101] 图像信号处理器120可以第一操作模式对从图像传感器接收的原始图像实行单图像处理操作(S20)。举例来说，原始图像的宽度可小于或等于图像信号处理器120中所包括的线缓冲器。图像信号处理器120可以多条线为单位将原始图像存储在线缓冲器中并以所述多条线为单位来对原始图像实行图像处理操作。图像信号处理器120可对因图像处理操作产生的经转换的图像的大小进行按比例缩放并将经按比例缩放的图像提供到显示装置。经按比例缩放的图像可在显示装置上显示。

[0102] 图像信号处理器120可接收第二操作模式转换信号(S30)。响应于用于请求图像捕获操作的用户输入，可将图像处理系统100的操作模式转换成第二操作模式(例如，图像捕获模式)。图像信号处理器120可从图像处理系统100接收用于请求将操作模式转换成第二操作模式的第二操作模式转换信号。

[0103] 当操作模式转换成第二操作模式时，图像信号处理器120可以第二操作模式对从图像传感器接收的原始图像实行图像划分操作(S40)。图像信号处理器120可在列方向上将原始图像划分成多个子图像并依序对所述多个子图像进行图像处理。以下将参照图12进一步详细阐述第二操作模式中的图像划分操作。

[0104] 在操作S40中，当完成对原始图像的图像划分操作时，可将经转换的图像存储在存储器中。之后，可将图像处理系统100的操作模式转换成第一操作模式(S50)。图像信号处理器120可响应于操作模式转换信号或自动地(例如，响应于图像划分操作的完成)转换成第一操作模式(例如，图像预览模式)。在一些示例性实施例中，在图像处理系统100中可执行第二操作模式作为背景操作。

[0105] 图12是根据一些示例性实施例的图像信号处理器的操作的流程图。图12示出其中图像信号处理器(指代图1所示图像信号处理器120)以第二操作模式(例如，图像捕获模式)操作的示例性实施例。

[0106] 在第二操作模式中，从图像传感器(指代图1所示图像传感器110)接收的原始图像的宽度可大于图像信号处理器120中所包括的线缓冲器的大小。

[0107] 参照图12，图像信号处理器120可在列方向上将从图像传感器110接收的原始图像划分成多个子图像(S41)。举例来说，子图像也可被称为列图像和/或垂直条纹图像。图像信号处理器120可基于原始图像的宽度、线缓冲器的大小以及在图像信号处理器120中使用的滤波器的大小而确定参数(例如子图像的数目、所述多个子图像中的每一者的宽度以及在两个相邻的子图像之间共享的交叠区的宽度)以对所述多个子图像进行图像处理。图像信号处理器120可基于所确定的参数而将原始图像划分成所述多个子图像。

[0108] 图像信号处理器120可依序接收所述多个子图像并对所述多个子图像进行图像处理(S42)。原始图像可存储在图像传感器110的内部存储器中或由图像传感器110输出并存储在图像处理系统(指代图1所示图像处理系统100)中所包括的存储器(指代图1所示存储器130)(例如，DRAM)中。举例来说，图像信号处理器120可从其中存储有原始图像的存储器130接收子图像(例如，第一子图像)，且当完成对所接收的子图像(例如，第一子图像)的图像处理操作时接收另一子图像(例如，第二子图像)。图像信号处理器120可以多条线为单位将所接收的子图像存储在线缓冲器中并以所述多条线为单位来实行图像处理操作。

[0109] 图像信号处理器120可将因对所述多个子图像进行的图像处理操作产生的多个经转换的子图像合并成经转换的图像(S43)。图像信号处理器120可以所述多个经转换的子图像产生的次序将依序产生的所述多个经转换的子图像存储在存储器130中。图像信号处理器120可确定其中要存储所述多个经转换的子图像的存储器130的区的地址以对所述多个经转换的子图像进行合并，并将所述多个经转换的子图像存储在与所述地址对应的存储器130的区中。因此，可对所述多个经转换的子图像进行合并以对具有与原始图像相同大小的一个经转换的图像进行重新配置。

[0110] 图13是根据一些示例性实施例的应用处理器(AP)200的方块图。

[0111] 参照图13，AP 200可包括可通过总线290在彼此之间传送及接收数据的主处理器210、随机存取存储器(random access memory，RAM)220、压缩编码器230、图像信号处理器
240、非易失性存储接口250、相机接口260、存储接口270及显示接口280。

[0112] 主处理器210可控制AP 200的总体操作。主处理器210可被实施为例如中央处理器(CPU)和/或微处理器(microprocessor，MP)。在一些示例性实施例中，主处理器210可被实施为具有至少两个独立的处理器(或核心)的一个计算组件(例如，多核心处理器)。主处理器210可对数据进行处理和/或执行存储在RAM 220中(和/或存储在ROM中)的程序。

[0113] RAM 220可临时存储程序、数据和/或指令。在一些示例性实施例中，RAM 220可被实施为DRAM或SRAM。RAM 220可临时存储可通过非易失性存储接口250、相机接口260、存储接口270及显示接口280输入和/或输出和/或由图像信号处理器240和/或主处理器210产生的图像。

[0114] 在一些示例性实施例中，AP 200还可包括ROM(未示出)。ROM可存储连续使用的程序和/或数据。举例来说，ROM可被实施为可擦可编程ROM(erasable programmable ROM，EPROM)或电可擦可编程ROM(electrically erasable programmable ROM，EEPROM)。

[0115] 非易失性存储接口250可与从非易失性存储器装置255输入的数据和/或输出到非易失性存储器装置255的数据接口。非易失性存储器装置255可被实施为例如存储卡(例如，多媒体卡(multimedia card，MMC)、嵌入式MMC(embedded MMC，eMMC)、安全数字(secure digital，SD)卡和/或微SD卡)。

[0116] 相机接口260可与从位于AP 200外部的相机265输入的数据(例如，原始图像)接口。相机265可产生使用多个感光元件捕获的图像的数据。通过相机接口260接收的原始图像可通过存储接口270被提供到图像信号处理器240和/或存储在存储器130中。

[0117] 存储接口270可与从位于AP 200外部的存储器130输入的数据和/或输出到位于AP 200外部的存储器130的数据接口。在一些示例性实施例中，存储器130可被实施为：易失性存储器，例如DRAM和/或SRAM；或非易失性存储器，例如ReRAM、PRAM和/或与非闪存装置。

[0118] 显示接口280可与输出到显示装置140的数据(例如，图像(例如经转换的图像和/或经按比例缩放的图像))接口。举例来说，显示装置140可显示图像或图像的数据且可被实施为液晶显示器(liquid crystal display，LCD)和/或有源矩阵有机发光二极管(active-matrix organic light emitting diode，AMOLED)显示器。

[0119] 压缩编码器230可对图像进行编码并输出经编码的图像(即，经压缩的图像)。压缩编码器230可对由图像信号处理器240输出的经转换的图像和/或存储在存储器130中的经转换的图像进行编码。在一些示例性实施例中，压缩编码器230可为JPEG模块，JPEG模块可输出JPEG格式图像。JPEG格式图像可存储在非易失性存储器装置255中。

[0120] 图像信号处理器240可对由相机254提供的图像(例如，原始图像)进行图像处理，产生经转换的图像，并将经转换的图像存储在存储器130中。作为另外一种选择或另外地，图像信号处理器240可对经转换的图像进行按比例缩放，产生经按比例缩放的图像并将经按比例缩放的图像输出到显示装置140。

[0121] 当图像信号处理器240以第二操作模式(例如，图像捕获模式)操作时，当原始图像的宽度大于图像信号处理器240中所包括的线缓冲器的大小时，图像信号处理器240可将原始图像划分成多个子图像并依序对所述多个子图像进行图像处理，如以上参照图1到图12所述。因此，即使原始图像的大小(例如，宽度)随着相机265的分辨率的增大而增大以大于图像信号处理器240中所包括的线缓冲器的大小，图像信号处理器240仍可通过对所述多个子图像依序实行图像处理操作来对原始图像进行图像处理，而不会增大线缓冲器的面积(例如，硬件大小、宽度)。

[0122] 图14是根据一些示例性实施例的便携端子1000的方块图。参照图14，便携端子1000可包括图像处理器1100、无线收发器1200、音频处理器1300、非易失性存储器装置
1500、用户接口1600及控制器1700。

[0123] 图像处理器1100可包括透镜1110、图像传感器1120、显示装置1130、存储器1140及图像信号处理器1710。在一些示例性实施例中，如图14所示，图像信号处理器1710可被实施为控制器1700的一部分。

[0124] 图像信号处理器1710可对从图像传感器1120接收的图像(例如，原始图像)进行图像处理，产生经转换的图像，并将经转换的图像存储在存储器1140中。作为另外一种选择或另外地，图像信号处理器1710可对经转换的图像进行按比例缩放，并将经按比例缩放的图像提供到显示装置1130。当图像信号处理器1710以第二操作模式(例如，图像捕获模式)操作时，当从图像传感器1120接收的图像(例如，原始图像)的宽度大于图像信号处理器1710中所包括的线缓冲器的大小时，图像信号处理器1710可将原始图像划分成多个子图像，依序对所述多个子图像进行图像处理，依序产生多个经转换的子图像，并将所述多个经转换的子图像合并在一起以产生具有与原始图像相同大小的经转换的图像，如以上参照图1到图12所述。经转换的图像可存储在存储器130中和/或在显示装置140上显示。

[0125] 无线收发器1200可包括天线1210、收发器1220及调制解调器1230。音频处理器1300可包括音频处理器1310、麦克风1320及扬声器1330。非易失性存储器装置1500可被实施为存储卡(例如，MMC、eMMC、SD和/或微SD)。

[0126] 用户接口1600可被实施为能够接收用户输入的各种装置中的一者，例如键盘、幕帘键面板(curtain key panel)、触摸面板、指纹传感器及麦克风。用户接口1600可接收用户输入并将与所接收的用户输入对应的信号提供到控制器1700。

[0127] 控制器1700可控制便携端子1000的总体操作并被实施为被配置成驱动应用程序和/或操作系统的SoC。由SoC驱动的操作系统的内核可包括输入/输出(I/O)排程器以及被配置成控制非易失性存储器装置1500的装置驱动器。

[0128] 在以上说明及图式中公开了本发明概念的一些示例性实施例。尽管使用了具体用语，然而所述具体用语仅用于说明意义而并非用于限制目的。所属领域中的普通技术人员应理解，在不背离由以上权利要求书界定的本发明概念的精神及范围的条件下，可对所公开的示例性实施例作出形式及细节上的各种改变。

标题	发布/更新时间	阅读量
一种人群表演评测系统	2020-05-08	73
半导体测试结构及测试方法	2020-05-08	171
一种基于深度学习的闸瓦插销丢失检测方法	2020-05-08	524
拍摄方法和电子设备	2020-05-08	136
一种基于北斗卫星导航定位的特种运输车报警系统	2020-05-08	262
一种基于双向对抗网络的图像超分辨率重建方法	2020-05-11	263
一种自动化在线学习智能辅助标注医学影像的方法和系统	2020-05-08	338
基于人工智能的多场景消化道内镜图像识别方法及系统	2020-05-08	296
一种针对多标签分类数据不均衡问题的采样方法	2020-05-11	882
一种基于深度学习的道路病害检测方法	2020-05-11	580

图像信号处理器、其操作方法以及应用处理器

图像信号处理器、其操作方法以及应用处理器

技术领域

背景技术

发明内容

具体实施方式

该功能需要专业版企业版VIP权限，您可以：