随着近年来的数字技术、动态图像及声音的压缩解压缩技术的迅 速发展，数字电视机(DTV)、DVD录制机等数字视频记录机(DVR)、 便携电话、数字照相机等影像声音设备越来越寻求高功能化、小型化。 为此，在这样的影像声音设备的开发现场，开发期间的缩短化成为较 大的课题。
以往，为了支持影像声音设备的开发，有将有关影像声音功能的 处理所需的多个功能块作为1个LSI实现的技术(例如参照非专利文 献1)。
该以往的LSI具备媒体处理所需的DSP(Digital Signal Processor， 数字信号处理器)核心、各种视频I/O、RGB、I/O、MPEG-2传输 流I/F、LAN I/F等。设备的开发者通过使用这样的LSI，不需要分别 开发影像声音处理所需的各功能块中的硬件电路。
非专利文献1：“TMS320DM642 Technical Overview”，テキサル 亻ンツルメンツ社，p.4等
但是，上述以往的LSI由于不具备与利用声音等的电话的I/F、 及电力控制等用来实现低功耗的功能等，所以有不适合便携电话及数 字照相机等移动类用途的问题。因此，即使利用上述以往的LSI实现 例如DTV等服务器类设备，也不能将因此得到的软件等设计资源转 用到便携电话等移动类设备中。
进而，在利用上述以往的LSI开发影像声音设备的情况下，对于 用来暂时保存影像及声音数据的存储器和各处理块之间的接口，开发 者必须独立地设计。例如，在设计能够由多个处理块共用的共用存储 器的情况下，必须确保各处理块与存储器之间的传送频带，并且考虑 等待时间(latency)的保证。为此，实际情况是不能削减高功能的影 像声音设备的开发工作量。

所以，本发明是鉴于这样的以往的问题而做出的，目的是提供一 种影像声音处理用集成电路，该影像声音处理用集成电路不仅能够用 于DTV及DVR等服务器类影像声音设备，还能够作为便携电话及 数字照相机等移动类影像声音设备的系统LSI使用，并且在这些影像 声音设备的开发中得到的设计资源也能够转用到其他种类的影像声 音设备中。
进而，本发明的目的是提供一种能够容易地确保保存影像及声音 数据的存储器与各处理块之间的接口的传送频带及等待时间保证的 影像声音处理用集成电路。
为了达到上述目的，有关本发明的影像声音处理用集成电路是处 理影像及声音信号的影像声音处理用集成电路，其特征在于，具备： 微型计算机块，具有CPU；流输入输出块，在上述微型计算机块的 控制下，与外部装置进行影像及声音流的输入输出；媒体处理块，在 上述微型计算机块的控制下，执行媒体处理，该媒体处理包括输入到 上述流输入输出块中的、或者从上述流输入输出块输出的影像及声音 流的压缩及解压缩中的至少1个；AV输入输出块，在上述微型计算 机块的控制下，将由上述媒体处理块进行媒体处理后的影像及声音流 变换为影像及声音信号，并输出给外部设备，或者从外部设备取得影 像及声音信号，并变换为由上述媒体处理块进行媒体处理的影像及声 音流；存储器接口块，在上述微型计算机块的控制下，控制上述微型 计算机块、上述流输入输出块、上述媒体处理块及上述AV输入输出 块与存储器之间的数据传送。
由此，例如通过使上述微型计算机块、上述流输入输出块、上述 媒体处理块、以及上述AV输入输出块利用专用的数据总线与上述存 储器接口块连接，在上述微型计算机块、上述流输入输出块、上述媒 体处理块、以及上述AV输入输出块之间，经由上述存储器进行上述 影像及声音流的收发，由此，4种处理块不是分别相互地连接，而是 经由共用的存储器连接。因而，对各处理块的控制编程都只要设计为 与存储器之间输入输出数据就可以，与其他处理块中的处理分离。由 此，提高了应用程序相对于各处理块的独立性，能够实现设计资源的 转用。
这里，上述存储器接口块也可以中继数据传送，以便并行地进行 上述微型计算机块、上述流输入输出块、上述媒体处理块、以及上述 AV输入输出块与上述存储器之间的数据传送；上述微型计算机块、 上述流输入输出块、上述媒体处理块、以及上述AV输入输出块也可 以在将上述影像及声音流保存到上述存储器中之后，将已保存的消息 通知给其他块。由此，存储器成为经由存储器接口块被各处理块共有， 通过使数据传送、协调的控制及管理处理集中于存储器接口块，存储 器与各处理块的接口的传送频带的确保及等待事件保证变得容易。
此外，也可以是，上述流输入输出块例如具有与上述外部装置进 行影像及声音流的收发的接口部、进行所收发的影像及声音流的加密 或解密的加密处理部、以及控制上述外部装置与上述存储器的数据传 送的直接内存存取控制部；上述媒体处理块例如具有并行地执行多个 信号处理指令的指令并行处理器、执行运算处理的加速器、以及控制 与上述存储器的数据传送的直接内存存取控制部；上述AV输入输出 块例如具有进行图像数据的图形处理的图形引擎、以及变换影像信号 的格式的格式变换部；上述存储器接口块例如具有与上述微型计算机 块、上述流输入输出块、上述媒体处理块、以及上述AV输入输出块 连接的多个端口、以及调整上述多个端口各自的数据传送定时的存储 器调度器。
进而，作为移动用的应用，上述微型计算机块优选地还具有接通 /断开向上述CPU时钟的供给的时钟控制部以及接通/断开电源的供 给的电源控制部中的至少1个。
此外，作为服务器用的应用，上述媒体处理块优选地还具备并行 地执行对多个数据的运算的数据并行处理器。
此外，也可以是，上述影像声音处理用集成电路还具备将上述流 输入输出块和上述媒体处理块连接的信号线；上述媒体处理块执行影 像及声音流的媒体处理，该影像及声音流经由上述信号线从上述流输 入输出块输入，或者经由上述信号线输出给上述流输入输出块。这是 因为，在从流输入输出块发送来的流数据是低位速率的情况下，高速 动作的媒体处理块直接接收流数据并执行媒体处理，这样，由于不经 由存储器的那部分，而安全性提高，配合功耗的削减，可以提高处理 效率。
此外，作为具体的应用，上述影像声音处理用集成电路被用作不 同的多个设备用的系统LSI；在上述设备中包括数字电视机、数字视 频录制机、摄像机及便携电话。
并且，在设上述设备中的1个为第1设备、设另1个为第2设备 的情况下，也可以使CPU的指令组具有互换性、或使媒体处理器的 指令组具有互换性、或使CPU或媒体处理器的核心具有软宏的共用 性、或具有硬宏的公用性、或具有存储器映象的共用性。
此外，也可以是，上述AV输入输出块还通过对从由上述媒体处 理块进行媒体处理后的影像流变换来的、或从外部设备取得的影像信 号进行析像度变换处理，生成记录用影像信号，并且生成区域(field) 特征信息，该区域特征信息表示由上述记录用影像信号表示的影像区 域的区域内总和以及区域间差分的至少一个；上述媒体处理块还参照 上述区域特征信息，将上述记录用影像信号变换为记录用影像流。
此外，优选为，上述影像声音处理用集成电路还具备连接上述媒 体处理块和上述AV输入输出块的信号线；在上述媒体处理块及上述 AV输入输出块之间经由上述信号线进行上述区域特征信息的收发。
根据该结构，上述媒体处理块能够参照在上述AV输入输出块中 获知的区域特征信息，决定记录图像的压缩中的I图片、或动态地调 整压缩率。由此，上述影像声音处理用集成电路不会花费用来得到区 域特征信息的重复成本，能够在维持高速度性能的同时实现画质与数 据量的良好协调。
此外，也可以是，上述媒体处理块与一个影像声音多路复用流相 关联，一边时分割地执行流的多路复用或多路分离处理、图像数据的 压缩或解压缩处理、声音数据的压缩或解压缩处理，一边禁止上述流 的多路复用或多路分离处理在规定的时间内多次启动。
此外，优选为，上述媒体处理块具有时分割地演绎多个逻辑处理 器的虚拟多处理器；上述流的多路复用或多路分离处理、上述图像数 据的压缩或解压缩处理、上述声音数据的压缩或解压缩处理分别由上 述虚拟多处理器所演绎的不同的逻辑处理器执行；执行上述流的多路 复用或多路分离处理的逻辑处理器在处理完上述流的规定单位后，进 行休眠直到规定的定时器(Timer)终止。
根据该结构，由于没有广播类、以及可过剩地输入流的存储类的 区别，自律地抑制了流处理的过剩执行，所以不仅将图像、声音处理 的破绽防止于未然，而且在流输入输出块中也不需要对向媒体处理块 发送的流量进行上限管理。作为它们的总体，应用程序相对于各处理 块的独立性、简明性提高，进而对设计资源的转用促进做出贡献。
另外，本发明不仅可以作为这样的系统LSI实现，而且可以作为 使用了这样的系统LSI的设备的设计开发方法来实现。即，也可以作 为如下的设计开发方法来实现：在设数字电视机、数字视频录制机、 摄像机及便携电话等设备中的1个为第1设备、设另1个为第2设备 的情况下，由上述第1设备用的影像声音处理用集成电路和上述第2 设备用的影像声音处理用集成电路共通地进行的处理：在由上述第1 设备用的影像声音处理用集成电路的微型计算机块进行的情况下，由 上述第2设备用的影像声音处理用集成电路的微型计算机块进行上 述处理；在由上述第1设备用的影像声音处理用集成电路的流输入输 出块进行的情况下，由上述第2设备用的影像声音处理用集成电路的 流输入输出块进行上述处理；在由上述第1设备用的影像声音处理用 集成电路的媒体处理块进行的情况下，由上述第2设备用的影像声音 处理用集成电路的媒体处理块进行上述处理；在由上述第1设备用的 影像声音处理用集成电路的AV输入输出块进行的情况下，由上述第 2设备用的影像声音处理用集成电路的AV输入输出块进行上述处 理。
发明效果
根据本发明，不仅对DTV及DVR等服务器类影像声音设备、对 于便携电话及摄像机等移动类影像声音设备也能够使用共用的系统 LSI实现。并且，在这些影像声音设备间能够实现设计资源的转用。
此外，保存影像及声音数据的存储器与各处理块之间的接口的传 送频带的确保及等待时间保证变得容易，能够在较短的期间内开发高 功能的影像声音设备。
这样，根据本发明，缩短了影像声音设备的开发期间，在对于影 像声音设备越来越要求高功能的影像声音处理的当今，实用价值很 高。
附图说明
图1是表示有关本发明的影像声音处理用集成电路的基本结构的 功能框图。
图2是影像声音处理用集成电路的构造图。
图3是表示适合于移动类应用的影像声音处理用集成电路的详细 结构的功能框图。
图4是表示影像声音处理用集成电路的动作步骤的流程图。
图5是表示图4所示的动作的数据流的图。
图6(a)～图6(d)是表示图4所示的动作中的各处理块中的 处理状况的图。
图7是表示适合于服务器类应用的影像声音处理用集成电路的详 细结构的功能框图。
图8是表示影像声音处理用集成电路的特征的说明图。
图9是表示提高了影像处理的性能的影像声音处理用集成电路的 详细结构的功能框图。
图10是表示影像声音处理用集成电路的动作步骤的流程图。
图11是表示图10所示的动作的数据流的图。
图12(a)、图12(b)是表示图10所示的动作的各处理块中的 处理内容的图。
图13是表示适合于流处理的影像声音处理用集成电路的详细结 构的功能框图。
图14是表示有关流处理的虚拟多路处理器的动作步骤的流程图。
图15(a)、图15(b)是表示图14所示的动作中的虚拟处理器 的分配定时的图。
图16(a)～图16(c)是表示处理2个流时的虚拟处理器的分 配定时的图。
符号说明
1、100、100a、200、200a  影像声音处理用集成电路
1a                       半导体基板
1b                       电路层
1c                       下位布线层
1d                       上位布线层
2、10、210               微型计算机块
3、20、220               媒体处理块
4、30、230               AVIO块
5、40、240               存储器IF块
6、50、250               存储器IF块
7、60                    控制总线
8a～8d、71～75           数据总线
9                        外部存储器
11                       DMA部
12                       CPU部
13                       微型计算机周边部
14                       时钟控制部
15                       电源控制部
21                       指令并行处理器
21a                      虚拟多处理器
22                       定序器部
23～26                   加速器
27                       DMAC部
28                       流处理抑制定时器
32                       加密引擎部
33                       安全管理部
34          DMAC部
35          流处理部
36          设备IF部
41          图形引擎部
42          视频输入格式变换部
43          摄像处理引擎部
44          音频IF部
45          视频输出格式变换部
51          存储器调度器
51a～51c    子系统IF
52          缓存部
53          内置RAM
101         快闪存储器
102         其他CPU
102～104    外部设备
103         存储卡
104         PDA
105         高速IF
106         SDRAM
107         LCD
108         数字照相机
201         外部总处理器
202         TV调谐器
203         以太网控制器
205         USB
206         硬盘
207         光盘
208         差动IF
210、211    外部存储器
212         大型LCD
221         数据并行处理器
231         流处理部
232         设备IF部

下面利用附图对本发明的实施方式详细地说明。
图1是表示有关本发明的影像声音处理用集成电路1的基本结构 的功能框图。有关本发明的影像声音处理用集成电路1如后述那样， 能够通过改变若干的电路结构而实现适合于便携电话及数字照相机 等移动类影像声音设备的电路结构，或者适合于DTV及DVR等服 务器类影像声音设备，但在哪个应用中都具有通用的架构，在本图中 表示其通用的架构。
该影像声音处理用集成电路1是进行有关影像声音流的各种信号 处理的系统LSI，具有微型计算机块2、媒体处理块3、流I/O块4、 AVIO(Audio Visual Input Output，音频视频输入输出)块5及存储器 IF块6。
微型计算机块2是控制影像声音处理用集成电路1整体的处理 器，是经由控制总线7控制各处理块3～6、或经由数据总线8b及存 储器IF块6访问外部存储器9的电路块。这里的处理是不依赖于影 像声音的输出循环(帧速率等)的非实时的通用(控制关联的)处理。
流I/O块4是在微型计算机块2的控制下从存储媒体及网络等周 边设备读入压缩图像声音流等流数据、并经由数据总线8a及存储器 IF块6保存在外部存储器9中、或进行其反方向的流传送的电路块。 这里的处理是不依赖于影像声音的输出循环(帧速率等)的非实时的 IO处理。
媒体处理块3是在微型计算机块2的控制下经由数据总线8c及 存储器IF块6从外部存储器9读出压缩图像声音流等图像声音数据、 进行压缩或解压缩等媒体处理后、再次经由数据总线8c及存储器IF 块6将处理后的图像数据及声音数据保存到外部存储器9中的电路 块。这里的处理是依赖于影像声音的输出循环(帧速率等)的实时的 通用(媒体相关的)处理。
AVIO块5是在微型计算机块2的控制下经由数据总线8d及存储 器IF块6从外部存储器9读出图像数据及声音数据等、实施各种图 形处理后、作为图像信号及声音信号输出给外部的显示装置及扬声器 等、或进行其反方向的数据传送的电路块。这里的处理是依赖于影像 声音的输出循环(帧速率等)的实时的IO处理。
存储器IF块6是在微型计算机块2的控制下进行控制以便在各 处理块2～5与外部存储器9之间并行地进行数据请求的电路块。此 时，根据来自微型计算机块2的请求确保各处理块2～5与外部存储 器9之间的传送频带，并且进行等待时间保证。
由此，以媒体处理块3为代表的各块通过确保所提供的功能所需 的带宽，并且保证所要求的访问等待时间，能够实现在块单独或多个 块的协同动作下所提供的应用的性能保证及实时性的保证。
另外，用来确保带宽并保证等待时间的技术由于已在日本特开 2004-246862号公报中详细公开了其代表性的一例，所以这里省略 详细的说明。
这样，有关本发明的影像声音处理用集成电路1除了具有由实时 性和处理的种类(IO处理/非IO(通用的)处理)的组合而设定的4 个特征处理块2～5、即执行非实时的通用的处理的微型计算机块2、 执行实施的通用的处理的媒体处理块3、执行非实时的I/O处理的流 I/O块4、以及执行实时的I/O处理的AVIO块5以外，还具有将这4 个处理块2～5和专用的数据总线8a～8d连接的存储器IF块6，具备 移动类的应用和服务器类的应用两者共用的架构。
即，4种处理块不是分别相互连接，而是经由共用的外部存储器 9连接。因而，对各处理块的控制编程都只要设计为与外部存储器9 之间输入输出数据就可以，与其他处理块中的处理分离。由此，应用 程序相对于各处理块的独立性变高，各处理块不会受到来自其他处理 块的影响，只要仅考虑各处理块与存储器IF之间的规格就可以，所 以能够提高设计效率，并且即使在向其他应用解压缩的情况下，也能 够通过只变更所需的块的结构来进行该其他应用的处理，所以能够实 现设计资源的转用。
例如，能够将为了组装到便携电话等移动类的影像声音设备中而 开发出的影像声音处理用集成电路的应用程序(例如将便携电话接收 到的压缩声音流用媒体处理块解压缩的应用程序)转用作组装到 DTV等服务器类影像声音设备中的影像声音处理用集成电路的应用 程序(例如将包含在DTV接收到的传送流中的声音流用媒体处理块 解压缩的应用程序)。
即，在将DTV、DVR、摄像机、便携电话等设备中的1个作为 第1设备、将另1个作为第2设备的情况下，由第1设备用的影像声 音处理用集成电路和第2设备用的影像声音处理用集成电路共用地 进行的处理可以设计开发为，在由第1设备用的影像声音处理用集成 电路的微型计算机块进行的情况下，由第2设备用的影像声音处理用 集成电路的微型计算机块进行该处理，在由第1设备用的影像声音处 理用集成电路的流I/O块进行的情况下，由第2设备用的影像声音处 理用集成电路的流I/O块进行该处理，在由第1设备用的影像声音处 理用集成电路的媒体处理块进行的情况下，由第2设备用的影像声音 处理用集成电路的媒体处理块进行该处理，在由第1设备用的影像声 音处理用集成电路的AVIO块进行的情况下，由第2设备用的影像声 音处理用集成电路的AVIO块进行该处理。这样，通过使第1设备用 的影像声音处理用集成电路的各块的处理的分担与第2设备用的影 像声音处理用集成电路的各块的处理的分担共用化，能够转用各块的 硬件与软件的设计资源。
另外，该影像声音处理用集成电路1是形成在1个半导体基板上 的1芯片LSI，但作为制造工序上的结构，如图2所示，具有半导体 基板1a、电路层1b、下位布线层1c及上位布线层1d。电路层1b相 当于各处理块2～5的电路要素，下位布线层1c相当于与各处理块2～ 5的电路要素连接的各处理块2～5内的布线，上位布线层1d相当于 将各处理块2～5之间连接的总线(控制总线7及数据总线8a～8d)。 这样，将布线层分离为各处理块内的布线和将各处理块间连接的布 线，通过进行不同的掩模设计，分离为各处理块的内部与外部的布线 设计，设计变得容易。
接着，更详细地说明有关本发明的影像声音处理用集成电路中 的、适合于便携电话及摄像机等移动类应用的类型的影像声音处理用 集成电路。
图3是表示适合于移动类应用的影像声音处理用集成电路100的 详细结构的功能框图。
影像声音处理用集成电路100是适合于需要无线通信及低功耗化 的功能的移动类影像声音设备的系统LSI，具有微型计算机块10、媒 体处理块20、流I/O块30、AVIO块40及存储器IF块50。
微型计算机块10是经由控制总线60控制各处理块20～40、或经 由数据总线71访问SDRAM(Synchronous DRAM：同步DRAM)106 的电路块，具备DMA(Direct Memory Access：直接内存存取)部11、 CPU部12、微型计算机周边部13、时钟控制部14及电源控制部15 等。
DMA部11是直接内存存取用的控制器，例如通过将保存在经由 外部总线连接的快闪存储器101中的用户程序等直接传送给CPU部 12内的程序存储器等来下载。
CPU部12是具有定时功能及中断功能的处理器核心，按照保存 在内部的程序存储器等中的程序，进行该影像声音处理用集成电路 100整体的控制。另外，在内部的程序存储器等中，预先保存有OS 等基本软件。
微型计算机周边部13是中断控制电路及周边I/O端口等。
时钟控制部14是对各电路供给时钟、并且通过在CPU部12等 处于空闲状态时停止向CPU部12等的时钟供给等来实现低功耗化的 电路。
电源控制部15是对各电路供给电源、并且通过在各处理块处于 空闲状态等时停止向各处理块的电源供给等来实现低功耗化的电路。
媒体处理块20是在微型计算机块10的控制下、将从SDRAM106 经由数据总线72a及72b读出的图像、音频、声音数据按照MPEG 规格等压缩、解压缩的高速的DSP等，具备指令并行处理器21、定 序器部22、第1～第4加速器(ACC；accelerator)部23～26及DMAC 部27等。另外，该媒体处理块20也可以不经由SDRAM106，而是 从流I/O块30经由数据总线74直接获取流数据。这是因为，在从流 I/O块30发送来的流数据是低位速率的情况下，高速动作的媒体处理 块20直接接收流数据并执行媒体处理，从而因不经由SDRAM106 那部分，而能够实现安全性提高、功耗削减、以及处理效率提高。
指令并行处理器21是并行地执行多个指令(信号处理指令)的 处理器，进行各结构要素22～27的整体控制。
定序器部22在指令并行处理器21的控制下，控制第1～第4加 速器部23～26的处理次序。
第1～第4加速器部23～26分别并行地动作，是对图像、视频、 声音数据进行DCT(Discrete Cosine Transform：离散余弦变换)、反 DCT、量化、反量化、运动检测、运动补偿等压缩、解压缩等的媒体 处理的运算处理引擎。
DMAC部27是直接内存存取用的控制器，例如经由数据总线72a 及72b等控制与SDRAM106之间的数据的直接传送。
另外，该媒体处理块20是用于移动类应用的低电力化对应电路。 具体而言，不是功耗较高的通用的数据处理处理器，而是通过第1～ 第4加速器部23～26那样的低功耗的专用硬件引擎实现的，具备自 动检测不存在处理数据等的空闲状态而停止(自动停止控制)、或切 断时钟供给(选通时钟)功能。
流I/O块30是从外部设备102～104接收流数据、经由数据总线 70保存到SDRAM106中、或进行相反的数据传送的电路块，具备加 密引擎部32、安全管理部33、DMAC部34、流处理部35及设备IF 部36等。
加密引擎部32是将所输入的加密流数据及密钥数据等解密、或 将传递给外部设备102～104的密钥数据加密的加密器及解密器。
安全管理部33是与外部设备102～104之间进行所需的设备认证 协议等的执行控制、或保持私钥的耐篡改的电路。
DMAC部34是直接内存存取用的控制器，例如将经由设备IF部 36输入的流数据经由数据总线70直接传送给SDRAM106。
流处理部35将经由设备IF部36从外部设备102～104输入的流 数据多路分离。
设备IF部36是在便携电话等中使用的通信处理器等的用来与其 他CPU102之间进行收发的IO端口、用来与SD(商标)卡等存储卡 103之间读写的IO端口、用来与PDA104等之间进行红外线通信等 的IO端口等的集合。
AVIO块40是将保存在SDRAM106中的影像及声音流经由数据 总线73a及73b读出、输出给LCD107等、或将从数字照相机108发 送来的影像数据经由数据总线73a及73b保存到SDRAM106中的电 路块，具备图形引擎部41、视频输入格式变换部42、摄像处理引擎 部43、音频IF部44以及视频输出格式变换部45等。
图形引擎部41是进行过滤处理、画面合成、曲线描绘、3D显示 等图形处理的高性能图形引擎。
视频输入格式变换部42将输入到该影像声音处理用集成电路 100中的影像数据的因色彩空间等所引起的信号格式变换为适合于内 部处理的格式。
摄像处理引擎部43进行对从数字照相机108等输入的静止图像 及动态图像的高画质摄像处理。
音频IF部44是与麦克风、扬声器等之间输入输出声音信号的 A/D变换器、D/A变换器等。
视频输出格式变换部45将所输出的影像信号的因色彩空间等所 引起的信号格式变换为适合LCD107等的格式。
存储器IF块50是控制在该影像声音处理用集成电路100和 SDRAM106等外部存储器及高速IF105之间的数据传送的接口电路， 具备存储器调度器51、缓存部52及内置RAM53等。
存储器调度器51是具有与各处理块10～40及高速IF105之间并 行地输入输出数据的端口(子系统IF51a～51c)的定序器，按照来自 微型计算机块10的指示，对各子系统IF51a～51a的每一个确保一定 的传送频带，并且保证等待时间。
缓存部52是对SDRAM106和存储器调度器51之间的数据传送 进行中继的高速的缓冲存储器。
内置RAM53是存储器调度器51用来对各子系统IF51a～51a的 每一个保证一定频带的数据传送的数据保存用缓冲存储器。
接着，利用图4～图6对以上那样构成的影像声音处理用集成电 路100的动作进行说明。
图4是表示将压缩图像声音流从存储卡103读出并解压缩后、作 为图像信号及声音信号输出时的影像声音处理用集成电路100的动 作步骤的流程图。图5是表示此时的数据流的图。图6是表示各处理 块20～40中的处理状况的图。
首先微型计算机块10按照内装的程序，进行各处理块20～40的 初始设定等(图4的S10)。例如，对媒体处理块20指示基于MPEG4 的解压缩处理，对流I/O块30指示读出保存在存储卡103中的压缩 图像声音流，对AVIO块40指示声音输出和向LCD107的影像输出。
接着，流I/O块30读出保存在存储卡103中的压缩图像声音流， 经由存储器IF块50保存在SDRAM106中(图4的S11、图5的S20)。 该压缩图像声音流例如如图6(a)所示，是将图像与声音的位串多 路复用后的构造。
接着，媒体处理块20读出保存在SDRAM106中的压缩图像声音 流，根据其头信息等进行分析处理，来多路分离成图6(b)所示那 样的图像流和声音流，将分离后的各流数据经由存储器IF块50写回 到SDRAM106中(图4的S12、图5的S21)。
接着，媒体处理块20再次将图像流和声音流从SDRAM106读出， 实施了解压缩处理后，作为图6(c)所示的图像数据(例如对每个 像素以8位表现的图像数据)及声音数据(以16位/样本表现的声音 数据)写回到SDRAM106中(图4的S13、图5的S22)。
最后，AVIO块40从SDRAM106读出图像流和声音流，对于图 像流实施向REC656格式等的格式变换，对于声音数据实施D/A变 换等后，分别作为图像信号及声音信号，如图6(d)所示，输出给 LCD107及扬声器等(图4的S14、图5的S23、S24)。
另外，上述各处理块的处理(图4的S11～S14)对于图像流以 数据包、微块、切片(slice)、图片等单位进行流水线处理，对于声 音流以数据包、帧等单位进行流水线处理。此时，微型计算机块10、 媒体处理块20、流I/O块30及AVIO块40在已将图像及声音流的数 据包等保存到SDRAM106中的情况下，将已保存的消息通知给其他 块。由此使各流水线工序流动。
这样，根据有关本发明的影像声音处理用集成电路100，从存储 卡103等外部设备得到的压缩图像声音流被多路分离为图像流和声 音流并解压缩后，进行格式变换，作为图像信号及声音信号输出。即， 能够仅通过1个LSI和外部存储器(SDRAM106)进行保存在外部设 备中的压缩图像声音流的再现。
并且，根据该影像声音处理用集成电路100，并不具备对各处理 块的每个暂时保存图像数据及声音数据的缓冲存储器，而是具备所有 的处理块共用的共用存储器(SDRAM106)。因而，能够自由地决定 分配给各处理块的存储器容量，能够将该影像声音处理用集成电路 100应用于各处理块中的数据产生量及处理负荷不同的各种应用。此 外，由于各块不需要独立具备缓冲存储器，所以该影像声音处理用集 成电路100整体能够缩小芯片尺寸。
接着，更详细地说明有关本发明的影像声音处理用集成电路中 的、适合于DTV及DVR等服务器类应用的类型的影像声音处理用 集成电路。
图7是表示适合于服务器类应用的影像声音处理用集成电路200 的详细结构的功能框图。
该影像声音处理用集成电路200是适合于需要与各种周边设备连 接及各种各样的媒体处理的服务器类影像声音设备的系统LSI，具有 微型计算机块210、媒体处理块220、流I/O块230、AVIO块240及 存储器IF块250。各处理块210～250基本上具备与上述影像声音处 理用集成电路100的各处理块10～50同样的结构。以下，对于与上 述影像声音处理用集成电路100同样的结构要素赋予相同的标号并 省略说明。
微型计算机块210具备从上述影像声音处理用集成电路100的微 型计算机块10中除去了时钟控制部14与电源控制部15之后的结构。 因为在服务器类的应用中不需要这些低功耗用电路。另外，该微型计 算机块210也可以经由外部总线与作为影像声音设备的主处理器的 外部总处理器201连接，在外部总处理器201的控制下动作。
媒体处理块220具备将上述影像声音处理用集成电路100的媒体 处理块20中的1个加速器代替为数据并行处理器221的结构。数据 并行处理器221是通过1个指令执行对多个数据的运算的SIMD (Single Instruction Multiple Data：单指令多数据)型的处理器，具备 可并行执行的8个或16个(低并行度或高并行度)的PE(处理器元 素)，与加速器相比功耗较大，但数据处理量较大，能够处理的运算 的种类丰富，能够进行各种各样的媒体处理。具体而言，能够进行对 应于MPEG2&4的同时编码、解码、HDTV的2频道的影像信号的解 码、PS(Program Stream，程序流)和TS(Transport Stream，传送流) 的综合处理、MPEG4-AVC的编码、解码等对应于多格式的编码、 解码处理。此外，还能够进行从MPEG2向MPEG4的变换、从HD (高析像度视频信号)向SD(标准画质视频信号)的变换、低位速 率化等各种变换。进而，还能够进行对应于显示图像的显示器设备的 高画质化控制等，能够与服务器类应用所需的各种媒体处理相对应。
流I/O块230具备将上述影像声音处理用集成电路100的流I/O 块30中的流处理部35及设备IF部36代替为可与更丰富的周边设备 连接的流处理部231及设备IF部232的结构。流处理部231除了影 像声音处理用集成电路100的流处理部35的功能以外，为了与广播 及网络等对应还具备处理来自连接到外部的TV调谐器202及以太网 控制器203的流的功能。设备IF部232是USB205、存储卡103用的 接口、硬盘206及光盘207用的盘驱动器用接口、差动IF208等的集 合。
AVIO块240具备从上述影像声音处理用集成电路100的AVIO 块40除去了摄像处理引擎部43之后的结构，具有代替小型的LCD107 而向与SD/HD对应的大型LCD212输出图像的功能。
存储器IF块250具有与上述影像声音处理用集成电路100的存 储器IF块50同样的功能，但作为外部存储器210及211，还具备不 仅与通常的SDRAM、还与DDR(Double Data Rate：双数据率)型 的SDRAM连接的高速总线。
这样，有关本发明的影像声音处理用集成电路200具备许多种类 的周边设备用的接口电路，并且具备大容量且能够对应于各种各样的 数据处理的媒体处理用处理器，所以是适合于服务器类影像声音设备 的系统LSI。通过使用这样的影像声音处理用集成电路200，能够在 较短的期间内开发高功能的DTV及DVR等服务器类影像声音设备。
如上所述，有关本发明的影像声音处理用集成电路具备特征性的 5个处理块、即所有的影像声音设备共用的基本架构，并且具有通过 变更各处理块中的结构而能够定制为适合于移动类应用或服务器类 应用的类型的设计自由度。由此，能够将特定的设备的开发中的设计 资源转用到其他设备中。
进而，通过多个块协同动作，提供了下述功能，即，在处理了从 TV调谐器等输入的流后、以指定的编码译码方式，生成视频信号及 音频信号，图像输出给外部LCD等，或将声音输出给外部扬声器， 但存储器IF块250与各块之间分别确保所提供的功能所需的带宽， 并且保证所要求的访问等待时间。由此，上述的流处理、信号生成处 理、输出处理等不会不满足所需的性能，即、在TV功能的实现中， 也不会发生影像失真、或声音断续，而能够容易地实现。
图8是表示有关本发明的影像声音处理用集成电路的特征的说明 图。
这里，有关本发明的影像声音处理用集成电路可以作为具有2种 架构(移动用及服务器用)的系统LSI实现，这2种影像声音处理用 集成电路具有共通设计思想，并且显示出能够进行API(应用程序接 口)的整合。进而，表示了能够将移动用的影像声音处理用集成电路 作为便携电话等移动通信设备及摄像机等AVC移动设备的系统LSI， 而将服务器用的影像声音处理用集成电路作为BD录制器等AVC服 务器及HDTV等DTV的系统LSI使用。
以上，有关本发明的影像声音处理用集成电路大体地划分为2个 用途(移动类及服务器类)，若更详细地划分，可以作为4个用途 (DTV、AVC服务器、AVC移动设备、移动通信设备)的影像声音 设备的系统LSI使用，并且能够进行这些设备中的设计资源的转用。
接着，更详细地说明有关本发明的影像声音处理用集成电路中 的、提高了影像处理(特别是与再现并行地进行的录像处理)的性能 后的影像声音处理用集成电路。
图9是表示提高了影像处理性能的影像声音处理用集成电路 200a的详细结构的功能框图。
该影像声音处理用集成电路200a是在例如一边视听高清晰度广 播节目(HD)一边用SD录像、或进而跟踪播放该SD影像的应用中 实现影像处理性能的提高的结构的系统LSI，具有微型计算机块210、 媒体处理块220a、流I/O块230、AVIO块240a及存储器IF块250。
各处理块210、220a、230、240a、250基本上具备与上述影像声 音处理用集成电路200的处理块210～250同样的结构。该影像声音 处理用集成电路200a的特征点是：对其后所提取的与图像流不同的 较少量的区域特征信息进行传送的数据总线75将媒体处理块220a与 AVIO块240a连接而设置。以下，对于与上述影像声音处理用集成电 路200同样的结构要素赋予相同的标号并省略说明。
媒体处理块220a是继承了上述的媒体处理块20及220的特征的 高速DSP等，将从SDRAM210及211经由数据总线72a及72b读出 的图像、音频、声音数据按照MPEG规格等压缩、解压缩。例如， 在一边视听高清晰度广播节目(HD)一边变换析像度录像到SD中 的应用中，指令并行处理器21或数据并行处理器221、或者两者同 时执行所视听的压缩HD图像声音多路复用流的多路分离及解压缩 处理、和用来得到所记录的压缩SD图像声音多路复用流的压缩及多 路复用处理，将各自的处理结果向SDRAM210及211写回。
AVIO块240a将媒体处理块220a的多路分离及解压缩处理的结 果写回到SDRAM210、211中的HD图像数据经由总线73a、73b取 得并输出给大型LCD212，并且将对该HD图像数据进行析像度变换 处理而得到的SD图像数据写回到SDRAM210、211中。并且，将在 该处理时获知的区域特征信息(例如区域内综合信息、区域间差分信 息)经由数据总线75反馈给媒体处理块220a。
该析像度变换处理例如由AVIO块240a的视频输出格式变换部 45进行。视频输出格式变换部45如上所述，具有将输出的影像信号 的因色彩空间等所引起的信号格式变换为适合于影像输出设备的格 式的功能，可以将作为其具体功能的缩减取样及抽取滤波器功能用于 该析像度变换处理。
媒体处理块220a再次参照该区域特征信息，判断发生场景变化 的区域及场景变化的频率。接着，根据该判断，将例如场景变化后的 帧决定为I图片，并且在较多地发生场景变化的期间与不是这样的期 间相比提高压缩率，实现压缩后的数据量的均匀化，同时将SD图像 数据压缩为SD图像流，再通过多路复用处理生成压缩SD图像声音 多路复用流，将所生成的压缩SD图像声音多路复用流写回到 SDRAM210及211中。
接着，利用图10～图12对以上那样构成的影像声音处理用集成 电路200a的动作进行说明。
图10是表示一边从TV调谐器202读出作为高清晰度广播信号 的压缩HD图像声音多路复用流、并作为图像信号及声音信号输出、 一边向SD图像进行析像度变换并记录时的影像声音处理用集成电路 200a的动作步骤的流程图。
图11是表示此时的主要的数据流的图。
图12是表示处理块220a、240a中的处理内容的图。
首先，微型计算机块10按照内装的程序，进行各处理块220a、 230、240a的初始设定等(图10的S30)。例如，对媒体处理块220a 指示基于MPEG4的解压缩处理(HD)及基于MPEG2的压缩处理 (SD)，对流I/O块230指示从TV调谐器202取得压缩HD图像声 音多路复用流并且将压缩SD图像声音多路复用流记录到HDD206 中，对AVIO块240a指示声音输出和向大型LCD212的影像输出， 并且指示从HD图像向SD图像的析像度变换。
接着，流I/O块230从TV调谐器202读出压缩HD图像声音多 路复用流，媒体处理块220a通过根据头信息等进行分析处理等，来 从该压缩HD图像声音多路复用流多路分离为图像流和声音流，再对 该图像流和声音流实施解压缩处理后，作为图像数据及声音数据写回 到SDRAM210、211中。
到此为止的动作基本上与上述影像声音处理用集成电路100的动 作(参照图4及图5)相同，不同的为，图像的析像度以及压缩图像 声音多路复用流是从存储卡得到还是从TV调谐器得到。图11中的 有关到此为止的动作的数据流的图示省略。
接着，AVIO块240从SDRAM210、211读出HD图像数据和声 音数据，如图12(b)所示，输出给大型LCD212及扬声器等(图10 的S31、图11的S40a、S40b)。
与该HD图像的输出并行，AVIO块240将对该HD图像实施了 图12(a)所示那样的析像度变换处理而得到的SD图像数据写回到 SDRAM210、211中，并且生成在该处理时获知的区域内综合信息(表 示区域的整体的亮度)、区域间差分信息(表示与此前的区域的亮度 的差)等区域特征信息。该区域特征信息例如与SD图像数据的区域 建立对应地存储在AVIO块240a内的未图示的小规模的缓冲存储器 中，经由数据总线75被供给作从媒体处理块220a的参照(图10的 S32、图11的S41a、S41b)。
然后，媒体处理块220a从SDRAM210、211读出SD图像数据和 声音数据，并且经由数据总线75参照区域特征信息，决定I图片， 并且通过一边动态地变更压缩率一边将该SD图像数据和声音数据压 缩处理，来生成SD图像流及声音流，写回到SDRAM210、211中(图 10的S33、图11的S42)。
接着，媒体处理块220a再次从SDRAM210、211读出SD图像流 和声音流，将通过将它们多路复用而生成的压缩SD图像声音多路复 用流写回到SDRAM210、211中(图10的S34、图11的S43)。
最后，流I/O块230从SDRAM210、211读出压缩SD图像声音 多路复用流，将其记录到HDD206中(图10的S35、图11的S44)。
该压缩SD图像声音多路复用流既可以作为高清晰度广播的录像 记录到HDD206中，也可以接着经过规定的时间后被读出，如图12 (b)所示那样与高清晰度广播一起在场景显示中被跟踪播放。在后 者的情况下，在图10所示的动作中还追加将记录在HDD206中的压 缩SD图像声音多路复用流再现的步骤。
在上述各处理块中的一系列的处理(图10的S31～S35)中，所 视听的广播节目的流、所记录的流、还有在进行跟踪播放时跟踪播放 用的流的、2个到3个流，通过以数据包、微块、切片、图片、帧这 样的公知的处理单位进行流水线处理，来同时地被处理。
这样，根据有关本发明的影像声音处理用集成电路200a，媒体处 理块220a经由数据总线75参照在AVIO块240a中获知的区域特征 信息，决定记录图像的压缩中的I图片，并且动态地调节压缩率。由 此，影像声音处理用集成电路200a能够避免用来得到区域特征信息 的重复成本而得到较高的速度性能，并且能够实现画质与数据量的良 好协调。
另外，数据总线75如上所述，将较少量的区域特征信息限定在 媒体处理块220a与AVIO块240a之间传送，所以对应用程序相对于 各处理块的独立性的影响很小，并且在影像声音处理用集成电路上占 用的安装面积也较小。
到此为止，以高清晰度广播的录像这样显著的例子说明了通过从 AVIO块240a向媒体处理块220a供给区域特征信息而得到的良好的 效果。除了该例以外，在例如上述影像声音处理用集成电路100(参 照图3)中，如果从AVIO块40向媒体处理块20供给同样的区域特 征信息，则不仅在广播的录像中、在从数字照相机等外部设备取得的 影像的录像中也能够得到同样的效果。
接着，更详细地说明有关本发明的影像声音处理用集成电路中 的、适合于广播类及存储类各自的影像处理的共用化的影像声音处理 用集成电路。这里，所谓的广播类是指有关从TV调谐器、以及因特 网等得到的广播节目的处理，所谓的存储类是指有关存储在HDD、 DVD、以及存储卡等记录介质中的节目的处理。
图13是表示适合于广播类及存储类各自的影像处理的共用化的 影像声音处理用集成电路100a的详细结构的功能框图。
该影像声音处理用集成电路100a是具有广播类处理(例如从TV 调谐器得到的广播节目的再现)功能、以及存储类的处理(例如存储 在HDD中的节目的再现)功能的系统LSI，具有微型计算机块10、 媒体处理块20a、流I/O块30、AVIO块40、以及存储器IF块50。
该影像声音处理用集成电路100a的特征点是：在媒体处理块20a 中具备具有流处理抑制定时器28的虚拟多处理器21a。其他结构基 本上与上述影像声音处理用集成电路100同样。
所谓的虚拟多处理器(VMP：Virtual Multi Processor)一般是指 将多个逻辑处理器(LP：Logical Processor)的功能时分割地演绎的 指令并行处理器的一种(一个LP在实体上讲是设定在物理处理器 (PP：Physical Processor)的寄存器组中的一个上下关系)。通过管 理分配给各LP的时间单位(TS：Time Slot)的频率，能够保持由各 LP执行的应用间的负荷平衡。对于VMP的结构及动作，由于其代表 性的一例已在日本特开2003-271399号公报中详细地公开，所以这 里省略详细的说明。
以下，对于与上述影像声音处理用集成电路100同样的结构要素 赋予相同的标号并省略说明。
媒体处理块20a与上述影像声音处理用集成电路100的媒体处理 块20同样，是进行有关压缩图像声音多路复用流的多路复用、多路 分离处理、以及图像声音数据的压缩、解压缩处理的电路块，但具备 在指令并行处理器21上实现的虚拟多处理器21a。
虚拟多处理器21a对每个录像或再现的压缩图像声音多路复用 流，使用例如3个LP(流LP、图像LP、以及声音LP)，分别进行 流的多路复用或多路分离、图像的压缩或解压缩、以及声音的压缩或 解压缩。
对于这些各LP，对应于流、图像及声音各自的特性来分配TS。 例如，考虑运算量而对图像LP分配比声音LP多的TS，或者为了防 止广播信号的丢失(所谓的丢失流)而将流LP设为每接收到1个数 据包就分配TS的事件驱动LP、或者在流处理抑制定时器28的控制 下禁止规定时间内的TS分配的带定时器抑制的事件驱动LP。
可知对各LP的这样的TS的分配良好地保持了各处理间的负荷 平衡并且起到防止丢失流的作用。以下，利用图14及图15说明使流 LP作为带定时器抑制的事件驱动LP对于广播类及存储类各自的影 像处理(特别是再现处理)的通用化起作用的情况。
图14是共通地执行广播类及存储类两者的流处理的带定时器抑 制的事件驱动LP的动作步骤的流程图。
图15是分别在处理广播类的流的情况及处理存储类流的情况下 表示此时的各事件的发生定时、以及流、图像、声音的各LP动作的 TS的图。附图的右方向对应于时间的经过，带表示TS的排列，其中 的文字表示在TS动作的LP(Stream、Video及Audio分别表示流LP、 图像LP、以及声音LP，空白表示没有动作的LP)。
首先，对于广播类的情况，假设在每个时间InFreq发生从TV调 谐器取得数据包的输入事件，利用图14及图15(a)进行说明。
最初，在输入事件等待中休眠的流LP(S50)被第N数据包的输 入事件唤醒，在第1TS开始动作。接着，如果在时间StTime(N)将 该数据包处理并结束(S51)，则启动比时间(Infreq-StTime(N)) 短的时间的定时器(S52)，进入定时器事件等待的休眠(S53)。第2 及第3TS分别被分配给图像及声音LP。
流LP在第4TS中发生的定时器事件下被唤醒。并且，如果在第 5TS开始动作，则确认输入事件(S54)，得知有第N+1个数据包的 输入事件(S55：是)，处理该数据包(S51)。以后，重复同样的动作。
这里，作为一个具体例，如果考虑虚拟多处理器的动作时钟频率 是243(MHz)、流以70(MHz)输入的情况，则每1秒的数据包数 是70(Mbps)/(8(bit)×188(byte/Packet))≈46543(Packet/sec)， 数据包的处理周期InFreq为243(Mclock/sec)/46543(Packet/sec) ≈5221(clock/packet)。
这样，在广播类的情况下，通过输入事件本身以较长的间隔发生 来限制流LP的处理，结果，良好地保持了流、影像、声音的各LP 的负荷平衡。
接着，对于储存类的情况，假设在1数据包的处理中从HDD取 得后续数据包而发生接下来的输入事件，并且存在该后续数据包的处 理想要在与广播类相同的时间InFreq之后进行的请求，利用图14及 图15(b)进行说明。
最初，在输入事件等待中休眠的流LP(S50)被第N数据包的输 入事件唤醒，在第1TS开始动作。接着，如果在时间StTime(N)将 该数据包处理并结束(S51)，则启动时间(Infreq-StTime(N))的 定时器(S52)，进入定时器事件等待的休眠(S53)。流LP在第1TS 中发生的第N+1数据包的输入事件下并不被唤醒而继续休眠(图15 (b)的从第N+1输入事件开始的粗虚线)。
只要流LP不处理第N+1数据包，不具有流用缓存器的流I/O块 30就不能读入后续数据包，第N+2数据包的读出处理被延期。第2 及第3TS分别被分配给图像及声音LP。
流LP在第4TS中发生的定时器事件下被唤醒。接着，如果在第 5TS开始动作，则确认输入事件(S54)，得知有第N+1个数据包的 输入事件(S55：是)，处理该数据包(S5 1)，然后进入到定时器事件 等待的休眠(S52、S53)。流LP在第5TS中发生的第N+2数据包 的输入事件下并不被唤醒而继续休眠(图15(b)的从第N+2输入 事件开始的粗虚线)。以后，重复同样的动作。
这样，在存储类的情况下，输入事件本身能够以较短的间隔发生， 但即使在这样的情况下，通过定时器事件等待的休眠，流LP的处理 也被限制，结果，良好地保持了流、影像、声音的各LP的负荷平衡。
如果在存储类中流LP在定时器事件等待中没有休眠，则只要处 理了流就产生输入事件，结果分配给流LP过剩的TS，对图像LP及 声音LP没有分配必要量的TS，图像、声音处理出现破绽。
以上，有关本发明的影像声音处理用集成电路100a通过媒体处 理块20a的虚拟多处理器21a的带定时器抑制的事件驱动LP来执行 流处理。该处理在广播类中、或者可过剩地输入流的存储类中也共通 地使用，不仅自律地抑制流处理的过剩执行来将图像、声音处理的破 绽防止于未然，而且在流I/O块30中也不需要对向媒体处理块20a 发送的流量进行上限管理。作为它们的总体，应用程序相对于各处理 块的独立性、简明性提高，进而对设计资源的转用促进做出贡献。
另外，带定时器抑制的事件驱动LP的流处理也能够适用于同时 处理2个频道的情况。
图16是分别针对(a)处理2个广播类的流的情况、(b)处理广 播类和存储类各自的流的情况、(c)处理2个存储类的流的情况、表 示此时的各事件的发生定时、以及流、图像、声音的各LP动作的TS 的图。附图的右方向对应于时间的经过，带表示TS的排列，其中的 文字表示在TS动作的LP(文字S、V及A分别表示流LP、图像LP、 以及声音LP，空白表示没有动作的LP。此外，数字0、1区别频道)。
如图示那样，根据各个流的广播类、存储类的区别，发生在上述 说明的定时(参照图15(a)及图15(b))的事件。在存储类中，输 入事件的唤醒被定时器事件等待的休眠延期，结果，防止流处理的过 剩执行，这是与上述相同的。这样，带定时器抑制的事件驱动LP的 流处理在同时处理2个频道的情况下，也发挥良好地保持流、图像、 及声音处理的负荷平衡的效果。
以上，根据实施方式对有关本发明的影像声音处理用集成电路进 行了说明，但本发明并不限于该实施方式。
例如，有关本发明的影像声音处理用集成电路被分类为移动类和 服务器类的2类，但并不仅限于这些分类。例如，在如带AV功能的 笔记本电脑等那样应用到要求低功耗和高析像度显示的影像声音设 备中的情况下，只要采用同时具有时钟控制部14、电源控制部15及 数据并行处理器221的影像声音处理用集成电路就可以。
此外，适合于上述4个用途的影像声音处理用集成电路基本上只 要具备图1所示的共通架构就可以，各块不需要由完全相同的电路构 成。例如，在将属于上述4个用途的设备中的1个作为第1设备、将 另1个作为第2设备的情况下，在第1设备用的影像声音处理用集成 电路和第2设备用的影像声音处理用集成电路之间，只要有以下中的 任一种的共通性就可以：(1)CPU的指令组的至少一部分具有互换 性，(2)指令并行处理器的指令组的至少一部分具有互换性，(3) CPU的核心具有相同的逻辑连接(软宏)，(4)指令并行处理器的核 心具有相同的逻辑连接，(5)CPU的核心具有相同的掩模设计(硬 宏)，(6)CPU的存储器映象上的各块的控制寄存器(用来控制各块 的寄存器)的地址相同、或者在各处理中使用的外部存储器9的区域 相同等。根据这样的共通性，能够以处理块的单位实现应用程序的转 用，或者能够实现作为系统LSI的制造工序上的转用等，作为整体的 开发效率提高。
此外，在本实施方式中，在各处理块中共有的存储器外装在系统 LSI上，但也可以内置于系统LSI中。
工业实用性
本发明能够作为处理影像声音的设备用的系统LSI、特别是作为 DTV、DVD录制机等AVC服务器、数字照相机等AVC移动设备、 便携电话等移动通信设备等影像声音设备的系统LSI使用。