在进行图像和声音的再现时，若图像和声音不能高精度地同步再现， 则观看者有时因该不同步感觉到不谐调。将为了不产生如此的不谐调感而 高精度地使图像和声音进行同步，或者为此的技术称为“对口型”或“口 型同步”，“AV(Audio-Video，音频-视频)同步”等。
因为在图像和声音中，用于再现中的时钟的频率不相同，所以在通常 的图像声音再现装置中，需要准备各自不同的定时器，并对所分别准备了 的定时器的资源进行管理。在如此的构成的情况下，若在图像再现用和声 音再现用的各自的定时器中存在误差，则图像和声音的再现定时的误差进 行累积，而存在变得不能维持口型对准的问题。
于是，作为用于应对于此的技术，提出了通过声音数据输出用计数器 来对声音数据的输出采样数进行计数，并基于该计数值而对图像再现用的 定时器进行校正的技术(例如，参照专利文献1。)。若依照于记载于专 利文献1中的技术，则因为基于声音再现用的定时器而对图像再现用的定 时器进行校正，所以能够抑制：图像和声音的再现定时的误差累积。
专利文献1：特开2003-339023号公报
可是，在记载于专利文献1中的技术中，存在需要准备图像再现用及 声音再现用的各自的定时器的资源并对其进行管理的问题。
并且，在将记载于专利文献1中的技术，应用到了在实时性不高的非 抢占式的多任务操作系统(以下，将操作系统称为OS。)上的图像声音同 步再现中的情况下，存在被多任务OS的任务调度周期约束，而不能以预 期的定时输出图像再现同步信号的问题。
还有，在此所谓的“实时性不高的多任务OS”，例如，是指在有了某 种中断时，保证不了对于该中断的瞬时的响应的可靠性的多任务OS，即不 能进行硬实时处理的多任务OS。另外，在此所谓的“非抢占式的多任务 OS”，是指在CPU上进行一个任务(有时也称为进程)的处理的情况下， 即使发生了优先级比一个任务高的其他的任务，也保证不了从一个任务切 换为其他的任务为止的响应时间的多任务OS。
以下，关于实时性不高的非抢占式的多任务OS(以下，简称为非抢占 式的多任务OS。)的任务调度而进行说明。
图17，是关于非抢占式的多任务OS的任务调度而进行说明的图。在 此为了使说明简单而将系统中的CPU的个数设为1个，在CPU中不利用 SMT(Simultaneous Multi Thread，同步多线程)技术。在图17中，Tt， 是非抢占式的多任务OS的任务调度周期(由OS产生的定时器中断周期)， 通过该任务调度周期Tt而变得可以进行多个任务的切换。并且，Ti是预 期的周期，例如，是应当使用于进行图像数据的帧更新的图像同步再现信 号进行输出的周期。
并且，因为是多任务，所以设有应当处理的多个任务A、A’、B、C。 并设任务A’为用于进行图像的帧更新的任务。并且，如示于图17中的(a) 中地，设在任务A中已设定了如下内容：在Ti后处理任务A’。
如根据图17也明了地，任务A、A’、B、C一边通过任务调度周期 Tt所切换一边分别进行工作。该情况下，理想的是：从任务A的处理开始 到Ti后处理任务A’，其后，按周期Ti而处理任务A’。从而，如示于 图17中的(b)中地，任务A’，应该在从任务A的处理开始到Ti后的 定时t1开始处理。
可是，该情况下，如示于图17中的(c)中地，因为在定时t1任务C 正在处理，所以不能向其他的任务提供CPU时间，而不能对任务A’进行 处理。
然后，若到了结束任务C的定时t1’，则如示于图17中的(d)中地， 分配CPU时间，而可以进行任务A’的处理。从而，在该时刻，变得对于 本来想要进行处理的定时t1而产生Δt时间的误差。
然后，如示于图17中的(e)中地，因为再次设定了在Ti后处理任务 A’的内容，所以任务A’，如示于图17中的(f)中地，设定为在定时 t2’处理。
可是，在定时t2’，因为任务C正在处理，所以不能向其他的任务提 供CPU时间，而不能对任务A’进行处理。其后，若任务C的处理结束 而到了定时t2”，则如示于图17中的(g)中地，分配CPU时间，而可 以进行任务A’的处理。从而，在该时刻，对于本来想要进行处理的定时 t2进一步累积误差而变成Δt’。
如此地，为了以正确的定时对图像数据的帧更新进行处理，需要能够 取得比OS的任务调度周期精细的定时，但是在非抢占式的多任务OS中， 只能以任务调度周期Tt进行各任务的切换。
在如此的多任务OS中，作为能够取得比其任务调度周期精细的定时 的方法，考虑通过在多任务OS的内核空间进行某些处理，而取得在比任 务调度周期精细的周期的定时。
可是，若要使此实现，则需要在一般的多用户OS的情况下给予特权 模式(例如，在UNIX(注册商标)系统OS中的root。)。因为特权模 式因为安全性保证的方面而不应当轻易地给予，所以存在一般用户难以自 由地使用的问题。
另外，如本发明地，在需要使图像和声音进行同步的情况下，并非只 要仅仅得到精细的任务调度周期即可。即使通过在内核空间进行某些处理， 而得到了相当于图像数据的帧速率的周期，也因为进一步需要增加使图像 和声音进行同步的处理，所以需要复杂的时间管理，安装变得困难。

因此，本发明，第1目的为：提供可以高精度地对口型而定时器资源 的管理容易的图像再现同步信号生成方法、图像再现同步信号生成程序及 定时控制装置。
并且，本发明，第2目的为：提供在采用非抢占式的多任务OS来进 行图像声音同步再现的情况下，不被多任务OS的任务调度周期约束而可 以生成正确的图像再现同步信号的图像再现同步信号生成方法、图像再现 同步信号生成程序及定时控制装置。
进而，第3目的为：提供通过采用了通过如上述的图像再现同步信号 生成方法所生成的图像再现同步信号进行帧更新，可以高精度地对口型而 定时器资源的管理容易的图像声音同步再现方法、图像声音同步再现程序 及图像声音同步再现装置。
(1)本发明的图像再现同步信号生成方法，是生成用于使图像数据和 声音数据同步再现的图像再现同步信号的图像再现同步信号生成方法，特 征在于，包括：取得相当于图像数据1帧的显示期间的1帧相当声音数据 的、对于声音再现部的输出处理结束定时的输出处理结束定时取得步骤， 和每次取得前述输出处理结束定时、就生成前述图像再现同步信号的图像 再现同步信号生成步骤。
因此，若依照于本发明的图像再现同步信号生成方法，则因为根据声 音数据来生成图像再现同步信号，可以仅以声音再现用定时器的资源为基 准而进行图像数据的帧更新，所以可以高精度地对口型，并且，定时器资 源的管理变得容易，达到本发明的第1目的。
还有，在本发明中，所谓对于声音再现部的输出处理结束定时，例如， 是指对于设置于声音再现部的D/A变换器等的、声音数据的输出处理的 结束定时等。还有，在本发明中所谓的图像的帧中，还包括隔行方式的图 像格式中的场的概念。并且，在本发明中所谓的声音中，不仅包括人类的 说话声音，包括所有的声音。
(2)在本发明的图像再现同步信号生成方法中，优选：在前述输出处 理结束定时取得步骤中，将对于前述声音再现部所输出的声音数据的输出 采样数的计数值变成预定值的定时，取作前述输出处理结束定时。
通过如此的方法，若将预定值设定为包括于“1帧相当声音数据”中 的输出采样数，则能够按图像数据的每帧而生成正确地同步于声音再现的 定时的图像再现同步信号。
(3)在本发明的图像再现同步信号生成方法中，优选：在前述输出处 理结束定时取得步骤中，将对设立于对于前述声音再现部所输出的声音数 据的预定位置的标志进行检测的定时，取作前述输出处理结束定时。
通过如此的方法，若将设立标志的位置设定为“1帧相当声音数据” 的最末尾位置，则能够按图像数据的每帧而生成正确地同步于声音再现的 定时的图像再现同步信号。
(4)在本发明的图像再现同步信号生成方法中，优选：在前述输出处 理结束定时取得步骤中，将对于前述声音再现部传送前述1帧相当声音数 据的数据块的定时，取作前述输出处理结束定时。
通过如此的方法，因为对于声音再现部传送上述的数据块的定时变成 “1帧相当声音数据”对于声音再现部的输出处理结束定时，所以能够按 图像数据的每帧而生成正确地同步于声音再现的定时的图像再现同步信 号。
该情况下，上述的数据块的尺寸，能够根据声音数据的输出采样数、 量化比特(bit)数、输出信道数而进行计算。
(5)本发明的图像再现同步信号生成方法，还能够应用于：采用非抢 占式的多任务操作系统而生成前述图像再现同步信号的情况下。
因此，即使在采用非抢占式的多任务OS而进行图像声音同步再现的 情况下，也可得到可以不被多任务OS的任务调度周期约束而生成正确的 图像再现同步信号的效果，也达到本发明的第2目的。
(6)在本发明的图像再现同步信号生成方法中，优选：在前述输出处 理结束定时取得步骤中，将下述定时取作前述输出处理结束定时，该定时 为，基于在前述1帧相当声音数据作为数据块对于前述声音再现部传送时 所发出的系统调用所设定了的阻塞模式，由于前述1帧相当声音数据的数 据块的传送结束而得到解除的定时。
通过如此的方法，因为可以用比任务调度的周期精细的定时而取得输 出处理结束定时，所以能够按图像数据的每帧而生成正确地同步于声音再 现的定时的图像再现同步信号。
(7)在本发明的图像再现同步信号生成方法中，优选：还包括可以将 前述1帧相当声音数据的输出采样数，按图像数据的每帧进行设定的输出 采样数设定步骤；并基于通过前述输出采样数设定步骤所设定了的前述输 出采样数，按图像数据的每帧执行前述输出处理结束定时取得步骤。
通过如此的方法，即使在声音数据的采样速率和图像数据的帧速率不 是整数比的情况下，通过按图像数据的每帧而适当地设定声音数据的输出 采样数，也能够使得即使在对图像和声音长时间进行了再现时也不产生对 口型的偏差。
(8)在本发明的图像再现同步信号生成方法中，优选：在前述输出采 样数设定步骤中，使得前述输出采样数的平均值与预定值变得相等或相近 似地，确定前述输出采样数。
通过如此的方法，能够使以长的跨距(span)进行了平均时的声音数 据的输出采样数，与相当于图像数据1帧的显示期间的理想的输出采样数 变得相等或相近似，能够使得即使在对图像和声音长时间进行了再现时也 不产生对口型的偏差。
(9)在本发明的图像再现同步信号生成方法中，优选：前述输出采样 数的确定，采用布勒森哈姆(Bresenham)算法而进行。
通过如此的方法，能够适当地设定“1帧相当声音数据”的输出采样 数，并使起伏为最小。
(10)在本发明的图像再现同步信号生成方法中，优选：在前述输出 采样数设定步骤中，通过参照记载有基于声音数据的采样速率和图像数据 的帧速率而确定前述输出采样数的规则的表，确定前述输出采样数。
由于为如此的方法，通过参照上述的表按图像数据的每帧而确定“1 帧相当声音数据”的输出采样数，能够以少量运算量适当地设定“1帧相 当声音数据”的输出采样数。
(11)本发明的图像再现同步信号生成程序，特征在于，具有使：生 成用于将图像数据和声音数据同步再现的图像再现同步信号的定时控制装 置执行下述步骤的顺序，该步骤包括：取得相当于图像数据1帧的显示期 间的1帧相当声音数据的、对于声音再现部的输出处理结束定时的输出处 理结束定时取得步骤，和每次取得前述输出处理结束定时、就生成前述图 像再现同步信号的图像再现同步信号生成步骤。
因此，通过采用本发明的图像再现同步信号生成程序而使定时控制装 置进行工作，因为可以仅以声音再现用定时器的资源为基准而进行图像数 据的帧更新，所以可以进行高精度的对口型，并且，定时器资源的管理变 得容易，可达到本发明的第1目的。
(12)本发明的定时控制装置，是生成用于将图像数据和声音数据同 步再现的图像再现同步信号的定时控制装置，特征在于：取得相当于图像 数据1帧的显示期间的1帧相当声音数据的、对于声音再现部的输出处理 结束定时，每次取得前述输出处理结束定时、就生成图像再现同步信号。
因此，若依照于本发明的定时控制装置，则因为根据声音数据来生成 图像再现同步信号，通过采用本发明的定时控制装置而生成图像再现同步 信号，可以仅以声音再现用定时器的资源为基准而进行图像数据的帧更新， 所以可以进行高精度的对口型，并且，定时器资源的管理变得容易，可达 到本发明的第1目的。
(13)本发明的图像声音同步再现方法，是将图像数据和声音数据同 步再现的图像声音同步再现方法，特征在于，包括：取得相当于图像数据 1帧的显示期间的1帧相当声音数据的、对于声音再现部的输出处理结束 定时的输出处理结束定时取得步骤，每次取得前述输出处理结束定时、就 生成前述图像再现同步信号的图像再现同步信号生成步骤，和通过前述图 像再现同步信号而进行图像数据的帧更新的帧更新步骤。
因此，若依照于本发明的图像声音同步再现方法，则因为根据声音数 据来生成图像再现同步信号，并采用该图像再现同步信号而进行图像声音 同步再现，可以仅以声音再现用定时器的资源为基准而进行图像数据的帧 更新，所以可以进行高精度的对口型，并且，定时器资源的管理变得容易， 可达到本发明的第3目的。
(14)本发明的图像声音同步再现程序，特征在于，具有使：可以将 图像数据和声音数据同步再现的图像声音同步再现装置执行下述步骤的顺 序，该步骤包括：取得相当于图像数据1帧的显示期间的1帧相当声音数 据的、对于声音再现部的输出处理结束定时的输出处理结束定时取得步骤， 每次取得前述输出处理结束定时、就生成图像再现同步信号的图像再现同 步信号生成步骤，和通过前述图像再现同步信号而进行图像数据的帧更新 的帧更新步骤。
因此，通过采用本发明的图像声音同步再现程序而进行图像声音同步 再现，因为可以仅以声音再现用定时器的资源为基准而进行图像数据的帧 更新，所以可以进行高精度的对口型，并且，定时器资源的管理变得容易， 可达到本发明的第3目的。
(15)本发明的图像声音同步再现装置，是可以将图像数据和声音数 据同步再现的图像声音同步再现装置，特征在于，具有：基于声音数据而 进行声音再现处理的声音再现部，基于图像数据而进行图像再现处理的图 像再现部，和取得相当于图像数据1帧的显示期间的1帧相当声音数据的、 对于声音再现部的输出处理结束定时，每次取得前述输出处理结束定时就 生成图像再现同步信号的定时控制部；前述图像再现部，基于前述图像再 现同步信号而进行帧更新。
因此，若依照于本发明的图像声音同步再现装置，则因为可以仅以声 音再现用定时器的资源为基准而进行图像数据的帧更新，所以可以进行高 精度的对口型，并且，定时器资源的管理变得容易，可达到本发明的第3 目的。
附图说明
图1是用于关于本发明的基本性的概念而进行说明的图。
图2是概略性地对本发明的图像声音同步再现装置的功能进行说明的 图。
图3是对实施方式1中的图像声音同步再现装置的工作概念进行说明 的图。
图4是对声音解码器12的处理顺序进行说明的流程图。
图5是对图像解码器13的处理顺序进行说明的流程图。
图6是关于基于声音再现部16的声音再现处理的图像再现同步信号生 成方法(第1图像再现同步信号生成方法)而进行说明的图。
图7是关于基于声音再现部16的声音再现处理的图像再现同步信号生 成方法(第2图像再现同步信号生成方法)而进行说明的图。
图8是关于基于声音再现部16的声音再现处理的图像再现同步信号生 成方法(第3图像再现同步信号生成方法)而进行说明的图。
图9是表示第3图像再现同步信号生成方法中的声音数据块向声音数 据缓冲器14的写入的图。
图10是用于对采用了第3图像生成定时生成方法的情况下的声音及图 像的再现工作例进行说明的图。
图11是对声音数据的采样速率和图像数据的帧速率不是整数比的情 况下的声音数据及图像数据的关系进行说明的图。
图12是表示按图像的每1帧采用布勒森哈姆算法求出了对应于各帧的 输出采样数的结果的一例的图。
图13是表示可以参照基于帧速率和采样速率所预先确定了的规则的 表的一例的图。
图14是关于实施方式2中的图像声音同步再现装置中的图像再现同步 信号生成方法的一例而进行说明的图。
图15是关于采用非抢占式的多任务OS对声音输出进行利用来得到精 细的任务调度周期的方法而进行说明的图。
图16是概念性地表示使实施方式2中的图像声音同步再现装置中的图 像声音同步再现处理采用非抢占式的多任务OS进行处理的情况的图。
图17是关于非抢占式的多任务OS的任务调度而进行说明的图。

以下，基于各实施方式对本发明详细地进行说明。
实施方式1
图1，是用于关于本发明的基本性的概念而进行说明的图。
在本发明的图像再现同步信号生成方法中，如示于图1中地，以声音 再现部对相当于图像数据1帧的显示期间的PCM(Pulse Code Modulation，脉冲编码调制)声音数据(对应于本发明的“1帧相当声音 数据”。)进行输出处理的定时，将用于进行图像数据的帧更新的图像再 现同步信号输出。还有，所谓对于声音再现部16的输出处理结束定时，在 实施方式1中，为对于设置于声音再现部16的D/A变换器161的声音数 据的输出处理结束定时。
若以具体性的例进行说明，则设图像数据的帧速率为30(帧/秒)， PCM声音数据(在以下简称为声音数据)的采样速率为44.1(KHz)。该 情况下，将以图像数据的帧速率除声音数据的采样速率所得到的1470(采 样数)作为声音数据的一个数据块，并以该1470(采样数)的声音数据的 数据块输出到D/A变换器161的定时将用于进行图像数据的帧更新的图 像再现同步信号输出。然后，在图像再现部17(参照图2。)侧，采用该 图像再现同步信号而进行帧更新。
由此，可以仅以声音再现用定时器的资源为基准而生成图像再现同步 信号。因此，因为在图像再现部17侧，采用该图像再现同步信号而进行帧 更新，所以可以进行高精度的对口型，另外，因为定时器的资源仅在声音 再现侧准备即可，所以能够使定时器的资源的管理容易。
图2，是概略性地对本发明的图像声音同步再现装置的功能进行说明 的图。图像声音同步再现装置，具有：具有从图像、声音复用流数据分离 出声音流数据AD和图像流数据VD和系统数据SD的功能的解复用器11， 对声音流数据AD进行解码的声音解码器12，对图像流数据VD进行解码 的图像解码器13，对解码后的声音数据进行存储的声音数据缓冲器14，对 解码后的图像数据以帧为单位进行存储的图像帧缓冲器15，将存储于声音 数据缓冲器14中的声音数据按顺序进行输入、进行再现的声音再现部16， 将存储于图像帧缓冲器15中的图像数据按顺序进行输入、进行再现的图像 再现部17，进行用于使声音和图像同步的定时控制的定时控制部18，将以 声音再现部16进行声音再现处理过的声音信号作为声音进行输出的声音 输出部19及将以图像再现部17进行图像再现处理过的图像信号作为图像 进行输出的图像输出部20。
声音数据缓冲器14，具有如环缓冲器等的FIFO(First In First Out， 先进先出)功能。还有，声音数据以线性PCM格式存储于声音数据缓冲 器14中。另外，图像帧缓冲器15，具有可以按各自的帧存储3帧量的图 像数据的存储区域151～153。
并且，声音再现部16，如示于图1中地，具有D/A变换器161、时 钟发生器162、低通滤波器(LPF)163，连接于声音输出部19。
定时控制部18，具有下述功能：基于来自解复用器11的系统数据SD (采样速率、帧速率等。)及来自声音再现部16的时钟发生器162的时钟， 进行相当于图像1帧的显示期间的声音数据的输出采样数的设定。并且， 定时控制部18，具有下述功能：取得相当于图像数据1帧的显示期间的声 音数据对于D/A变换器161的输出处理结束定时(关于该输出处理结束 定时进行后述)，每次取得输出处理结束定时就生成图像再现同步信号， 并将该图像再现同步信号输出到图像再现部17。关于该定时控制部18的 具体性的工作进行后述。
并且，图像再现部17，通过图像再现同步信号对于图像输出部20将 用于帧更新的信号输出。
图3，是对实施方式1中的图像声音同步再现装置的工作概念进行说 明的图。任务开关TSW，具有简单的任务调度功能，在该图3的例中，进 行解复用器11、声音解码器12及图像解码器13的工作切换。例如，若向 声音解码器12给予工作的权利，则变得可以进行由声音解码器12产生的 声音数据向声音数据缓冲器14的写入工作；若向图像解码器13给予工作 权利，则变得可以进行图像数据向图像帧缓冲器15的写入工作。
在写入到了声音数据缓冲器14中的声音数据之中，若进行相当于图像 数据1帧的显示期间的声音数据的声音再现处理，则处理转移到图像再现 控制VOC；进行图像帧的更新，进行对于写入到图像帧缓冲器15中的1 帧量的图像数据的图像再现处理。
图4，是对声音解码器12的处理顺序进行说明的流程图。图5，是对 图像解码器13的处理顺序进行说明的流程图。
声音解码器12，如示于图4中地，首先，对是否有声音流数据AD进 行判定(步骤S1)；若无声音流数据AD则将处理返回到任务开关TSW (在图4及图5中标记为“TaskSW”。)(步骤S2)，若有声音流数据 AD则对在声音数据缓冲器14中是否有空闲区域进行判定(步骤S3)。
在该判定中，若在声音数据缓冲器14中无空闲区域则将处理返回到任 务开关TSW(步骤S4)，若在声音数据缓冲器14中有空闲区域则进行解 码(步骤S5)，将解码后的声音数据写入到声音数据缓冲器14中(步骤 S6)。然后，将处理返回到任务开关TSW(步骤S7)。
还有，所谓将处理返回到任务开关TSW(步骤S4)，是说将任务处 理的权利授予自身以外(在该例中，为解复用器11或图像解码器13。)。 即，图4的情况，通过任务开关TSW，将处理从声音解码器12切换到解 复用器11乃至图像解码器13。另外，在图4中，从任务开关TSW返回的 箭头，意味着任务处理的权利转移到自身。这一点在图5中也同样。
另一方面，图像解码器13，如示于图5中地，首先，对是否有图像流 数据VD进行判定(步骤S11)；若无图像流数据VD则将处理返回到任 务开关TSW(步骤S12)，若有图像流数据VD则对在图像帧缓冲器15 中是否有空闲区域进行判定(步骤S13)。
在该判定中，若在图像帧缓冲器15中无空闲区域则将处理返回到任务 开关TSW(步骤S14)，若在图像帧缓冲器15中有空闲区域则进行解码 (步骤S15)，将解码后的帧写入到图像帧缓冲器15的空闲区域中(步骤 S16)。然后，将处理返回到任务开关TSW(步骤S17)。
还有，图像数据向图像帧缓冲器15的写入，如图5中的作为步骤S16 的写入工作例而示地，例如，若将图像数据的各帧以帧F1、F2、F3、...来 表示，则首先将帧F1写入到空闲的存储区域(该情况下，作为初始状态3 个存储区域151～153全都为空闲区域。)151中，接下来将帧F2写入到存 储区域152中，其次将帧F3写入到存储区域153中地轮流写入到存储区 域151～153中。
然后，因为写入到了存储区域151～153中的图像数据，以帧F1、帧 F2、...的顺序按顺序所输出，所以按存储区域151、152、...的顺序变成空 闲区域。从而，按帧F4写入到存储区域151中、帧F5写入到存储区域152 的顺序，轮流写入到存储区域151～153中。
图6～图8，是关于基于声音再现部16的声音再现处理的图像再现同步 信号生成方法而进行说明的图。还有，将示于图6中的方法叫做第1图像 再现同步信号生成方法，将示于图7中的方法叫做第2图像再现同步信号 生成方法，将示于图8中的方法叫做第3图像再现同步信号生成方法。
首先，关于第1图像再现同步信号生成方法，一边参照图6一边进行 说明。
在图6中，在定时控制部18中，将声音数据的输出采样数设定为预定 值。(步骤S21)。该预定值，为对应于图像数据1帧的声音数据(1帧相 当声音数据)的输出采样数。
然后，在声音再现部16中，对于D/A变换器161输出声音数据采样 (步骤S31)；并对输出完毕的采样数(将此叫做输出采样数)是否达到 了以定时控制部18所设定了的预定值进行判定(步骤S32)。该判定的结 果，若判定为输出采样数的计数值已达到预定值，则将表示已达到预定值 的信号输出到定时控制部18。
定时控制部18，若从声音再现部16收到表示输出采样数已达到预定 值的信号，就生成图像再现同步信号，对于图像再现部17进行图像显示调 用(图像再现同步信号输出)(步骤S22)，返回到步骤S21。
如此地，在定时控制部18中，将在声音再现部16中，对于D/A变 换器161输出了预定的输出采样数的定时，取作相当于图像数据1帧的显 示期间的声音数据的输出处理结束定时，每次取得该输出处理结束定时就 生成图像再现同步信号，将该图像再现同步信号输出到图像再现部17。
在图像再现部17中，若接收到来自定时控制部18的图像显示调用(图 像再现同步信号)，则在对在步骤S41中取得的图像帧进行了显示之后， 对存储有显示完毕的图像帧的图像帧缓冲器15的某1个存储区域进行释放 (步骤S42、S43)。
还有，设在声音解码器12和声音再现部16之间及图像解码器13和图 像再现部17之间都以非同步进行工作。但是，声音解码器12及图像解码 器13，被控制为：在声音数据缓冲器14及图像帧缓冲器15分别不引起缓 冲器欠载运行/过载运行。这一点在示于以下的图7及图8中也同样。
如此地，第1图像再现同步信号生成方法，每当对于D/A变换器161 所输出的声音数据的输出采样数变成预先设定了的值，就对于图像再现部 17输出图像再现同步信号。在图像再现部17中，通过该图像再现同步信 号进行图像数据的帧更新。
具体地，例如，在图像数据的帧速率为30(帧/秒)，声音数据的采 样速率为44.1(KHz)的情况下，每当对应于图像数据1帧的显示期间的 声音数据的输出采样数(1470(采样数))输出到声音再现部16的D/A 变换器161，就进行图像数据的帧的更新。由此，能够使图像和声音高精 度地进行同步。
如此地，若依照于第1图像再现同步信号生成方法，则因为对输出到 D/A变换器161的声音数据的输出采样数进行计数，并以该计数数变成 了预先设定了的值的定时进行图像数据的帧更新，所以能够自动地实现图 像和声音的同步再现。
其次，关于第2图像再现同步信号生成方法，一边参照图7一边进行 说明。
在图7中，定时控制部18，在相当于图像数据1帧的显示期间的声音 数据的结尾位置设立标志(步骤S51)。具体地，进行设立：以对声音数 据中的声音没有直接影响的特定的比特表示是结尾的标志等。然后，在声 音再现部16中，对于D/A变换器161输出声音数据采样(步骤S61)； 并对是否检测到了以定时控制部18所设立了的标志进行判定(步骤S62)。 该判定的结果，若判定为检测到了标志，则将表示已检测到标志的信号输 出到定时控制部18。
定时控制部18，若从声音再现部16接收到表示已检测到标志的信号， 则生成图像再现同步信号，对于图像再现部17进行图像显示调用(图像再 现同步信号输出)(步骤S52)，返回到步骤S51。
如此地，在定时控制部18中，将在声音再现部16中，从对于D/A 变换器161所输出的声音数据检测到了标志的定时，取作相当于图像数据 1帧的显示期间的声音数据的输出处理结束定时，每次取得该输出处理结 束定时就生成图像再现同步信号，将该图像再现同步信号输出到图像再现 部17。
在图像再现部17中，若接收到来自声音再现部16的图像显示调用(图 像再现同步信号)，则与图6的情况同样，在对在步骤S41中取得的图像 帧进行了显示之后，将存储有显示完毕的图像帧的图像帧缓冲器15的某1 个存储区域释放(步骤S42、S43)。
第2图像再现同步信号生成方法，若从相当于图像1帧的显示期间的 声音数据检测到表示结尾的标志，则对于图像再现部17输出图像再现同步 信号。在图像再现部17中，通过该图像再现同步信号进行图像数据的帧更 新。
具体地，例如，在图像数据的帧速率为30(帧/秒)，声音数据的采 样速率为44.1(KHz)的情况下，按相当于图像数据1帧的显示期间的输 出采样数(1470(采样数))，设立表示声音数据的结尾的标志。然后， 每检测到表示该结尾的标志，就进行图像数据的帧的更新。由此，能够使 图像和声音高精度地进行同步。
若依照于第2图像再现同步信号生成方法，则能够不对输出采样数进 行计数而对声音数据的预定的数据单位进行检测。这一点能够通过采用“标 记(sentinel)算法”等来实现。
其次，关于第3图像再现同步信号生成方法，一边参照图8一边进行 说明。
第3图像再现同步信号生成方法，如示于图8中地，以相当于预定的 输出采样数的声音数据的数据块(以下，称为声音数据块。)从声音数据 缓冲器14传送到了声音再现部16的声音再现用的缓冲器中的定时来进行 图像数据的帧更新。
为了实现第3图像生成定时的生成方法，优选为如设置2级声音数据 用的缓冲器的缓冲器构成。即，为用于存储由声音解码器12产生的解码完 毕的声音数据的声音数据缓冲器14，和设置于声音再现部16侧的声音再 现用缓冲器(未图示。)的2级缓冲器构成。通过为如此的2级缓冲器构 成，能够不中断声音数据而进行再现。
还有，声音再现用缓冲器，设置于D/A变换器161的前级。并且， 虽然该声音再现用缓冲器，也可以作为专用于声音再现部16的缓冲器而设 置，但是若声音再现部16本来就具有可以用作声音再现用缓冲器的存储单 元则也能够利用该存储单元。
在实现第3图像再现同步信号生成方法时，优选：声音数据缓冲器14， 具有多个存储区域，能够在各自的存储区域中以各个的数据块为单位写入 声音数据块。从而，该情况下，声音数据缓冲器14，与图像帧缓冲器15 同样，例如，具有3个存储区域141～143(参照图9。)。
图9，是表示第3图像再现同步信号生成方法中的声音数据块向声音 数据缓冲器14的写入的图。该声音数据块向声音数据缓冲器14的写入， 通过声音解码器12所进行。其写入工作，可以为与向图像帧缓冲器15的 各存储区域151～153写入图像数据的各帧同样的工作。
例如，如示于图9中地，若以声音数据块B1、B2、B3、...来表示声 音数据的各声音数据块，则首先将声音数据块B1写入到空闲的存储区域 (该情况下，作为初始状态3个存储区域141～143全都为空闲区域。)141 中，接下来将声音数据块B2写入到空闲的存储区域142中，其次将声音 数据块B3写入到空闲的存储区域143中地按顺序写入到存储区域141～143 中。另外，写入到了各存储区域141～143中的声音数据块B1～B3向声音再 现用缓冲器的传送控制，通过来自定时控制部18的传送指示所进行。
在此，若将说明返回到图8，则在声音再现部16中，首先，在自身具 有的声音再现用缓冲器的存储区域之中，将存储有再现完毕的声音数据的 1数据块的存储区域释放(步骤S71)。该存储区域的释放，以写入到了声 音再现用缓冲器中的声音数据块输出到D/A变换器161的定时所进行。
定时控制部18，将预定的输出采样数(相当于图像数据1帧的显示期 间的输出采样数)的声音数据块从声音数据缓冲器14传送到声音再现部 16中，并将存储有传送完毕的声音数据块的存储区域释放(步骤S81)。 然后，定时控制部18，以该声音数据块向声音再现部16的传送的定时， 作为相当于图像数据1帧的显示期间的声音数据块的输出处理结束定时， 按该输出处理结束定时，生成图像再现同步信号，对于图像再现部17进行 图像显示调用(图像再现同步信号输出)(步骤S82)，返回到步骤S81。
并且，声音再现部16，取得从声音数据缓冲器14所传送来的声音数 据块而存储到自身的声音再现用缓冲器中(步骤S72)，进行声音再现(步 骤S73)，返回到步骤S71。
在图像再现部17中，若接收到来自定时控制部18的图像显示调用(图 像再现同步信号)，则与图6的情况同样，在对在步骤S41中取得的图像 帧进行了显示之后，将存储有显示完毕的图像帧的图像帧缓冲器15的某1 个存储区域释放(步骤S42、S43)。
图10是用于对采用了第3图像再现同步信号生成方法的情况下的声音 及图像的再现工作例进行说明的图。图10的横轴表示时间。图10(A)是 表示声音解码器12的声音解码处理任务的图，图10(F)是表示图像解码 器13的图像解码处理任务的图，它们通过任务开关TSW来切换各自的工 作，在通过CPU所分配了的时间内进行解码处理。还有，关于解复用处理 的任务，因为需要的处理时间一般比图像解码处理任务、声音解码处理任 务短，所以在图10中并不特别记述。
并且，图10(B)是表示声音数据缓冲器14中的3个存储区域141～143 的存储状态的图，使得以声音解码器12所解码了的声音数据块B1存储于 存储区域141中，以声音解码器12所解码了的声音数据块B2存储于存储 区域142中地，按顺序，被解码了的声音数据块B1、B2、...分别存储于存 储区域141、142、...中。
还有，在图10(B)中，划斜线的部分表示在各存储区域141～143中 存储着数据(有效的。)，存储着数据的存储区域不可重写，不能进行新 的数据的写入。这一点在图10(E)的图像帧缓冲器15的情况下也同样。
另一方面，在图像解码器13侧所解码了的图像数据的各帧F1、F2、...， 也如示于图10(E)中地，按顺序，存储于存储区域151、152、...中。
在此，以声音数据块B2及与此相对应的图像数据的帧F2为例而进行 说明。通过声音解码器12解码处理后的声音数据块B2，存储于存储区域 142中。然后，该存储区域142的声音数据块B2如示于图10(C)中地， 若传送到声音再现部16的声音再现用缓冲器中(步骤S101)，则以该定 时对于图像再现部17进行图像显示调用(图像再现同步信号输出)(步骤 S102)。
由此，在图像再现部17中，如示于图10(D)及图10(E)中地，对 存储于图像帧缓冲器15中的帧F2进行显示(步骤S103)。图10中的(步 骤S101)、(步骤S102)、(步骤S103)，对应于图8的流程图中的(步 骤S101)、(步骤S102)、(步骤S103)。
还有，图像数据的帧F2的显示期间结束之后，存储有帧F2的存储区 域152得到释放。并且，在声音再现部16侧，在将声音数据块B2传送到 声音再现部16的声音再现用缓冲器侧的阶段，存储有声音数据块B2的存 储区域142被释放。
如此地，第3图像再现同步信号生成方法，以相当于图像数据1帧的 显示期间的声音数据的数据块从声音数据缓冲器14传送到声音再现部16 所具有的声音再现用缓冲器中的定时，进行图像数据的帧更新。在图像再 现部17中，通过该图像再现同步信号来进行图像数据的帧更新。
具体地，例如，在图像数据的帧速率为30(帧/秒)，声音数据的采 样速率为44.1(KHz)的情况下，将具有对应于图像数据1帧的显示期间 的声音数据的输出采样数(1470(采样数))的量的信息量的声音数据作 为1个数据块，以该声音数据的数据块传送到声音再现部16的声音再现用 缓冲器中的定时进行图像数据的帧更新。由此，能够使图像和声音高精度 地进行同步。
因为通过采用以上说明了的第1～第3图像再现同步信号生成方法，能 够基于声音数据的再现处理而生成图像数据的帧更新的定时，所以能够高 精度地使声音数据和图像数据同步，而且，不需要进行图像数据的帧更新 的定时生成用的定时器的资源的准备及管理。
此外，在声音数据的采样速率和图像数据的帧速率是整数比的情况下， 能够将以图像数据的帧速率除声音数据的采样速率所得到的输出采样数， 简单地作为相当于图像1帧的显示期间的声音数据。
即，在至此说明过的例中，图像数据的帧速率为30(帧/秒)，声音 数据的采样速率为44.1(KHz)(＝44100Hz)，这是声音数据的采样速 率和图像数据的帧速率是整数比的情况，但是由于各种值而未必成为整数 比。该情况下，若将图像和声音长时间再现，则会产生如后述的对口型的 偏差而成问题。
从而，关于声音数据的采样速率和图像数据的帧速率不是整数比的情 况也需要进行考虑。
以下，关于声音数据的采样速率和图像数据的帧速率不是整数比的情 况而进行说明。
图11，是对声音数据的采样速率和图像数据的帧速率不是整数比的情 况下的声音数据及图像数据的关系进行说明的图。在图11的例中，设图像 数据的帧速率为29.979(帧/秒)，声音数据的采样速率为44.1(KHz)。 该情况下，如根据图11也可明白地，若计算一下输出30帧的时间，则成 为约1.001001(秒)。在约1.001001秒间的声音数据的采样数变成 44144.144144...。因为声音数据的采样速率和图像数据的帧速率不是整数 比，所以变成如此的数值。
即，图像数据每1帧的声音数据的输出采样数，变成1471.471...。但 是，因为提供给声音再现部16的D/A变换器161的声音数据的输出采样 数，当然需要是正整数，所以不能将在此所计算出来的1471.471...这样的 数值提供给D/A变换器161。
于是，若假设关于1471.471...进行小数点以下进位而为“1472”，或 进行小数点以下舍去而为“1471”，并将固定为这些“1472”及“1471” 的任一个的值用作上述的各方法中的输出采样数而进行同步再现，则图像 数据和声音数据的定时的微小的误差会逐渐地累积，而使得将内容进行了 长时间再现时的对口型的偏差变得不能允许。
为了解决该问题，在该例中，考虑以下等的方法：例如将1471(采样 数)或者1472(采样数)的各值适当切换使用，在以长的跨距进行了平均 时，使得相当于图像数据1帧的显示期间的声音数据的输出采样数变成大 致1471.471...(采样数)。
但是，即使为该情况，也优选：各声音数据的输出采样数的变动尽可 能地小，即，帧更新周期的起伏变得尽可能地小。例如，虽然在以各声音 数据的输出采样数为如“1”、“2942”、“1”、“2942”、“1”、“2942”、... 的极端的值而进行图像帧的更新的情况下，作为平均的输出采样数，也变 成接近于1471.471...的值，但是在此帧更新周期的起伏过大，总给观看者 带来不协调感，以如此的定时来切换图像的帧这一点，硬件性地缺乏现实 性。
从而，需要下述对相当于图像数据1帧的显示期间的声音数据的输出 采样数进行设定的方法，该方法使得在长的跨距进行了平均时的输出采样 数的值，变成理想的输出采样数，并且帧更新周期的起伏变得尽可能地小。
作为如此的输出采样数的设定方法，在此采用2种方法(将此叫做第 1输出采样数设定方法及第2输出采样数设定方法)。
第1输出采样数设定方法，是通过布勒森哈姆(Bresenham)的算法 而设定输出采样数的方法；第2输出采样数设定方法，是通过参照表(LUT： Look Up Table，查找表)而设定输出采样数的方法。
首先，关于采用第1输出采样数设定方法、对相当于图像数据1帧的 显示期间的声音数据的输出采样数进行设定的方法而进行说明。
相当于1帧的显示期间的声音数据的理想输出采样数Ni(采样数/ 帧)，能够以(1)式来表示。
Ni＝fs/F
  ＝fs/F+(fsmod F)/F
  ＝fs/F+(kfsmod kF)/kF    (1)
在(1)式中，fs为声音数据的采样速率(采样数/秒)，F为帧速率 (帧/秒)，k是用于使kF及kfs为整数的整数系数。
在此，
c＝(kfsmod kF)/kF    (2)
每次进行相当于图像1帧的显示期间的声音数据的输出处理，就将以 (2)式所得到的值加到某实数的变量b(初始值0)上。然后，相加的结 果，仅在该变量b的整数部变成了“+1”时，对下次进行输出的声音数据 的输出采样数N进行仅加“+1”计算。
在此，因为使图像数据的帧速率F为F＝29.97(帧/秒)，使声音数 据的采样速率fs为fs＝44.1(KHz)，所以变成Ni＝44100/29.97＝ 1471.471471...(帧/秒)，但是实际的输出时的输出采样数N，需要为比 较接近于该1471.471471...的整数。并且，(2)式的c求出为c＝0.471471。
图12，是表示按图像的每1帧采用上述的布勒森哈姆的算法而求出了 对应于各帧的输出采样数的结果的一例的图。如根据图12也可明白地，对 应于图像帧的帧号码n＝1、2、3、...的声音数据的输出采样数，变成“1471” 和“1472”的任一个。该例的情况下，在将0.471471加到某实数的变量b (初始值0)上所得到的值(bn)的整数部变成了“+1”的情况下，将下 次进行输出的声音数据的输出采样数N进行仅加“+1”计算。
在图12的例中，因为帧号码2中的bn的整数部为0，而帧号码3中的 bn的整数部为1，所以对应于下次(帧号码4)的声音数据的输出采样数也 作为“1471+1”而为“1472”的输出采样数。同样地，在图12的例中， 分别对应于帧号码6、帧号码8、帧号码10的声音数据的输出采样数也变 成“1472”。
如此地，该例的情况下，对应于图像数据的各帧的声音数据的输出采 样数，变得以某概率出现“1471”或“1472”。还有，虽然在图12中只表 示了对应于11个帧的输出采样数，但是在长的跨距也成为同样的倾向。
从而，在以更长跨距进行了平均时、对应于图像数据的各帧的声音数 据的输出采样数，变得极其接近于为理想的输出采样数的 1471.471471...。而且，各帧的每帧的输出采样数的变动在该例的情况 下，为“1”，这，作为时间大致22.7(微秒)。因此，帧更新周期的起伏 为约22.7(微秒)，而这，不会成为给观看者带来不协调感的原因。
如以上说明了地，通过采用第1输出采样数设定方法，能够使帧更新 周期的起伏极其小。
还有，在上述的例中，虽然按各帧设定声音数据的输出采样数，但是 声音数据的1采样的量的时间，为22.7(微秒)(采样速率为44.1(KHz) 的情况)的极其短的时间。从而，即使不按图像数据的所有的帧进行输出 采样数的设定，也认为可得到实用上足够的对口型质量。因此，只要能够 维持实用上足够的对口型质量，并且，图像数据的帧更新周期的起伏在能 够允许的范围，通过上述的第1输出采样数设定方法进行的输出采样数的 调整，也可以隔多帧而进行。
其次，关于第2输出采样数设定方法而进行说明。该第2输出采样数 设定方法是通过参照表(LUT：Look Up Table，查找表)而设定输出采样 数的方法。
帧速率、采样速率，一般以某些规格的形式而预先确定各自的值。例 如，若是帧速率，则为30(帧/秒)、29.97(帧/秒)、24(帧/秒)、 15(帧/秒)、10(帧/秒)等；若是采样速率，则为8(KHz)、32(KHz)、 44.1(KHz)、48(KHz)等。如此地，一般所使用的帧速率、采样速率， 分别为离散的值。
从而，通过帧速率和采样速率(及量化比特数、信道数)的组合，事 先确定好声音数据的输出采样数、其调整的频度(该频度，是指如上述地 每隔多帧而对输出采样数进行调整。)等的规则，将其作成表，通过利用 该表能够得到与第1输出采样数设定方法同样的效果。
图13，是表示可以参照基于帧速率和采样速率所预先确定了的规则的 表的一例的图。在图13中，例如，如在帧速率为10(帧/秒)(在该图 13中标记为(fps))，而采样速率为8(KHz)的情况下，参照“规则“10-8””； 并在帧速率为15(帧/秒)，而采样速率为8(KHz)的情况下，参照“规 则“15-8””地，通过帧速率和采样速率的组合，记述应当参照的规则。
作为一例，在帧速率为29.97(帧/秒)而采样速率为44.1(KHz)的 情况下，根据图13而记述如“规则“29.97-44.1””的应当参照的规则， 基于该规则而进行输出采样数的设定。
作为该“规则“29.97-44.1””，虽然能够对各种的输出采样数的设定 方法进行设定，但是在此，以示于以下的3个输出采样数的设定规则为例 而进行说明。
首先，作为输出采样数的设定规则(其1)，事先通过布勒森哈姆的 算法而求出各帧的每帧的输出采样数，采用之。具体的值如示于图12中的 值。
并且，作为输出采样数的设定规则(其2)，按各帧使1471(采样数) 和1472(采样数)交替地进行重复。而且，在1000帧中仅1次为1443(采 样数)。此种方法，虽然相比较于输出采样数的设定规则(其1)则图像 帧更新周期的起伏变得稍微大些，但是能够以少的运算量而实现。
另外，作为输出采样数的设定规则(其3)，使1471(采样数)进行 500次重复，接着使1472(采样数)进行499次重复。接着，仅1次为1443 (采样数)。重复该组合。此种方法，为输出采样数的设定规则(其2) 的变形，与输出采样数的设定规则(其2)同样，虽然相比较于输出采样 数的设定规则(其1)则采样更新周期的起伏变得稍微大些，但是能够以 少的运算量来实现。
通过将通过以上说明过的第1输出采样数设定方法或第2输出采样数 设定方法所求出的输出采样数，在上述的图6中的步骤S21、图7中的步 骤S51、图8中的步骤S81进行应用，即使在声音数据的采样速率和图像 数据的帧速率不是整数比的情况下，也能够长时间地维持高精度的对口型。
即，在图6中的步骤S21中，使声音数据的输出采样数的预定值为通 过第1输出采样数设定方法或第2输出采样数设定方法所求出的输出采样 数；在图7中的步骤S51中，使声音数据的标志位置为对应于通过第1输 出采样数设定方法或第2输出采样数设定方法所求出的输出采样数的位 置。并且，在图8中的步骤S81中，使应当传送的声音数据块的数据块尺 寸，为根据通过第1输出采样数设定方法或第2输出采样数设定方法所求 出的输出采样数所计算出的数据块尺寸。通过进行如此的设定，即使在声 音数据的采样速率和图像数据的帧速率不是整数比的情况下，也能够长时 间地维持高精度的对口型。
还有，第2输出采样数设定方法中的表，不管帧速率和采样速率是否 为整数比都能够采用。
第2实施方式
图14，是关于实施方式2中的图像声音同步再现装置中的图像再现同 步信号生成方法的一例而进行说明的图。
实施方式2中的图像再现同步信号生成方法，将相当于预定的输出采 样数的声音数据块从声音数据缓冲器14传送到了设置于声音再现部16侧 的作为声音再现处理用的缓冲器中的定时，作为对于声音再现部16的输出 处理结束定时，并以该输出处理结束定时而进行图像数据的帧更新。还有， 作为声音再现处理用的缓冲器，相当于在后进行说明的图16的声音再现用 缓冲器164。
为了实现实施方式2中的图像再现同步信号生成方法，优选为设置了 2级声音数据用的缓冲器的缓冲器构成。即，为：写入通过声音解码器12 产生的解码完毕的声音数据的声音数据缓冲器14(其相当于图2中的声音 数据缓冲器14)，和设置于声音再现部16侧的声音再现用缓冲器164的2 级的缓冲器构成。还有，声音再现用缓冲器164，在图2中未图示。通过 为如此的2级缓冲器构成，能够不中断声音数据地进行再现。
还有，声音再现用缓冲器164，如示于在后面将要说明的图16中地， 设置于D/A变换器161的前级。并且，声音再现用缓冲器164，虽然也 可以在声音再现部16设置新的专用的缓冲器，将其用作声音再现用缓冲器 164，但是若声音再现部16本来就具有可以用作声音再现用缓冲器的存储 单元，则也能够对其进行利用。
另外，写入到了声音数据缓冲器14中的声音数据块向声音再现用缓冲 器164的传送控制，通过来自定时控制部18的传送指示所进行。
在此，若将说明返回到图14中，则在声音再现部16中，首先，将声 音再现用缓冲器164的存储区域(存储有再现完毕的声音数据块的存储区 域)释放(步骤S111)。该存储区域的释放，以写入到了声音再现用缓冲 器164中的声音数据的数据块输出到D/A变换器161中的定时所进行。
定时控制部18，将预定的输出采样数(相当于图像数据1帧的显示期 间的输出采样数)的声音数据块，从声音数据缓冲器14传送到声音再现部 16的声音再现用缓冲器164中，并将存储有传送完毕的声音数据块的存储 区域释放(步骤S121)。然后，定时控制部18，将该声音数据块向声音再 现部16的传送的定时，作为相当于图像数据1帧的显示期间的声音数据块 的输出处理结束定时，并按该输出处理结束定时，生成图像再现同步信号， 对于图像再现部17进行图像显示调用(图像再现同步信号输出)(步骤 S122)，返回到步骤S121。
并且，声音再现部16，将从声音数据缓冲器14所传送来的声音数据 块在声音再现用缓冲器164中取得，进行声音再现(步骤S113)，返回到 步骤S111。
在图像再现部17中，若接收到来自定时控制部18的图像显示调用(图 像再现同步信号)，则与图6的情况同样，在对在步骤S41中取得的图像 帧进行了显示之后，将存储有显示完毕的图像帧的图像帧缓冲器15(参照 图5。)的存储区域释放(步骤S42、S43)。
如以上说明了地，实施方式2中的图像再现同步信号生成方法，以相 当于图像数据1帧的显示期间的声音数据块、从声音数据缓冲器14传送到 了声音再现部16的声音再现用缓冲器164中的定时，将图像再现同步信号 输出，通过该图像再现同步信号而进行图像数据的帧更新。
具体地，例如，在图像数据的帧速率为30(帧/秒)，声音数据的采 样速率为44.1(KHz)的情况下，将对应于图像数据1帧的声音数据的输 出采样数(1470(采样数))作为1个声音数据块，以该声音数据块传送 到声音再现部16的声音再现用缓冲器164中的定时进行图像数据的帧更 新。由此，能够使图像和声音高精度地同步再现。
如以上说明了地，因为通过采用实施方式2中的图像再现同步信号生 成方法，能够基于声音数据的再现处理而生成图像数据的帧更新的定时， 所以能够高精度地使声音数据和图像数据同步，而且，不需要进行图像数 据的帧更新的定时生成用的定时器的资源的准备及管理。
实施方式2中的图像声音同步再现方法，使如示于图14中的图像声音 同步再现，可以采用非抢占式的多任务OS实现。即，实施方式2中的图 像声音同步再现方法，采用非抢占式的多任务OS，以比多任务OS的任务 调度的周期精细的定时而取得：相当于图像数据1帧的显示期间的声音数 据块的、对于声音再现部16的输出处理结束定时。
图15，是关于采用非抢占式的多任务OS，利用声音输出来得到精细 的任务调度周期的方法而进行说明的图。
在图15中，存在多个任务A、B、C，任务A是可以进行：将相当于 图像数据1帧的量的声音数据块从内核侧的声音数据缓冲器14写入到声音 再现部16侧的声音再现用缓冲器164中的处理(传送处理)，和用于图像 数据的帧更新处理的图像再现同步信号的生成及输出的任务。
任务A在对自身所分配了的时间内的某定时t1，发出用于：将写入到 内核侧的声音数据缓冲器14中的声音数据块传送到声音再现部16侧的声 音再现用缓冲器164中的“write()”的系统调用(call)。若多任务OS 接收到该“write()”的系统调用，则内核进行工作而在“write()”的 期间(以图15的箭头表示。)将声音数据块从内核侧的声音数据缓冲器 14传送到声音再现部16侧的声音再现用缓冲器164中。其间，因为内核 在多任务OS的阻塞模式下进行工作，所以直到任务A结束“write()”， 即，直到从阻塞状态恢复为止而一直等待。
然后，若内核结束声音数据块的传送处理，则在该传送处理结束的定 时t2从阻塞状态恢复。并且，与从阻塞状态恢复同时，任务A进行“帧更 新处理()”。
还有，“write()”的系统调用结束的定时和用于帧更新的图像同步 再现信号输出的定时相一致。即，如以图14说明了地，在实施方式2中， 将相当于图像数据1帧的显示期间的声音数据块传送到了声音再现部16 的声音再现用缓冲器164之时作为图像再现同步信号的输出定时。
可是，如果内核在阻塞模式下正在处理从任务A对于多任务OS所给 出的“write()”的系统调用，则因为该系统调用以内核空间所处理，所 以，直到“write()”的处理结束，不切换到其他的任务(在图15的例 中为任务B、任务C)。
如此地，通过利用多任务OS的阻塞模式，能够使“write()”的系 统调用结束时的定时为预期的定时。由此，采用非抢占式的多任务OS，能 够取得比该OS的任务调度周期精细的定时，能够将取得的定时，用作用 于进行图像数据的帧更新处理的定时。
图16，是概念性地表示使实施方式2中的图像声音同步再现装置采用 非抢占式的多任务OS进行处理的情况的图。在PC(Personal Computer， 个人计算机)中，分别设置声卡、图形卡作为声音再现部、图像再现部。 不用说，如果能够利用芯片组内置的功能也可对其进行利用。在该硬件上， Linux(注册商标)等的UNIX(注册商标)类OS进行工作，在同一OS 上安装各种解码器、解复用器作为用户空间上的软件。声音数据缓冲器14 构成于RAM，图像帧缓冲器15构成于RAM乃至图形卡的VRAM。还有， 虽然在此关于声音解码器、图像解码器及解复用器等的各部分的工作的详 细未特别说明，但是再现时使声音数据缓冲器及图像帧缓冲器不发生欠载 /过载地分别非同步地进行工作。
若在用户空间开始图像和声音的再现，则首先为了将通过系统数据所 得到的声音数据的采样速率作为声卡的时钟，而发出对各种器件的功能进 行控制的系统调用“ioctl()”。
在内核空间中由于该系统调用，通过器件驱动器而在声卡(声音再现 部16)的时钟发生器162中设定与声音数据的采样速率相同的时钟。由此， 能够在声卡(声音再现部16)侧，在对写入到声音再现用缓冲器164中的 声音数据块(相当于图像数据1帧的显示期间的声音数据)以D/A变换 器161进行了D/A变换之后，通过低通滤波器163作为声音信号进行输 出。
然后，在用户空间上发出“write()”的系统调用而将所解码了的声 音数据块(相当于图像的1帧的显示期间的声音数据)输出到声卡侧。但 是，在对系统调用进行处理的内核侧，在内核侧的声音数据缓冲器14(是 用于内核与各种器件之间的I/O的存储区域，在以下称为内核缓冲器14。) 中暂时写入数据。因为若内核缓冲器14未写满则不能向声卡侧输出数据， 所以优选相应于数据块的尺寸事先适当设定好使内核缓冲器14的尺寸小 等。通过这样，每次发出“write()”的系统调用，内核就将被提供的数 据块向声卡侧进行输出。
还有，从内核缓冲器14向声音再现用缓冲器164的数据的写入(传 送)，只要在声音再现用缓冲器164中没有空闲区域就不能进行。并且， 通过使“write()”的系统调用在阻塞模式下进行工作，用户空间中的进 程变成阻塞状态，跟在“write()”的系统调用之后的处理，通过内核所 阻塞。
在此，在声音再现部16中，若写入到了声音再现用缓冲器164中的声 音数据块输出到D/A变换器161，则在声音再现用缓冲器164中产生1 个声音数据块(相当于图像数据1帧的显示期间的声音数据)的量的空闲 区域。若在声音再现用缓冲器164中产生相当于图像数据1帧的显示期间 的声音数据块的量的空闲区域，则能够将写入到了内核缓冲器14中的声音 数据块传送到声音再现用缓冲器164中。
即，在跟在“write()”的系统调用之后的处理通过内核所阻塞之后， 若已经写入到声音再现用缓冲器164中的声音数据块输出到D/A变换器 161，即，若预定的数的声音数据采样输出到D/A变换器161(步骤S131)， 则在声音再现用缓冲器164中产生相当于图像数据1帧的显示期间的声音 数据块的量的可以写入的区域(步骤S132)。
若在声音再现用缓冲器164中产生相当于图像数据1帧的显示期间的 声音数据块的量的空闲区域，则写入到了内核缓冲器14中的声音数据块被 传送到声音再现用缓冲器164中(步骤S133)，若该声音数据块的传送结 束，则“write()”的系统调用结束(步骤S134)。
如此地，因为若从内核缓冲器14往声音再现用缓冲器164中传送声音 数据块，则“write()”的系统调用结束，所以在该时刻由内核产生的阻 塞得到解除(步骤S135)，转移到为下一步骤的图像数据的帧更新处理(此 变成图像再现同步信号。)。通过以该定时进行缓冲器翻转(buffer flip)、 比特块传送(bitblt)而实际上进行帧更新。
通过使如此的工作反复，能够每当相当于图像数据1帧的显示期间的 声音数据的数据块输出到D/A变换器161、就将图像再现同步信号输出 到图像再现部17。即在该方法中，利用在阻塞模式下发出了系统调用时的 内核的工作，采用非抢占式的多任务OS，能够取得比多任务OS任务调度 周期精细的定时，能够将该定时用作用于进行图像数据的帧更新的图像同 步再现信号输出定时。
还有，关于声音数据的采样速率和图像数据的帧速率不是整数比的情 况，在该实施方式2中的图像声音同步再现方法中，也能够采用与实施方 式1中的图像声音同步再现方法的情况同样的方法来处理。
以上，虽然对本发明的图像再现同步信号生成方法及图像声音同步再 现方法基于上述的各实施方式进行了说明，但是本发明并不限于上述的各 实施方式，在不脱离本发明的主旨的范围可以实施各种变形。
并且，本发明，并不限于上述的各实施方式1中的图像再现同步信号 生成方法、图像声音同步再现方法，也包括用于实施这些图像再现同步信 号生成方法、图像声音同步再现方法时的定时控制装置、图像声音同步再 现装置。并且，还包括具有使上述的定时控制装置执行图像再现同步信号 生成方法的顺序的图像再现同步信号生成程序、具有使上述的图像声音同 步再现装置执行图像声音同步再现方法的顺序的图像声音同步再现程序。 该情况下，这些图像再现同步信号生成程序、图像声音同步再现程序，也 能够预先记录于软盘、光盘、硬盘等的记录媒介物。从而，本发明，也包 括记录有这些程序的记录媒介物。不用说，本发明，还包括可以通过网络 而进行供给的程序。
权利要求书(按照条约第19条的修改)
1.一种生成用于将图像数据和声音数据同步再现的图像再现同步信 号的图像再现同步信号生成方法，其特征在于，包括：
能将相当于图像数据1帧的显示期间的1帧相当声音数据的输出采样 数，按图像数据的每帧进行设定的输出采样数设定步骤；
基于通过前述输出采样数设定步骤所设定的前述输出采样数，按图像 数据的每帧，取得前述1帧相当声音数据对于声音再现部的输出处理结束 定时的输出处理结束定时取得步骤；和
每次取得前述输出处理结束定时时，生成前述图像再现同步信号的图 像再现同步信号生成步骤。
2.按照权利要求1所述的图像再现同步信号生成方法，其特征在于：
在前述输出处理结束定时取得步骤中，将对于前述声音再现部所输出 的声音数据的输出采样数的计数值变成预定值的定时，作为前述输出处理 结束定时而取得。
3.按照权利要求1所述的图像再现同步信号生成方法，其特征在于：
在前述输出处理结束定时取得步骤中，将对设立于对于前述声音再现 部所输出的声音数据的预定位置的标志进行检测的定时，作为前述输出处 理结束定时而取得。
4.按照权利要求1所述的图像再现同步信号生成方法，其特征在于：
在前述输出处理结束定时取得步骤中，将对于前述声音再现部传送前 述1帧相当声音数据的数据块的定时，作为前述输出处理结束定时而取得。
5.按照权利要求1所述的图像再现同步信号生成方法，其特征在于：
采用非抢占式的多任务操作系统来生成前述图像再现同步信号。
6.按照权利要求5所述的图像再现同步信号生成方法，其特征在于：
在前述输出处理结束定时取得步骤中，将下述定时作为前述输出处理 结束定时而取得，该定时为：基于在前述1帧相当声音数据作为数据块对 于前述声音再现部传送时所发出的系统调用所设定了的阻塞模式，由于前 述1帧相当声音数据的数据块的传送结束而被解除的定时。
7.按照权利要求1～6中的任何一项所述的图像再现同步信号生成方 法，其特征在于：
在前述输出采样数设定步骤中，使得前述输出采样数的平均值与预定 值相等或相近似地，确定前述输出采样数。
8.按照权利要求7所述的图像再现同步信号生成方法，其特征在于：
前述输出采样数的确定，采用布勒森哈姆(Bresenham)算法而进行。
9.按照权利要求1～6中的任何一项所述的图像再现同步信号生成方 法，其特征在于：
在前述输出采样数设定步骤中，通过参照记载有基于声音数据的采样 速率和图像数据的帧速率而确定前述输出采样数的规则的表，确定前述输 出采样数。
10.一种图像再现同步信号生成程序，其特征在于，具有使定时控制 装置执行下述步骤的次序，该定时控制装置生成用于将图像数据和声音数 据同步再现的图像再现同步信号，上述步骤包括：
能将相当于图像数据1帧的显示期间的1帧相当声音数据的输出采样 数，按图像数据的每帧进行设定的输出采样数设定步骤；
基于通过前述输出采样数设定步骤所设定的前述输出采样数，按图像 数据的每帧，取得前述1帧相当声音数据对于声音再现部的输出处理结束 定时的输出处理结束定时取得步骤；和
每次取得前述输出处理结束定时时，生成前述图像再现同步信号的图 像再现同步信号生成步骤。
11.一种生成用于将图像数据和声音数据同步再现的图像再现同步信 号的定时控制装置，其特征在于：
将相当于图像数据1帧的显示期间的1帧相当声音数据的输出采样数， 按图像数据的每帧进行设定，基于所设定的前述1帧相当声音数据的输出 采样数，按图像数据的每帧，取得前述1帧相当声音数据对于声音再现部 的输出处理结束定时，每次取得前述输出处理结束定时时，生成图像再现 同步信号。
12.一种将图像数据和声音数据同步再现的图像声音同步再现方法， 其特征在于，包括：
能将相当于图像数据1帧的显示期间的1帧相当声音数据的输出采样 数，按图像数据的每帧进行设定的输出采样数设定步骤；
基于通过前述输出采样数设定步骤所设定的前述输出采样数，按图像 数据的每帧，取得前述1帧相当声音数据对于声音再现部的输出处理结束 定时的输出处理结束定时取得步骤；
每次取得前述输出处理结束定时时，生成图像再现同步信号的图像再 现同步信号生成步骤；和
通过前述图像再现同步信号而进行图像数据的帧更新的帧更新步骤。
13.一种图像声音同步再现程序，其特征在于，具有使图像声音同步 再现装置执行下述步骤的次序，该图像声音同步再现装置能将图像数据和 声音数据同步再现，上述步骤包括：
能将相当于图像数据1帧的显示期间的1帧相当声音数据的输出采样 数，按图像数据的每帧进行设定的输出采样数设定步骤；
基于通过前述输出采样数设定步骤所设定的前述输出采样数，按图像 数据的每帧，取得前述1帧相当声音数据对于声音再现部的输出处理结束 定时的输出处理结束定时取得步骤；
每次取得前述输出处理结束定时时，生成图像再现同步信号的图像再 现同步信号生成步骤；和
通过前述图像再现同步信号而进行图像数据的帧更新的帧更新步骤。
14.一种能将图像数据和声音数据同步再现的图像声音同步再现装置， 其特征在于，具有：
基于声音数据而进行声音再现处理的声音再现部，
基于图像数据而进行图像再现处理的图像再现部，和
将相当于图像数据1帧的显示期间的1帧相当声音数据的输出采样数， 按图像数据的每帧进行设定，基于所设定的前述1帧相当声音数据的输出 采样数，按图像数据的每帧，取得前述1帧相当声音数据对于声音再现部 的输出处理结束定时，每次取得前述输出处理结束定时时，生成图像再现 同步信号的定时控制部；
前述图像再现部，基于前述图像再现同步信号而进行帧更新。