但是,在前述专利文献2中记载的方法中,存在所谓对节目附加的“高潮 度”等信息的作成上花费非常大的成本的问题。
本发明是用于解决这样的以往的问题点的发明,目的是提供可以非常简 便地作成与长度匹配的摘要的摘要作成方法,以及执行该方法的装置和计算 机程序。
因此,在本发明中,在摘要作成装置中设置有:输入单元,输入重放信 息和指定摘要的长度的摘要条件信息,其中,重放信息包含用于确定重放视 频/声音的广播时间带的重放广播区间信息和用于确定重放视频/声音的实际 的摄影/收音时间带的重放参照区间信息;重放重要度计算单元,利用从重放 信息求出的重放的次数、重放广播区间和重放参照区间的规
定位置的间隔、 重放的广播时间长度、重放的广播速度或者重放的剪辑切换数的至少一个来 计算重放视频/声音的重要度,并且输出对重放信息附加了重要度的附带重要 度重放信息;以及摘要作成单元,接收附带重要度重放信息和摘要条件信息, 将重放视频/声音设定为摘要候选,在不超出被指定的摘要的长度的范围内, 选择重要度的总和为最大的一个或多个摘要候选的组合,并且输出用于确定 该摘要候选的取得目的地的信息。
在该装置中,利用可以容易地从广播设备的历史等得到的信息,从而可 以作成满足长度的条件的摘要信息。
而且,本发明的摘要作成装置的摘要作成单元在重放参照区间重复的多 个重放视频/声音内,将重要度不是最大的重放视频/声音从摘要候选中除去, 从而选择所述组合。
通过这样处理,可以在被指定的摘要的时间长中,作成包含较多信息的 摘要。
而且,在本发明中,摘要作成装置设置:输入单元,输入重放信息、指 定摘要的长度的摘要条件信息和表示视频/声音的区间的信息,其中,重放信 息包含用于确定重放视频/声音的广播时间带的重放广播区间信息和用于确 定重放视频/声音的实际的摄影/收音时间带的重放参照区间信息;重放重要度 计算单元,利用从重放信息求出的重放的次数、重放广播区间和重放参照区 间的规定位置的间隔、重放的广播时间长度、重放的广播速度或者重放的剪 辑切换数的至少一个来计算重放视频/声音的重要度,并且输出对重放信息附 加了重要度的附带重要度重放信息;以及摘要作成单元,接收附带重要度重 放信息和摘要条件信息,将包含重放视频/声音的重放参照区间的区间的视频 /声音设定为具有该重放视频/声音的重要度的摘要候选,在不超出被指定的摘 要的长度的范围内,选择重要度的总和为最大的一个或多个摘要候选的组合, 并且输出用于确定该摘要候选的取得目的地的信息。
在该装置中,可以在摘要中包含摘要被摄影/收音的重放视频/声音的时间 带的其它的视频/声音,取代重放视频/声音。
而且,在本发明中,摘要作成装置中设有:输入单元,输入重放信息、 指定摘要的长度的摘要条件信息和表示用于广播视频/声音的广播的剪辑的 切换点的剪辑确定信息,其中,重放信息包含用于确定重放视频/声音的广播 时间带的重放广播区间信息和用于确定重放视频/声音的实际的摄影/收音时 间带的重放参照区间信息;重放重要度计算单元,利用从重放信息求出的重 放的次数、重放广播区间和重放参照区间的规定位置的间隔、重放的广播时 间长度、重放的广播速度或者重放的剪辑切换数的至少一个来计算重放视频/ 声音的重要度,并且输出对重放信息附加了重要度的附带重要度重放信息; 以及摘要作成单元,接收附带重要度重放信息、摘要条件信息和剪辑确定信 息,将包含重放视频/声音的重放参照区间的广播的剪辑设定为具有该重放视 频/声音的重要度的摘要候选,在不超出被指定的摘要的长度的范围内,选择 重要度的总和为最大的一个或多个摘要候选的组合,输出该摘要候选的广播 区间信息。
在该装置中,可以在摘要中包含被摄影/收音的重放视频/声音的时间带的 广播的剪辑。
而且,在本发明的摘要作成装置中设有:输入单元,输入重放信息、指 定摘要的长度的摘要条件信息和表示被广播的视频/声音的场景的场景信息, 其中,重放信息包含用于确定重放视频/声音的广播时间带的重放广播区间信 息和用于确定重放视频/声音的实际的摄影/收音时间带的重放参照区间信息; 重放重要度计算单元,利用从重放信息求出的重放的次数、重放广播区间和 重放参照区间的规定位置的间隔、重放的广播时间长度、重放的广播速度或 者重放的剪辑切换数的至少一个来计算重放视频/声音的重要度,并且输出对 重放信息附加了重要度的附带重要度重放信息;以及摘要作成单元,接收附 带重要度重放信息、摘要条件信息和场景信息,将以包含重放视频/声音的重 放参照区间的场景信息区分的视频/声音的场景设定为具有该重放视频/声音 的重要度的摘要候选,在不超出被指定的摘要的长度的范围内,选择重要度 的总和为最大的一个或多个摘要候选的组合,并输出用于确定该摘要的候选 的取得目的地的信息。
在该装置中,可以在摘要中包含被摄影/收音的重放视频/声音的时间带的 视频/声音的场景。
而且,该装置的摘要作成单元对应于重放视频/声音的重要度,改变包含 重放参照区间的视频/声音的场景的大小。
因此,可以在重放视频/声音的重要度高的情况下,选择长的场景,在重 放视频/声音的重要度低的情况下选择短的场景。
而且,本发明的摘要作成装置的重放重要度计算单元对于重放广播区间 连续,并且重放参照区间不重复的多个重放视频/声音,将重要度相加。
因此,作为精彩场景被广播的多个重放容易被取入摘要,摘要的
质量提 高。
而且,在本发明的摘要作成方法中,从包含用于确定重放视频/声音的广 播时间带的重放广播区间信息和用于确定重放视频/声音的实际的摄影/收音 时间带的重放参照区间信息的重放信息,求重放的次数、重放广播区间和重 放参照区间的规定位置的间隔、重放的广播时间长度、重放的广播速度或者 重放的剪辑切换数的至少一个,并且利用得到的值来计算重放视频/声音的重 要度,将重放视频/声音设定为摘要候选,在不超出被指定的摘要的长度的范 围内,选择重要度的总和为最大的一个或多个摘要候选的组合,输出用于确 定该摘要候选的取得目的地的信息。
在该方法中,利用可以容易地从广播设备的历史等得到的信息,可以作 成满足长度的条件的摘要信息。
而且,在存在多个重放参照区间重复的重放视频/声音的情况下,在重放 视频/声音内,将重要度不是最大的重放视频/声音从摘要候选中除去,从而选 择组合。
通过这样的处理,可以在被指定的摘要的时间长度中,作成包含较多信 息的摘要。
而且,在本发明的摘要作成方法中,从包含用于确定重放视频/声音的广 播时间带的重放广播区间信息和用于确定重放视频/声音的实际的摄影/收音 时间带的重放参照区间信息的重放信息,求重放的次数、重放广播区间和重 放参照区间的规定位置的间隔、重放的广播时间长度、重放的广播速度或者 重放的剪辑切换数的至少一个,并且利用得到的值来计算重放视频/声音的重 要度,将包含重放视频/声音的重放参照区间的区间的视频/声音设定为具有该 重放视频/声音的重要度的摘要候选,在不超出被指定的摘要的长度的范围 内,选择重要度的总和为最大的一个或多个摘要候选的组合,输出用于确定 该摘要候选的取得目的地的信息。
在该方法中,可以在摘要中包含被摄影/收音的重放视频/声音的时间带的 视频/声音,取代重放视频/声音。
而且,在本发明的摘要作成方法中,从包含用于确定重放视频/声音的广 播时间带的重放广播区间信息和用于确定重放视频/声音的实际的摄影/收音 时间带的重放参照区间信息的重放信息,求重放的次数、重放广播区间和重 放参照区间的规定位置的间隔、重放的广播时间长度、重放的广播速度或者 重放的剪辑切换数的至少一个,并且利用得到的值来计算重放视频/声音的重 要度,将包含重放视频/声音的重放参照区间的视频/声音的广播的剪辑设定为 具有该重放视频/声音的重要度的摘要候选,在不超出被指定的摘要的长度的 范围内,选择重要度的总和为最大的一个或多个摘要候选的组合,输出该摘 要候选的广播区间信息。
在该方法中,可以在摘要中包含重放视频/声音被摄影/收音的时间带的广 播的剪辑,取代重放视频/声音。
而且,在本发明的摘要作成方法中,从包含用于确定重放视频/声音的广 播时间带的重放广播区间信息和用于确定重放视频/声音的实际的摄影/收音 时间带的重放参照区间信息的重放信息,求重放的次数、重放广播区间和重 放参照区间的规定位置的间隔、重放的广播时间长度、重放的广播速度或者 重放的剪辑切换数的至少一个,并且利用得到的值来计算重放视频/声音的重 要度,将以包含重放视频/声音的重放参照区间的场景信息区分的视频/声音的 场景设定为具有该重放视频/声音的重要度的摘要候选,在不超出被指定的摘 要的长度的范围内,选择重要度的总和为最大的一个或多个摘要候选的组合, 输出用于确定该摘要候选的取得目的地的信息。
在该方法中,可以在摘要中包含重放视频/声音被摄影/收音的时间带的视 频/声音的场景,取代重放视频/声音。
而且,在该方法中,对应于重放视频/声音的重要度,改变包含重放参照 区间的视频/声音的场景的大小。
而且,对于重放广播区间连续,并且重放参照区间不重复的多个重放视 频/声音,将重要度相加。
通过这样处理,在精彩场景中被采纳的重放视频/声音的重要度变高。
而且,本发明的
计算机程序使计算机执行以下步骤:从包含用于确定重 放视频/声音的广播时间带的重放广播区间信息和用于确定重放视频/声音的 实际的摄影/收音时间带的重放参照区间信息的重放信息,求重放的次数、重 放广播区间和重放参照区间的规定位置的间隔、重放的广播时间长度、重放 的广播速度或者重放的剪辑切换数的至少一个,并且利用得到的值来计算重 放视频/声音的重要度的步骤;以及将重放视频/声音设定为摘要候选,在不超 出被指定的摘要的长度的范围内,选择重要度的总和为最大的一个或多个摘 要候选的组合的步骤。
而且,使计算机执行以下步骤的程序:从包含用于确定重放视频/声音的 广播时间带的重放广播区间信息和用于确定重放视频/声音的实际的摄影/收 音时间带的重放参照区间信息的重放信息,求重放的次数、重放广播区间和 重放参照区间的规定位置的间隔、重放的广播时间长度、重放的广播速度或 者重放的剪辑切换数的至少一个,并且利用得到的值来计算重放视频/声音的 重要度的步骤;以及将包含重放视频/声音的重放参照区间的区间的视频/声音 设定为具有该重放视频/声音的重要度的摘要候选,在不超出被指定的摘要的 长度的范围内,选择重要度的总和为最大的一个或多个摘要候选的组合的步 骤。
而且,使计算机执行以下步骤的程序:从包含用于确定重放视频/声音的 广播时间带的重放广播区间信息和用于确定重放视频/声音的实际的摄影/收 音时间带的重放参照区间信息的重放信息,求重放的次数、重放广播区间和 重放参照区间的规定位置的间隔、重放的广播时间长度、重放的广播速度或 者重放的剪辑切换数的至少一个,并且利用得到的值来计算重放视频/声音的 重要度的步骤;以及将包含重放视频/声音的重放参照区间的视频/声音的广播 的剪辑设定为具有该重放视频/声音的重要度的摘要候选,在不超出被指定的 摘要的长度的范围内,选择重要度的总和为最大的一个或多个摘要候选的组 合的步骤。
而且,使计算机执行以下步骤的程序:从包含用于确定重放视频/声音的 广播时间带的重放广播区间信息和用于确定重放视频/声音的实际的摄影/收 音时间带的重放参照区间信息的重放信息,求重放的次数、重放广播区间和 重放参照区间的规定位置的间隔、重放的广播时间长度、重放的广播速度或 者重放的剪辑切换数的至少一个,并且利用得到的值来计算重放视频/声音的 重要度的步骤;对应于重放视频/声音的重要度,选择以场景信息区分的视频 /声音的场景的级的步骤;以及将包含重放视频/声音的重放参照区间的视频/ 声音的级中的场景设定为具有该重放视频/声音的重要度的摘要候选,在不超 出被指定的摘要的长度的范围内,选择重要度的总和为最大的一个或多个摘 要候选的组合的步骤。
将这些程序安装在摘要作成装置中,可以实现重放重要度计算单元和摘 要作成单元的功能。
在本发明的摘要作成装置和摘要作成方法中,利用可以从广播设备的历 史信息等容易地得到的信息,可以生成对应于被指定的长度的摘要信息。而 且,在提供广播的场景信息的情况下,可以在摘要中包含重放视频被拍摄的 时间带的本广播的场景,根据重要度改变场景的长度等,可以提高摘要的质 量。
附图说明
图1是表示本发明的第1实施方式中的摘要作成装置的结构的方
框图。
图2是说明重放广播区间和重放参照区间的图。
图3是说明本发明的第1实施方式中的摘要作成装置使用的信息的图。
图4是表示本发明的第1实施方式中的重放信息的数据结构的图。
图5是表示重放和重放信息的关系的具体例。
图6是表示本发明的第1实施方式中的摘要作成装置的各部分中输入的 信息的图。
图7是表示本发明的第1实施方式中的摘要条件信息的数据结构的图。
图8是表示本发明的第1实施方式中的附带重要度重放信息的数据结构 的图。
图9是表示本发明的第1实施方式中的摘要信息的数据结构的图。
图10是表示本发明的第1实施方式中的摘要作成装置的处理步骤的流程 图。
图11是说明本发明的第1实施方式中的重放重要度的计算方法的图。
图12是表示本发明的第1实施方式中的摘要作成单元的处理步骤的流程 图。
图13是表示1台摄影机的情况下的重放和重放信息的关系的图。
图14是说明本发明第2实施方式中的摘要作成方法的图。
图15是表示本发明的第2实施方式中的摘要作成单元的处理步骤的流程 图。
图16是对本发明的第2实施方式中的摘要作成方法进行了图解的图。
图17是说明本发明的第3实施方式中的摘要作成方法的图。
图18是表示本发明的第3实施方式中的摘要作成装置的处理步骤的流程 图。
图19是表示本发明的第3实施方式中的摘要作成方法中的重要度计算例 的图。
图20是说明本发明的第4实施方式中的摘要作成方法的图。
图21是说明本发明的第4实施方式中的摘要作成方法的图。
图22是表示本发明的第4实施方式中的摘要作成单元的处理步骤的流程 图。
图23是说明本发明的第4实施方式中的区分级决定方法的图。
图24是对本发明的第4实施方式中的摘要信息作成步骤进行了图解的 图。
图25是表示本发明的第5实施方式中的摘要作成装置的结构的方框图。
图26是表示本发明的第5实施方式中的第1重放信息的数据结构的图。
图27是表示本发明的第5实施方式中的第2重放信息的数据结构的图。
图28是表示本发明的第5实施方式中的附带重要度重放信息的数据结构 的图。
图29是表示本发明的第5实施方式中的摘要作成装置的处理步骤的流程 图。
图30是表示本发明的第5实施方式中的在
数据库中被管理的赋权规则设 定表的图。
图31是对比赛的前半和后半中发生事件的重放的不同进行说明的图。
图32是对连续使用相同事件的重放时的间隔重要度的计算方法进行说 明的图。
图33是说明利用
阈值对事件之后使用的重放计算间隔重要度的图。
图34是说明在直播节目以外使用的重放重要度的计算方法的图。
图35是表示以往的摘要作成装置的结构的方框图。
标号说明
10摘要作成装置
20输入单元
30重放重要度计算单元
31第1重放重要度计算单元
32第2重放重要度计算单元
40摘要作成单元
50输出单元
60赋权规则设定数据库
70编辑设备
80转换器
100中央装置
200接收终端
(第1实施方式)
在本发明的实施方式中,对串接已选择的重放视频来作成棒球等体育直 播中的摘要的情况进行说明。如图2所示,在体育直播中,在比赛的实况视 频的中途,屡次插入并广播过去的视频的重放视频。这里,是将重放视频被 实际拍摄的时间带称为“重放参照区间”,将重放视频被广播的时间带称为“重 放广播区间”。如图3所示,重放参照区间是在广播台内,以监视各摄影机的 视频的操作者从编辑设备指定摄影机号码从而进行了“Q打”的操作的时刻为 开始时刻,以下一个“Q打”操作结束。而且,重放广播区间是以操作者从转 换器(switcher)进行了“重放/开始”的操作的时刻为开始时刻,以返回至直接 广播的操作结束。
在本发明的第1实施方式中的摘要作成方法中,根据用于表示重放参照 区间的开始时刻和结束时刻的“重放参照区间信息”、表示重放视频的摄影摄 影机的“摄影机信息”、以及表示重放广播区间的开始时刻和结束时刻的“重放 广播区间信息”(将这些信息总称为“重放信息”),选择应取入摘要的重放视 频。
图1表示实施该方法的摘要作成装置10的结构。该装置10包括:从编 辑设备70和转换器80输入重放信息的输入单元20、计算被输入的各重放视 频信息的重要度的重放重要度计算单元30、与摘要的长度匹配而选择重要度 高的重放视频信息并作成摘要信息的摘要作成单元40、输出被作成的摘要信 息的输出单元50。而且,重放重要度计算单元30和摘要作成单元40由摘要 作成装置10中内置的计算机执行规定动作的程序来实现。
图4表示输入单元20中输入的重放信息的数据结构。在重放信息中,除 了用于识别各重放的重放号码,还包括重放广播区间开始时刻、重放广播区 间结束时刻、重放参照区间开始时刻、重放参照区间结束时刻以及摄影摄影 机号码的信息。在图5中示意地表示被插入本广播的重放视频(a)、和重放 信息的数据内容(b)的关系。
而且,图6表示在摘要作成装置10的各部分中输入输出的信息。在输入 单元20中,从编辑设备70和转换器80输入重放信息(图4),而且,输入 用于指定摘要的长度的摘要条件信息。该摘要条件信息在摘要作成装置10位 于广播接收侧的情况下,通过要以摘要来视听被直播的比赛内容的用户的操 作来输入,并且在位于广播发送侧的情况下,通过要提供已对比赛内容进行 摘要的摘要节目的编辑者的操作来输入。而且,广播发送侧的编辑者也可以 决定摘要的长度,并将其发送到广播接收侧的摘要作成装置。在图7中,表 示摘要条件信息的数据结构。输入单元20将重放信息输出到重放重要度计算 单元30,并将摘要条件信息输出到摘要作成单元40。
重放重要度计算单元30计算各摘要信息的重要度,将附带重要度的重放 信息输出到摘要作成单元40。在图8中表示附带重要度的重放信息的数据结 构。摘要作成单元40根据附带重要度重放信息(图8)所示的各重放信息的 重要度和摘要条件信息(图7)的指定条件,在作成指定长度的摘要后选择 要被组合的重放视频,并将摘要信息输出到输出单元50。在图9中表示摘要 信息的数据结构。输出单元50将该摘要信息输出到外部。
接着,对用于计量重放信息的重要度的观点进行说明。
(a)重放次数:在重放次数为“多”的情况下,由于认为制作者重点强调, 所以重要度高。
(b)重放广播区间和重放参照区间的间隔:重放广播区间开始时刻和重 放参照区间开始时刻的间隔为“宽”的情况下,从比赛整体进行评价,由于认 为是制作者想使其看到的场景,所以重要度高。
(c)重放的长度:重放广播区间为“长”的情况下,由于被认为是要进行 更长时间说明的部分,所以重要度高。
(d)重放的再现速度:在再现速度“慢”的情况下,由于被认为是要进行 更详细的说明的部分,所以重要度高。
(e)重放广播区间的剪辑切换数:如图5的重放3那样,在重放广播区 间剪辑的切换数为“多”的情况下,由于认为利用各种角度的场景而重点强调, 所以重要度高。
图10表示该摘要作成装置10的处理步骤。输入单元20取得重放信息(步 骤1)。重放重要度计算单元30对于取得的重放信息,从即使重放参照区间 只有一部分重叠的重放的个数计算基于“(a)重放次数”的观点的重要度(次 数重要度)(步骤2-1),而且,由重放广播区间开始时刻和重放参照区间开始 时刻的差计算“(b)重放广播区间和重放参照区间的间隔”的观点的重要度(间 隔重要度)(步骤2-2),而且,由重放广播区间结束时刻和重放广播区间开始 时刻的差计算基于“(c)重放的长度”的观点的重要度(长度重要度)(步骤 2-3),而且,从重放广播区间结束时刻和重放广播区间开始时刻的差和重放 参照区间结束时刻和重放参照区间开始时刻的差的比率计算基于“(d)重放 的再现速度”的观点的重要度(再现速度重要度)(步骤2-4),而且,由重放 信息的重放参照区间开始时刻的数量计算基于“(e)重放广播区间的剪辑切 换数”的观点的重要度(切换数重要度)(步骤2-5)。
接着,根据次数重要度、间隔重要度、长度重要度、再现速度重要度以 及切换数重要度,例如对各重要度乘以加权系数α,通过取它们的总和而计算 重放重要度,并且附加到各重放信息(步骤3)。重复这样的处理,直至对全 部重放信息附加重要度(步骤4)。
例如,在图5的重放1的情况下,如图11所示,因为次数重要度为1(次), 间隔重要度为120(秒),长度重要度为20(秒),再现速度重要度为1(倍 速),而且,切换数重要度为1(次),所以重放重要度R1为:
R1=α1·(次数重要度)+α2·(间隔重要度)+α3·(长度重要度)+α4·(再 现速度重要度)+α5·(切换数重要度)
=α1·1+α2·120+α3·20+α4·1+α5·1
这里,在设α1=α2=α3=α4=α5时,
R1=143。
以同样的步骤,重放2的重要度R2和重放3的重要度R3如下。
R2=1+105+15+1+1=123
R3=1+50+25+1+2=79
重放重要度计算单元30对各重放信息附加这样求出的重要度而作成附 带重要度重放信息(图),将其输出到摘要作成单元40。
摘要作成单元40在重放的组合中,选择最接近由摘要条件信息指定的长 度,并且重要度的和为最大的组合,作成摘要信息(步骤5)。
在图12中表示这时的摘要作成单元40中的详细步骤。摘要作成单元40 接收附带重要度重放信息和摘要条件信息(步骤61),将全部的重放作为候 选(在作成摘要以后,考虑组合的要素)而进行以下的处理(步骤62)。
首先,判定摘要候选的重放的总时间长度是否超过了被指定的摘要的长 度(步骤63)。在超出时,举出全部收敛到被指定的摘要的长度的摘要候选 的组合(步骤65),对每个举出的组合计算重放重要度的总和(步骤66),选 择重放重要度的总和最大的重放的组合(步骤67),将选择的组合的重放按 照时间系列排列,作成摘要信息(步骤68)。而且,在步骤63中,摘要候选 的重放的总时间长度在没有超出被指定的摘要的长度时,选择在摘要候选中 包含的全部重放(步骤S64),进行步骤68的处理。
在图5的情况下,在将由摘要条件信息指定的摘要的长度设为40秒时, 收敛到40秒的重放的组合为“仅重放1”“仅重放2”“仅重放3”“重放1+重放2” 和“重放2+重放3”五个,各个重放重要度的总和如下所述。
“仅重放1”:143
“仅重放2”:123
“仅重放3”:79
“重放1+重放2”:266
“重放2+重放3”:211
其结果,选择重放重要度的总和最大的“重放1+重放2”,将这些重放按 照时间序列排列,作成摘要信息。
摘要作成装置10的输出单元50输出摘要作成单元40作成的摘要信息 (步骤6)。按照该摘要信息(图9),通过从积累的本广播视频中,仅依次显 示由摘要信息指定的重放广播区间开始时刻起至重放广播区间结束时刻为止 的重放视频,可以显示不超过被指定的长度的摘要。
这样,在该摘要作成方法中,可以仅利用容易得到的广播设备的历史(Q 打的时刻,
开关的切换信息等)的信息,作成指定长度的摘要。
而且,重放信息也可以复用在本广播视频中而进行提供,或者也可以在 比赛结束后汇总全部的重放信息来提供,或汇总一定期间内包含的重放视频 的重放信息而定期地提供。而且,也可以根据广播的种类(体育节目、新闻 节目等)或视听者的嗜好,变更重要度计算的加权系数。
而且,在本实施方式1中,对使用同一广播台在同一比赛中广播的重放, 即在直播节目内使用的重放来计算重要度的情况进行了说明,但是不必要仅 限制于此。有时也参照其它频道(包含多频道)或其它比赛中曾经使用的重 放,例如,以新闻节目或体育节目等进行参照。在这样的情况下,也可以对 该重放附加重要度。由此,可以将在直播节目以外的节目中使用的重放使用 在摘要中。
而且,本实施方式1的摘要作成装置也可以设置在接收台侧的接收终端 上,作成视听者用于进行摘要视听的摘要信息来使用。而且,也可以设置在 广播台侧的中央装置中,输出用于对比赛内容进行了摘要的摘要节目作成的 摘要信息。或者,也可以输出用于通过广播对接收终端提供的摘要信息。在 重放信息和摘要条件信息的取得中,可以使用“广播”“分配”“经由网络”等。
而且,也可以将摘要作成装置的一部分功能
块包含在中央装置中,将其 它功能块包含在接收终端中。例如,有在中央装置中设置重放重要度计算单 元30和摘要作成单元40的情况,或者将重放重要度计算单元30设置在中央 装置,将摘要作成单元40设置在接收终端的情况,或者将重放重要度计算单 元30和摘要作成单元40设置在接收终端等情况,在任意一种情况下都可以 在中央装置侧或者接收终端侧作成收敛到设定的摘要条件信息的摘要信息, 而且,可以在两个装置间分担摘要作成处理的负荷,或者作成还考虑了用户 的嗜好的摘要信息等。而且,在中央装置中,作成了摘要信息的情况下,或 者作成了附带重要度重放信息等的情况下,既可以在数据库(未图示)中管 理该各信息,也可以在接收终端与中央装置之间进行了双方向的通信后,取 得在数据库中管理的该各信息。由此,可以在两装置间高效率地进行摘要作 成处理。
(第2实施方式)
在本发明的第2实施方式中的摘要作成方法中,将重放参照区间不重叠 的重放视频取入摘要中,从而提高摘要的质量。
如图14所示,在本广播视频中插入了重放1~4的情况下,如果计算重 要度,则“重放1+重放2+重放3”比“重放1+重放3+重放4”高。但是,“重 放1+重放2+重放3”包含重放参照区间重复的“重放1”和“重放2”,另一 方面,“重放1+重放3+重放4”不包含重放参照区间重复的重放(即,相同 内容的视频),所以“重放1+重放3+重放4”具有较多的信息量。因此,这时, 通过选择“重放1+重放3+重放4”,摘要的质量提高。
进行该方法的摘要作成装置的结构与第1实施方式(图1、图6)相比没 有变化。重放重要度计算单元30通过与第1实施方式相同的处理来计算各重 放的重要度,将附带重要度的重放信息输出到摘要作成单元40。
摘要作成单元40按照图15所示的步骤作成摘要信息。摘要作成单元40 接收附带重要度摘要信息和摘要条件信息(步骤61),将全部重放视为摘要 候选(步骤62),判定摘要候选的重放的总时间长度是否超过被指定的摘要 的长度(步骤63)。如果超过时,则调查重放参照区间有无重复的重放信息 (步骤631),在存在重复的重放的情况下,将重放重要度最小者从摘要候选 中删除(步骤632)。
之后的处理与第1实施方式相同,举出全部收敛到指定的摘要长度的摘 要候选的组合(步骤65),对举出的每个组合计算重放重要度的总和(步骤 66),选择重放重要度的总和最大的重放的组合(步骤67),将选择的组合的 重放按照时间序列排列,作成摘要信息(步骤68)。而且,在步骤63中,在 全部重放的总时间长度都未超过指定的摘要长度时,选择全部重放(步骤64), 进行步骤68的处理。
图16对图14的情况下摘要的长度被指定为110秒时的处理步骤进行图 解。
(a)将全部重放作为摘要候选时的重放的总时间长度为160秒,超过 110秒。
(b)因此,检测重放参照区间重复的重放。由于重放1和重放2重复, 所以重放重要度最小的重放2从摘要候选中删除。
(c)其结果,摘要候选缩小为重放1、重放3、重放4,其总时间长度 为120秒,超过指定的长度(110)秒。
(d)因此,(由于参照区间重复的重放已不存在)以重放1、重放3、重 放4为对象,列举不超过110秒的组合,计算重放重要度的总和。
(e)在该组合内,重要度的总和最高的一个,是重放1+重放3的组合。
(f)选择重放1+重放3的组合,将重放1、重放3按照时间序列排列 而成为最终的摘要。
这样,在本实施方式2中,通过从重放参照区间重叠的重放中仅选择一 个摘要候选,可以提高摘要的信息量。
(第3实施方式)
在体育直播中,在此前的精彩场景场面被多次重放。在本发明的第3实 施方式中的摘要作成方法中,对该精彩场景赋予高的评价而实现摘要的质量 的提高。精彩场景是在整个比赛中将被认为重要的重放集中的场景,通过将 称为精彩场景的状态反映在摘要作成中,摘要的质量提高。
图17表示精彩场景和通常的重放的不同。精彩场景由重放广播区间连 续,并且重放参照区间不重复的多个重放构成。即使多个重放的广播区间连 续,但在它们的重放参照区间重复的情况下,是通常的重放,不是精彩场景。
进行该摘要作成方法的装置的结构与第1实施方式(图1、图6)相同。 只是在重放重要度计算单元30作为计量重放信息的重要度的观点之一,着眼 于精彩场景,并且对于精彩场景附加重要度(精彩场景重要度)这一点有所 不同。
图18表示包含了该重放重要度计算单元30的处理的摘要作成装置10 的处理步骤。重放重要度计算单元30对于从输入单元20发送的重放信息, 计算次数重要度(步骤2-1)、间隔重要度(步骤2-2)、长度重要度(步骤2-3)、 再现速度重要度(步骤2-4)以及切换数量重要度(步骤2-5)的同时,重放 广播区间连续而重放参照区间不重复的情况下,将它们的重放组判定为精彩 场景,对于各个重放设定精彩场景重要度(步骤2-6)。
接着,从计算次数重要度、间隔重要度、长度重要度、再现速度重要度、 切换数重要度以及精彩场景重要度计算重放重要度,并对重放信息附加(步 骤3)。重复这样的处理直至对全部重放信息附加重放重要度(步骤4)。从重 放重要度计算单元30接收了附带重要度重放信息的摘要作成单元40的动作 与第1实施方式相同。
在图19所示的重放1~5的情况下,对于各重放,除了次数、间隔、长 度、再现速度、切换数,还判定各个重放是否为精彩场景。重放1和重放2 重放广播区间虽然连续,但是重放参照区间重复,所以不是精彩场景。另一 方面,重放3、重放4和重放5重放广播区间连续,重放参照区间不重复, 所以被判定为精彩场景。因此,对重放3、重放4、重放5的各个重放设定精 彩场景重要度。如果比较重放1和重放5的重要度,则结果如下。
重放1的重要度=次数重要度+间隔重要度+长度重要度+再现速度重 要度+切换数重要度
=1+60+40+1+1=103
重放5的重要度=次数重要度+间隔重要度+长度重要度+再现速度重 要度+切换数重要度+精彩场景重要度
=1+60+20+1+1+30=113
这样,在本实施方式3中,通过提高精彩场景广播区间的重放视频的重 放重要度,可以将节目的制作者判断为重要的精彩场景视频取入摘要中。
(第4实施方式)
在本发明的第4实施方式中,对利用重放视频以外的视频来作成摘要的 方法进行说明。在该方法中,与重放信息一起取得实况视频的剪辑切换点的 信息,如图20所示,取代在摘要中使用重放视频,而在摘要中使用包含重放 参照区间的实况视频的剪辑(即,实际拍摄该重放视频的时间带的实况视频)。
进行该方法的摘要作成装置的结构与第1实施方式(图1、图6)相同。 只是在以下方面有所不同,即在输入单元20中,与重放信息一起输入由广播 设备的操作历史得到的实况视频的剪辑切换点的信息,并且摘要作成单元40 从附带重要度重放信息中包含的重放参照区间的信息和剪辑切换点的信息中 确定包含重放参照区间的实况视频的剪辑(有时也有涵盖多个的情况),将该 剪辑视为附加了重要度的摘要候选,作成摘要信息。
而且,在输入单元20中与重放信息一起赋予了场景信息(表示有意义的 视频的区分的信息)的情况下,可以取代在摘要中使用重放视频而在摘要中 使用包含重放参照区间的实况视频的场景。
例如,如图21所示,在棒球直播中,在提供了用于表示局的区分的场景 信息、用于表示击球者的区分的场景信息以及用于表示投球的区分的场景信 息的情况下,可以将包含重放参照区间的局的场景作为摘要候选,或者将包 含重放参照区间的击球者的场景作为摘要候选,或者将包含重放参照区间的 投球的场景作为摘要候选。而且,可以如下所述那样,在重放的重要度高时, 将局的场景设为摘要候选,在重放的重要度低时,将投球的场景设定为摘要 候选,根据重放重要度来改变区分的场景的大小。
图22表示这时的摘要作成单元40中的处理步骤。摘要作成单元40如果 接收附带重要度重放信息、摘要条件信息以及场景信息(步骤611),则空出 摘要候选而进行以下的处理(步骤612)。通过重放的重要度的值,决定区分 场景的级(步骤614),利用场景信息,从被指定的级取得包含有重放的重放 参照区间的场景的区间(步骤615),将取得的场景的区间追加到摘要候选中 (步骤616)。
对全部的重放重复该处理,并且对于全部的重放对场景信息的对应结束 时(步骤613),判断摘要候选的场景区间的总时间长度是否超过被指定的摘 要的长度(步骤631),在超过的情况下,举出全部收敛到被指定的摘要的长 度的摘要候选的组合(步骤65),对于每个被举出的组合,计算重放重要度 的总和(步骤66),选择重放重要度的总和最大的摘要候选的组合(步骤67), 将选择的组合的场景区间按照时间序列排列,作成摘要信息(步骤681)。而 且,在步骤631中,全部的场景区间的总时间长度在未超过被指定的摘要的 长度时,选择全部的场景区间(步骤641),进行步骤681的处理。
图23和图24对这时的处理进行图解。重要度高的重放1将区分场景的 单位(级)决定为“以局的区分”,重要度低的重放2将其决定为“以投球的区 分”,重要度中等的重放3将其决定为“以击球者的区分”。从场景信息取得包 含重放1的参照区间的“以局的区分”,包含重放2的参照区间的“以投球的区 分”,包含重放3的参照区间的“以击球者的区分”,并且将它们作为摘要候选。
图24(a1)表示对应于重放1的摘要候选的场景,图24(a2)表示对应于重 放3的摘要候选的场景,图24(a3)表示对应于重放2的摘要候选的场景。
在摘要的长度被指定为160秒时,使用这三个摘要候选求出收敛于160 秒的摘要候选的全部组合,选择其中重要度的总和最大的组合。这时,选择 图24(b)所示的组合。实际上,利用该摘要信息而被视听的摘要如图24(c) 所示,成为与“第2局上半场”的场景区间对应的本广播视频部分(实况1的 一部分)和与“击球者1”对应的本广播视频(实况3的一部分)那样。
这样,在本实施方式4中,通过在摘要中使用包含重放参照区间的本广 播视频的剪辑或场景,容易理解在重放视频中被放映的比赛是在什么样的状 况下发生的,可以提高摘要的质量。
而且,场景的时间的区分虽然可以使用上述的区分,但是作为摘要使用 的视频,也可以使用本广播视频以外的视频(本广播以外的其它摄影机的视 频等)。而且,这里,虽然对于1重放,使一个场景的区间对应,仅利用场景 的区间来作成摘要,但是不一定限制于此,也可以组合重放、场景的区间两 方来作成摘要。
(第5实施方式)
如由上述实施方式的说明可知的那样,各重放信息的重要度的计算如果 大致区分,则可以被分为两个阶段,在进行了重放的次数、间隔、时间的长 度、广播速度、或者剪辑切换数等的重要度的计算后,进行该重放信息的重 要度的计算。在本发明的第5实施方式中的摘要作成方法中,对将实施方式 1中所示的重放重要度计算单元30的结构分为第1重放重要度计算单元31 和第2重放重要度计算单元32,分为广播台侧具有的中央装置100和接收台 侧具有的接收终端200来作成摘要的方法进行说明。
如图25所示,包括:输入单元20,在中央装置100中从编辑设备70和 转换器80(图1)输入第1重放信息;以及第1重放重要度计算单元31,取 得第1重放信息,并从该信息计算次数重要度、间隔重要度、长度重要度、 再现速度重要度、切换数重要度等,作成对应于各重要度和第1重放信息的 第2重放信息。
图26表示输入到输入单元20的第1重放信息的数据结构。第1重放信 息中除了用于识别各重放的重放号码,还包含重放广播区间开始时刻、重放 广播区间结束时刻、重放参照区间开始时刻、重放参照区间结束时刻以及摄 影摄影机号码的信息。而且,本实施方式的第1重放信息与在第1实施方式 中表示的重放信息的数据结构相同。
而且,图27表示由第1重放重要度计算单元31作成的第2重放信息的 数据结构。第2重放信息将从第1重放信息所示的各个信息计算的次数重要 度、间隔重要度、长度重要度、再现速度重要度、切换数重要度等与第1重 放信息对应。例如,在图5的重放1的情况下,如图11所示,次数重要度为 1(次),间隔重要度为120(秒),长度重要度为20(秒),再现速度重要度 为1(倍速),而且切换数重要度为1(次),第2重放信息将这些各重要度与 第1重放信息对应。
另一方面,在接收终端200具有:第2重放重要度计算单元32,取得从 中央装置100送出的第2重放信息,并且根据赋权规则设定数据库60管理 的加权系数,调整在第2重放信息中表示的各重要度从而计算该重放信息的 重要度,输出附带重要度重放信息;作成摘要信息的摘要作成单元40,取得 该附带重要度重放信息和通过用户的操作输入的摘要条件信息(摘要的长 度),选择与摘要的长度匹配的重要度高的重放信息;以及输出被作成的摘要 信息的输出单元50。而且,中央装置100的第1重放重要度计算单元31、接 收终端200的第2重放重要度计算单元32和摘要作成单元40通过内置在各 个装置100或者终端200的计算机执行规定动作的程序来实现。
图29表示在中央装置100中取得第1重放信息开始,到在接收终端200 中输出摘要信息为止的处理步骤。中央装置100中的输入单元20取得第1重 放信息(步骤1)。第1重放重要度计算单元31对于第1重放信息,从即使 重放参照区间只有一部分重叠的重放的个数计算基于“(a)重放次数”的观点 的重要度(次数重要度)(步骤2-1),而且,从重放广播区间开始时刻和重放 参照区间开始时刻的差计算基于“(b)重放广播区间和重放参照区间的间隔” 的观点的重要度(间隔重要度)(步骤2-2),而且,从重放广播区间结束时 刻和重放广播区间开始时刻的差计算基于“(c)重放的长度”的观点的重要度 (长度重要度)(步骤2-3),而且,从重放广播区间结束时刻和重放广播区间 开始时刻的差、以及重放参照区间结束时刻和重放参照区间开始时刻的差的 比率计算基于“(d)重放的再现速度”的观点的重要度(再现速度重要度)(步 骤2-4),而且,从重放信息的重放参照区间开始时刻的数量计算基于“(e) 重放广播区间的剪辑切换数”的观点的重要度(切换数重要度)(步骤2-5)。
第1重放重要度计算单元31重复进行这样的处理,直至对全部的重放信 息计算各重要度(步骤3),在该处理已结束的情况下,将第2重放信息送至 接收终端200的第2重放重要度计算单元32(步骤4)。
第2重放重要度计算单元32取得从中央装置100的第1重放重要度计算 单元31送出的第2重放信息(步骤5)。按照该信息,第2重放重要度计算 单元32从赋权规则设定数据库60取得对每个种类管理的赋权规则设定表(图 30),根据该表中所示的加权系数,调整第2重放信息中所示的各重要度。
例如,在被输入的第1重放信息表示棒球的情况下,如图30所示,由于 次数重要度、间隔重要度、长度重要度、再现速度重要度、切换数重要度的 加权系数分别为α1=1.5,α2=1.5,α3=1,α4=0.5,α5=1,所以图5的重 放1的重要度R1为:
R1=α1·(次数重要度)+α2·(间隔重要度)+α3·(长度重要度)+α4·(再 现速度重要度)α5·(切换数重要度)=1.5·1+1.5·120+1·20+0.5·1+1·1
=203
按照同样的步骤,图5的重放2的重要度R2和重放3的重要度R3如下 所示。
R2=1.5·1+1.5·105+1·15+0.5·1+1·1
=175.5
R3=1.5·1+1.5·50+1·25+0.5·1+1·2
=104
重放重要度计算单元30将这样求出的重要度对第2重放信息附加而作成 附加重要度重放信息(图28),将其输出到摘要作成单元40(步骤6)。
而且,赋权规则设定表所示的加权系数的值设为在广播台侧或者接收台 侧的某人物可以进行设定。在广播台侧的人物进行了设定的情况下,可以对 利用者提供相同倾向的摘要。另一方面,在接收台侧的人物进行了设定的情 况下,可以作成还考虑利用者的嗜好的摘要。而且,也可以更新加权系数的 值,以便可以由广播台例或者接收台侧作成喜好的摘要。
摘要作成单元40在取得的附带重要度重放信息的组合中,选择与由用户 的操作输入的摘要条件信息所指定的长度最接近的、并且重要度的和为最大 的组合来作成摘要信息(步骤7)。而且,这时的摘要作成单元40中的详细 步骤与图12或图15所示的步骤相同。
在图5的情况下,如果将由摘要条件信息指定的摘要的长度设为40秒, 则收敛到40秒的重放的组合为“仅重放1”“仅重放2”“仅重放3”“重放1+重放 2”“重放2+重放3”这五个,各个重放重要度的总和如下所示。
“仅重放1”:203
“仅重放2”:175.5
“仅重放3”:104
“重放1+重放2”:378.5
“重放2+重放3”:279.5
其结果,选择重放重要度的总和最大的“重放1+重放2”,将它们的重放 按照时间序列排列,作成摘要信息。
接收终端200的输出单元50取得并输出摘要作成单元40作成的摘要信 息(步骤8)。按照该摘要信息(图9),从接收终端200中积累的本广播视频 中,通过仅依次显示从摘要信息指定的重放广播区间开始时刻至重放广播区 间结束时刻为止的重放视频,可以显示不超过被指定的长度的摘要。
这样,在该摘要作成方法中,将实施方式1至4中所示的重放重要度计 算单元的结构分离,并且分为广播台侧和接收台侧,在广播台侧进行重放的 次数、结构、时间的长度、广播速度或者剪辑切换数等的重要度的计算,另 一方面,在接收台进行对该重放信息的重要度的计算,所以可以在两个装置 间分担各重放信息的重要度的计算,而且,可以作成还考虑了用户的嗜好的 摘要信息等。
而且,在本实施方式中,接收终端200取得的第2重放信息虽然通过单 方向通信取得,但是也可以通过双方向通信取得。即,在中央装置100中, 也可以在数据库(未图示)中管理由第1重放重要度计算单元31计算出的第 2重放信息,并且在从接收终端200对中央装置100
请求了第2重放信息后 取得,由此,可以在两个装置间高效地进行摘要作成处理。
而且,在本实施方式中,在接收终端200的摘要作成单元40中取得的摘 要条件信息通过用户的操作输入,但是也可以取得在中央装置100侧设定的 摘要条件信息。在任何一种情况下都可以作成收敛到在中央装置侧或者接收 终端侧设定的摘要条件信息的摘要信息。
而且,在本实施方式中,将“第1重放重要度计算单元31”、“第2重放 重要度计算单元32”分别分离于“中央装置100”、“接收终端200”进行了说明, 但是不用说,它们也可以在同一装置内工作,如上述实施方式1说明的那样。
另外,重放重要度计算的方法也可以是实施方式所示的方法以外的方法。 例如,对于从“重放广播区间和重放参照区间的间隔”计算的间隔重要度,仅 以其差分计算的重要度受事件发生的时间带的影响。即,如图31所示,即使 是相同的事件,在比赛的后半产生的事件的重放比在前半产生的事件的重放 间隔短,不能正确地反映间隔的重要度。因此,也可以考虑比赛广播的剩余 时间,通过以下的计算式来计算间隔重要度。而且,对于在上述实施方式中 表示的间隔的重要度的计算,是对差分乘以了常数(1),但是也可以设为乘 以对数。
〔算式1〕
重放间隔重要度=(重放广播区间的规定位置-重放参照区间的规定位 置)/(直播节目结束时刻-重放参照区间的规定位置)
而且,对于从“重放广播区间和重放参照区间的间隔”计算的间隔重要度, 在重放参照区间重复,连续使用重放广播区间的情况下,即,在连续广播相 同事件的重放的情况下,如图32所示,在后使用的重放信息的间隔重要度, 间隔加大在前使用的重放的长度部分,尽管必需赋予相同值的间隔重要度, 但被较大地计算。这样的重放在棒球中从各种角度重放夺三振场景那样的情 况下等,被多次广播,但并不是说在后使用的重放就重要。因此,在连续使 用相同事件的重放参照区间的情况下,为了不在这样的情况的重放间隔重要 度的计算中产生差错,将最初的重放广播开始时刻视为连续使用的事件的重 放广播开始时刻,进行重放间隔重要度的计算那样进行设定。
而且,在事件之后使用的重放虽然主要被用于强调该事件,但是如果设 定重放广播区间和重放参照区间的间隔越大则将重要度计算得越大的部件, 则如图33所示,在事件之后使用的重放的间隔重要度的值被较小地计算。在 事件之后使用的重放中,有“精彩的比赛(fine play)”或“夺三振场景”等事件, 这些虽然不是对比赛直接地产生影响的事件,但是可以作为事件来利用。因 此,也可以对于重放广播区间和重放参照区间的规定位置的间隔设定阈值, 利用该阈值将各重放视频/声音分组。即,通过利用设定的阈值来分组,可以 区分特征不同的重放视频/声音。例如,在重放广播区间和重放参照区间的规 定位置的间隔比阈值小的情况下,作成包含事件之后的精彩的比赛或夺三振 场景等重放的组,另一方面,在该间隔比阈值大的情况下,可以作成包含从 事件发生开始经过某时间以上使用的重放、即表示比赛的流程的重放的组。 于是,例如,在利用者想要作成对精彩的比赛或夺三振场景重视的摘要的情 况下,对相应的组内的重放视频/声音的重放间隔重要度乘以规定的系数而较 高地设定间隔重要度。另一方面,在想要作成还考虑了比赛整体的摘要的情 况下,对相应的组内的重放视频/声音的重放间隔重要度乘以规定的系数而较 高地设定间隔重要度。由此,利用摘要作成装置的视听者或者摘要作成者等 可以取得对应于希望的摘要内容的摘要信息。
而且,在直播节目结束之后被广播的重放,例如新闻节目或体育节目中 的广播较大地干预节目编成,重要度与重放广播区间和重放参照区间不成比 例。因此,如图34所示,对于直播节目结束后的重放信息,不区别重放间隔 重要度,预先设定为相同值的重要度。只是,在直播节目结束后广播的重放 全部被认为是重要的重放,所以对于直播结束后的重放信息,预先较高地设 定重要度的数值较好。即,在直播节目结束时刻的前后,需要预先个别地设 定间隔重要度的计算方法。
而且,在上述实施方式中,对根据重放参照区间的开始时刻和重放广播 区间的开始时刻的“间隔”将重放视频的重要度进行差别化的情况进行了说 明,但是也可以根据其它的“间隔”来实现重要度的差别化。例如,也可以根 据成为重放参照区间和重放广播区间的中间时刻的“间隔”将重放视频的重要 度差别化。
而且,在上述实施方式中,对摄影摄影机为多台的情况进行了说明,但 是,如图13(a)所示,摄影机也可以是1台。这时,如图13(b)所示,在 重放信息中不需要包含摄影摄影机号码的信息。进而,重放信息的重要度也 可以由于拍摄重放视频的摄影机的号码(摄影机的拍摄方向)而差别化。而 且,也可以通过被子画面显示的重放视频的画面大小或CG显示的效果将重 要度差别化。
以上,本发明的摘要作成方法以及程序可以在该摘要作成装置中被实施, 而且,规定本发明的摘要作成装置的动作的程序可以记录在记录介质中,从 而转移或复制到其它装置。
产业上的可利用性
本发明的摘要作成装置可以用于与广播台的广播设备组合,作成节目的 摘要,或者可以作为作成广播用的摘要信息的装置来利用。而且,也可以与 接收终端组合,作为可进行积累的节目的摘要视听的装置来利用。
而且,本发明的摘要作成装置除了体育节目以外,也可以应用在作成新 闻节目或电视剧节目等利用重放的属于其它的种类的节目的摘要的情况。进 而,也可以应用在重放是声音的情况。
专利文献1:特开平9-65287号
公报专利文献2:特开2002-300518号公报