技术领域
[0001] 本
发明实施例涉及多媒体通信领域，并且更具体地，涉及记录会议的方法和会议系统。
背景技术
[0002] 多媒体通信是一种不同于传统的电话通信的新的通信方式。多媒体通信是在声音交互的
基础上又增加了视频与计算机数据的交互。多媒体通信的一个重要特征是通信双方可以相互看到对方的活动视像以及环境视像。由于使用视觉方式传递信息更为直接，因此视频的交互可以大大提升交流的
质量。
[0003] 在目前视频会议中，大量采用多媒体通信技术。参会人员通过会议采用的多媒体通信工具可以快速融入会议中。例如，将一个实时发生的多媒体通信的整个过程均录制下来以便回放的会议录播功能，可以满足会议备忘、会后培训等所需。考虑到现有的会议终端系统的处理能
力、存储能力、网络带宽等问题，人们一直在寻找有效的、节省存储资源以及节约网络带宽的方法来对正在进行的多方会议进行实时录制，以便满足或加深对会议的理解等需求，特别是快速把握会议内容的需求。为此，一种可行的方案是生成一些会议
摘要，并由这些会议摘要提供会议的关键信息。
[0004] 例如，已经提出了用于记录的会议
时间线的自动脸部提取的技术。其中，发言者的脸部被自动检测，对应于每个发言者的脸部图像被存储在脸部
数据库中；创建一条时间线在会议记录的回放中图形化地标识发言者的发言时间；示出脸部图像以标识与时间线相关联的每个发言者，取代了一般地在时间线中识别每个用户。但是，仅仅利用人脸信息作为会议记录的关键信息，并不能由会议摘要完备地提供整体把握会议记录的主题内容。
[0005] 例如，还提出了视频会议的性能增强的技术，其中会议
服务器响应于确定会议参与者应成为最活跃的参与者向所述会议参与者
请求关键
帧，所述会议服务器响应于从所述会议参与者接收到所述关键帧使得所述会议参与者成为最活跃的参与者。同样的，该视频会议的性能增强的方法同样无法完备地当观看该记录摘要时能够整体把握会议记录的主题内容。
[0006] 另外，已经提出了在线的会议记录系统，可以编辑或打开会议记录，并且参会者可以在在线会议时听到和看到该会议记录。该在线的会议记录系统仍然无法完备地当观看该记录摘要时能够整体把握会议记录的主题内容。
发明内容
[0007] 本发明实施例提供一种记录会议的方法及会议系统，能够使得当观看会议摘要时整体把握会议记录的主题内容。
[0008] 一方面，提供了一种记录会议的方法，包括：在会议时间线上的多个时间点中的每个时间点上，基于配置文件提取各个会场的关键信息，其中所述会议时间线与会议时间相关联，所述配置文件用于定义会议的关键信息以及会议摘要的格式；将所述各个会场的关键信息组合成关键索引点，所述关键索引点用作与会议摘要进行互动或编辑的索引点；将对应于多个时间点的多个关键索引点结合为会议摘要。
[0009] 另一方面，提供了一种会议系统，包括：提取单元，用于在会议时间线上的多个时间点中的每个时间点上，基于配置文件提取各个会场的关键信息，其中所述会议时间线与会议时间相关联，所述配置文件用于定义会议的关键信息以及会议摘要的格式；组合单元，用于将所述各个会场的关键信息组合成关键索引点，所述关键索引点用作与会议摘要进行互动或编辑的索引点；结合单元，用于将对应于多个时间点的多个关键索引点结合为会议摘要。
[0010] 本发明实施例的记录会议的方法及会议系统可以基于自定义可随时
修改的配置文件自动生成会议摘要、并呈现所述会议摘要，进而通过会议摘要中的关键索引点获得更详尽的会议信息。
附图说明
[0011] 为了更清楚地说明本发明实施例的技术方案，下面将对实施例或
现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0012] 图1是根据本发明实施例的记录会议的方法的
流程图。
[0013] 图2是根据本发明实施例的记录会议的方法的示意性流程图。
[0014] 图3是根据本发明实施例的生成关键索引点的流程图。
[0015] 图4是根据本发明实施例的会议系统的结构示意图。
[0016] 图5是根据本发明实施例的会议系统的结构示意图。
[0017] 图6是根据本发明实施例的会议系统的结构示意图。
[0018] 图7是根据本发明实施例的会议系统的结构示意图。
具体实施方式
[0019] 下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0020] 为了方便观看者从整体上把握会议情况，可以在一个多点视频会议中基于关键索引点生成会议摘要。此外，可以实现与会议摘要中的信息随时进行互动。
[0021] 下面将结合图1至图3具体描述根据本发明实施例的记录会议的方法。
[0022] 如图1所示的记录会议的方法，包括以下步骤。
[0023] 11，在会议时间线上的多个时间点中的每个时间点上，会议系统可以基于配置文件提取各个会场的关键信息，其中所述会议时间线与会议时间相关联，所述配置文件用于定义会议的关键信息以及会议摘要的格式。
[0024] 可选地，在基于配置文件提取各个会场的关键信息之前，会议系统还需要生成配置文件，可以是以
人机交互模式生成配置文件，也可以预先自定义好配置文件。当配置文件生成后，会议系统将自动保存该配置文件。这样，在一个会场中生成配置文件后，其他会场可以在会议系统中调取该配置文件。
[0025] 另外，配置文件可包括各种语音、视频检测与识别模
块，关键信息提取模块，事件判定与分析模块等。例如：这些模块可以实现人脸的检测与识别、
指定参会者语音的检测与识别、指定人的动作或行为的检测与识别、多点会议参会者共同关注信息的检测与识别、特定产品的演示、残障人员的特别需求、特定发言者声音的放大、特定产品信息的局部放大表示等。
[0026] 如上所述，配置文件定义了会议的关键信息。其中，关键信息可以包括以下信息中的一个或多个：人脸、语音、肢体动作、关键帧、演讲稿、特定事件。其中所谓特定事件是开会过程中的一些特殊事件，例如包括举手问问题、打瞌睡、无精神、低头、大笑、哭丧、座位无人等场景，也可以包括其他的自定义的事情。
[0027] 可选地，配置文件还定义了将生成的会议摘要的格式，例如文本文件、音频文件、视频文件、Flash文件、PPT文件等。
[0028] 可选地，配置文件还定义如何生成上述格式的会议摘要。
[0029] 12，会议系统将所述各个会场的关键信息组合成关键索引点，所述关键索引点用作与会议摘要进行互动或编辑的索引点。
[0030] 从而，会议系统将所述各个会场的关键信息组合为对应于所述关键信息所含的全部信息的关键索引点。
[0031] 例如，配置文件定义的关键信息中包括人脸、语音，那么提取各个会场中对应于会议时间线上的一个时间点处的人脸关键信息以及语音关键信息，然后将人脸关键信息和语音关键信息组合成一个关键索引点。
[0032] 按照一定的模式把关键信息组织、排列起来形成关键索引点的方法中，例如，按照人物排序时，可以按照参会的人物顺序排序，重要的人物从中间往两边，或者从左至右；按照人物排列后，同时给各个人物同步排列声音，保证唇音同步。例如，按照所获得的关键信息中特定关注事件排序时，可以获得特定关注事件，把该事件显著化；后继配以相关联人物陪衬；配以特定事件解说词，解释特定事件。
[0033] 13，会议系统将对应于多个时间点的多个关键索引点结合为会议摘要。
[0034] 由于在会议时间线上有多个时间点，会议系统将多个对应于每个时间点的关键索引点结合在一起就形成了会议摘要。该会议摘要的格式可以依据配置文件确定。
[0035] 生成的会议摘要可以以画面形式或者图标形式呈现在每个会场的会议显示屏中。参会者可以通过观看该会议摘要来整体把握之前会议的主题内容。
[0036] 由此可见，本发明实施例的记录会议的方法可以基于自定义可随时修改的配置文件自动生成会议摘要、并呈现该会议摘要，进而通过会议摘要中的关键索引点获得更详尽的会议信息。
[0037] 下面参见图2具体描述根据本发明实施例的记录会议的方法生成视频会议的会议摘要的过程，以视频会议中的2个会场为例说明。
[0038] 例如，这2个进行视频会议的会场称为“会场A”和“会场B”。201，在会场A中通过手动配置或自动配置生成配置文件，并在202中将生成的配置文件进行保存。这样，会场B也可以调用上述生成的配置文件。其中，配置文件可以定义以下信息：人脸、发出的肢体动作(如：手势、姿势)、发出的语音、PPT播放状态、会议场景、事件(突发事件，如突然有人快跑、演示产品落地、会议突然中断、大部分人离场、大部分人在玩手机或瞌睡等)、参会人员的简介(性别、年龄、知识背景、爱好等)等。
[0039] 203，在配置文件的基础上，可以在会场A的会议系统中检测或提取会场A和/或会场B的关键信息。例如，通过
人脸检测模块、
人脸识别模块、
手势识别模块、姿势识别模块、
语音识别模块、PPT判定模块、事件检测模块、特定场景建模检测模块等生成关键信息。
[0040] 之后，204，基于关键信息生成视频会议的关键索引点，该关键索引点是多个关键信息的集合。最后，205，在关键索引点的基础上，将多个时间点/段生成的关键索引点结合在一起就生成了该视频会议的会议摘要。
[0041] 图3示出了一个具体实施例说明如何生成关键索引点。例如在会场A的会议系统的配置文件中定义了会议争论点和PPT重要展示点的信息。首先，301，判断会场A中播放的PPT是否长时间不变。如果不是，则丢弃该信息不作为关键信息；否则，如果播放的PPT长时间不变，表明该PPT的内容可能是会议中重要的关注点，由此生成针对PPT重要展示点的关键信息。然后，302，再对麦克
风阵列进行检测和识别，如果检测到的语音不激烈，表示该讨论的主题不是会议的争论点，从而丢弃该语音信息不作为会议的关键信息；否则，记录该语音信息。同时，303，通过深度获取装置检测发言者之间是否有大的肢体动作，如果没有，也丢弃该动作信息不作为会议的关键信息，否则，记录该动作信息。基于记录的语音信息和动作信息生成会议争论点的关键信息。最后，304，基于生成的针对PPT重要展示点的关键信息以及针对会议争论点的关键信息生成该视频会议的关键索引点。
[0042] 也就是说，当获得会议的关键信息之后，可以按照一定的模式把这些关键信息组织、排列起来以生成关键索引点。例如，可以按照人物排序来生成关键索引点，首先按照参会的人物顺序排序，重要的人物从中间往两边，或者从左至右，然后按照人物排列后，同时给各个人物同步排列声音，保证唇音同步。或者，可以按照所获得的关键信息中特定关注事件排序，首先获得特定关注事件，把该事件显著化，再后继配以相关联人物陪衬，最后配以特定事件解说词，解释特定事件。
[0043] 最后，将各个时间点的关键索引点结合在一起并与时间线相关联，就生成了该视频会议的会议摘要。例如，按照一定的运动模式把多个关键索引点
串联起来。也就是解决连续的两个关键索引点之间如何切换。可以按照类似PPT播放的形势加入自定义的动画，把连续的两个关键索引点关联起来。或者，可以按照会议场景的人物关联模式定义，步骤如下：首先获得前后两个关键索引点中的人物信息；然后判断人物并进行关联，若是连续两个关键索引点中的那个人物都出现，则把该人物作为动作定义的主体，以便给人物连贯的动作定义为这里的连续两个关键索引点的播放动作；若是无人物，则以发言者的声音作为关键动作，按照声音的轻重缓急定义对应的关键索引点动作的轻重缓急；若无人物、无声音，以视频会议中PPT切换的方式作为连续两个关键索引点的播放动作；若是无人物、无声音、无PPT，则用户使用默认方式定义关键索引点的播放动作。
[0044] 为了获得更佳的会议摘要，参会者可以根据所述会议摘要中的关键信息与所述会议摘要进行互动或编辑，例如延伸加入与关键信息相关联的信息。
[0045] 可选地，当参会者点击会议摘要中的人脸时，实时地显示出该人的简要信息，或提供更进一步的参考索引。
[0046] 可选地，当参会者点击关键信息，需要获得该关键信息相关的原始视频会议视频，再通过该关键信息跳转到原始视频会议的视频
片段中。
[0047] 可选地，当参会者预览到某个会场讲解的PPT演讲稿时，用户可以获取到该PPT演讲稿，或者将该PPT演讲稿自动发送到预先定义的用户的
电子邮箱中。
[0048] 可选地，当参会者预览到肢体动作丰富的关键信息时，可关联出该肢体动作对应的语音信息片段或视频片段。
[0049] 或者，当参会者预览到非常多的人脸关键信息时，可获取到所有人的相关基本信息，更进一步可获得某个人在此次多点会议中的发言动作信息、关键语音信息、乃至于总结出来的发言特色信息等。甚至，可以呼叫对应的人。
[0050] 由此可见，根据会议摘要中的关键信息对所述会议摘要进行互动包括：如果关键信息包括人脸，获取该人脸对应的参会者的信息，并了解所述参会者的会议发言或与所述参会者进行通信；如果关键信息包括演讲稿，获取该演讲稿的文件信息；如果关键信息包括语音或肢体动作，获取所述语音或肢体动作针对的对象的信息；如果关键信息包括产品信息，获取该产品的其他信息。
[0051] 以最简单的2个会场为例说明与会议摘要的互动方式。
[0052] 第一会场中的参会者A如果希望与第二会场中的参会者B交流，那么就可以从会议摘要中选中参会者B的脸部，如果参会者B的脸部图像与本次会议的人脸信息库中能够匹配，会议摘要中就导入该参会者B的基本信息，参会者A还有进一步了解参会者B在本次会议中的有关发言信息。假设提供的参会者B的基本信息中包括即时通讯(Instant Messenger，IM)信息，则参会者A可以通过该IM与参会者B
聊天。假设提供的参会者B的基本信息中包括电子邮件(email)信息，则参会者A可以通过该电子邮件与参会者B联系。甚至，假设提供的参会者B的基本信息中包括肢体动作信息，则参会者A可以快速了解参会者B的演讲风格。
[0053] 此外，听众与演讲者之间也可以进行实时互动。例如，听众对PPT演讲稿的某个部分感兴趣，
手指着PPT演讲稿的该部分，摄像机或
传感器获取识别到PPT演讲稿的对应
位置并且通过会议系统在PPT演讲稿的对应位置画上圈圈，演讲者知道了听众对PPT演讲稿的某个部分感兴趣，就对该部分进行详解。或者，演讲者对某些重要的议题或PPT演讲稿的重要部分会大声反复解释，或许带些习惯性的动作，这些可以通过语音识别模块、手势姿势识别模块区分出来，并反馈到听众所在会场的会议系统的显示屏或所在会议系统。
[0054] 此外，若是关键信息中有人物，则把人物相关简介信息加入进去，可以以链接方式提供人物的相关信息，即当会议系统的指示装置移到人物脸部时，会议系统提示要显示该人物哪些信息。在显示了人物信息之后，会议系统提示是否需要进行进一步交互？比如，若是在线实时会议摘要，则在线实时发出聊天提示，聊天程序启动，包括文本聊天，语音私聊、视频私聊等方式；若是离线会议摘要，则提示用户是否打算发送email。
[0055] 可选地，若是关键信息中包括会议文件，以链接方式提供用户更进一步的信息。例如用户想获取该文件时，则会议系统提示如何获取该文件以及如何
申请该文件权限等信息。
[0056] 可选地，若是关键信息中包括产品信息，以链接方式提供给用户更进一步关于该产品的产品信息，例如提供该产品的来源、厂家、立体三维展示模型等。
[0057] 此外，参会者还可以根据会议摘要中的关键信息对会议摘要进行编辑。例如，对人物的编辑包括关联更多信息、是否启动聊天程序、是否启动电子邮件(email)程序、是否自动发送邮件、是否作为特定的人物或领导、是否及时显示人物的简要介绍等；对人物的编辑还包括对人物添加说明，如肢体动作说明、背景知识说明、发言状况说明等。例如，对人物的编辑还包括基于主要演讲者的一个肢体动作由
计算机视觉算法分析出该主要演讲者的行为动作习惯，再把这些动作习惯作为人物的一个特性。对人物的编辑还包括对参会人物的分类。
[0058] 根据关键信息中包括人脸对会议摘要的编辑可以关联更多信息，例如对人物添加说明，如肢体动作说明、背景知识说明、发言状况说明等，或者对参会人员进行分类[0059] 根据关键信息中包括动作对会议摘要的编辑可以基于主要演讲者的一个肢体动作的自动化学习结果进行编辑操作，例如，在整个视频会议开完后，计算机视觉算法分析出主要演讲者的行为动作习惯，把这些习惯作为人物的一个特性加入该人物的基本信息中。
[0060] 或者是对这些关键信息的关联与排列，以及对这些关键信息生成的关键索引点定义切换的动作，如是缓慢变化还是快速变化等，时间轴上的连贯性等。
[0061] 下面结合图4至图7说明根据本发明实施例的会议系统的结构示意图。
[0062] 如图4所示，会议系统40包括提取单元41、组合单元42和结合单元43。其中，提取单元41用于在会议时间线上的多个时间点中的每个时间点上，基于配置文件提取各个会场的关键信息，其中所述会议时间线与会议时间相关联，所述配置文件用于定义会议的关键信息以及会议摘要的格式。组合单元42用于将所述各个会场的关键信息组合成关键索引点，所述关键索引点用作与会议摘要进行互动或编辑的索引点，即将所述各个会场的关键信息组合为对应于所述关键信息所含的全部信息的关键索引点。结合单元43用于将对应于多个时间点的多个关键索引点结合为会议摘要。
[0063] 一般而言，配置文件包括语音、视频检测与识别模块、关键信息提取模块、事件判定与分析模块。关键信息包括以下信息中的一个或多个：人脸、语音、肢体动作、关键帧、演讲稿、自定义事件。会议摘要的格式为文本文件、音频文件、视频文件、flash文件或PPT文件。
[0064] 在图5中，除了提取单元41、组合单元42和结合单元43外，会议系统50还包括生成与保存单元44，其用于在基于配置文件提取各个会场的关键信息之前，生成并保存配置文件，以便所述配置文件被其他会场调取。
[0065] 在图6中，除了提取单元41、组合单元42、结合单元43和生成与保存单元44外，会议系统60还包括显示单元45，用于以画面或图标形式呈现所述会议摘要。
[0066] 在图7中，除了提取单元41、组合单元42、结合单元43、生成与保存单元44和显示单元45外，会议系统70还包括互动与编辑单元46，用于根据所述会议摘要中的关键信息与所述会议摘要进行互动或编辑。该互动与编辑单元46具体用于如果关键信息包括人脸，获取该人脸对应的参会者的信息，并了解所述参会者的会议发言或与所述参会者进行通信；如果关键信息包括演讲稿，获取该演讲稿的文件信息；如果关键信息包括语音或肢体动作，获取所述语音或肢体动作针对的对象的相关信息。或者该互动与编辑单元46具体用于根据关键信息中包括人脸对会议摘要的编辑包括对人物添加肢体动作说明、背景知识说明、发言状况说明，或者对参会人员进行分类；或者根据关键信息中包括动作对会议摘要的编辑包括基于主要演讲者的一个肢体动作的自动化学习结果进行编辑操作；或者对所述关键信息进行关联与排列，再对这些关键信息生成的关键索引点定义切换动作。
[0067] 本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子
硬件、或者计算机
软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
[0068] 所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
[0069] 在本申请所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些
接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
[0070] 所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
[0071] 另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
[0072] 所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动
硬盘、只读
存储器(ROM，Read-Only Memory)、
随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
[0073] 以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉
本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以
权利要求的保护范围为准。
