绘画是很多人喜闻乐见的艺术形式，但是有很多具有丰富的想象力和理解力的人都不具备熟练的绘画能力，为了能够最大程度的帮助用户把想到的内容用绘画的形式表现出来，我们发明了这个通过语音、手势和表演来进行绘画的系统。到目前为止，主流的在电脑上绘画的方式是通过电子画笔在画布上绘画，这种绘画方式对绘画的技巧要求很高，对于大多数喜欢画画却又不精通绘画技巧的用户来说有一定难度。因此，我们发明了这种可以通过语音，手势或者表演来进行绘画的方式，使得用户可以通过多种途径来绘画，从而更好的表现想要绘画的内容。这项发明的贡献在于提出了是一种新型的基于对用户的语音、手势和表演的识别，以及眼球跟踪的多媒体人机交互技术。
在对媒体人机交互技术方面，最早提出多样化人机交互方式的是在二十多年前，Richard(Richard A.B.1980.“Put-That-There”：Voice and Gesture at theGraphics Interface)开发了一个“Put-That-There”的系统，在该系统中，用户可以通过手势和语音命令将二维图形对象放到一个很大的屏幕上；早期的基于手势的用户界面是et al(K.W.Hübner，and K.Given：Gesture driven interactions in virtual environments；a toolkit approach to 3Dinteractions.In Interfaces to Real and Virtual Worlds，1992)为虚拟现实程序开发的，在他们的系统中将手势与预先定义好的符号信息对应起来，通过手势来激活系统中的命令。人手跟踪是手势界面中非常重要的一种方法，最早的没有使用数字化手套而是使用计算机视觉技术来进行人手跟踪的系统是Krueger开发的声音位置(VOICEPLACE)系统(Krueger，M.VIDEOPLACE and the Interfaceof the Future.In The Art of Human Computer Interface Design.Addison Wesley，Menlo Park，CA.pp.417-422.1991)，在他们的系统中，手的轮廓线用来生产二维图画。在我们的系统中我们同样使用了手的轮廓线作为图片搜索的输入。除了基于手势的用户界面，另外的非传统的人机交互方法是基于语音的用户界面和基于眼球跟踪的用户界面。在(Richard A.B.Eyes at the interface.Conference onHuman Factors in Computing Systems.pp.360-362.1982)所提出的系统中，第一次使用了眼球跟踪的方法使得用户能够通过眼球跟踪选择图片。在本发明中，我们同样使用了眼球跟踪的方法来实现图片的选择和图像分割元素的选择。
语音识别的研究工作开始于50年代，迄今为止，在Windows XP中所包含的语音识别功能，特别是与Office XP的软件合用时，能够显著增强诸如游戏、数据输入或者文字编辑领域的计算功能；IBM也推出了语音识别输入系统，也有一系列的商用的和开源的语音识别软件，都从某种程度上改变了用户和计算机的交互方式。语音识别已经是一项相对成熟的技术；电脑对人的手势和表演的识别也是今年来研究的热点，在计算机视觉领域，有很多科学家致力于通过摄像头获取用户的手势和其他肢体语言，然后分析其意义的研究。眼球跟踪技术是一项有趣而且有很多实际应用价值的研究，事实上，在网络上已经有很多开源的追踪用户眼球的项目，可以实现通过摄像头观察用户眼球的活动，并且定位用户的目光注视着屏幕的哪个区域。因此，本发明采用了已有的语音识别技术、手势和表演的识别技术和眼球跟踪技术，主要贡献在于提出了一种新型的，能够更好的帮助用户进行绘画创作的多媒体绘画系统，同时本发明也考虑了儿童和残疾人的需求。

本发明的目的是克服现有技术的不足，提供一个基于多媒介用户交互的电子绘画创作的方法。
基于多媒介用户交互的电子绘画创作的方法使用绘图软件绘制的元素和从图片中提取的绘画元素组成绘画的内容，用户通过静态手势和语音调整每个绘画元素的大小和位置，其特征在于使用从图片中提取的绘画元素组成绘画的内容包括如下步骤：
1)用户通过语音、静态姿势、动态肢体表演或者素描绘画的方法，从图片素材库中搜索候选图片集；
2)用户通过语音、静态手势或眼球跟踪选取候选图片集中的一幅图片；
3)自动对用户选取的图片进行分割，提取图片中的元素，通过识别用户的语音、静态手势或眼球跟踪从分割结果中选取用户需要的元素。
所述的用户通过语音、静态姿势、动态肢体表演或者素描绘画的方法，从图片素材库中搜索候选图片集为：
(1)通过语音的方法从图片素材库中搜索候选图片集为：用户通过麦克风，说出搜索对象的名称、包含名称的简短的句子或模仿绘画对象的声音，系统会根据用户说出的内容确定用户要搜索的对象名称，然后从图片素材库中搜索候选图片集；
(2)通过静态姿势的方法从图片素材库中搜索候选图片集为：用户通过静态姿势模仿想要绘画的对象的样子，通过摄像头捕捉到用户的模仿效果，并且分析和提取用户静态姿势的形状特征，并且根据提取出来的形状特征从图片素材库中搜索候选图片集；
(3)通过动态肢体表演的方法从图片素材库中搜索候选图片集为：用户通过动态肢体表演模仿想要绘画的对象的样子，通过摄像头捕捉到用户的肢体表演，并且分析和提取用户表演的动态特征，并且根据提取出来的特征从图片素材库中搜索候选图片集；
(4)通过素描绘画的方法从图片素材库中搜索候选图片集为：用户使用绘图软件绘制素描，然后根据素描在图片素材库中搜索候选图片集；
(5)通过素描绘画的方法从图片素材库中搜索候选图片集为：用户在纸上绘制素描，通过摄像头捕捉到该素描，然后根据该素描在图片素材库中搜索候选图片集。
所述的用户通过语音、静态手势或眼球跟踪选取候选图片集中的一幅图片为：
(1)通过语音选取候选图片集中的一副图片为：候选图片集中的图片会被分页显示，每一页的每一幅图片都有一个编号，用户通过麦克风说出选择的图片的编号；
(2)通过静态手势选取候选图片集中的一副图片为：用户通过用手指指向候选图片集中的一幅图片，通过摄像头捕捉到用户的静态手势，分析用户的手势指向屏幕的哪个区域，确定用户想要选取哪一幅图片；
(3)通过眼球跟踪选取候选图片集中的一副图片为：通过摄像头追踪用户的眼球运动，通过统计用户的目光停留在屏幕上哪个区域的时间最长来确定用户想要选取的图片。
所述的自动对用户选取的图片进行分割，提取图片中的元素，通过识别用户的语音、静态手势或眼球跟踪从分割结果中选取用户需要的元素为：
(1)通过识别用户的语音从分割结果中选取用户需要的元素为：使用图像分割算法对选中的图片进行分割，提取图片中的元素，并对提取出来的每一个元素进行编号；
(2)通过识别用户的语音从分割结果中选取用户需要的元素为：用户通过麦克风说出元素的编号；
(3)通过识别用户的静态手势从分割结果中选取用户需要的元素为：用户用手指指向从图像中提取出来的一个元素，摄像头会捕捉到用户的手势，并且分析用户的手势指向屏幕中的哪个区域，确定用户想要选取哪一个分割元素；
(4)通过识别用户的眼球跟踪从分割结果中选取用户需要的元素为：通过摄像头追踪用户的眼球运动，通过统计用户的目光停留在屏幕上哪个区域的时间最长来确定用户想要选取的分割元素。
目前主流的电子绘图软件都是通过电子画笔或者鼠标、键盘的操作来完成的，需要掌握了熟练的绘画技巧才能绘制出美观的图画，但是大部分用户都没有熟练的绘图技巧，对于儿童、残疾人、老年人来说，熟练掌握和开展传统的绘画作业更非易事。为了帮助所有的用户方便的画出想要绘制的内容，本发明提出了一种通过语音、静态姿势或者动态表演进行电子绘画的人机交互界面，使得用户能够通过多种途径来表达想要绘画的内容，可以将注意力集中在绘画上，而不是集中在学习电子绘图软件的操作上；与使用电子画笔相比，说话和表演是人类更加自然的交流方式，这也使得绘画过程更加自然和轻松，因此，通过使用我们的发明所提出的系统进行绘画，即使完全没有绘画技巧的人也能快速便捷地绘制出美观和具有艺术感的图画。
附图说明
图1(a)是图片素材库中的一幅图片；
图1(b)是从图片(a)中提取出来的绘画元素；
图2是本发明的系统架构图；
图3是本发明的工作流程图；
图4是用户说“嘟嘟”时，从图片素材库中搜索到的图片候选集；
图5是用户说“给我一只猫”时从图片素材库中搜索到的图片候选集，以及用户的目光在每个区域内停留的时间统计；
图6是图片分割结果，在图中标记出了每个分割元素的序号。

基于多媒介用户交互的电子绘画创作的方法包括如下步骤：
1)使用绘图软件绘制的元素和从图片中提取的绘画元素组成绘画的内容；用户在使用本发明画画的过程中，可以使用任何绘图软件绘制出绘画元素，也可以从图片中提取出一个有意义的对象，作为一个绘画元素；用户在使用我们的系统画画的过程中，可以使用任何绘图软件绘制出绘画元素，也可以从图片中提取出一个有意义的对象，作为一个绘画元素，例如，图1所示，图1中的(a)是从图片素材库中找到的一幅图片，(b)是从图片(a)中提取出来的一个绘画元素，一只蝴蝶；
2)用户通过语音、静态姿势、动态肢体表演或者素描绘画的方法，从图片素材库中搜索候选图片集；
3)用户通过语音、静态手势或眼球跟踪选取候选图片集中的一幅图片；
4)自动对用户选取的图片进行分割，提取图片中的元素，通过识别用户的语音、静态手势或眼球跟踪从分割结果中选取用户需要的元素；
5)用户通过静态手势和语音调整每个绘画元素的大小和位置，使绘画作品美观和更具有艺术性。
所述的用户通过语音、静态姿势、动态肢体表演或者素描绘画的方法，从图片素材库中搜索候选图片集的步骤：
(1)用户通过麦克风，说出搜索对象的名称、包含名称的简短的句子或模仿绘画对象的声音，系统会根据用户说出的内容确定用户要搜索的对象名称，然后从图片素材库中搜索候选图片集；根据语音从图片素材库中搜索候选图片集图片：与当前主流的，根据关键字来搜索图片的方式不同，本发明通过识别用户的语音，包括词语，例如，“汽车”，或者简短的句子，例如，“给我一辆汽车”，或者模仿绘画对象的声音，例如，“嘟嘟”，系统都会从素材库中搜索出所有关于汽车的图片，组成候选图片集，图4所示的是候选图片集中的第一页。通过使用语音识别和机器学习的技术，将语音转换成搜索关键字的方法实现。本发明中使用了Windows XP中集成的语音识别软件，使用别的软件提供的语音识别方法也视作本发明的变形。对于词语的识别，直接由用户的语音转化成搜索引擎的输入关键字，对于从用户说的短句中提取关键字的方法，我们先通过语音识别软件将语音转换成文本，随后采用了《图形化界面中的语音和手势》(Richard A.B.1980.“Put-That-There”：Voice and Gesture at the GraphicsInterface)中对提出的对从短句中提取关键字的方法，使用别的文献中提供的方法也视作本发明的变形。提供根据用户模仿绘画对象的声音这个功能主要是为儿童设计的，儿童的词汇量非常有限，而且大部分是拟声词，因此我们使用了机器学习的方法来完成从拟声词到搜索文本的映射。
(2)用户通过静态姿势模仿想要绘画的对象的样子，通过摄像头捕捉到用户的模仿效果，并且分析和提取用户静态姿势的形状特征，并且根据提取出来的形状特征从图片素材库中搜索候选图片集；对于通过摄像头获取的、用户静态姿势的图片的形状特征的提取和匹配，本发明采用了《一个智能的基于颜色、形状、和空间关系的图像搜索系统》(T.K.Shin，J.Y.Huang，C.S.Wang，J.C.Hung，and C.H.Kao.An intelligent content-based image retrieval system based oncolor，shape and spatial relations.The Proceedings of the National Science Council，25(4)：232-243，September 2001)中提出的提取和匹配图片中对象的方法，使用其他文献中提出的方法也视为本发明的变形。
(3)用户通过动态肢体表演模仿想要绘画的对象的样子，通过摄像头捕捉到用户的肢体表演，并且分析和提取用户表演的动态特征，并且根据提取出来的特征从图片素材库中搜索候选图片集；对于提取和匹配用户表演时的运动轨迹，本发明中采用了《基于运动轨迹的视频搜索》(C.W.Su，H.Y.M.Liao，H.R.Tyan，C.W.Lin，D.Y.Chen，and K.C.Fan.Motion flow-based video retrieval.IEEETransactions on Multimedia，9(9)：1193-1201，Oct.2007)中提出的提取和比较一段视频中主要运动物体的运动轨迹的方法，这是因为通过摄像头获取的用户的动态手势和表演也可以视为一段视频，使用其他文献中提出的方法也视作本发明的变形。
(4)用户可以使用绘图软件绘制素描，然后根据素描在图片素材库中搜索候选图片集；搜索的过程是，比较图片素材库的图片的轮廓信息和用户绘制的特征素描，如果二者相同则认为图片素材库中的图片是符合条件的搜索结果，通过该搜索过程找到的所有图片组成候选图片集。对于根据素描搜索图片，本发明采用了(http://labs.systemone.at/retrievr)中使用的搜索方法，使用其他网站或者文献中提出的方法也视作本发明的变形。
(5)用户在纸上绘制素描，通过摄像头捕捉到该素描，然后将该素描在图片素材库中搜索候选图片集。搜索的过程是，比较图片素材库的图片的轮廓信息和用户绘制的特征素描，如果二者相同则认为图片素材库中的图片是符合条件的搜索结果，通过该搜索过程找到的所有图片组成候选图片集。对于用户在纸上绘制素描并通过摄像头获取的方法，本发明中使用了《虚拟面板：使用普通的纸张实现虚拟鼠标，键盘和三维控制器》(Zhang Z.，Wu Y.，Shan Y.，& Shafer，S.Visual Panel：Virtual Mouse，Keyboard，and 3D Controller with an Ordinary Pieceof Paper.In Proceedings of ACM Workshop on Perceptive User Interfaces(PUI).2001)中提出的通过摄像头获取在纸上绘制的素描的方法，使用其他文献中提出的方法也视为本发明的变形。
所述的用户通过语音、静态手势或眼球跟踪选取候选图片集中的一幅图片步骤：
(1)候选图片集中的图片会被分页显示，每一页的每一幅图片都有一个编号，用户通过麦克风说出选择的图片的编号；发明中使用的语音识别模块会将语音信号转换成文本，进而确定被选取的图片是哪一幅。语音识别过程采用了Windows XP集成的语音识别引擎，使用其他语音识别软件也视作本发明的变形。
(2)用户通过用手指指向候选图片集中的一幅图片，通过摄像头捕捉到用户的静态手势，分析用户的手势指向屏幕的哪个区域，确定用户想要选取哪一幅图片；对于用户手势的识别采用了《图形化界面中的语音和手势》(Richard A.B.1980.“Put-That-There”：Voice and Gesture at the Graphics Interface)中对提出的对用户手势识别的方法，使用其他文献中提出的方法将视作本发明的变形。
(3)通过摄像头追踪用户的眼球运动，通过统计用户的目光停留在屏幕上哪个区域的时间最长来确定用户想要选取的图片。发明使用了眼球跟踪技术，能够通过摄像头跟踪用户眼球的活动，因此可以统计用户的目光停留在屏幕的哪个区域的时间最长，该区域内的图片就是用户选中的图片。图5是用户说“给我一只猫”时搜索结果集的第一页，图5中的红点标记出了用户的目光落在屏幕上的位置，从图5可以看出，用户的目光在第8副图片的次数最多，因此第8幅图片是用户通过眼球追踪选中的图片。对用户眼球的追踪采用了(http://www.inference.phy.cam.ac.uk/opengazer/)提供的办法，使用其他软件或者文献中提出的方法视作本发明的变形。
所述的自动对用户选取的图片进行分割，提取图片中的元素，通过识别用户的语音、静态手势或眼球跟踪从分割结果中选取用户需要的元素步骤：
(1)使用图像分割算法对选中的图片进行分割，提取图片中的元素，并对提取出来的每一个元素进行编号；如图6所示，图6中的图片被分割成9个实体，分别用红色的方框标记出来，并且自动标号。本发明采用了《基于图形的图像分割算法》(Pedro F.F.，Daniel P.H.Effective Graph-based image segmentation)提出的分割图像的办法，使用其他文献中提出的图像分割算法视作本发明的变形；
(2)用户通过麦克风说出元素的编号；语音识别模块将语音信号转换成文本，进而确定被选取的图片分割元素是哪一个，语音识别过程采用了WindowsXP集成的语音识别引擎，使用其他语音识别软件也视作本发明的变形。
(3)用户用手指指向从图像中提取出来的一个元素，摄像头会捕捉到用户的手势，并且分析用户的手势指向屏幕中的哪个区域，确定用户想要选取哪一个分割元素；对于用户手势的识别采用了《图形化界面中的语音和手势》(RichardA.B.1980.“Put-That-There”：Voice and Gesture at the Graphics Interface)中对提出的对用户手势识别的方法，使用其他文献中提出的方法将视作本发明的变形。
(4)通过摄像头追踪用户的眼球运动，通过统计用户的目光停留在屏幕上哪个区域的时间最长来确定用户想要选取的分割元素。采用了眼球跟踪技术，能够通过摄像头跟踪用户眼球的活动，因此可以统计用户的目光停留在屏幕的哪个区域的时间最长，该区域内的分割元素就是用户想要选取的分割元素。对用户眼球的追踪采用了(http://www.inference.phy.cam.ac.uk/opengazer/)提供的办法，使用其他软件或者文献中提出的方法视作本发明的变形。
所述的用户通过静态手势和语音调整每个绘画元素的大小和位置，使绘画作品美观和更具有艺术性步骤：
(1)对于用户绘制的一幅绘画作品中的每一个绘画元素，包括用户用绘图软件绘制的和从图片中提取出来的，用户用静态手势或者语音选定一个或者多个绘画元素；对于一幅绘画作品中的每一个绘画元素，包括用户用绘图软件绘制出来的和从图片中提取出来的，系统会根据添加绘画元素的顺序进行编号；用户可以通过静态手势，即用手指指向一个绘画元素来选取它，摄像头会捕捉到用户的手势，并且分析用户的手指指向屏幕中的哪个区域，从而确定用户想要选取哪一个绘画元素，重复该动作可以选取多个绘画元素。对于用户手势的识别采用了《图形化界面中的语音和手势》(Richard A.B.1980.“Put-That-There”：Voice and Gesture at the Graphics Interface)中对提出的对用户手势识别的方法，使用其他文献中提出的方法将视作本发明的变形；语音，即说出一个绘画元素的编号，系统中集成的语音识别模块会将语音信号转换成文本，进而确定被选取的绘画元素是哪一个；重复本步骤可以选的多个绘画元素。使用语音选定绘画元素是通过用户说出绘画元素的编号，语音识别软件会将语音信号转换成文本，进而确定被选取的绘画元素是哪一个，语音识别过程采用了Windows XP集成的语音识别引擎，使用其他语音识别软件也视作本发明的变形。
(2)用户使用手势或语音，对一个或者多个被选定的绘画元素进行调整大小、角度和位置的操作。对于绘画元素的操作，本发明采用了《图形化界面中的语音和手势》(Richard A.B.1980.“Put-That-There”：Voice and Gesture at theGraphics Interface)中设计的对图形对象的操作和操作方法，使用其他文献中设计的操作命令和操作方法也视为本发明的变形。
实施例
本发明提出的使用语音、静态手势或者动态肢体表演进行的基于多媒介用户交互的电子绘画创作的方法，结合附图机器详细的实施如下：本发明的实施环境的标准配置如下表所示。
  配件   数量   说明   电脑   1台   必选，电脑必须能够正常运行   麦克风   1个   必选   摄像头   最少1个   必选，多个摄像头可以增强手  势和表演分析，眼球跟踪的准  确性   手写板   1套   可选，也可用鼠标和键盘代替
除了能够正常运行，并且支持摄像头和麦克风的电脑之外，系统还需要配置麦克风和摄像头，手写板不是必须的配置，但是手写板会为用户手绘图案带来方便；其中麦克风用来获取用户的语音，摄像头用来捕捉用户的手势和表演，以及进行眼球跟踪；
本发明的系统架构图如图2所示。系统中包括8个模块，语音识别模块用来识别用户的语音，将其转化为文字信息；静态姿势和动态表演识别模块将用来识别用户的肢体语言的意义；眼球跟踪模块用来捕捉用户眼球的活动，并且定位用户的目光停留在屏幕的什么位置；搜索引擎模块处理根据文本，或者物体形状，或者素描，或者运动轨迹，从网络或者数据库中搜索图片的功能；图片选择模块将搜索引擎搜索到的候选图片集列举出来，供用户选择图片；用户喜好模块会根据用户选择的图片来统计用户喜欢的图片的风格，并将用户的喜好反馈给搜索引擎，使得搜索引擎下次搜索图片时会对候选图片集中的图片进行过滤；图像分割模块会将一幅图片中的具有不同意义的部分分割开来，并且进行编号；图像分割结果选择模块会提供一个让用户选择分割对象的界面。
本发明的工作流程图如图3所示，用户需要先创建一幅画布，即打开一个工作区，在工作区中可以创建一幅新的图片或者打开已有的图片进行新的创作；随后用户可以选择用绘图软件绘画或者从图片中提取绘画元素的方法绘画；如果中绘图软件绘画，则直接使用电脑系统中提供的任何绘图软件进行操作即可，如果选择从图片中提起绘画元素，则可以使用语音、静态姿势或者动态肢体表演从图片素材库中搜索候选图片集，随后通过语音、静态手势或者眼球跟踪从候选图片集中选出符合用户要求的图片，接下来，系统会对选中的图片进行自动分割，之后，用户可以通过语音、手势或者眼球跟踪从分割元素中选出用户需要的绘画元素；随后，系统会自动将选中的绘画元素放到画布中，用户可以通过语音和静态手势选中当前画布中的一个或者多个绘画元素，并且通过语音和静态手势调整每个被选中的绘画元素的大小、方向和位置，随后可以继续添加绘画对象，重复上述步骤，直到结束绘画。