一种基于众包的分词标注质量评估系统及评估方法
专利汇可以提供一种基于众包的分词标注质量评估系统及评估方法专利检索，专利查询，专利分析的服务。并且本 发明 涉及一种基于众包的分词标注 质量 评估系统及评估方法，涉及医学文本 自然语言处理 、知识众包 算法 ，属于自然语言处理、众包和互联网应用领域。包括语料处理模 块 ，用于对语料数据进行数据预处理，形成标准的语料文本；任务管理模块用于生成和管理众包任务；用户管理模块用于用户、 角 色和权限的管理和控制；资源标注模块用于给用户提供交互友好的 可视化 界面，供用户进行语料标注操作；质量控 制模 块是本发明装置的核心模块，包含黄金数据集权重计算、用户贡献度计算、综合任务评分等，是整个众包任务质量控制的关键。本发明设计的目的在于提供一种基于众包的分词标注质量评估装置，通过质量 控制模块 提供的算法提高分词标注众包的质量，提高自然语言处理效率和准确率。，下面是一种基于众包的分词标注质量评估系统及评估方法专利的具体信息内容。
1.一种基于众包的分词标注质量评估系统，其特征是：
主要包括语料处理模块、任务管理模块、用户管理模块、资源标注模块和质量控制模块，通过针对自然语言处理的分词标注任务进行众包，将分词标注的工作分解，并形成具体的任务，以自由自愿的形式交给领域专家团队共同完成；根据质量控制模块算法计算标准答案后，最终将标准答案补充到本体知识库中；
所述语料处理模块，主要用于对不同来源的语料数据，进行一些初步的数据预处理，将数据转换成后续模块容易使用和处理的形式，提高了数据文本挖掘处理的准确性和完整性；
所述任务管理模块的功能主要包括任务的生成、分发、状态变更，保障了过程化和规范化；任务管理模块与语料处理模块连接，主要用于依据语料处理模块的生成的标准语料文本，将标准语料文本包装成需要大众参与的众包任务，任务类别具体包括测试任务、黄金数据集任务、普通任务；
所述用户管理模块，主要用于对使用用户进行身份验证和权限控制管理，包含用户的注册和登录、用户专家领域认证、用户任务领取；根据设置的安全规则和策略，用户只能参与被授权的任务，防止恶意用户和非专业用户的操作导致众包任务的质量出现问题，保障了本发明装置的安全性和准确性；
所述资源标注模块，主要用于为用户提供一种在线的语料分词标注操作界面，具有良好的交互性，用户可以进行主观的分词标注操作，将一段连续的字序列按照一定的规范重新组合成词序列；
所述质量控制模块为核心模块，包含黄金数据集权重计算、用户贡献度计算和任务综合评分；质量控制模块与任务管理模块、用户管理模块、资源标注模块连接；质量控制模块通过对众包任务结果和用户贡献度的实时、高效、准确的评估，实现对整个发明装置的质量控制和保障。
2.根据权利要求1所述的一种基于众包的分词标注质量评估系统，其特征是：
所述的质量控制模块包含黄金数据集计算，包括用户专业准确率评估，用户贡献度计算，用户权重计算，众包任务综合评估，对整个众包任务的质量进行整体把关和控制，保障本发明装置的完整性和准确性；具体步骤如下：
步骤1，测试任务准确率， 当用户完成测试任务时，需要对用户的专业准确率进行计算，来判断该用户是否有资格参加众包任务，具体计算公式（1）为
其中 P 表示当前测试任务的准确率， Wcor为测试任务中用户正确分词的词数组,|Wcor|为词数组长度;Wtest为测试任务标准答案分词的词数组，|Wtest|为词数组长度；
步骤2，任务初始化，
初始化用户分词任务答题贡献度，用户分词任务答题记录向量。用户的初始贡献度(Pf)为0，答题记录向量Ms=[Rh, Lh, Rp, Lp]默认[0,0,0,0]。其中，Rh为累计完成黄金数据集任务正确答案长度，Lh为累计完成黄金数据集任务题目长度，Rp为累计普通任务回答长度，Lp为累计完成普通任务题目长度；
步骤3，黄金数据集评价，当用户完成一道黄金数据集任务时，需要更新当前贡献度和答题记录向量；定义黄金数据集任务默认长度为Lgold=100，Wcor为用户正确分词的词数组，|Wcor|为该数组的长度，Wgold为黄金数据集标准分词的词数组，|Wgold|为该数组的长度，PS为当前用户户完成该任务的正确率；
公式（2）、（3）、（4）计算完毕后，更新当前用户答题记录向量MS以及当前贡献度Pf的公式（5）、（6）如下：
根据用户对黄金数据集任务的解答情况，迭代更新用户的贡献度Pf；
步骤4，标准任务评价，设有N(N≥3)个用户共同参与分词任务, 获取N个用户的分词结果，从左至右，从每个用户给出的第一个词开始循环，比较第一个词是否相等，根据答案情况将用户分为X组，如果每组有N’个用户答案相同，则按第i组(i∈[0,X])中每个用户对该组的贡献度计算该词的评分，计算公式（7）如下：
其中， 表示第i组的评分， 表示当前组第j个人的贡献度 ；
当前词的答案判别公式（8）为：
其中， 为第m个词正确的组号，函数Index（）为返回用户贡献度最大的
组号；
确认完当前分词后，计算下一个分词的偏移量，找到起始偏移位置相同的词后，继续重复上述步骤，直至起始偏移位置为空；
步骤5，更新权重及答题记录向量，在得到当前任务的正确答案之后，根据正确答案更新每个参与该任务的用户的当前权重及答题记录向量；
定义普通任务权重参数 Lnor=100， Wcor 为投票后用户正确分词的词数组， |Wcor|为该数据的长度， Wnor 为投票后分词的词数组， |Wnor|为该数组的长度， 为当前任务的字数组， 为该数组的长度，Ps为当前用户完成该任务的正确率；
公式（9）、（10）、（11）计算完毕后，根据黄金数据集评价更新公式(5)更新用户答题记录向量 的值以及公式(6)更新用户的当前贡献度 。
3.根据权利要求1所述的一种基于众包的分词标注质量评估系统，其特征是：
所述的语料处理模块负责对输入的语料数据进行数据预处理，主要包含数据收集、编码处理、数据清理、中文分词四个步骤：
步骤1．数据收集：对语料数据进行采集，作为整个装置的数据源；文本数据的主要包括两种：一种是医院现存的医学语料文本，包括电子病历、手术步骤、检查报告结果、日常病程等记录信息；另一种是互联网公开的医学资源，包括公共字典、医学术语、临床指南等医学文献；
步骤2，处理中文编码问题：将收集的文本数据编码格式进行转换，并将文本中的全角字符转换为半角字符，最终形成编码及字符格式统一的语料文本；
步骤3，数据清理：去除语料数据中的脏数据，并对语料进行一些数据处理，去除语料中的非法字符，然后对语料进行拆分和文本分类，最终形成标准的语料数据；
步骤4，对数据清理后的标准语料数据进行文本分词：本装置通过一系列机器学习算法和深度学习算法，对语料文本进行分词，将一个字序列切分成单独的词，将文本的分词结果作为后续任务的输入数据，从而完成语料数据的预处理过程。
4.根据权利要求1所述的一种基于众包的分词标注质量评估系统，其特征是：
所述的任务管理模块主要负责任务生成、任务分发和任务队列维护；
所述的任务分为测试任务、普通任务和黄金数据集任务；
任务管理模块生成任务，将其存入任务队列，供用户进行拉取，用户完成任务提交以后，更新任务状态，具体步骤如下：
步骤1，生成测试任务，所有的普通用户需要进行相关的测试任务，测试通过了方可参与实际的众包任务，所以需要针对这部分用户生成相应的测试任务；测试任务会依据已存在正确答案的语料，从中选取N条语料，将其封装成测试任务分发给普通用户；用户需要完成测试任务，并且测试的专业准确率达到100%（准确率的评估由质量控制模块完成），才可以进入到后面的步骤；如果测得用户专业准确率没有达到100%，则需要重新生成测试任务，直到用户完成任务并达标为止。
步骤2，生成众包任务，通过测试以后的用户，开始实际的众包任务；任务管理模块会依据语料处理模块的输出数据，将其封装成一个众包任务，然后把该任务存入任务队列中进行管理；
步骤3，任务状态变更，同一个众包任务会有多个用户领取，用户提交标注结果以后，由质量控制模块完成最后的任务综合评估；任务评估完成以后，众包任务会从任务队列中取出，存入本体知识库中，并重新生成新的众包任务。
5.根据权利要求1所述的一种基于众包的分词标注质量评估系统，其特征是：
所述的用户管理模块负责系统用户的注册、登录以及权限管理等。主要用于保证本发明装置的安全性和众包任务的质量，具体步骤如下：
步骤1，注册登录。用户需要填写资料进行注册，通过审核后，进行登录方可对进入系统；
步骤2，标注测试。新注册的用户为普通用户，新用户默认会有N条测试任务，用户需要先进行测试任务的答题，填写完成后，提交任务。由质量控制模块进行用户专业准确率评估，如果用户专业准确率达到了100%，则通过测试认证，可授予众包任务权限；如果用户专业准确率没有达到100%，则用户需要继续进行测试任务，否则无权领取众包任务；
步骤3，开始众包，测试任务通过以后，用户可以获取到众包任务权限，并可以主动领取众包任务，用户对领取的众包任务进行标注，然后提交自己的标注结果。
6.根据权利要求1所述的一种基于众包的分词标注质量评估系统，其特征是：
资源标注模块主要负责语料资源的标注工作，装置提供了一种在线的交互友好的用户界面，用户可以对语料进行分词标注，然后将完成的标注结果进行提交；质量控制模块会根据用户提交的标注结果进行计算，综合评估众包任务，并将评估的结果存入本体知识库中。
7.一种基于权利要求1至6所述的众包的分词标注质量评估系统的评估方法，其特征是包括以下步骤：
步骤1. 通过语料采集模块，采集评估系统所需的语料数据，并对采集的语料数据进行数据清理和预处理，然后存入语料数据库中；通过网络爬虫在相关医学网站爬取医学术语集、医学文献集和一些公开的医学资料，作为医学语料集；
步骤2. 将爬取的医学语料集除去数据中的非文本部分，将多余的换行、空白、制表符替换成单个空格；将语料文本中的全角字符转半角字符；将文本中的html、xml等非法格式的文本进行剔除；将文本开头和结尾的空白字符剔除；将语料文本的字符编码集统一成UTF-8标准编码；
步骤3. 运用机器学习和深度学习等技术，通过自然语言处理，对语料文本进行分词；
将处理后的语料数据存入预料数据库中，作为数据源；
步骤4. 进入注册界面，用户输入手机号、验证码，并填写用户名、密码、性别、职业等信息进行注册。注册成功后，初始化用户的答题权重，用户的初始贡献度(Pf)为0，答题记录向量Ms=[Rh, Lh, Rp, Lp]默认[0,0,0,0]。其中，Rh为累计完成黄金数据集任务正确答案长度，Lh为累计完成黄金数据集任务题目长度，Rp为累计普通任务回答长度，Lp为累计完成普通任务题目长度；进入登陆界面，用户输入手机号和密码进行登陆；
步骤5. 从语料收集模块取出n条黄金数据集语料，将其包装成n个任务，发送给用户进行测试练习；
步骤6. 用户在资源标注模块进行分词操作，填写完测试练习题目以后，提交自己的分词标注结果；
步骤7. 质量控制模块判断用户提交的测试练习标注结果的正确率，根据公式1来判断用户的专业准确率；
步骤8. n个任务的标注结果全部符合标准正确答案的要求，则评估用户专业准确率为
100%；可以进入到步骤9，否则继续步骤5至步骤8，直到用户专业准确率达到100%；
步骤9. 用户从任务队列中获取排在最前面的一条该用户未分配的任务，增加到该用户的任务列表中，最多允许拥有n个未完成的任务；
步骤10. 用户在资源标注模块进行分词操作，填写完分词任务标注结果以后，提交自己的分词标注结果；
步骤11. 根据任务中语料的标记位判断该条语料是否为黄金数据集，如果为黄金数据集则进入步骤12，否则进入步骤13；
步骤12. 黄金任务综合评分计算；通过参考黄金数据原文的标准答案，依据公式6进行计算，更新该用户的最终权重；
步骤13. 非黄金数据综合评分计算，首先判断众包任务是否达到最大冗余度，任务冗余度设定是普通任务为三个人，黄金数据集任务为两个人。如果众包任务的冗余度没有达到最大冗余度，则保存用户的答题结果；否则进入下一步骤14；
步骤14. 从任务管理模块的任务队列中移除该任务，设置任务语料原文和N个用户；综合N个用户的答题结果，再依据步骤15所得的各个用户权重，得到最终的答案；
步骤15. 将步骤14生成的最终答案作为标准答案，保存到知识库中；
步骤16. 根据各个用户的贡献权重再次计算评分结果，根据公式5计算并更新每人的答题权重。
一种基于众包的分词标注质量评估系统及评估方法
技术领域
背景技术
发明内容
所述语料处理模块，主要用于对不同来源的语料数据，本发明的语料数据主要来源于电子病历、医学文献、公共医学资源、医学术语等，进行一些初步的数据预处理，将数据转换成后续模块容易使用和处理的形式，提高了数据文本挖掘处理的准确性和完整性；提高整个发明装置的质量和效率；
所述任务管理模块的功能主要包括任务的生成、分发、状态变更，保障了过程化和规范化；任务管理模块与语料处理模块连接，主要用于依据语料处理模块的生成的标准语料文本，将标准语料文本包装成需要大众参与的众包任务，任务类别具体包括测试任务、黄金数据集任务、普通任务；
所述用户管理模块，主要用于对使用用户进行身份验证和权限控制管理，包含用户的注册和登录、用户专家领域认证、用户任务领取；根据设置的安全规则和策略，用户只能参与被授权的任务，防止恶意用户和非专业用户的操作导致众包任务的质量出现问题，保障了本发明装置的安全性和准确性；
所述资源标注模块，主要用于为用户提供一种在线的语料分词标注操作界面，具有良好的交互性，用户可以进行主观的分词标注操作，将一段连续的字序列按照一定的规范重新组合成词序列；
所述质量控制模块为核心模块，包含黄金数据集权重计算、用户贡献度计算和任务综合评分；质量控制模块与任务管理模块、用户管理模块、资源标注模块连接；质量控制模块通过对众包任务结果和用户贡献度的实时、高效、准确的评估，实现对整个发明装置的质量控制和保障。
其中 P 表示当前测试任务的准确率， Wcor为测试任务中用户正确分词的词数组,|Wcor|为词数组长度;Wtest为测试任务标准答案分词的词数组，|Wtest|为词数组长度；
步骤2，任务初始化，初始化用户分词任务答题贡献度，用户分词任务答题记录向量。用户的初始贡献度(Pf)为0，答题记录向量Ms=[Rh, Lh, Rp, Lp]默认[0,0,0,0]。其中，Rh为累计完成黄金数据集任务正确答案长度，Lh为累计完成黄金数据集任务题目长度，Rp为累计普通任务回答长度，Lp为累计完成普通任务题目长度；
步骤3，黄金数据集评价，当用户完成一道黄金数据集任务时，需要更新当前贡献度和答题记录向量；定义黄金数据集任务默认长度为Lgold=100，Wcor为用户正确分词的词数组，|Wcor|为该数组的长度，Wgold为黄金数据集标准分词的词数组，|Wgold|为该数组的长度，PS为当前用户户完成该任务的正确率；
公式（2）、（3）、（4）计算完毕后，更新当前用户答题记录向量MS以及当前贡献度Pf的公式（5）、（6）如下：
根据用户对黄金数据集任务的解答情况，迭代更新用户的贡献度Pf；
步骤4，标准任务评价，设有N(N≥3)个用户共同参与分词任务, 获取N个用户的分词结果，从左至右，从每个用户给出的第一个词开始循环，比较第一个词是否相等，根据答案情况将用户分为X组，如果每组有N’个用户答案相同，则按第i组(i∈[0,X])中每个用户对该组的贡献度计算该词的评分，计算公式（7）如下：
其中， 表示第i组的评分， 表示当前组第j个人的贡献度 ；
当前词的答案判别公式（8）为：
其中， 为第m个词正确的组号，函数Index（）为返回用户贡献度最大的
组号；
确认完当前分词后，计算下一个分词的偏移量，找到起始偏移位置相同的词后，继续重复上述步骤，直至起始偏移位置为空；
步骤5，更新权重及答题记录向量，在得到当前任务的正确答案之后，根据正确答案更新每个参与该任务的用户的当前权重及答题记录向量；
定义普通任务权重参数 Lnor=100， Wcor 为投票后用户正确分词的词数组， |Wcor|为该数据的长度， Wnor 为投票后分词的词数组， |Wnor|为该数组的长度， 为当前任务的字数组， 为该数组的长度，Ps为当前用户完成该任务的正确率；
公式（9）、（10）、（11）计算完毕后，根据黄金数据集评价更新公式(5)更新用户答题记录向量 的值以及公式(6)更新用户的当前贡献度 。
所述的语料处理模块负责对输入的语料数据进行数据预处理，主要包含数据收集、编码处理、数据清理、中文分词四个步骤：
步骤1．数据收集：对语料数据进行采集，作为整个装置的数据源；文本数据的主要包括两种：一种是医院现存的医学语料文本，包括电子病历、手术步骤、检查报告结果、日常病程等记录信息；另一种是互联网公开的医学资源，包括公共字典、医学术语、临床指南等医学文献；
步骤2，处理中文编码问题：将收集的文本数据编码格式进行转换，并将文本中的全角字符转换为半角字符。最终形成编码及字符格式统一的语料文本；
步骤3，数据清理：去除语料数据中的脏数据，并对语料进行一些数据处理，去除语料中的非法字符，然后对语料进行拆分和文本分类，最终形成标准的语料数据；
步骤4，对数据清理后的标准语料数据进行文本分词：本装置通过一系列机器学习算法和深度学习算法，对语料文本进行分词，将一个字序列切分成单独的词，将文本的分词结果作为后续任务的输入数据，从而完成语料数据的预处理过程。
任务管理模块生成任务，将其存入任务队列，供用户进行拉取，用户完成任务提交以后，更新任务状态，具体步骤如下：
步骤1，生成测试任务。所有的普通用户需要进行相关的测试任务，测试通过了方可参与实际的众包任务，所以需要针对这部分用户生成相应的测试任务。测试任务会依据已存在正确答案的语料，从中选取N条语料，将其封装成测试任务分发给普通用户。用户需要完成测试任务，并且测试的专业准确率达到100%，准确率的评估由质量控制模块完成，才可以进入到后面的步骤。如果测得用户专业准确率没有达到100%，则需要重新生成测试任务，直到用户完成任务并达标为止。
步骤2. 将爬取的医学语料集除去数据中的非文本部分，将多余的换行、空白、制表符替换成单个空格；将语料文本中的全角字符转半角字符；将文本中的html、xml等非法格式的文本进行剔除；将文本开头和结尾的空白字符剔除；将语料文本的字符编码集统一成UTF-8标准编码；
步骤3. 运用机器学习和深度学习等技术，通过自然语言处理，对语料文本进行分词；
将处理后的语料数据存入预料数据库中，作为数据源；
步骤4. 进入注册界面，用户输入手机号、验证码，并填写用户名、密码、性别、职业等信息进行注册。注册成功后，初始化用户的答题权重，用户的初始贡献度(Pf)为0，答题记录向量Ms=[Rh, Lh, Rp, Lp]默认[0,0,0,0]。其中，Rh为累计完成黄金数据集任务正确答案长度，Lh为累计完成黄金数据集任务题目长度，Rp为累计普通任务回答长度，Lp为累计完成普通任务题目长度；进入登陆界面，用户输入手机号和密码进行登陆；
步骤5. 从语料收集模块取出n条黄金数据集语料，将其包装成n个任务，发送给用户进行测试练习；
步骤6. 用户在资源标注模块进行分词操作，填写完测试练习题目以后，提交自己的分词标注结果；
步骤7. 质量控制模块判断用户提交的测试练习标注结果的正确率，根据公式1来判断用户的专业准确率；
步骤8. n个任务的标注结果全部符合标准正确答案的要求，则评估用户专业准确率为
100%；可以进入到步骤9，否则继续步骤5至步骤8，直到用户专业准确率达到100%；
步骤9. 用户从任务队列中获取排在最前面的一条该用户未分配的任务，增加到该用户的任务列表中，最多允许拥有n个未完成的任务；
步骤10. 用户在资源标注模块进行分词操作，填写完分词任务标注结果以后，提交自己的分词标注结果；
步骤11. 根据任务中语料的标记位判断该条语料是否为黄金数据集，用户通过测试以后的前3条任务均为黄金数据集，通过黄金数据集更新用户的答题贡献权重，如果为黄金数据集则进入步骤12，否则进入步骤13；
步骤12. 黄金任务综合评分计算；通过参考黄金数据原文的标准答案，依据公式6进行计算，更新该用户的最终权重；
步骤13. 非黄金数据综合评分计算，首先判断众包任务是否达到最大冗余度，任务冗余度设定是普通任务为三个人，黄金数据集任务为两个人。如果众包任务的冗余度没有达到最大冗余度，则保存用户的答题结果；否则进入下一步骤14；
步骤14. 从任务管理模块的任务队列中移除该任务，设置任务语料原文和N个用户；综合N个用户的答题结果，再依据步骤15所得的各个用户权重，得到最终的答案；
步骤15. 将步骤14生成的最终答案作为标准答案，保存到知识库中；
步骤16. 根据各个用户的贡献权重再次计算评分结果，根据公式5计算并更新每人的答题权重。
具体实施方式
所述任务管理模块的功能主要包括任务的生成、分发、状态变更，保障了过程化和规范化；任务管理模块与语料处理模块连接，主要用于依据语料处理模块的生成的标准语料文本，将标准语料文本包装成需要大众参与的众包任务，任务类别具体包括测试任务、黄金数据集任务、普通任务；
所述用户管理模块，主要用于对使用用户进行身份验证和权限控制管理，包含用户的注册和登录、用户专家领域认证、用户任务领取；根据设置的安全规则和策略，用户只能参与被授权的任务，防止恶意用户和非专业用户的操作导致众包任务的质量出现问题，保障了本发明装置的安全性和准确性；
所述资源标注模块，主要用于为用户提供一种在线的语料分词标注操作界面，具有良好的交互性，用户可以进行主观的分词标注操作，将一段连续的字序列按照一定的规范重新组合成词序列；
所述质量控制模块为核心模块，包含黄金数据集权重计算、用户贡献度计算和任务综合评分；质量控制模块与任务管理模块、用户管理模块、资源标注模块连接；质量控制模块通过对众包任务结果和用户贡献度的实时、高效、准确的评估，实现对整个发明装置的质量控制和保障。
其中 P 表示当前测试任务的准确率， Wcor为测试任务中用户正确分词的词数组,|Wcor|为词数组长度;Wtest为测试任务标准答案分词的词数组，|Wtest|为词数组长度；
步骤2，任务初始化，
初始化用户分词任务答题贡献度，用户分词任务答题记录向量。用户的初始贡献度(Pf)为0，答题记录向量Ms=[Rh, Lh, Rp, Lp]默认[0,0,0,0]。其中，Rh为累计完成黄金数据集任务正确答案长度，Lh为累计完成黄金数据集任务题目长度，Rp为累计普通任务回答长度，Lp为累计完成普通任务题目长度；
步骤3，黄金数据集评价，当用户完成一道黄金数据集任务时，需要更新当前贡献度和答题记录向量；定义黄金数据集任务默认长度为Lgold=100，Wcor为用户正确分词的词数组，|Wcor|为该数组的长度，Wgold为黄金数据集标准分词的词数组，|Wgold|为该数组的长度，PS为当前用户户完成该任务的正确率；
公式（2）、（3）、（4）计算完毕后，更新当前用户答题记录向量MS以及当前贡献度Pf的公式（5）、（6）如下：
根据用户对黄金数据集任务的解答情况，迭代更新用户的贡献度Pf；
众包黄金任务质量评估算法如图3所示；
步骤4，标准任务评价，设有N(N≥3)个用户共同参与分词任务, 获取N个用户的分词结果，从左至右，从每个用户给出的第一个词开始循环，比较第一个词是否相等，根据答案情况将用户分为X组，如果每组有N’个用户答案相同，则按第i组(i∈[0,X])中每个用户对该组的贡献度计算该词的评分，计算公式（7）如下：
其中， 表示第i组的评分， 表示当前组第j个人的贡献度 ；
当前词的答案判别公式（8）为：
其中， 为第m个词正确的组号，函数Index（）为返回用户贡献度最大的
组号；
确认完当前分词后，计算下一个分词的偏移量，找到起始偏移位置相同的词后，继续重复上述步骤，直至起始偏移位置为空；
步骤5，更新权重及答题记录向量，在得到当前任务的正确答案之后，根据正确答案更新每个参与该任务的用户的当前权重及答题记录向量；
定义普通任务权重参数 Lnor=100， Wcor 为投票后用户正确分词的词数组， |Wcor|为该数据的长度， Wnor 为投票后分词的词数组， |Wnor|为该数组的长度， 为当前任务的字数组， 为该数组的长度，Ps为当前用户完成该任务的正确率；
公式（9）、（10）、（11）计算完毕后，根据黄金数据集评价更新公式(5)更新用户答题记录向量 的值以及公式(6)更新用户的当前贡献度 ；
分词标注众包标准任务质量评估算法如图4所示。
所述的语料处理模块负责对输入的语料数据进行数据预处理，主要包含数据收集、编码处理、数据清理、中文分词四个步骤：
步骤1．数据收集：对语料数据进行采集，作为整个装置的数据源；文本数据的主要包括两种：一种是医院现存的医学语料文本，包括电子病历、手术步骤、检查报告结果、日常病程等记录信息；另一种是互联网公开的医学资源，包括公共字典、医学术语、临床指南等医学文献；
步骤2，处理中文编码问题：将收集的文本数据编码格式进行转换，并将文本中的全角字符转换为半角字符。最终形成编码及字符格式统一的语料文本；
步骤3，数据清理：去除语料数据中的脏数据，并对语料进行一些数据处理，去除语料中的非法字符，然后对语料进行拆分和文本分类，最终形成标准的语料数据；
步骤4，对数据清理后的标准语料数据进行文本分词：本装置通过一系列机器学习算法和深度学习算法，对语料文本进行分词，将一个字序列切分成单独的词，将文本的分词结果作为后续任务的输入数据，从而完成语料数据的预处理过程。
任务管理模块生成任务，将其存入任务队列，供用户进行拉取，用户完成任务提交以后，更新任务状态，具体步骤如下：步骤1，生成测试任务。所有的普通用户需要进行相关的测试任务，测试通过了方可参与实际的众包任务，所以需要针对这部分用户生成相应的测试任务。测试任务会依据已存在正确答案的语料，从中选取N条语料，将其封装成测试任务分发给普通用户。用户需要完成测试任务，并且测试的专业准确率达到100%（准确率的评估由质量控制模块完成），才可以进入到后面的步骤。如果测得用户专业准确率没有达到
100%，则需要重新生成测试任务，直到用户完成任务并达标为止。
0.675，“左腕”的评分为0.55，选取评分最大的为“左腕部”。其中“外伤疼”的评分为0.22，“外伤疼痛”的评分为0.45+0.55=1.0，选取评分最大的为“外伤疼痛”。其中“伴”的评分为
0.45，“伴出血”的评分为0.55，选取评分最大的为“伴出血”。其中“4小时”的评分为0.55，选取评分最大的为“4小时”。所以综合所有人的答案，最终的答案为“左腕部__外伤疼痛__伴出血__4小时。”。
0.45003498；c用户的答案为“左腕__部__外伤疼痛__伴出血__4小时。”，根据公式（5）计算c用户的答题权重为(110+0.75*(14/100))/(200+14/100)=0.5501399。
| 标题 | 发布/更新时间 | 阅读量 |
|---|---|---|
| 石墨烯动力电池智能制造线设计方案 | 2020-05-11 | 837 |
| 一种人工智能辅助诊疗系统及其构建方法、设备和存储介质 | 2020-05-21 | 297 |
| 支持异构信息集成的乳腺钼靶报告语义树模型建立方法 | 2020-05-15 | 332 |
| 包括依伐卡托和鲁玛卡托及其盐和衍生物的复合制剂的药物联合组合物、其制备方法及含有它们的药物组合物 | 2020-05-20 | 695 |
| 一种用于电力95598工单的领域术语识别系统及方法 | 2020-05-25 | 520 |
| 基于综合特征表示与改进宽深度模型的相似病例推荐方法 | 2020-05-14 | 462 |
| MDT多学科会诊平台 | 2020-05-16 | 59 |
| 基于智能中医机器人的数据库系统 | 2020-05-26 | 671 |
| 一种疾病编码转换的方法 | 2020-05-16 | 164 |
| 一种基于众包的分词标注质量评估系统及评估方法 | 2020-05-18 | 457 |
高效检索全球专利专利汇是专利免费检索,专利查询,专利分析-国家发明专利查询检索分析平台，是提供专利分析，专利查询，专利检索等数据服务功能的知识产权数据服务商。
我们的产品包含105个国家的1.26亿组数据，免费查、免费专利分析。
专利汇分析报告产品可以对行业情报数据进行梳理分析，涉及维度包括行业专利基本状况分析、地域分析、技术分析、发明人分析、申请人分析、专利权人分析、失效分析、核心专利分析、法律分析、研发重点分析、企业专利处境分析、技术处境分析、专利寿命分析、企业定位分析、引证分析等超过60个分析角度，系统通过AI智能系统对图表进行解读，只需1分钟，一键生成行业专利分析报告。
