一种基于主题信息的文本切割方法
专利汇可以提供一种基于主题信息的文本切割方法专利检索，专利查询，专利分析的服务。并且本 发明 公开了一种基于主题信息的文本切割方法，具体操作如下：对输入文本以及训练集进行预处理，获得一系列单词组成的句子；然后进行特征提取，得到其 特征向量 ；再根据其蕴含的语义信息对输入文本进行聚类操作，得到一系列句子簇，并为每个簇按顺序分配一个数字标号，得到一系列带有数字标号的单句；为每一个句子分配一个训练集中已有的主题标签，使得训练集中已有的主题标签分配至文本中的所有句子；利用数字标签标注结果和主题标签标注结果，进行修正，得到带主题标签的文本 片段 ，将主题标签分配到切割后的文本上，使句子描述的主题都清晰可见，可以方便的根据主题 定位 到文本中描述该主题的 位置 ，使得检索更为方便。，下面是一种基于主题信息的文本切割方法专利的具体信息内容。
1.一种基于主题信息的文本切割方法，其特征在于，包括以下步骤：
步骤1，对输入文本以及训练集进行预处理，获得一系列单词组成的句子；
步骤2，对步骤1得到的句子进行特征提取，得到每个句子的特征向量；
步骤3，利用步骤2获得的输入文本的特征向量，根据其蕴含的语义信息对输入文本进行聚类操作，得到一系列句子簇，并为每个簇按顺序分配一个数字标号，得到一系列带有数字标号的单句；
步骤4，利用训练集训练分类器，将步骤2得到的输入文本的特征向量使用分类器进行分类，为每一个句子分配一个训练集中已有的主题标签，使得训练集中已有的主题标签分配至文本中的所有句子，得到分配了主题标签的单句；
步骤5，对步骤3得到的带有数字标号的单句和步骤4得到的已分配主体标签的单句进行综合进行修正，到带主题标签的文本片段，修正的具体操作如下：
501，将步骤4中的分类结果与步骤3中的聚类结果按顺序进行一一配对，对于聚类结果中的每个数字标签，统计其对应的分类主题标签及每个主题标签的个数，并将数字标签和与其对应的出现最多次数的分类主题标签进行对应，构成一个查询字典；
502，将分类主题标签按照步骤501所得查询字典进行映射，映射结果为一个标号集合，对所述标号集合与聚类结果得到的标号集合进行异或操作，得到一个0-1向量；
503，根据步骤502所得0-1向量对分类得到的主题标签进行修正：对于异或操作得到的结果中的所有的1，对其左侧句子和右侧句子分别进行分析，如果两边的结果均为0，且标签一致，则将该位置更正为与左右句子的标签一致；如果两侧结果均为0，但标签不同，则该位置的句子单独属于一个类；如果两侧有一个1，则以0一侧的标签为准进行修正；如果两侧均为1，则不进行任何操作；循环执行503，直至结果不再发生变动，得到稳态结果；
504，根据503得到的稳态结果，每一个句子都被分配了一个单独的数字标签，数字标签并对应着一个主题标签，并且每一个类标签只会在相邻的几个句子之间出现，根据句子主题标签发生改变的边界，对文本进行切割，即可得到带主题标签的文本片段。
2.根据权利要求1所述的基于主题信息的文本切割方法，其特征在于，步骤1中，所述预处理是将输入文本按照句子结尾标点符号进行划分，获得一系列单独的句子，并对所得单独的句子进行分词。
3.根据权利要求2所述的基于主题信息的文本切割方法，其特征在于，步骤1中，所述句子结尾标点符号包括所有可以用于中文单句结尾处的标点符号。
4.根据权利要求2所述的基于主题信息的文本切割方法，其特征在于，步骤1中，需要去除单独句子中的数字、停用词、标点符号以及所有非中文字符；所述句子的格式为：每一行为一系列单词，单词之间使用空格隔开。
5.根据权利要求1所述的基于主题信息的文本切割方法，其特征在于，从经过步骤1预处理得到的文本中提取一部分句子作为训练集，训练集的格式为：句子-主题标签，其中句子和主题标签均为中文文本。
6.根据权利要求1所述的基于主题信息的文本切割方法，其特征在于，步骤2具体包括以下步骤：
S201，使用连续词袋模型将文本中出现的每一个单词转化为一个100维的词向量；
S202，根据S201得到的词向量，使用WR方法对句子进行建模，得到一个初始句向量vs；
S203，对输入文本中的每个句子，循环执行S202，得到一个行数为句子个数，列数为100的初始句向量矩阵；
S204，将S203中得到的初始句向量矩阵进行转置，并进行矩阵奇异值分解，移除句子中无关的特征，分解之后得到三个矩阵，取出第一个矩阵，并记为u；
S205，对输入文本中的某个句子s，根据S202中得到的初始句向量vs以及S204中得到的矩阵u，进行如下操作
vs＝vs-uuTvs
T
其中，u表示矩阵u的转置，句子s的最终句向量；
S206，对输入文本中的每个句子，循环执行S205，得到每一个句子所对应的最终句向量。
7.根据权利要求6所述的基于主题信息的文本切割方法，其特征在于，步骤202中，首先根据词频对单个句子中的每个词向量赋予一定的权重，该权重由人工设置；通过如下公式得到一个初始句向量
其中vs为初始句向量，s为句子集合中的某个句子，w为该句子中出现的某个单词，a为人工设置的权重参数，p(w)为单词w在所有句子中出现的频率，vw表示单词w的词向量。
8.根据权利要求1所述的基于主题信息的文本切割方法，其特征在于，步骤3中，首先使用主成分分析法对步骤2所得句向量进行特征提取，使得句向量从100维映射到较低维度，并得到降维之后的句向量，接下来使用kmeans算法对降维后的句向量进行聚类，得到若干个簇，对所述簇依次进行编号，并分别将簇对应的句子打上与所述簇相同的标号，得到一系列带有数字标号的单句。
9.根据权利要求1所述的基于主题信息的文本切割方法，其特征在于，步骤501中，如果存在某两个数字标签下出现次数最多的主题标签相同的情况，则暂时不将这两个数字标签与主题标签进行对应，等到其他的主题标签与数字标签对应完成后，再根据空缺的标号与空缺的主题标签进行对应。
一种基于主题信息的文本切割方法
技术领域
背景技术
根据余弦相似度将文本聚类，聚合成不同的事件类；设置事件的分割参数limit-num，用来控制事件中的文本切割参数；针对每一个事件类event，按照声量值选择文本，然后判断分析；将事件类中所有文本向量进行均值运算，生成该类的均值向量，将均值向量输入到应用模型model中，输出均值向量情感值p_avg；事件内部存在情感倾向的文本，计算情感值；利用情感分类模型对事件情感值进行计算(综合w1,w2)，其中，w1+w2＝1；判断事件情感分类s＝p(event)，若s≥s2，则事件为正向；若s1<；s<；s2，则事件为中立；若s≤s1，则事件为负向。
发明内容
具体实施方式
| 标题 | 发布/更新时间 | 阅读量 |
|---|---|---|
| 一种基于VR技术的记忆提升检测方法及系统 | 2020-05-08 | 482 |
| 说话人确认方法和装置 | 2020-05-08 | 767 |
| 数字串声纹密码验证方法及系统 | 2020-05-08 | 501 |
| 基于匿名化及差分隐私技术的用电数据脱敏方法及系统 | 2020-05-11 | 686 |
| 基于语音的评分方法及相关装置 | 2020-05-08 | 295 |
| 一种基于信用大数据的标签分类和定量分析方法 | 2020-05-08 | 949 |
| 一种基于文本主题的网页暗链检测方法和装置 | 2020-05-11 | 381 |
| 一种游戏平台用户问答业务的短文本分类方法 | 2020-05-08 | 555 |
| 文本检测方法、装置、电子设备及存储介质 | 2020-05-11 | 519 |
| 文档层级划分方法、文档层级划分装置和可读存储介质 | 2020-05-11 | 485 |
高效检索全球专利专利汇是专利免费检索,专利查询,专利分析-国家发明专利查询检索分析平台，是提供专利分析，专利查询，专利检索等数据服务功能的知识产权数据服务商。
我们的产品包含105个国家的1.26亿组数据，免费查、免费专利分析。
专利汇分析报告产品可以对行业情报数据进行梳理分析，涉及维度包括行业专利基本状况分析、地域分析、技术分析、发明人分析、申请人分析、专利权人分析、失效分析、核心专利分析、法律分析、研发重点分析、企业专利处境分析、技术处境分析、专利寿命分析、企业定位分析、引证分析等超过60个分析角度，系统通过AI智能系统对图表进行解读，只需1分钟，一键生成行业专利分析报告。
