将词组索引技术应用在互联网搜索引擎中的方法
专利汇可以提供将词组索引技术应用在互联网搜索引擎中的方法专利检索，专利查询，专利分析的服务。并且本 发明 是将词组索引技术应用到互联网 搜索引擎 中，把网页文件中的句子分解成词语，以每个关键词为中心词，在其前和后附加上若干别的词组成索引词组集，以词组为单位生成网页内容的索引文件；将用户提交的查询信息，利用分词程序提取出查询信息中的实词，将这些词进行所有合理和可能的组合，得到用于检索的词组集；由匹配程序将用于检索的词组集中的词组依次与索引文件中的词组进行精确匹配，获得搜索结果；由于词组在表达语意方面要强于单个的词，使得搜索的结果更精确的体现查询者的可能意图。，下面是将词组索引技术应用在互联网搜索引擎中的方法专利的具体信息内容。
1.将词组索引技术应用在互联网搜索引擎中的方法，其特征在于包括以下 几个步骤：
步骤一：自动积累网页信息：
首先，通过网页收集程序，自动地通过超链分析，取得互联网上大量的原 始网页文本；在取得这些文本的同时，通过分词程序将该网页文本分解成一个 个独立的词语，用词频统计程序统计词频，将词频超过阈值的词标注为关键 词；然后，利用词组生成程序，以每个关键词为中心，在其前和后分别附加若 干别的词，组合成包含词语数量不等、搭配不同的一系列词组，得到用于索引 的词组集，并按词组长短排序，连同这些词组来源的信息，插入或更新到倒排 表的索引文件中；
步骤二、处理用户的查询信息：
首先，由搜索引擎的用户界面接受用户的查询信息；由分词程序将用户的 查询信息分解成一个个独立的词语，并标识每个词的词性；再利用词组生成程 序，把分词得到的词语以每个实词为中心，在其前和后附加上若干别的词，组 合成包含词语数量不等、搭配不同的一系列词组，得到用于检索的词组集，并 存放到内存中。
步骤三、检索匹配并获得搜索结果：
首先，由匹配程序将用于检索的词组集中的词组依次与倒排表的索引文件 中的词组进行精确匹配，得到匹配的项，将其对应的网页id检出，依次存放到 结果网页集中；然后，对结果集中对应相同网页id的项进行合并，按照与存入 结果网页集相同的先后次序遍历结果网页集，取出对应的网页链接以及其它相 关信息，从而获得搜索结果。
2.如权利要求1所述的将词组索引技术应用在互联网搜索引擎中的方法， 其特征在于：在搜索引擎分析网页文本时，把网页文本切分为若干关键词，并 把这些词排列成为词语组合的形式，将其以“词组-＞网页id1，网页id2，…” 这样的倒排表的形式记录到磁盘或内存中的索引文件里。
3.如权利要求1所述的将词组索引技术应用在互联网搜索引擎中的方法， 其特征在于：在搜索引擎分析网页文本时，所有的词组生成工作都限于在当前 句内，不同句子中包含的关键词不能组合到一起。
4.如权利要求1所述的将词组索引技术应用在互联网搜索引擎中的方法， 其特征在于：在搜索引擎处理用户的查询信息时，利用问句模式匹配程序，将 用户的查询信息的问句转换成陈述句。
5.如权利要求1所述的将词组索引技术应用在互联网搜索引擎中的方法， 其特征在于：将用于索引和检索的词组集，按词组长短排序，长的在前短的在 后。
6.如权利要求1所述的将词组索引技术应用在互联网搜索引擎中的方法， 其特征在于：在获得索引和检索的词组集的过程中，去除一些无意义的组合。
7.如权利要求6所述的将词组索引技术应用在互联网搜索引擎中的方法， 其特征在于：所述的无意义的组合是指虚词组合。
技术领域
本发明主要涉及互联网搜索引擎的底层关键技术——“文本索引”方式的 创新以及为完善此技术而需要的前端处理的一些创新。本发明是将词组索引的 理论实际应用到互联网搜索引擎的索引构成中。由于词组索引可以大幅提高检 索内容与被检索内容之间语意的相关性，因而也可以说是为互联网搜索引擎提 供的一种智能化的检索方法。
背景技术
这种搜索方法存在以下几点严重的缺陷：
第一，无用的(或者对于检索词不相关或相关性低的)搜索结果过多。这是 因为单一检索词在文本中出现的概率和频率并不完全代表检索词与文本内容的 相关性的值。
第二，这种搜索引擎的查询方式实质上是基于关键词，对于输入完整的句子 进行查询的效果很不理想，这种按关键词出现的频率或者点击次数一类的网页排 序方法所排出的顺序，在输入句子查询的情况下，不能很好的体现检索句与文本 内容相关性的高低，见图1。
第三、现存的搜索引擎对查询的关键词匹配是模糊的，这样有利于得到更 多结果，但是却导致很多无用的结果充斥进来，甚至干扰到较好的结果的出现 位置，而且这些搜索引擎对问句没有做特殊处理，效果相对不好，见图2。
第四、现存的搜索引擎中没有限制多个关键词同时出现的范围，所有的词 组生成工作不限于在当前句内，有可能出现将不同句子包含的关键词组合到一 起的情况， 例如：我们搜索“中国情人节的礼物”这句话，使用目前流行的搜 索引擎得出的结果很可能是像这样：
“…与西方情人节不同…还具有深厚的中国文化底蕴，…且看我们为你准备 的礼物攻略…”，完全不能体现查询语句的整体意思，见图3。
发明内容
本发明将词组索引技术应用在互联网搜索引擎中的方法，包括以下几个步 骤：
步骤一：自动积累网页信息：
首先，通过网页收集程序，自动地通过超链分析，取得互联网上大量的原 始网页文本；在取得这些文本的同时，通过分词程序将该网页文本分解成一个 个独立的词语，用词频统计程序统计词频，将词频超过阈值的词标注为关键 词；然后，利用词组生成程序，以每个关键词为中心，在其前和后分别附加若 干别的词，组合成包含词语数量不等、搭配不同的一系列词组，得到用于索引 的词组集，并按词组长短排序，连同这些词组来源的信息，插入或更新到倒排 表的索引文件中；
步骤二、处理用户的查询信息：
首先，由搜索引擎的用户界面接受用户的查询信息；由分词程序将用户的 查询信息分解成一个个独立的词语，并标识每个词的词性；再利用词组生成程 序，把分词得到的词语以每个实词为中心，在其前和后附加上若干别的词，组 合成包含词语数量不等、搭配不同的一系列词组，得到用于检索的词组集，并 存放到内存中。
步骤三、检索匹配并获得搜索结果：
首先，由匹配程序将用于检索的词组集中的词组依次与倒排表的索引文件 中的词组进行精确匹配，得到匹配的项，将其对应的网页id检出，依次存放到 结果网页集中；然后，对结果集中对应相同网页id的项进行合并，按照与存入 结果网页集相同的先后次序遍历结果网页集，取出对应的网页链接以及其它相 关信息，从而获得搜索结果。
在搜索引擎分析网页文本时，把网页文本切分为若干关键词，并把这些词 排列成为词语组合的形式，将其以“词组->网页id1，网页id2，…”这样的倒 排表的形式记录到磁盘或内存中的索引文件里。
在搜索引擎分析网页文本时，所有的词组生成工作都限于在当前句内，不 同句子中包含的关键词不能组合到一起。
在搜索引擎处理用户的查询信息时，利用问句模式匹配程序，将用户的查 询信息的问句转换成陈述句。
将用于索引和检索的词组集，按词组长短排序，长的在前短的在后。
在获得索引和检索的词组集的过程中，去除一些无意义的组合，所述的无 意义的组合是指虚词组合。
本发明在建立索引文件的存储信息要素上与传统搜索引擎不同，传统搜索 引擎的索引文件类似于“关键词(keyword)->网页id1，词频，网页id2…”这样 的格式，而本发明把“关键词”这个要素扩展成词语组合的形式，以“词组- >网页id1，网页id2，…”这样的形式记录到磁盘或内存中的索引文件里。
本发明在具体建立索引时，令词语组合的操作局限在一个句子内，以每个 关键词为中心词，在其前和后附加上若干别的词组成词组，并将索引按词组长 短进行排序，词组长的排在前面，短的在后，所有的词组生成工作都限于在当 前句内，不出现将不同句子包含的关键词组合到一起的情况。由于对搜索引擎 限制了多个关键词同时出现的范围，可以避免把本来无关的两句话，甚至两段 话的内容串到一起，从而产生太多无用信息。
在用户提交查询信息时，本发明利用分词程序提取出查询中的实词(根据 词性标注)，将这些词进行所有合理和可能的组合：在所有的组合中去除不合 理的组合，由此得到一系列词组以用于检索，然后搜索引擎用这些词组，先精 确匹配其中较长的词组，即用查询中生成的较长的词组，去匹配网页文本经过 处理后生成的索引中相对应的词组，这样检索到的就是包含查询中关键词多的 网页文本。
本发明在搜索引擎处理用户提交的查询信息时，先利用问句模式匹配程 序，通过一些简单的模式匹配将用户查询信息的问句转换成陈述句，再交给后 面的步骤处理，使得问句式的查询能够以接近原意的陈述句的形式来表述和处 理，使得在能够保证效果的前提下，查询更易于处理。
由于本发明建立在词组索引基础上，所以本发明对查询内容并非精确匹 配，而是对查询句子进行了处理后生成多个词组才用于检索，虽然这样不一定 能得到和查询句子完全相同或者包含全部查询关键词的网页内容，但这样的好 处是生成多个词组可以扩大搜索语意的范围，获得更多的备选网页，同时又利 用生成的词组与索引进行精确匹配，反过来缩小了语意范围，获得更为精准的 语意匹配结果。相较与传统搜索引擎的关键词模糊匹配，由于关键词组合的词 组在表达语意方面明显要强于单个的关键词(自然语言中表达语意的完整程度 的单位从大到小依次是：句子>词组>词语>单字，目前使用机器直接处理句子并 不理想)，使得搜索的结果更精确的体现查询者的可能意图。
附图说明
图1为习有搜索引擎查询“中国的西部大学”获得的结果网页；
图2为习有搜索引擎查询“艺妓回忆录的导演是谁？”获得的结果网页；
图3为习有搜索引擎查询“中国情人节的礼物”获得的结果网页；
图4为本发明自动积累网页信息的流程框图；
图5为本发明查询“艺妓回忆录的导演是谁？”所获得的结果网页；
图6为本发明查询“中国情人节的礼物”所获得的结果网页；
具体实施方式
步骤一：自动积累网页信息，见图4：
首先，通过网页收集程序，如爬虫(crawler)或蜘蛛(spider)程序，自 动地通过超链分析，取得互联网上大量的原始网页文本；在取得这些文本的同 时，通过分词程序将该网页文本分解成一个个独立的词语，用词频统计程序统 计词频，将词频超过阈值的词标注为关键词；然后，利用词组生成程序，以每 个关键词为中心，在其前和后分别附加若干别的词，组合成包含词语数量不 等、搭配不同的一系列词组，在组合的过程中，根据分词程序标注的词性，去 除一些无意义的组合，例如一些虚词组合等，得到用于索引的词组集，并按词 组长短排序，长的在前短的在后，连同这些词组来源的信息，按“词组->网 页id1，网页id2，…”的对应表的形式插入或更新到磁盘或内存的倒排表的索引 文件中。
步骤二、处理用户的查询信息：
首先，由搜索引擎的用户界面接受用户的查询信息；由分词程序将用户的 查询信息分解成一个个独立的词语(一般对于英文来说，分词这一步可以简单 的按空格划分)，在分词的过程中同时把每个词的词性标识出来，也是由分词 程序处理；再利用词组生成程序，把分词得到的词语以每个实词为中心，在其 前和后附加上若干别的词，组合成包含词语数量不等、搭配不同的一系列词 组，在组合的过程中，根据分词程序标注的词性，去除一些无意义的组合，例 如一些虚词组合等，得到用于检索的词组集，并按词组长短排序，长的在前短 的在后，存放到内存中。
步骤三、检索匹配并获得搜索结果：
首先，由匹配程序将用于检索的词组集中的词组依次与磁盘或内存中的倒 排表的索引文件中的词组进行精确匹配，得到匹配的项，将其对应的网页id检 出，依次存放到结果网页集中；然后，对结果集中对应相同网页id的项进行合 并，词组长度按其中出现最长的词组的长度计，即把这些项归并到最先匹配得到 的项中；通过按照与存入结果网页集相同的先后次序(优先匹配长词组)遍历 结果网页集，取出对应的网页链接以及其它相关信息，反馈给搜索引擎的用户 界面，将搜索结果呈现给用户。
所述的倒排索引表的具体结构为：
倒排索引表的结构是每个词组对应一个网页id列表，存储方式可以灵活使 用，例如可在每个词组后记录一个指向对应网页id列表的指针，以这样的二元 组方式来实现。
词组字符串 网页id列表
或
本发明对用户查询信息中的问句进行了一些简单预处理，将问句转换成了 陈述语序，然后再进行搜索，针对有限的疑问词，这个很容易做到。
例如：
为什么太阳是圆的？
太阳是圆的原因
太阳是圆的缘由
太阳是圆的缘故
......
该如何提高孩子的自理能力？
提高孩子的自理能力方法
提高孩子的自理能力技巧
提高孩子的自理能力注意事项
......
本发明的搜索引擎查询“艺妓回忆录的导演是谁？”所获得的结果网页， 见图5，与图2比较，所得到的结果内容比较符合查询目的。
目前合法的词组形式有：
1.名词+名词
2.形容词+名词
3.名词+动词
4.副词+动词
5.动词+名词
6.以上形式词组的任意组合
本规则可以被扩充或被删减，可在具体实现时做进一步细化考虑。
生成词组方式的示例：
假设正在分析的网页中有这样一句话：
“北京2008年奥运会的吉祥物正式揭晓仪式”
分词与词性标注的结果：
北京/n 2008年/t 奥运会/n的/l 吉祥物/n 正式/a 揭晓/v 仪式/n
假设正在分析的所获取的网页的关键词是“奥运会”(通过词频分析可以 得到)，那么利用本发明的方法可以重新组合出的词组为：
2008年奥运会 (将关键词前的词与关键词组合)
北京2008年奥运会 (将关键词前的词与关键词组合)
北京奥运会 (将关键词前的词与关键词组合)
奥运会的吉祥物 (将关键词后的词与关键词组合)
奥运会的吉祥物正式揭晓 (将关键词后的词与关键词组合)
奥运会的吉祥物正式揭晓仪式 (将关键词后的词与关键词组合)
奥运会吉祥物揭晓 (将关键词后的词与关键词组合)
奥运会吉祥物仪式 (将关键词后的词与关键词组合)
不可能出现：“吉祥物的奥运会”一类顺序颠倒的词组。
这一个网页将会以这样的一些词组来作为索引，同时本发明也把用户输 入的查询信息，经过分词和分析生成这样的一些词组；然后使用这些词组来匹 配搜索。因为一个句子可以生成很多短语，所以，本发明的检索会进行多次 (也可并发执行)，但每一次检索，都是精确匹配。
另外，之所以在生成词组时要限制关键词在一句之内，是为了避免把两句 话，甚至两段话的本来无关的内容串到一起。下面将举例说明：
例如：我们搜索“中国情人节的礼物”这句话，使用目前流行的搜索引擎 得出的结果很可能是像这样：
“…与西方情人节不同…还具有深厚的中国文化底蕴，…且看我们为你准备 的礼物攻略…”，完全不能体现查询语句的整体意思。
相反，使用本发明搜索这句话，得出的结果一般会像这样： “…中国情人 节别出心裁的礼物…中国传统…选好礼物…”，与查询语句的原意的相关性大为 增加，且相关性越好的结果出现得越靠前，见图6。
| 标题 | 发布/更新时间 | 阅读量 |
|---|---|---|
| 一种基于深度学习的校园心理辅导的方法及装置 | 2020-05-13 | 942 |
| 互联网政治外交类新闻事件抽取方法 | 2020-05-13 | 81 |
| 一种电商产品竞争分析方法及系统 | 2020-05-14 | 221 |
| 一种电力营销知识体系平台及应用方法 | 2020-05-14 | 979 |
| 一种智能文本处理方法、装置、电子设备及存储介质 | 2020-05-11 | 5 |
| 一种用于智能质检服务禁语的识别方法及系统 | 2020-05-08 | 805 |
| 一种基于句法模式和机器学习的开放式关系的抽取方法 | 2020-05-11 | 921 |
| 非命名实体对象抽取方法、装置、电子设备及存储介质 | 2020-05-13 | 627 |
| 用于增强已标注样本的方法和设备 | 2020-05-11 | 934 |
| 一种基于事理推荐的逻辑图谱构建及预警方法和装置 | 2020-05-13 | 332 |
高效检索全球专利专利汇是专利免费检索,专利查询,专利分析-国家发明专利查询检索分析平台，是提供专利分析，专利查询，专利检索等数据服务功能的知识产权数据服务商。
我们的产品包含105个国家的1.26亿组数据，免费查、免费专利分析。
专利汇分析报告产品可以对行业情报数据进行梳理分析，涉及维度包括行业专利基本状况分析、地域分析、技术分析、发明人分析、申请人分析、专利权人分析、失效分析、核心专利分析、法律分析、研发重点分析、企业专利处境分析、技术处境分析、专利寿命分析、企业定位分析、引证分析等超过60个分析角度，系统通过AI智能系统对图表进行解读，只需1分钟，一键生成行业专利分析报告。
