一种基于大数据的网络文章转发识别方法
专利汇可以提供一种基于大数据的网络文章转发识别方法专利检索，专利查询，专利分析的服务。并且本 发明 公开了一种基于 大数据 的网络文章转发识别方法，通过 搜索引擎 定时且不间断的在互联网上采集各种类型文章，依据所集文章建立文章 数据仓库 ；确认需要识别的文章及其显隐性，显式转发文章通过传播链接的比对进行转发识别，隐式转发文章通过模糊Hash值的比对查找到与待识别文章有关联的文章Pm，再进一步的识别出与之存在转发关系的文章Pe，根据文章Pe传播时间的先后重新排列找到源文章。通过本发明的实施能够找到文章的转发路径，解决了现有的人为排查耗时长、且效率低的问题，同时，依据查找到的具备转发关系的文章，为有关部 门 对有害网络文章的禁止传播提供数据依据，此外，本发明还能够用于网络文章的原创性判定以及文章的影响 力 评估。，下面是一种基于大数据的网络文章转发识别方法专利的具体信息内容。
1.一种基于大数据的网络文章转发识别方法，其特征在于：通过搜索引擎定时且不间断的在互联网上采集各种类型文章，依据所集文章建立文章数据仓库，而后，确认需要识别的文章及其转发类型，若转发文章标出文章来源，则为显式转发文章，若转发文章未标出文章的来源，则为隐式转发文章；
对于显式转发文章，其转发识别方法包括如下步骤：
步骤A1：设置初始集合S为空集，将待识别的文章A的链接放入集合S；
步骤A2：设置一个临时集合C为空集；
步骤A3：取出集合S中的元素，与数据仓库中的其他文章的传播链接进行逐一匹配，若匹配成功，则将该匹配成功的文章P的链接加入集合C，反之，若匹配失败，则继续与数据仓库中的下一篇文章的传播链接进行匹配；
步骤A4：清空集合S中的元素，将C中所有元素加入S，清空集合C；
步骤A5：重复步骤A2至A4，直到集合S为空集；
步骤A6：根据步骤A3所获传播链接的传播时间的先后重新排列链接；
对于隐式转发文章，其转发识别方法包括如下步骤：
步骤B1：提取数据仓库中的所有文章的关键信息，并根据各自的关键信息计算得到各自的64位模糊Hash值；
步骤B2：设置初始集合S1，将待识别文章A的64位模糊Hash值与数据仓库中所有文章的模糊Hash值的逐一比对，找到与文章A有关联的文章Pm的模糊Hash值，并进一步查找出该类文章的具体内容，放入集合S1：
S1{P1、P2、P3……Pm}
步骤B3：依次提取集合S1中的文章Pm，将文章A与取出的文章Pm分别对应分解为两个字序列X，Y，其长度分别对应为N、T，其中N≥T，定义序列X到序列Y中的点到点的距离函数 为：
其中 表示序列X中序号为i的字， 表示序列Y中序号为j的字，若 则表示两个字相同，距离为0，若 则表示两个字不同，距离为1；
步骤B4：定义X序列的字与Y序列的字之间的对应关系 ，根据对应关系计算得到两篇文章序列之间的的累计距离 ，其中：
的可能值为1到N， 的可能值为1到T， 即解出T个从序列X到序列Y的对应关系， 即解出T个累计距离，若 ，则表明X序列的第一个点与Y序列的第一个点就是一个对应关系；
步骤B5：设定初始空集S2，设定转发判定阈值H，将计算得到的T个距离累计值 放入集合S2，并从中筛选出最小的累计距离值 ，若最小距离值 ≦H，则文章A与文章Pm之间为转发关系，若最小距离值 ﹥H，则两文章之间不存在转发的关系；
步骤B6：设定初始空集S3，重复步骤B3至B5，直至集合S1为空集，并将找到的与A存在转发关系的文章Pe（0≦e≦m）放入集合S3；
步骤B7：根据文章Pe传播时间的先后重新排列，该排列的首篇文章即为源文章。
2.根据权利要求1所述的网络文章转发识别方法，其特征在于：所述步骤B2进一步包括：
步骤B21：建立倒排索引表，针对待识别的文章A，将其的64位模糊Hash值分为4块，每块
16位，根据每个块值分别查询4张倒排索引表，得到与A的模糊Hash值的汉明距离在3以内的文章Pm的模糊Hash值；
步骤B22：根据步骤B21所得模糊Hash值，查询出该类文章的ID，通过按域搜索，查找出所有这些文章的的具体内容，放入集合S1。
3.根据权利要求1所述的网络文章转发识别方法，其特征在于：所述步骤B1中的文章关键信息包括，文章作者、文章链接、文章标题、文章发表时间、文章内容、传播链接、文章关键词、文章摘要。
4.根据权利要求1所述的网络文章转发识别方法，其特征在于：所述判定阈值H优选为
0.15T。
5.根据权利要求1所述的网络文章转发识别方法，其特征在于：所述步骤B6中的e的值为0的时候，P0仅为结果值，文章P0不存在，即文章A未存在有转发关系的文章。
一种基于大数据的网络文章转发识别方法
技术领域
背景技术
发明内容
通过搜索引擎定时且不间断的在互联网上采集各种类型文章，依据所集文章建立文章数据仓库，而后，确认需要识别的文章及其转发类型，若转发文章标出文章来源，则为显式转发文章，若转发文章未标出文章的来源，则为隐式转发文章。
步骤A2：设置一个临时集合C为空集；
步骤A3：取出集合S中的元素，与数据仓库中的其他文章的传播链接进行逐一匹配，若匹配成功，则将该匹配成功的文章P的链接加入集合C，反之，若匹配失败，则继续与数据仓库中的下一条传播链接进行匹配；
步骤A4：清空集合S中的元素，将C中所有元素加入S，清空集合C；
步骤A5：重复步骤A2至A4，直到集合S为空集；
步骤A6：根据步骤A3所获传播链接的传播时间的先后重新排列链接；
对于隐式转发文章，采用如下方法实现转发识别：
步骤B1：设置初始集合S1，提取数据仓库中所有文章的关键信息，并根据各自的关键信息计算得到各自的模糊Hash值；
步骤B2：将待识别文章A的模糊Hash值与数据仓库中所有文章的模糊Hash值的逐一比对，找到与文章A有关联的文章Pm的模糊Hash值，并进一步查找出该类文章的具体内容，放入集合S1：
S1{P1、P2、P3……Pm}
步骤B3：依次提取集合S1中的文章Pm，将文章A与取出的文章Pm分别对应分解为两个字序列X,Y，其长度分别对应为N、T，其中N≥T；定义序列X到序列Y中的点到点的距离函数
为：
其中 表示序列X中序号为i的字， 表示序列Y中序号为j的字，若 则表示
两个字相同，距离为0，若 则表示两个字不同，距离为1；
步骤B4：定义X序列的字与Y序列的字之间的对应关系 ，根据对应关系计算得到两篇文章序列之间的的累计距离 ，其中：
的可能值为1到N， 的可能值为1到T， 即解出T个从序列X到序列Y的对应
关系， 即解出T个累计距离，若 ，则表明X序列的第一个点与Y序列的第一
个点就是一个对应关系；
步骤B5：设定初始空集S2，设定转发判定阈值H，将计算得到的T个距离累计值 放入集合S2，并从中筛选出最小的累计距离值 ，若最小距离值 ≦H，则
文章A与文章Pm之间为转发关系，若最小距离值 ﹥H，则两文章之间不存在转发的关系；
步骤B6：设定初始空集S3，重复步骤B3至B5，直至集合S1为空集，并将找到的与A存在转发关系的文章Pe（0≦e≦m）放入集合S3；
步骤B7：根据文章Pe传播时间的先后重新排列，该排列的首篇文章即为源文章。
B22：根据步骤B21所得模糊Hash值，查询出该类文章的ID，通过按域搜索，查找出所有这些文章的的具体内容，放入集合S1。
具体实施方式
步骤A2：设置一个临时集合C为空集；
步骤A3：取出集合S中的元素，与数据仓库中的其他文章的传播链接进行逐一匹配，若匹配成功，则将该匹配成功的文章P的链接加入集合C，反之，若匹配失败，则继续与数据仓库中的下一条传播链接进行匹配；
步骤A4：清空集合S中的元素，将C中所有元素加入S，清空集合C；
步骤A5：重复步骤A2至A4，直到集合S为空集；
步骤A6：根据步骤A3所获传播链接的传播时间的先后重新排列链接；
显式转发文章，该类转发文章有相同的链接，通过将待识别文章的链接与数据仓库中所有文章的链接进行一一匹配，从而找到与待识别文章链接相同的文章链接，再通过链接传播时间的先后，判定文章的转发顺序。
步骤B2：将待识别文章A的模糊Hash值与数据仓库中所有文章的模糊Hash值的逐一比对，找到与文章A有关联的文章Pm的模糊Hash值，并进一步查找出该类文章的的具体内容，放入集合S1：
S1{P1、P2、P3……Pm}
其详细步骤包括，
步骤B21：建立倒排索引表，针对待识别的文章A，将其的64位的模糊Hash值分为4块，每块16位，根据鸽笼原理，如果两个模糊Hash值的距离在3以内，则它们必有一块模糊Hash值完全相同。每一块的块值作为主键，文章的ID作为键值，建立4张倒排索引表，根据每个块值分别查询4张倒排索引表，得到与A的模糊Hash值的汉明距离在3以内的文章Pm的模糊Hash值；
步骤B22：根据步骤B21所得模糊Hash值，查询出该类文章的ID，通过按域搜索，查找出所有这些文章的的具体内容，放入集合S1。
其中 表示序列X中序号为i的字， 表示序列Y中序号为j的字，若 则表
示两个字相同，距离为0，若 则表示两个字不同，距离为1；
步骤B4：定义X序列的字与Y序列的字之间的对应关系 ，根据对应关系计算得到两篇文章序列之间的的累计距离 ，其中：
的可能值为1到N， 的可能值为1到T， 即解出T个从序列X到序列Y的对应
关系， 即解出T个累计距离，若 ，则表明X序列的第一个点与Y序列的第一
个点就是一个对应关系；
两个序列之间的累计距离越小，则序列X和序列Y相似度越高，相反，两个序列之间的累计距离越大，则相似度越低，若两篇文章存在转发关系，则两篇文章具有完全相同的内容或者其中的某一段落或多个段落的内容相同。
H的值根据需求设定，例如当H设为0时，两篇内容必须完全相同即最小累计距离达到0，才能判定定文章A和Pm为转发关系，根据反复的实验，H的值为0.15T时，两篇文章具有85%的内容相同，这种情况下，转发识别准确度在99%以上，H的值为0.2T时，即两篇具有80%相似度的文章，转发识别准确度在95%，考虑到隐式转发文章存在完全转发和部分转发的基础上，且要保证转发识别的高准确度的，判定阈值H优选为0.15T。
加权：转化为数值型特征向量之后，就可以给所有特征向量的Hash值进行加权。把特征向量的Hash值的每一位看成是一个维度，如果该位为1，则加权结果为正权重；如果该位为
0，则加权结果为负权重。以此生成加权的特征向量。例如：HW(“中国”) = Hash(“中国”)*Weight(“中国”) = [5 5 -5 -5 5 -5 5 5 -5 -5 -5 5 -5 5 -5 -5 -5 -5 5 5 5 -5 5 -
5 5 5 -5 -5 5 5 -5 5 -5 5 5 -5 5 5 -5 -5 5 -5 -5 5 -5 -5 5 -5 5 -5 -5 5 5 -5 -5 -5 -5 -5 5 -5 -5 5 5 -5]
合并：将上一步生成的所有加权特征向量对应的维度累加，生成最终的一个64位的合并特征向量。例如：M(“我是中国人”) = HW(“我”) + HW(“是”)+HW(“中国”)+HW(“人”) = [-1 3 -11 -1 -1 -11 5 9 -3 -9 -11 3 -9 11 -7 -1 1 -9 -1 5 9 -11 1 -5 11 11 -
11 -1 11 11 -3 1 -11 1 11 -3 -1 5 -9 -1 3 -1 1 7 -5 1 11 -3 5 -5 -11 5 -1 -1 -5 -1 -1 -9 7 -5 -7 9 7 -1]。
| 标题 | 发布/更新时间 | 阅读量 |
|---|---|---|
| 安全储存系统以及用于安全储存的方法 | 2020-05-12 | 529 |
| 毛里塔尼亚海域头足类资源丰度预测方法 | 2020-05-12 | 437 |
| 一种挖掘社区领域专家的方法和装置 | 2020-05-18 | 956 |
| 手机键盘的英语字母排列 | 2020-05-12 | 390 |
| 控制“SIP呼叫转移”功能特征的方法 | 2020-05-12 | 72 |
| 人体内生长激素变异的检测方法、该变异及其应用 | 2020-05-13 | 477 |
| 一种文章生成的方法和装置 | 2020-05-11 | 611 |
| 基于元结构技术的全局引文推荐方法、推荐系统 | 2020-05-17 | 216 |
| 一种适合中文打字习惯的键盘 | 2020-05-14 | 218 |
| 一种基于压电式传感器的机动车速度检测装置 | 2020-05-14 | 785 |
高效检索全球专利专利汇是专利免费检索,专利查询,专利分析-国家发明专利查询检索分析平台，是提供专利分析，专利查询，专利检索等数据服务功能的知识产权数据服务商。
我们的产品包含105个国家的1.26亿组数据，免费查、免费专利分析。
专利汇分析报告产品可以对行业情报数据进行梳理分析，涉及维度包括行业专利基本状况分析、地域分析、技术分析、发明人分析、申请人分析、专利权人分析、失效分析、核心专利分析、法律分析、研发重点分析、企业专利处境分析、技术处境分析、专利寿命分析、企业定位分析、引证分析等超过60个分析角度，系统通过AI智能系统对图表进行解读，只需1分钟，一键生成行业专利分析报告。
