对信息饱和度不均衡数据的处理方法
专利汇可以提供对信息饱和度不均衡数据的处理方法专利检索，专利查询，专利分析的服务。并且本 发明 涉及对信息 饱和度 不均衡数据的处理方法，包括：A.导入样本；B.对连续型变量采用卡方检验的分箱处理；每一个离散型变量的实例是一个分箱；C.计算变量的信息价值指标和信息熵；D.计算样本的加权信息熵；E.构建模型集合；F.对信息饱和度不同的样本进行分组，并对样本进行最优模型匹配；G.对分组后的样本进行 迭代 拆分，得到每次迭代拆分后得到新划分组的最优模型匹配结果，如果本次得到的全局模型值＞上次迭代得到的全局模型值，则继续进行迭代拆分，否则结束迭代拆分，输出本次样本分组的结果和模型匹配结果。本发明能够根据不同的信息饱和度，对不同类型的样本分别进行建模，有效提高了对信息不饱和样本的区分度。，下面是对信息饱和度不均衡数据的处理方法专利的具体信息内容。
1.对信息饱和度不均衡数据的处理方法，其特征包括：
阶段一：样本加权信息熵计算：
A.将需要建模的样本导入处理设备的存储器和内存中保存；
B.通过处理器提取存储器和内存中保存的变量并进行处理，对连续型的变量采用卡方检验的分箱处理，并得到相应的分组；对离散型的变量，每一个离散型的变量的实例是一个分箱，同时，每一个离散型的变量的实例为一个分组；
C.根据分箱结果，通过处理器计算变量的信息价值指标；根据每一个变量中的实例在该变量中出现的概率Pij，通过处理器计算该变量的信息熵；
D.通过处理器对每个样本在各个变量上根据所述信息价值指标的加权求和，计算得到样本的加权信息熵；
阶段二：样本分层最优模型匹配：
E.将多个常用的机器学习算法模型分别作为备选模型，形成模型集合保存在处理设备的存储器中，用于样本分层模型进行匹配选择；
F.处理设备中的处理器从存储器中提取并根据得到的加权信息熵和所述的模型集合，对信息饱和度不同的样本进行分组，并对分组完成的样本进行最优模型匹配；
G.所述处理器对分组后的样本通过计数器进行迭代拆分，每完成一次迭代拆分后得到新划分组的最优模型匹配结果，如果本次得到的全局模型值＞上次迭代得到的全局模型值，则继续进行迭代拆分，否则结束迭代拆分，处理器输出本次样本分组的结果和模型匹配结果，并在存储器中保存。
2.如权利要求1所述的对信息饱和度不均衡数据的处理方法，其特征为：步骤B中对连续型的变量进行分箱处理包括：
B1.通过输入设备输入卡方阈值X，并将卡方阈值X保存在存储器和内存中；
B2.处理器对连续型的变量进行排序，每一个变量值为一个分箱区间；
B3.通过处理器计算各相邻分箱区间的卡方值 其中，Aij为第i个分
箱区间中第j类实例的个数，Eij为Aij的期望评率， 其中，N为总样本数，Ni为第i个分箱区间的样本数，Cj为第j类样本在全样本中的比例；
B4.将得到的所有卡方值中最小的两个相邻分箱区间进行合并；
B5.重复步骤B1至B4，直到任意两个相邻分箱的卡方值大于卡方阈值X。
3.如权利要求1所述的对信息饱和度不均衡数据的处理方法，其特征为：步骤C中，处理器计算变量的信息价值指标包括：先计算用于衡量正样本和负样本分布差异的证据权重woe： 其中，yi是第i个变量第j个在步骤B所述的分组中的正样本数量；ni为第i个变量第j个在步骤B所述的分组中的负样本数量；yT为第i个变量的所有正样本数；nT为第i个变量的所有负样本数量；pyi为正样本占比，pni为负样本占比；然后处理器再根据得到的各证据权重woei计算变量的信息价值指标 其中，woei为第i个分
组的证据权重woe值。
4.如权利要求1所述的对信息饱和度不均衡数据的处理方法，其特征为：步骤C中，通过计算每一个变量中的实例在该变量中出现的概率Pij，其中，Dij为第i个变量的第j类实例的个数；Ni为第i个变量的实例总个数。
5.如权利要求4所述的对信息饱和度不均衡数据的处理方法，其特征为：步骤C中，处理器通过 计算该变量的信息熵，其中，H(Xi)为第i个变量的信息熵，j
为第i个变量的第j类实例，n为第i个变量总共有n类分箱实例。
6.如权利要求1所述的对信息饱和度不均衡数据的处理方法，其特征为：步骤D中，通过计算得到样本的加权信息熵，其中，Hweight(Xk)为样本的加权
信息熵，H(Xk)为第k个变量的信息熵，m为变量个数。
7.如权利要求1所述的对信息饱和度不均衡数据的处理方法，其特征为：步骤F包括：
F1.处理器随机选择一个样本，将信息熵大于该样本信息熵的其他样本作为一组，将信息熵小于该样本信息熵的其他样本作为另一组；
F2.检查样本个数是否满足建模要求：对步骤F1得到的分组，如果有其中一组的样本个数小于所有特征变量个数的50倍，则处理器重新随机选择样本进行分组，直到两个组的样本个数均大于所有特征变量个数的50倍；
F3.对分组完成的样本进行优化模型匹配。
8.如权利要求7所述的对信息饱和度不均衡数据的处理方法，其特征为：步骤F3包括：
F31.处理器从存储器中提取出步骤E所述的模型集合，并从模型集合中选取一个机器学习算法模型，根据预设的参数范围和步长通过所述机器学习算法模型进行参数空间搜索，通过所述的参数空间搜索，遍历每种可能的参数组合，并将所述参数组合保存在存储器中；
F32.记录每种参数组合下步骤F31中选中的机器学习算法模型在样本上的表现，以F1值作为衡量指标： 其中，precision为机器学习算法模型的精度指标，
recall为机器学习算法模型的召回率指标；
F33.选择F1值最大的机器学习算法模型作为该组样本在本次分组下的最优匹配模型；
F34.通过计数器迭代步骤F31至步骤F33,最终使步骤F1所述的两个组分别对应一个最优匹配模型；
F35.计算全局模型值： 其中，n为本次迭代的样本
分组个数，F1_scorei为第i组样本对应机器学习算法模型的F1值。
9.如权利要求1所述的对信息饱和度不均衡数据的处理方法，其特征为：步骤G中，当处理器对分组后的样本通过计数器进行迭代拆分时，如果第i次分组的第j组的样本数量大于所有样本特征变量个数的50倍，则对第i次分组的第j组的样本进行拆分，否者停止该组样本的拆分，转入对下一组样本的拆分判断，直到有样本组满足拆分条件；如果没有一组样本满足才分条件，则结束分组，输出步骤F的匹配结果。
对信息饱和度不均衡数据的处理方法
技术领域
背景技术
发明内容
中，woei为第i个分组的证据权重woe值。
附图说明
具体实施方式
其中，woei为第i个分组的证据权重woe值。
(A:0.1,B:3) 0.72 (A:0.15,B:3) 0.73 (A:0.2,B:3) 0.71
(A:0.1,B:5) 0.74 (A:0.15,B:5) 0.75 (A:0.2,B:5) 0.72
(A:0.1,B:7) 0.75 (A:0.15,B:7) 0.78 (A:0.2,B:7) 0.74
(A:0.1,B:9) 0.71 (A:0.15,B:9) 0.72 (A:0.2,B:9) 0.7
Group2 Obs2 0.7 GBDT 0.76
Group1 Obs_1 0.3 GBDT 0.71
Group2 Obs_2 0.7 GBDT 0.76
… … … … …
Group n Obs_n 0.8 SVM 0.81
(0,0.2] 0.7 0.68
(0.2,0.3] 0.72 0.7
(0.3,0.5] 0.74 0.71
(0.5,0.7] 0.77 0.78
(0.7,-] 0.8 0.79
| 标题 | 发布/更新时间 | 阅读量 |
|---|---|---|
| 液晶显示装置及背光驱动方法 | 2020-05-08 | 139 |
| 基于交通流量和占有率信息实现路口车道指数融合处理的方法 | 2020-05-08 | 600 |
| 一种深海碳封存与发电系统 | 2020-05-08 | 932 |
| 基于离散裂缝模型的油水两相非达西渗流数值模拟方法 | 2020-05-08 | 901 |
| 铁路货车轴箱弹簧故障图像识别方法 | 2020-05-08 | 981 |
| 一种基于迭代算法的智能完井与油藏非稳态耦合方法 | 2020-05-08 | 206 |
| 岩心自发渗吸采收率预测方法及系统 | 2020-05-11 | 661 |
| 多姿态人体检测方法、计算机存储介质及电子设备 | 2020-05-08 | 667 |
| 一种胃食管气体反流检测装置 | 2020-05-11 | 97 |
| 一种二氧化碳在盐水层中封存机理的可视化实验装置 | 2020-05-08 | 541 |
高效检索全球专利专利汇是专利免费检索,专利查询,专利分析-国家发明专利查询检索分析平台，是提供专利分析，专利查询，专利检索等数据服务功能的知识产权数据服务商。
我们的产品包含105个国家的1.26亿组数据，免费查、免费专利分析。
专利汇分析报告产品可以对行业情报数据进行梳理分析，涉及维度包括行业专利基本状况分析、地域分析、技术分析、发明人分析、申请人分析、专利权人分析、失效分析、核心专利分析、法律分析、研发重点分析、企业专利处境分析、技术处境分析、专利寿命分析、企业定位分析、引证分析等超过60个分析角度，系统通过AI智能系统对图表进行解读，只需1分钟，一键生成行业专利分析报告。
