等会儿更新(2 / 5)
ri要求数量为l时,可得数据集R内集合C的支持度计算公式如下:(1)(1)定义2:存在集合IDW时,利用表示C→D的置信度。所挖掘数据集合内可满足最小置信度以及最小支持度的C→D即大数据挖掘方法所需挖掘的关联规则。关联规则通过挖掘事务集内频繁项集合,获取不同事务与事务间所存在的关联规则。网络安全事件具有规模量极大的特点[10],选取云计算平台Hadoop平台实现海量网络安全事件关联规则挖掘。大数据分析技术挖掘关联规则分为两部分:(1)挖掘频繁项集,所挖掘频繁项集应满足最小支持度;(2)利用数据挖掘所获取的频繁项集挖掘满足最小置信度条件的关联规则。Hadoop平台利用Map函数以及Reduce函数获取项目集子集以及综合已获取子集的支持度,通过分析全部子集支持度获取所挖掘网络安全事件中频繁项支持度,挖掘网络安全事件数据集中所包含频繁项集。Hadoop平台挖掘关联规则过程如下:将最小支持度β以及原始网络安全事件数据集R作为Hadoop平台运算输入;将可满足最小支持度的频繁项作为Hadoop平台运算输出。Map任务:(1)依据所输入文件路径利用最小支持度的频繁项集分割原始网络安全数据集为大小为n的数据子集,格式化处理所分割的各子集,获取键值对,其中value与key分别表示数据信息以及字符偏移量。(2)将所获取不同子集中的键值对依据Map函数读取,将数据信息value利用split函数解析,将解析结果传送至集合内;(3)利用输出key表示全部子集,设子集value值等于1;(4)调用全部可选的bin函数,全部Map端在网络安全数据中生成相同key值的键值对,通过bin函数合并全部相同的键值对,改善通过网络将所获取的键值对发送至Reduce端造成运算效率低的缺陷;Reduce任务:(1)排序bin函数所发送的键值对,合并相同key值的键值对,获取,所获取键值对利用Re-duce函数读取,累加键值对中L内的值。网络安全数据集R内key集合的支持数量,所获取结果即Reduce端具有频繁候选项集的全局支持度;(2)将高于最小支持度的候选项集基于最小支持度发送至存储数据外部表内,利用所获取外部表查询挖掘所获取的频繁项集,设置该频繁项为MapReduce程序的输入以及输入相关文件。将最小置信度δ以及满足最小置信度δ的关联规则分别作为挖掘网络安全事件关联规则的输入与输出,运算过程如下:(
↑返回顶部↑