是智能运维方向论文中较早而且较有影响力的一篇文章,首次提出使用机器学习的方法来帮助运维人员自动配置异常检测器,并且取得的较好的性能。虽然有监督的方式仍具有局限性,并且最终的性能指标并不是很高,但Opprentice系统的提出仍然为实际运维中异常检测的工作有很大借鉴价值。在此,简单对该文章进行翻译,供英语水平不高的同学快速浏览,了解文章的主要思想和大致路线,以提高读文章的速度。原本想复现一下,后来看到裴丹老师的一些新论文中,已经找到了更好的解决方式,其中有一篇WWW2018的文章还有代码,准备先看新文章了。GITHUB上有这篇文章的部分代码重现,文末参考资料中有链接,如果有完整重现,请联系我分享一下。
Opprentice基于机器学习的运维异常检测方法
相关推荐
MLography基于机器学习的金相学异常检测模型
MLography:这是一种新颖的机器学习方法,专注于肉类金相学中的异常检测。MLography通过数据挖掘和深度学习实现自动化的杂质检测和分析。此方法利用几何对象的异常分数来识别和量化不同的杂质类型。以下是模型的主要功能:
空间异常:检测在邻域中体积较大且距离较远的杂质,评估其异常度。
形状异常:将不对称的形状视为异常,从形状特征上突出杂质。
综合异常:结合空间和形状异常分数,呈现最具代表性的杂质对象。
区域异常:分析异常物体的空间分布,量化区域内的杂质位置和数量。
本存储库提供MLography实现细节,包括代码、数据以及MLographyENV文件,用于快速创建带所需
数据挖掘
6
2024-10-30
高维数据中的异常检测-综述异常检测方法
高维数据的异常探测方法由Aggarwal和Yu (SIGMOD’2001)提出。该方法将高维数据集映射到低维子空间,通过评估子空间中数据的稀疏性来识别异常数据。
算法与数据结构
14
2024-07-22
基于Spark的机器学习课程介绍
基于 Spark 的机器学习课程,内容比较聚焦,用 Scala 来实现各种 ML 算法,挺适合想快速上手的大伙儿。课程里讲得比较清楚,像 KMeans、逻辑回归这些常见算法怎么跑、怎么调参,都会带你一步步来,省心不少。
Scala 语言的代码风格偏简洁,配合 Spark 的分布式计算,效率还是蛮高的。你写个pipeline、调个transform啥的都挺流畅,响应也快。适合搞大数据那一挂的同学,尤其是做 ETL 和建模的。
要是你还不太熟 Spark 的底层机制,课程里也顺带讲了RDD、DataFrame还有任务调度这块,听完心里有底。比起直接啃官方文档,这种方式更容易吸收。
如果你正好在找学
spark
0
2025-06-16
基于统计学习的网络异常检测技术
基于统计学习的网络异常行为检测技术,挺适合你深入了解 APT 攻击的检测方式,尤其是对大数据感兴趣的同学。它不是那种光说理论的文章,里面讲了不少实战例子,比如怎么命令控制通道,怎么做统计建模,实用性还蛮强。
APT 攻击的威胁现在越来越隐蔽,靠传统的特征匹配早就不够用了。基于统计学习的异常检测,就是用数据说话,比如用一些行为参数建模,看哪个点突然飙高或者异常,那多半就是有问题了。
文里讲的技术路线比较清晰,从参数提取到统计建模,每一步都不绕弯子,像是命令控制、数据传输这些攻击路径都能拿来做案例。你要是搞过机器学习或者大数据,理解起来会挺顺的。
另外,它还总结了基于大数据的检测优缺点,像能力强、
统计分析
0
2025-06-16
机器学习资源
感谢大牛整理的机器学习资源:https://github.com/Flowerowl/Big_Data_Resources#大数据-数据挖掘
数据挖掘
17
2024-05-01
机器学习经典
McGrawHill出版社发行的.Tom著作的机器学习经典,涵盖数据挖掘通用算法。
数据挖掘
18
2024-05-25
异常检测算法综述基于不同方法的异常探测分类
异常检测方法可以基于多种不同的方法进行分类:包括统计学方法、距离度量方法、偏差检测方法和密度估计方法。这些方法在处理高维数据时也有各自的应用场景。
算法与数据结构
17
2024-07-20
机器学习要素的要素
三位统计学家和计算机专家的重要著作,强调数学基础,涵盖统计与计算机领域,是学习数据挖掘和统计学习理论的必备文献,提供djvu格式的英文原版。
数据挖掘
21
2024-07-17
gbrank机器学习的应用
gbrank机器学习在各领域的广泛应用展示了其在科技创新中的重要性。
Access
13
2024-07-19