欢迎光临
我们一直在努力
您的位置:首页>新闻 >

系统利用人类专家的意见预测了85%的网络攻击

今天的安全系统通常分为两类:人或机器。所谓的“分析师驱动的解决方案”依赖于生活专家创建的规则,因此会错过任何与规则不符的攻击。与此同时,今天的机器学习方法依赖于“异常检测”,这种方法往往会引发误报,无论如何都会产生对系统的不信任并最终不得不被人类调查。

但是如果有一个可以合并这两个世界的解决方案呢?它会是什么样子?

在一篇新论文中,来自麻省理工学院计算机科学与人工智能实验室(CSAIL)和机器学习初创公司PatternEx的研究人员展示了一种名为AI 2的人工智能平台,通过不断整合人类专家的意见,可以比现有系统更好地预测网络攻击。(这个名字来自于将人工智能与研究人员称之为“分析师直觉”的内容合并而来。)

该团队表明,AI 2可以检测到85%的攻击,大约是以前基准测试的三倍,同时还将误报数量减少了5倍。该系统在36亿条数据上进行了测试,称为“日志行,“这是由数百万用户在三个月内生成的。

为了预测攻击,AI 2通过使用无监督的机器学习将数据聚类成有意义的模式来梳理数据并检测可疑活动。然后,它将此活动呈现给人类分析人员,他们确认哪些事件是实际攻击,并将该反馈结合到其模型中以用于下一组数据。

“您可以将系统视为虚拟分析师,”CSAIL研究科学家Kalyan Veeramachaneni说道,他与PatternEx的首席数据科学家,前CSAIL博士后Ignacio Arnaldo 开发了AI 2。“它不断产生新模型,只需几个小时即可完善,这意味着它可以显着快速地提高其检测率。”

Veeramachaneni在上周举行的IEEE纽约大数据安全国际会议上发表了一篇关于该系统的论文。

创建合并基于人工和计算机的方法的网络安全系统是棘手的,部分原因是手动标记算法的网络安全数据的挑战。

例如,假设您想开发一种能够高精度识别物体的计算机视觉算法。为此标记数据很简单:只需招募一些人类志愿者将照片标记为“对象”或“非对象”,并将这些数据提供给算法。

但对于网络安全任务,像亚马逊机械土耳其人这样的众包网站上的普通人根本没有技能来应用“DDOS”或“渗透攻击”等标签,Veeramachaneni说。“你需要安全专家。”

这开启了另一个问题:专家们很忙,他们不能整天检查被标记为可疑的大量数据。众所周知,公司会放弃那些工作量过大的平台,因此有效的机器学习系统必须能够自我提升而不会压倒其人类的霸主。

AI 2的秘密武器是它将三种不同的无监督学习方法融合在一起,然后向分析师展示顶级事件以供他们标记。然后,它构建了一个监督模型,可以通过团队称之为“持续主动学习系统”的方式不断完善。

具体来说,在训练的第一天,AI 2选择了200个最不正常的事件并将其交给专家。随着时间的推移,它会将越来越多的事件识别为实际攻击,这意味着在几天之内,分析师每天只能查看30或40个事件。

“这篇论文汇集了分析师直觉和机器学习的优势,最终降低了误报和漏报,”圣母大学计算机科学教授弗兰克·M·弗莱曼说。“这项研究有可能成为抵御诸如欺诈,服务滥用和账户接管等攻击的防线,这是面向消费者的系统面临的主要挑战。”

该团队表示,AI 2可以每天扩展到数十亿条日志行,将每分钟的数据转换为不同的“特征”,或最终被视为“正常”或“异常”的离散行为类型“。

“系统检测到的攻击越多,它收到的分析师反馈就越多,这反过来又提高了未来预测的准确性,”Veeramachaneni说。“人机交互创造了一种美丽的,层叠的效果。”

免责声明:本网站图片,文字之类版权申明,因为网站可以由注册用户自行上传图片或文字,本网站无法鉴别所上传图片或文字的知识版权,如果侵犯,请及时通知我们,本网站将在第一时间及时删除。