从1615875443条日志到94个事件，深信服XDR极致降噪背后技术揭秘

（原标题：从1615875443条日志到94个事件，深信服XDR极致降噪背后技术揭秘）

“在近一个月的测试期间,深信服XDR平台共产生1615875443个安全日志,聚合而成278802个安全告警,最终生成94个安全事件,告警削减效率提升2965倍。每位安全运营人员每天仅能处理500条告警,以往10+人花费10+天都处理不完,现在1人1天即可高质量研判完所有安全事件,安全告警结合威胁定性,可以将非病毒和扫描类的研判完毕。”

当安全工程师充满底气地汇报出这组数据,事实证明,“深信服XDR平台切切实实为用户带来安全效果”,不是一句“空谈”。

不仅如此,对比相同一台态势感知在同一天的告警数量,深信服XDR的告警削减比例接近10倍。

点击查看每条告警,都由大量日志聚合而成

就在一个月前,该用户还深陷苦恼中:

安全设备都买了,但没感受到效果

以往的态势感知与防火墙建设碎片化,设备分开运营,病毒、木马、挖矿告警太多,且大都是业务误报触发的告警,难以快速发现定向攻击。

告警研判分析难度大,效率低下

现网有各类厂商的不同安全设备,各个产品的告警非常分散,单独处理对应告警分析难度高且工作量过大,导致安全响应效率低下。

深信服XDR平台上线后,通过网端一手遥测数据聚合分析能力,大幅削减来源于EDR和态势感知(含第三方软件)的海量告警,并能完整还原出攻击故事线,精准狙击攻击者的入口点及影响面。

安全效果直观可视,用户都忍不住好奇:到底是怎么做到的?

首先了解下,深信服XDR所定义的安全事件:

收集多源遥测数据,编织以往零散割裂的信息,形成用户需要优先关注、能体现攻击全貌的安全事件。

能够深度理解安全日志的内容,在更细粒度层面做智能化处理。

从遥测数据、安全日志、安全告警,到深信服XDR所定义的安全事件,这背后依赖海量数据的高性能流式分析架构结合列式存储,也是XDR与以往SIEM类产品的关键差异。

从架构来看,一个或多个安全日志可能会经过聚合、去重、消减、过滤、融合等处理机制,实现告警降噪的效果。

接下来,我们详细讲讲,深信服XDR如何实现极致降噪?

三重降噪方式,效果直观可视

降噪的本质就是压缩有效信息,并基于更多有效的数据,提供丰富的上下文举证。

XDR极致降噪的方式,包括网络侧降噪、终端侧降噪和网端关联降噪。

1.网络侧降噪

多对一降噪:当黑客采用多个源IP,暴破同一个资产,无论持续了多长时间、成功与否,深信服XDR只需要给用户呈现一条事件或告警,在首次生成告警后,在该告警详情里持续更新。

一对多降噪:当内网某一个资产沦陷后,黑客会横向扫描多个内网资产,无论扫描多少资产、利用多少扫描方式,深信服XDR通过时间线关联,仅生成一条横向扫描的安全事件。

一对一降噪:黑客持续攻击一个资产,过程中可能利用了多种类似攻击手法,比如利用同一个漏洞,执行了多个不同的恶意命令,深信服XDR可以根据命中的安全日志,持续聚合成一条告警。

跨阶段关联降噪:将早期dnslog、WebShell上传+通信、内网横向等攻击,跨阶段关联在一起,深信服XDR以自动化方式,聚合成一个完整的安全事件。

2. 终端侧降噪

传统病毒查杀降噪:针对传统病毒类告警,可以提取出病毒路径、病毒名称、病毒hash等关键因子,按hash唯一和类别唯一两种模式,深信服XDR将同一病毒产生的告警聚合到一个安全事件中。

高级威胁降噪:针对例如无文件攻击的高级威胁,深信服XDR按时间顺序记录用户环境中发生的一切行为,将所有遥测数据串成一个图。基于溯源图通过时间、资产、网络、情报等多因子进行关联,选取与威胁相关的实体和关系作为点和边,形成一张小型威胁图,最终形成可视化的攻击故事链。

传统病毒查杀+高级威胁降噪:如果黑客进行一系列高级威胁攻击行为后,仍然落盘了一个可疑文件,被EDR杀毒检出,深信服XDR会将杀毒告警在进程链进行匹配,意味着传统病毒查杀和高级威胁降噪合二为一。

3. 网端关联降噪

根据网端发生“相同事情”的关联性,网端关联分为强关联、逻辑关联和弱关联,关联强度越强,泛化能力就越弱。

深信服XDR网端关联引擎,可以自动高效地串联起多维度安全信息,不仅提高对未知威胁、隐蔽攻击的检出率,还通过充分的溯源举证,大幅提高安全事件的准确度,帮助安全团队能做判断,敢做判断,高效处置。

值得强调的是,这一切都是自动化完成的。

第三方数据收集,平台开放亦可生长

需要圈重点的是,降噪能力在不同厂商设备间相通,深信服XDR平台能够收集来自多家第三方厂商的数据源。

深信服XDR将语义识别引擎和多级关联分析引擎创新结合,实现自动化的理解遥测数据和检测日志,“左手翻译、右手聚合”,持续将不同设备对同一次攻击产生的多条告警合为一条告警,将同一次攻击在不同阶段发起的多次尝试融为一个事件。

深信服XDR平台通过内置告警降噪、智能对抗、威胁定性等能力属性,结合安全GPT等AI技术持续赋能,提升威胁对抗的效果和效率,构建安全运营的全新范式,实现「秒级闭环,百倍提效,千万级降本」的效率和能力跃升,助力每一位用户「安全领先一步」。