威胁情报基础:爬取、行走、分析

      威胁情报基础:爬取、行走、分析无评论

  过去我们所理解的威胁情报就是“威胁数据→SIEM(安全信息与事件管理)→安全保障”,而这个过程中只有少数东西需要分析。Rick Hollan在2012年的一篇博客《我的威胁情报可以完虐你的威胁情报》中就曾提醒我们“这是一条错误的轨道”,他写道:

  “只有当你的机构具有自我开发的能力时,才称得上具有真正的威胁情报。”

  现阶段,我们可以利用很多已有的威胁情报,并掌握我们如何在内网中更好的利用威胁情报。而这要求我们具备一个对威胁情报的基础了解,以及他们究竟是如何在安全操作环境起作用的。本文旨在帮助对威胁情报感兴趣的人,理解威胁情报和情报分析基础。

威胁情报基础:爬取、行走、分析

  威胁情报水平的安全操作:爬取

  在决定将威胁情报整合到安全操作之前,公司最好先构建一个以不同方式有效利用威胁情报的框架。

  传统中的情报水平即战争中的策略、运作及战术。产生这样对应关系的原因如下:它有助于识别各个层次的决策者;它能识别情报的目的,无论是既定政策、计划中或是检测、组织一次攻击活动;它能够在获得情报后帮助决策者拟定适当的行动。

  在所有情报级别中,关键是针对组织进行专门的价值评估。请回答一个问题:“这些信息要如何添加到我们的安全项目中?这些信息对我们做决定有什么帮助?”

  战略情报(Strategic intelligence)

  战略情报指的是告知董事会与业务部门的情报。这能帮助他们更好地理解他们所面临的趋势,并达成有益发展的策略。战略情报来自更为长期项目的趋势分析,常常采用了例如DBIR和CRS(国会研究服务)的报告形式。战略情报帮助决策者洞悉哪种威胁对业务及公司未来产生最大影响,以及他们应当采取何种措施缓解这些威胁。

  运用战略情报的关键是将这些情报融入公司的优先级、数据以及攻击表面中。没有任何商业或年度趋势报告能够告诉你什么是最重要的、某种威胁趋势可能会影响到你。

  战略情报和所有其他情报一样,是一个工具,有助于进行未来决策,但无法帮你直接作出决定。

  作战情报(Operational Intelligence)

  作战情报提供的是针对一个组织特定攻击的相关情报。它源于军事行动的概念――即一系列发生于不同时间或地点的计划、活动,却具有相同的攻击目标。因此它能概括出攻击活动的目标是整个部门,或是黑客针对某个特定机构进行的攻击。

  你可以在信息共享和分析中心(ISAC)与组织(ISAO)获取作战情报。

  作战情报是面向更为高级的安全人员,而与战略情报不同的是,它需要在短期或者中期内采取必要行动,而非长期。它会在一下情况中发挥作用:

  1、 是否增加安全意识培训;

  2、 在一次明确的“作战”过程中,如何分配SOC员工;

  3、遭遇特殊情况时,是否可以临时拒绝防火墙的请求。

  作战情报信息共享是一个非常好的选择。如果你发现一些近期内会影响他人的“东西”,请及时共享出这些信息。它能够帮助其他公司决定是否采取必要行动。

  只有当情报获取者有权变更政策或者采取措施应对威胁时,作战情报才真正有用。

  战术情报(Tactical Intelligence)

  战术情报关注于攻击者的行为意图是“什么”(IoC)以及采取了“怎样”的(战术、技术和程序)检测、阻止攻击行为。攻击者是否倾向于使用特定方法获得初始访问权限,例如社会工程或者漏洞利用?他们是否使用了特定工具或提权手段?你通过哪些IoC发现异常活动?Herman Statman的威胁情报列表为查询战术情报提供了详实的资料。

  战术情报主要是面向活跃监测周围环境的安全人员,他们收集来自员工报告的异常活动或社会工程尝试等信息。战术情报也可以用于寻找攻击活动,我们试图从普通用户行为中区分出攻击者。这种情报类型需要更多先进的资源,例如广泛的日志记录、用户行为分析、端点可见性以及训练有素的分析师。由于一些指标可能在第一次出现时没有被员工捕获或警告,因此具备安全意识的员工同样很重要。通常你拥有的员工数量要比攻击感应器多……所以,听从你的员工、训练他们、收集他们提供的信息,分析之后就采取行动吧。

  战术情报提供了特定但是易逝的信息,安全人员仍可采取应对行动。

  了解威胁情报在不同层面上的运作,有助于公司进行决策,同时帮助公司决定如何处理未来的情报。从你组织内部搜集的情报永远是可执行性最强的情报。

  厨子、裁缝、士兵、间谍:情报利用分为多种类型

  正如前文中详细提到的,情报出现在不同的操作层,企业可以利用不同类型的情报有效应对面临的威胁。

  不要笑――对于“情报”解释得最出色的便是“CIA儿童区”(美国中央情报局针对六至十二年级少年的官方科普网站)。

  他们将情报细分为一下几种类型:

  科学和技术:提供关于对手技术和能力的信息;

  动态:关注日常事件及其影响;

  警示:对于紧急事件给予注意,并发布通知;

  估测:关注可能发生的事情;

  研究:为某事件提供了一个深入的研究。

  虽然大多数机构并不会同时使用所有类型的情报,除非你和CIA一样(但是请别告诉我你做了什么),那么了解这些不同类型的情报以及他们提供的内容很有必要。不同类型的情报需要多样的人员分析和时间差异。例如技术情报很容易实现自动化,因此可以随节奏而产生。然而像威胁趋势研究,则非常依赖于人的分析。

威胁情报基础:爬取、行走、分析

  技术情报

  在信息安全操作中,通过技术情报来探查对手的能力和技术。它包括一些例如IP和C&C地址及域名、恶意文件名称和hash值在内的许多细节,以及一些TTP细节,像是针对某个特殊目标的漏洞或者一个用于指引植入的特定回调模式。

  技术情报最常用于“机器对抗机器”的行动中,只是因为需要机器处理尽可能多的信息。机器通常并不关心人在意的内容,因此在许多情况下,技术情报并不涵盖太多内容。防火墙并不用清楚封锁某个恶意域名的原因,它只要去照做就行了。而在防火墙另一端的人或许想要知道,因此可能触发大量警报。企业必须在消费之前进行技术情报分析,否则最多也只是获取数据或者信息,而非情报!想了解更多,可以去阅读Robert Lee的文章《数据VS信息VS情报》。

  如果你并不使用自己生成的技术情报,那么你必须清楚技术情报的来源以及如何将它们运用于分析,特别是自动化分析。此刻,我感到自己独自在这里乱言:通过“机器对机器”的自动化方式生成威胁情报……先不要说我错了,做些分析再说吧!

  动态情报

  动态情报处理的是每天可能需要立刻做出反应的事件和情况。我曾听人这么说,“新闻才不是情报”,这的确是真的;然而,当需要对你的特定机构、网络或者活动进行分析时,公共领域新闻就成了威胁情报。

  举个动态情报的例子,报道说一个开发工具三天前集成了一个新的漏洞利用工具。通常按照30天补丁的周期而言,你在27天内可能遭遇攻击。知晓这一威胁会如何影响你的组织、如何进行检测并封锁恶意活动便是一种动态情报。动态情报也可以从组织网站的信息中获取。分析一次入侵或者针对高管的钓鱼攻击同样也能产生动态情报,这点则急需立即执行。

  当你的网络生成动态情报时,要记录下它们!这可以用于后续的情报趋势及威胁环境分析研究。同时,还能与其他组织共享这份情报。

  威胁趋势(估测)

  在战术层面(技术情报、动态情报)收集到的所有情报都可以分析进而生成威胁趋势。威胁趋势的获取需要时间,你需要随着时间进行模式分析,观察事物如何变化或者保持原状的。威胁趋势能够是某种反复影响网络的特定威胁分析,也可以是对一个组织或恶意软件家族的分析。与威胁趋势更直接相关的其实是你的网络或者组织,这点对你而言更有帮助。

  威胁趋势让我们避免从一个分析中得出错误的预测或未来威胁的误报。

  威胁形势研究

  说起趋势,威胁分析长期重视时效性,动态情报需要通过长期的战略研究进行积累。与战术情报资源相比,社群中我们拥有多少战略层、技术性IOC(输入/输出控制器)。又存在多少新项目专注于提供“实时情报”和“深入分析”。原因当然包括没有足够的分析师进行这些工作,而他们通常关注于对时间比较敏感的时间。此外,我们常常没有足够正确的数据进行战略层的分析,同样是因为我们并不习惯从自己的网络中搜集数据,而大多数人不愿意分享战略型威胁,只愿意分享那些威胁对他们实际造成影响的信息。

  我们需要改变这样的局面,因为你不能也不应该在未来安全项目中忽略战略的重要性,你也不能在没有理解其背后的逻辑时匆忙制定安全策略。威胁形势研究是指在环境中进行长期威胁分析――他们的攻击是什么、他们如何进行攻击、你又该如何对这些威胁进行相应――这些都影响着你的策略。你从网络中收集的战略层信息并进行基于网络日常活动进行的分析都归属为威胁形势研究。你以及公共领域信息的动态情报都可以服务于威胁形势研究。BRID建立了一个用于捕获和分析这些信息的框架叫做VERIS(事件记录与共享表单)。记住一点,这类情报分析需要大量时间和精力,但是一切都是值得的。

  信息共享

  当前共享IOC及其他技术信息变得尤为重要,然而在本文中我们所探讨过任一类型的情报都很适合分享,以最佳实践和流程进行信息共享会有意想不到的收获。

  在一个组织的网络中共享信息不失为理解新威胁的一种好方式,同时还有益于提升态势感知能力。信息共享本质上就是产生具有威胁警示作用的情报。当信息共享越来越自动化,这也就意味着掌握的信息更海量。想要了解更多,可以观看Alex Pinto最近在威胁情报有效性测量方面的研究。

  即使现在你仍对从你自身环境中收集情报的价值存有疑虑,威胁情报的消化仍然需要你去分析、去了解它为何与你有关、你又该采取哪些行动。对于不同类型情报的理解及使用方式可以指导你进行分析和决定。

  安全操作中的情报分析

  在本系列的前两个部分中,我们介绍了情报的框架:情报的分级(战略情报、行动情报、战术情报)和情报的类型(技术情报、趋势情报、长期情报等)。不论情报的等级、类型如何,对情报分析的需求是不变的。

  分析是情报最为重要的部分,它调用数据然后将其转化成为我们决策提供依据的情报。

  分析:失落的碎片

  我们十分擅长情报收集、处理及传播工作,却容易遗漏情报周期中大量的重要部分,导致警报未触发、错误预警过多,误导用户。

  说起来容易,但是真正开展情报分析工作却是一件困难的事情,尤其在诸如网络威胁情报等新兴领域尤为如此。模型和方式可以帮助我们理解情报分析的过程,但即便是确定模型的种类也绝非易事。存在很多相似模型,它们在不同场合发挥了不同的作用。

  那么问题来了:什么是分析?

  情报分析的目的是为了减少不确定性、提供威胁预警以及为决策提供支撑的信息评估和解读。美国前国务卿鲍威尔对“情报”给出了最精简的概括,即“让我知道你掌握的,让我了解你不知道的,告诉我你在想什么。对这三者保持清楚的区分”。

  借助自己或他人收集的信息,分析师通过这些已知材料进一步区分出哪部分需要继续采集,而哪些可以作为参考,然后决定他们运用信息的方式。

  在你展开分析之前,你应当明确情报分析的目标是什么。理论上需求取决于领导、客户或者其他类型的用户,但是在在很多情况中客户对自己的需求并不非常清楚。因此,理解公司对于威胁情报的需求非常关键,第一步就是要搞清楚问题所在或值得探讨的地方。

  分析模型

  一旦了解情报分析需要解决的问题,就着手从不同分析模型中选择出最佳模型进行分析。这里列出了一些比较有用的资源,可以帮你了解那些常见的威胁情报模型。

  不同的模型可以为不同的目的服务。SWOT方法更适合于实施更高级别的分析,通过与对手的比较发现自身存在的优势和不足。F3EAD、Diamond Model(钻石模型)、Kill Chains模型都可以用于分析的具体指令或不同事件与指令之间的关联。Target Centric Intelligence是一种比较少为人知的模型,但它不仅能帮助我们了解某一事件,还能加强情报决策者、收集者、分析者等相关部门的协作,从而避免在情报处理的过程中重复、信息不共享或常见的误传等情况。

  ・ SWOT (Strengths, Weaknesses,Opportunities, Threats)

  ・ Find, Fix, Finish, Exploit, Analyze,Disseminate by @sroberts

  ・ Target CentricIntelligence

  ・ Diamond Modelfor Intrusion Analysis

  ・ Analysis ofAdversary Campaigns and Intrusion Kill Chains

  关于情报收集,还要注意这些

  通常情报分析结果取决于初始信息的质量。通过训练,情报分析员有能力对信息来源进行评估,以便掌握该信息是否因为主观因素而影响了可靠性。在开展网络威胁情报分析工作时,我们还是主要依赖于其他渠道收集的数据而非第一手信息。这也是为什么要在自有网络中进行信息分析的重要原因之一。

  此外,作为团队成员要确保信息的透明,以便其他人进行情报分析。这样或许暴露了消源或获得手段,但我们仍然需要在保护信源和情报得到充分利用之间取得平衡。

发表评论