分析人员如何通过诊断性调查来进行调查

来源：https://chrissanders.org/2016/05/how-analysts-approach-investigations/

信息安全面临的一个挑战是我们无法有效地培训新的分析师。大多数安全知识是隐性的。我们有很多擅长抓坏人的从业者，但他们中的大多数都不清楚自己是如何做到的。我认为，克服这个问题需要关注安全调查背后的基本思维过程，这是我博士研究的基础。

每一个以思想为基础的专业都有一个核心结构，通过这个核心结构，一切都被构建起来。对医生来说，这是病人的情况。诊断过程、测试框架和治疗计划都源于此。对律师来说，这是法律案件。由此产生了发现练习、审判和判决。这些核心构造被定义为一个整体大于部分之和的实体。每个人都有自己的故事。

在信息安全方面，我们的核心构建是侦查案件。我们所做的一切都是基于判断是否发生了恶意活动，以及恶意活动的程度。我不认为很多人会对这一点提出异议，但令人惊讶的是，关于调查过程本身的正式文章很少。许多文献对其进行了粉饰，仅仅将其各部分的总和作为相关证据的基本容器。

我认为调查的意义远不止这些。
一、诊断调查

调查是信息安全的核心。它是一种活生生的东西，通过它我们所有的行动都是有动机和框架的。它是我们的镜头。要理解这个调查，你必须了解人类是如何思考的。

1、感知不是现实。我们感知到的现实和实际存在的是两个独立的东西，这是由我们解释感官输入的能力和使用高级推理的能力所决定的。从最初的感知到对现实的准确描述的过程是学习和认知的基础。

2、学习来自提问。从娘胎里起，人类就通过质疑环境、自我和自身极限来学习。通过提问和使用各种技巧来寻找答案，我们学会了移动、行走、说话和思考。这些技巧的范围从简单的实验到复杂的推理，可以被像食物和水这样的原始需求，或者像成就或尊重这样的更高层次的需求所激发。

3、我们的偏见总是存在。有无数的障碍限制了我们从感知到现实的能力。其中最危险的是我们自身固有的心态和偏见。人类是固执己见的，驱使我们追求现实的同样的问题也驱使着我们的观点。当这些观点被教育和意识到的时候，它们就是假设，而当这些条件都不满足的时候，它们就是猜测，更多地受制于有限的偏见。

如果你考虑到人类心理学的知识，它开始描绘一幅调查的画面。我不是试图创建一个框架来规定应该如何进行调查，而是想采用一种方法来揭示如何将调查作为一种学习形式来进行。毕竟，这就是调查的本质。这一切都是关于通过学习事实来弥合感知和现实之间的差距。这将产生以下定义和方法。

“调查是对证据和观察进行系统的调查和检查，目的是为了准确了解事件是否已经发生，以及程度如何。”

如果这看起来很熟悉，那是因为它和科学方法没有太大区别。同样的，科学的方式也没有被认为是某种科学发现的方式;这是对大多数科学发现是如何基于人类如何学习的一种确认。即使科学家们不是故意使用科学方法，他们的潜意识也是这样做的。科学方法是绝大多数科学发现的来源。这种调查方法同样对发现网络入侵者负有责任。这是一个诊断询问的过程。我们通过提问的过程来诊断异常的观察。

诊断查询包含五个部分。我将在这里简要地介绍它们，尽管每一个都值得在后面的文章中单独介绍。

二、观察

每次调查都从一些引起怀疑的观察开始。这通常是由机器以IDS警报的形式生成的，但也可以由人类以狩猎时观察的形式生成。它不必是内部观察，也可以来自第三方通知。调查的策略往往是由最初观察的来源决定的，但一般的过程是相同的。

（1）观察通常以某种形式的初步证据为基础。

（2）观察可以来自任何地方，但应该是可支持的。即使是预感或直觉在恰当的框架下也能被支持。

（3）调查的第一个目标通常是验证或否定作为调查前提的最初观察。如果观察结果不成立，调查可能就不需要继续进行了。

三、问题

调查由一系列问题组成，分析师必须寻求这些问题的答案。根据最初的观察，最重要的问题可能是“发生了入侵吗?”或者“这是恶意的吗?”为了回答这些问题，我们必须提出更多的问题。对一个问题的回答通常会产生更多的问题。在任何时候，分析师都应该能够清楚地说出他们想要回答的问题。

（1）定义好问题的能力随着经验的增加而增加，因为专家分析师有更大的启发式(规则)可供借鉴。

（2）大多数问题都围绕着关系的暴露，因为最终决定攻击或破坏的是设备和用户之间的关系。

（3）较新的分析师通常在开始寻找答案时，并没有清楚地识别他们试图回答的问题。这可能会导致浪费精力，但通常会随着经验的增加而减少。

四、假设

从你定义你的问题的那一刻起，你就已经倾向于一个明确的答案，即使你没有意识到这一点。你的观点是基于你的心态形成的，是由你的个人经验和专业经验所形成的。这也是调查过程中存在偏见的地方。阐明假设的能力是揭露偏见的理想方式，这样你的假设就可以在必要时被质疑。它还提供了一条清晰的路径，让你可以提出其他问题，从而验证或否定你的假设。总的来说，这将导致更好、更有力的结论。

（1）大多数假设的产生是被动的，潜意识的。使这成为一个积极的过程的一个技巧是在回答每个问题时形成一个“我相信”的假设陈述。我相信……因为_________。

（2）理想情况下，假设是有根据的猜测。如果你不能完成因为陈述的后半部分，你的假设可能是出于偏见，缺乏经验，或者不能很好地表达。

（3）每个问题都应该为假设提供机会，即使它是一个零假设，说明一个场景是不可能的。

五、回答

大多数分析师熟悉的调查领域是寻找答案。它包括一些熟悉的任务，比如检索、操作和检查数据。任何时候你分析地回顾数据或进行研究，都是因为你在寻找问题的答案，通常是为了证明或反驳一个假设。传统上，较新的分析师通常首先学习寻找答案，这就解释了为什么学习曲线如此陡峭。他们试图为自己不能完全理解的问题找到答案。

（1）每个答案的目的不是为了解决调查，而是为更多的问题提供机会。你找到的答案和他们试图解决的问题一样好。

（2）虽然寻求答案来证明一个假设似乎是合乎逻辑的，但是寻求推翻一个假设通常是一个更快的途径来提出更好的问题。

（3）由于缺乏可见性或数据保留不足，有些问题无法回答。不能回答问题是值得注意的，因为这可能会对以后的调查产生影响。未回答的问题不等于无效的假设。

六、结论

调查的结论是它的终点。调查可以终止为一个假阳性警报，一个可接受的风险，一个简单的恶意软件感染，或一个需要协调的事件响应的大破坏。当最终的处置完成后，调查将包含一系列的问题、假设和答案，这些问题将揭示(希望)事件发生时的准确描述。

（1）结论的强度应该用估计性语言准确地描述。肯定的事情应该这样引用，并有证据支持。分析意见应根据其估计的准确性和可获得的证据进行加权。

（2）如果在整个过程中仔细考虑并记录了导致结论的步骤，那么在记录结论时应该减轻引用支持信息的负担。

附录：

一、框架化进行调查

让我们看一个例子，通过诊断询问的镜头，调查看起来是什么样子的。在本例中，我们虚构的分析师收到了来自入侵检测系统的警报。

初步观察:IDS警报-用户帐户被添加到域管理组

此警报表示的活动可能是合法的，但如果是未经授权的，则可能是恶意的。通常在这种性质的警报之后出现的第一个问题是，它是恶意活动还是正常活动。

问题1:此警报是否表示恶意活动?

如果分析师在一个小的组织中，他们可能会意识到应该发生的任何类似这样的变化。我们的分析师在一个非常大的企业中工作，所以完全有可能有人出于合理的原因做出了这个更改，而分析师却不知道。正因为如此，分析师认为其行为是合法的。

假设1:我认为这是合理的活动，因为这是组织内经常发生的事情。

为了回答最初的问题，分析者必须证明或反驳假设。要做到这一点，必须提出更多的问题。分析人员可以选择很多路径，但是许多分析人员会选择一条与用户帐户采取的后续行动相关的路径。

问题2:用户帐户被添加到admin组后采取了什么操作?

根据之前的假设，这是正常行为，Q2的假设很可能是相似的。

假设2:我认为该账户参与了合法的管理活动，因为它支持假设1。

在对系统和网络日志有足够的可见性的情况下，寻找Q2的答案应该是相当容易的。分析人员能够搜索输入到他的SIEM的日志，并确定有问题的用户帐户登录到一个工作站上、打开Outlook并从Exchange邮件服务器挂载几个c级executives邮箱。

回答2:登录到工作站、打开Outlook并从Exchange邮件服务器挂载几个c级executives邮箱的用户帐户。

Q2的答案似乎否定了我们的假设2，反过来又否定了假设1。用户账号所展示的行为绝对是恶意的，这就回答了我们的第一个问题。

答1:用户帐户添加到域管理组后所采取的操作是恶意的，因为用户帐户未经授权访问了多个敏感邮箱。

在这一点上，分析师确信已经发生了入侵，因此可以继续进行调查。随着调查的进行，这将带来更多问题，包括:

（1）该用户帐户是其凭证被泄露的现有用户帐户吗?

（2）在拥有此帐户的用户通常使用的工作站上是否有任何破坏的迹象?

（3）潜在攻击者如何获得足够的访问权限，从而能够将被攻击的帐户提升到一个管理组?

（4）用户帐户如何获得对用于挂载Exchange邮箱的工作站的访问?

（5）在安装邮箱的工作站上是否安装了恶意软件?

（6）是否有其他帐户从系统被访问属于被侵入帐户的所有者?

正如你所看到的，我在这里所阐述的只是一个更大的调查的一小部分。最重要的是，它提供了一个非常结构化的，易于跟踪的调查时间和调查进展的时间表。这使得从头到尾回顾调查过程变得更加容易，并且可以将此调查作为新手分析师的教学工具。

二、作为一种通用方法

诊断查询是信息安全中的一种通用构造。虽然该行业经常美化独特的子专业，如狩猎和恶意软件分析，他们都适合在同一范围的活动。这个方法仍然适用。

例如，考虑威胁狩猎。它遵循同样的过程来弥合从感知到现实的差距。唯一的区别是最初的观察通常是人为的。分析师不会收到IDS警报或外部通知，而是根据经验推导的启发式库询问宽泛的问题。这个问题的目的是让答案产生更多的问题，或者导致发现代表恶意活动的证据。

这并不是说子专业不需要独特的技能。他们肯定会这么做。猎人通常是更有经验的人，因为他们有更大的调查启发库，这让他们更有效地提出问题，推动发现有趣的观察。一个新手分析师不会有那么多的启发，他们的努力也不会有那么多的成果。

一个优秀的分析人员的特点会因专业化而有所不同，但是方法是通用的。

三、为什么它很重要

诊断查询没有作为一个框架提供。事实上，您可能已经使用这种方法来调查安全事件，即使您没有意识到这一点。这种意识是关键，因为它给从业者一种语言来表达他们的知识。由此产生了更有洞察力的分析，更清晰地确定了导致结论的方法，以及教会新手分析人员如何通过专家的视角进行调查的能力。

如果您走进100个soc，您将发现100种记录调查的方法。没有标准，更糟的是，大多数都采用了工具提供的任何格式。结果是，ticket系统和wiki最终决定了分析师执行调查的方式。这是悲剧。

如果你走进数百个SOC，你通常也只能找到一种教导人们应该如何进行调查的方法——通过工作观察。虽然以观察为基础的训练是任何训练计划的关键组成部分，但一个完全建立在观察基础上的教育肯定会失败。我不想让一个跳过医学院直接去做住院医生的外科医生给我做手术。当然，他们可能能够完成工作，但他们将会失去使他们灵活并为不可避免的未知做好准备的基本要素。

这就是为什么在信息安全方面防御者的速度远远超过攻击者的一个重要原因。我们的职业并没有通过其认知革命,我们试图理解我们的方法调查和组件。如果我们想做到这一点，理解人类的思想和形成研究的方法是关键。这篇文章试图阐明其中的一些领域，当然后面的文章也一样。

我鼓励您考虑这里展示的方法，并在执行调查时仔细考虑它。你在问什么问题?你的假设如何影响你的分析?你的结论有多有力?你如何表达你如何处理调查?这些都是有用的问题，并且在你自己对这个行业的理解中是关键的，以及那些在你之后的人。