当涉及监视内部公司或部门网络的安全性时，许多人与信息泄漏的控制和DLP解决方案的实施相关。 而且，如果您试图澄清问题并询问如何检测内部网络上的攻击，那么答案通常是提到入侵检测系统（IDS）。 而10到20年前的唯一选择是今天变成了不合时宜。 有一种更有效的方法，并且在某些地方是监视内部网络的唯一可能的选择-使用流协议，该协议最初旨在搜索网络问题（故障排除），但最终转变为一个非常有趣的安全工具。 我们将讨论什么是流量协议，哪些协议可以更好地帮助检测网络攻击，在哪里最好实施流量监控，在部署这种方案时要寻找什么，甚至如何在家用设备上“捡起”作为本文的一部分。
我不会讨论“为什么我们需要监视内部基础结构的安全性？”这个问题。 答案似乎很明确。 但是，如果您仍然想再次确保没有它，那么请
观看一段简短的视频，其中包含有关如何以17种方式进入受防火墙保护的公司网络的故事。 因此，我们将假设我们了解内部监控是必要的，并且仅需了解如何组织内部监控即可。
我将挑出三个关键数据源来在网络级别监视基础结构：
- 我们捕获并提交给某些分析系统进行分析的“原始”流量，
- 流量通过的网络设备中的事件，
- 使用流协议之一接收到的交通信息。
捕获原始流量是安全防护人员中最流行的选项，因为从历史上看，它是第一个。 常规的基于网络的攻击检测系统（最早的商业攻击检测系统是WheelR的NetRanger，由Cisco于1998年购买）仅用于捕获搜索特定签名（“决定性规则”）的数据包（及以后的会话）。 （在FSTEC术语中），表示攻击。 当然，您不仅可以使用IDS来分析原始流量，还可以使用其他工具（例如Cisco IOS中的Wireshark，tcpdum或NBAR2功能）来分析原始流量，但是它们通常缺乏将信息安全工具与常规IT工具区分开的知识库。
因此，攻击检测系统。 检测网络攻击的最古老，最流行的方法可以很好地解决其在外围（无论是公司，数据中心，网段等）的任务，但可以在现代的交换式和软件定义的网络中使用。 对于基于常规交换机构建的网络，攻击检测传感器的基础结构将变得太大-您将不得不在与要监视其攻击的主机的每个连接上放置一个传感器。 当然，任何制造商都会很乐意向您出售成千上万个传感器，但我认为您的预算无法承受这样的费用。 我可以说，即使在思科（我们是NGIPS的开发商），我们也无法做到这一点，尽管似乎价格问题已经摆在我们面前。 不应该忍受-这是我们自己的决定。 另外，出现问题，但是在该实施例中如何连接传感器？ 到差距？ 传感器本身是否被禁用？ 在传感器中需要旁路模块？ 使用分路器？ 所有这些都使解决方案变得更加昂贵，并且使任何规模的公司都难以承受。
您可以尝试将传感器“挂”在SPAN / RSPAN / ERSPAN端口上，并从交换机上的必要端口将流量引至该端口。 此选项部分地消除了上一段中描述的问题，但是带来了一个不同的问题-SPAN端口不能完全接受将发送给它的所有流量-它没有足够的带宽。 依something着要牺牲的东西。 要么不监视部分节点（然后您需要首先对其进行优先级排序），要么不路由来自该节点的所有流量，而仅路由特定类型的流量。 无论如何，我们可以跳过一些攻击。 此外，SPAN端口可用于其他需求。 结果，我们将不得不修改现有的网络拓扑，并可能对其进行调整，以利用您拥有的传感器数量（并与IT协调）最大限度地覆盖您的网络。
如果您的网络使用非对称路由？ 并且，如果您已经实施或计划引入SDN？ 并且，如果您需要监视流量根本没有到达物理交换机的虚拟机或容器？ 传统IDS的制造商不喜欢这些问题，因为他们不知道如何回答。 也许他们会让您相信所有这些时尚技术都是炒作，而您并不需要它。 也许他们会谈论从小做起的需要。 也许他们会说您需要在网络中心放置一个强大的脱粒机，并使用平衡器将所有流量定向到该中心。 无论提供什么选项，您都需要自己清楚地了解它非常适合您。 只有在此之后，才决定选择一种监视网络基础结构信息安全的方法。 回到数据包捕获，我想说这种方法仍然非常流行和重要，但是其主要目的是边界控制。 您的组织与Internet之间的边界，数据中心与网络其余部分之间的边界，ICS与公司部门之间的边界。 在这些地方，经典的IDS / IPS仍然有权存在并做好其任务。
让我们继续第二个选项。 来自网络设备的事件分析也可以用来检测攻击，但不能用作主要机制，因为它仅允许您检测一小部分入侵。 此外，它具有某些固有的反应性-必须首先发生攻击，然后必须由网络设备修复它，这将以一种或另一种方式表示信息安全问题。 有几种方法。 它可以是syslog，RMON或SNMP。 仅在我们需要检测对网络设备本身的DoS攻击时才使用在信息安全上下文中用于网络监视的最后两个协议，例如，由于使用RMON和SNMP，我们可以监视设备中央处理器或其接口的负载。 这是“最便宜的”服务器（每个人都拥有syslog或SNMP），但在监视内部基础结构信息安全的所有方式中也是最无效的-许多攻击都被隐藏了。 当然，它们不应该被忽略，相同的系统日志分析可以帮助您及时识别设备配置的变化，这是一个折衷方案，但是它不太适合检测整个网络的攻击。
第三种选择是分析有关通过支持多种流量协议之一的设备的流量的信息。 在这种情况下，无论使用哪种协议，流基础结构都必须包含三个组件：
- 生成或导出流。 通常将此角色分配给路由器，交换机或其他网络设备，这些路由器，交换机或其他网络设备通过自身传递网络流量，从而允许您从中提取关键参数，然后将这些关键参数传输到收集模块。 例如，Cisco Netflow协议不仅在路由器和交换机（包括虚拟和工业路由器）上受支持，而且在无线控制器，防火墙甚至服务器上也受支持。
- 收集流程。 考虑到在现代网络中通常有一个以上的网络设备，就会出现收集和合并流的问题，这是使用所谓的收集器解决的，该收集器处理接收到的流然后将其传输以进行分析。
- 流量分析。 分析仪承担主要的智力任务，并将各种算法应用于流程，得出某些结论。 例如，作为IT功能的一部分，此类分析器可以识别网络瓶颈或分析流量负载配置文件以进一步优化网络。 为了信息安全，这种分析仪可以检测数据泄漏，恶意代码传播或DoS攻击。
您不应认为这样的三层体系结构太复杂-所有其他选项（也许与SNMP和RMON一起使用的网络监视系统除外）也可以根据它工作。 我们有一个用于分析的数据生成器，它是网络设备或独立传感器。 我们有一个警报收集系统，还有一个用于整个监视基础结构的管理系统。 后两个组件可以在单个节点中组合，但是在或多或少的大型网络中，它们通常被至少两个设备分隔开以确保可伸缩性和可靠性。
与数据包分析相反，基于对每个数据包的标头和数据主体以及由它们组成的会话的研究，流分析依赖于有关网络流量的元数据的收集。 何时，多少，何时何地，如何……这些是通过使用各种流协议进行的网络遥测分析所回答的问题。 最初，它们被用于分析统计信息并搜索网络中的IT问题，但是随后，随着分析机制的发展，将它们应用于相同的遥测和出于安全目的成为可能。 在此再次值得一提的是，流分析不会替代或取消数据包捕获。 这些方法中的每一种都有其自己的应用领域。 但是在本文的上下文中，最适合监视内部基础结构的是流分析。 您拥有网络设备（无论它们是在软件定义的范式下工作还是根据静态规则运行，这都无关紧要），攻击无法通过。 它可以绕过经典的IDS传感器，但是没有网络设备支持流协议。 这就是这种方法的优点。
另一方面，如果您需要执法部门或自己的事件调查团队的证据，那么就不能没有数据包捕获-网络遥测不是可用于收集证据的流量的副本； 在信息安全领域进行业务检测和决策时需要它。 另一方面，使用遥测分析，您不能“写入”所有网络流量（如果有，则说明思科与数据中心有关：-），而仅“写入”了与攻击有关的网络。 在这方面，遥测分析工具将很好地补充传统的数据包捕获机制，为选择性捕获和存储提供命令。 否则，您必须拥有庞大的存储基础架构。
想象一下以250 Mbps的速度运行的网络。 如果要保存所有这些卷，则一秒钟的流量传输需要31 MB的存储空间，一分钟需要1.8 GB，一小时需要108 GB，一天需要2.6 TB。 要存储来自带宽为10 Gbit / s的网络的每日数据，您需要108 TB的存储空间。 但是有些监管机构要求您将安全数据存储数年……记录“按需”可帮助您实施流量分析，从而有助于将这些值降低几个数量级。 顺便说一句，如果我们谈论记录的网络遥测数据量与总数据捕获量之比，则约为1到500。对于上述相同的值，所有日常流量的完全解密的存储分别为5 GB和216 GB（您甚至可以写入常规USB闪存驱动器）
如果原始网络数据分析工具的捕获方法与卖方之间几乎相同，则流量分析的情况就不同。 流协议有多个选项，您需要了解安全上下文中的差异。 最受欢迎的是思科开发的Netflow协议。 该协议有多个版本，它们的功能和记录的有关流量的信息量都不同。 当前版本是第九个（Netflow v9），在此基础上开发了行业标准Netflow v10（也称为IPFIX）。 今天，大多数网络供应商都在其设备中完全支持Netflow或IPFIX。 但是流协议还有其他多种选择-sFlow，jFlow，cFlow，rFlow，NetStream等，其中sFlow更为流行。 由于易于实施，最经常得到国内网络设备制造商支持的是他。 Netflow（事实上的标准）与sFlow之间的主要区别是什么？ 我会选出一些关键的。 首先，Netflow具有用户定义的字段，而不是sFlow中的固定字段。 其次，这是在我们的案例中最重要的事情，sFlow收集了所谓的采样遥测。 与Netflow和IPFIX中的非抽样不同。 它们之间有什么区别？
想象一下，您决定阅读我的同事Gary McIntyre，Joseph Muniz和Nadef Alfardan所著的“
安全运营中心：构建，运营和维护SOC ”这本书（您可以从链接中下载本书的一部分）。 您可以通过三种选择来实现自己的目标-阅读整本书，目不转睛，每10或20页停下来，或者尝试在Blog或服务（例如SmartReading）中找到关键概念的重述。 因此，未采样的遥测将读取网络流量的每个“页面”，即分析每个数据包的元数据。 采样遥测是对流量的选择性研究，希望所选的样本能够满足您的需求。 根据通道的速度，采样的遥测将每64、200、500、1000、2000，甚至10000个数据包发送一次分析。
在信息安全监视的上下文中，这意味着采样遥测非常适合检测DDoS攻击，扫描和传播恶意代码，但是它可以跳过没有落入发送给分析样本的原子或多数据包攻击。 未采样遥测不存在此类缺点。 使用可检测攻击的范围要广泛得多。 这是可以使用网络遥测分析工具检测到的事件的简短列表。
当然，某些开源Netflow分析仪将不允许您执行此操作，因为它的主要任务是从IT角度收集遥测并对其进行基本分析。 为了基于流量识别信息安全威胁，必须为分析仪配备各种引擎和算法，这些引擎和算法将根据标准或自定义的Netflow字段识别网络安全问题，并使用来自各种威胁情报来源的外部数据来丰富标准数据等。
因此，如果可以选择，请在Netflow或IPFIX上将其停止。 但是，即使您的设备像国内制造商一样只能与sFlow一起使用，那么即使在这种情况下，您也可以在安全性方面从中受益。
在2019年夏季，我分析了俄罗斯网络硬件制造商的机遇，除NSG，Polygon和Craftway之外，所有这些公司都宣布支持sFlow（至少Zelax，Natex，Eltex，QTech，Rusteletech）。
您将面临的下一个问题是出于安全目的在何处实现流程支持？ 实际上，这个问题并不完全正确。 在现代设备上，几乎始终存在对流协议的支持。 因此，我将以不同的方式重新提出问题-从安全的角度来看，收集遥测的最有效方法是哪里？ 答案将非常明显-在访问级别，您将看到100％的所有流量，在其中将获得有关主机的详细信息（MAC，VLAN，接口ID），甚至可以跟踪主机之间的P2P流量，这对于检测扫描至关重要以及恶意代码的传播。 在内核级别，您可能只是看不到部分流量，但是在外围级别，您会很好地看到所有网络流量的四分之一。 但是，如果由于某种原因，多余的设备缠绕在您的网络上，使攻击者可以“进入并退出”，绕过外围，那么从中分析遥测将不会给您任何帮助。 因此，为了获得最大的覆盖范围，建议在访问级别包括遥测收集。 同时，值得注意的是，即使我们在谈论虚拟化或容器，在现代虚拟交换机中也经常会发现流支持，这使您可以控制那里的流量。
但是由于提出了这个话题，我需要回答这个问题，但是如果毕竟物理或虚拟设备不支持流程协议该怎么办？ 还是禁止将其包括在内（例如，在工业领域以确保可靠性）？ 还是将其包含进来会导致较高的CPU使用率（这种情况发生在过时的设备上）？ 为了解决这个问题，有专门的虚拟传感器（流量传感器），它们本质上是普通的分离器，它们将流量通过自身并以流量的形式传输到收集模块。 没错，在这种情况下，我们遇到了以上与数据包捕获工具有关的许多问题。 也就是说，您不仅需要了解流分析技术的优势，还需要了解其局限性。
在谈论流量分析工具时要记住的另一点很重要。 如果我们将EPS度量（每秒事件，每秒事件）应用于生成安全事件的常规方法，则该指标不适用于遥测分析； 它由FPS（每秒流量）代替。 与EPS一样，它无法预先计算，但是您可以根据特定设备的任务来估计其产生的大概流量。 在Internet上，您可以找到具有不同类型公司设备和条件的近似值的表，这将使您确定分析工具所需的许可证以及它们的体系结构是什么？ 事实是IDS传感器受到一定带宽的限制，它将被“拉动”，并且集流器有其自身的局限性，必须加以理解。 因此，在大型的，地理上分散的网络中，通常有几个水库。 当我描述
如何在Cisco内部监视网络时 ，我已经提到了收集器的数量-共有21个。这是一个分布在五大洲的网络，大约有五十万个活动设备。
作为Netflow监视系统，我们使用自己的
Cisco Stealthwatch解决方案 ，该
解决方案专门致力于解决安全问题。 它具有许多内置引擎，用于检测异常，可疑和明显的恶意活动，从而可以检测各种威胁，从加密挖掘到信息泄漏，从恶意代码传播到欺诈。 与大多数流量分析仪一样，Stealthwatch是根据三级方案（发电机-收集器-分析仪）构建的，但它还具有许多有趣的功能，这些功能对于所考虑的材料而言非常重要。 首先，它与数据包捕获解决方案（例如Cisco Security Packet Analyzer）集成在一起，使您可以记录所选的网络会话，以进行进一步的深入调查和分析。 其次，特别是对于扩展安全任务，我们开发了一种特殊的协议nvzFlow，它使您可以将终端节点（服务器，工作站等）上的应用程序活动“转换”为遥测，并将其传输到收集器以进行进一步分析。 如果Stealthwatch在其原始版本中可以在网络级别使用任何流协议（sFlow，rFlow，Netflow，IPFIX，cFlow，jFlow，NetStream），则nvzFlow支持还允许在主机级别进行数据关联。 与传统的网络流量分析仪相比，它提高了整个系统的效率，并且遭受了更多的攻击。
显然，就安全分析Netflow系统而言，市场不仅限于思科提供的单个解决方案。 您可以使用商业和免费软件或共享软件解决方案。 奇怪的是，如果我以思科博客作为竞争对手解决方案的示例，我会说几句话，说明如何使用两种流行，名称相似但仍然不同的工具（SiLK和ELK）来分析网络遥测。
SiLK是由美国CERT / CC开发的一套用于流量分析的工具（用于Internet的知识系统），在本文的上下文中，它支持Netflow（第5和第9，最受欢迎的版本），IPFIX和sFlow。并使用各种实用程序（rwfilter，rwcount，rwflowpack等）对网络遥测执行各种操作，以检测其中的未经授权的行为的迹象。 但是，有两点需要注意。 SiLK是一个命令行工具，可以在您始终以以下形式输入命令（进行检测大于200字节的ICMP数据包）时进行操作分析：
rwfilter --flowtypes=all/all --proto=1 --bytes-per-packet=200- --pass=stdout | rwrwcut --fields=sIP,dIP,iType,iCode --num-recs=15不太方便。 您可以使用iSiLK GUI，但仅解决可视化功能而不解决分析师的替代品，并不能使您的生活变得更轻松。 这是第二点。 与已经具有扎实的分析基础，异常检测算法，与工作流程相关的算法等的商业解决方案不同，对于SiLK，您必须自己完成所有这一切，这将要求您使用与已经使用的能力稍有不同的能力现成的工具。 这是坏事，不是坏事-这几乎是任何免费工具的功能，它来自于您知道该怎么做的事实，并且只会在此方面为您提供帮助（商业工具较少依赖其用户的能力，尽管它还假设分析人员至少了解网络调查和监视的基础知识）。 但是回到SiLK。 分析师与他的工作周期如下：
- 提出假设。 我们必须了解我们将在网络遥测中搜索的内容，以了解用于识别某些异常或威胁的独特属性。
- 建立模型。 提出假设后，我们使用相同的Python，shell或SiLK中未包含的其他工具对其进行编程。
- 测试。 现在轮到检验我们的假设的有效性，可以使用以“ rw”，“ set”，“ bag”开头的SiLK实用工具来确认或否定该假设。
- 真实数据分析。 在工业运营中，SiLK帮助我们识别出一些东西，分析人员必须回答以下问题：“我们找到了我们所期望的吗？”，“这符合我们的假设吗？”，“如何减少误报的数量？”，“如何提高识别水平？ ” 等
- 改善。 在最后阶段，我们改进了之前所做的工作-创建模板，改进和优化代码，重新制定和完善假设等。
此周期将适用于同一Cisco Stealthwatch，仅最后五个步骤将自动执行到最大，从而减少了分析人员的错误数量并提高了事件检测的速度。 例如，在SiLK中，您可以使用自己的脚本使用恶意IP上的外部数据来丰富网络统计信息，而在Cisco Stealthwatch中，这是一项内置功能，如果在网络流量中与列入黑名单的IP地址发生交互，则会立即显示警报。
如果我们在流量分析软件的“付费”金字塔中走得更高，那么绝对免费的SiLK之后将是由ELK组成的共享软件ELK，它由三个关键组件组成-Elasticsearch（索引，搜索和数据分析），Logstash（数据输入/输出）和Kibana（可视化）。 与需要自行编写所有内容的SiLK不同，ELK已经拥有许多现成的库/模块（有些是付费的，有些不是付费的），可以自动分析网络遥测。 例如，Logstash中的GeoIP过滤器允许您将观察到的IP地址绑定到它们的地理位置（对于Stealthwatch，这是一个内置功能）。
ELK还有一个相当大的社区，它正在完成此监视解决方案所缺少的组件。 例如，要使用Netflow，IPFIX和sFlow，如果您对仅支持Netflow的Logstash Netflow模块不满意，则可以使用
elastiflow模块。
为了提高收集流量和搜索流量的效率，ELK当前没有丰富的内置分析功能来检测网络遥测中的异常和威胁。 也就是说，遵循上述生命周期，您将必须独立描述违规模型，然后在战斗系统中使用它（那里没有内置模型）。
当然，ELK有更复杂的扩展，已经包含一些用于检测网络遥测异常的模型，但是这样的扩展需要花钱，而问题是游戏是否物有所值-自己编写相同的模型，为监控工具购买其实现，或者购买网络流量分析类的统包解决方案。
总的来说，我不想辩论这样的问题，那就是花一些钱并购买一个交钥匙解决方案来监控网络遥测中的异常和威胁（例如Cisco Stealthwatch），还是自己搞清楚并旋转相同的SiLK，ELK或nfdump或OSU Flow Tools（针对每个新威胁）（上次我谈论了其中的最后两个）？每个人都为自己选择，每个人都有自己的动机来选择以下两个选项之一。我只是想表明网络遥测是确保内部基础设施网络安全的非常重要的工具，因此您不应忽略它，以免增加媒体上提到的公司名称以及不符合信息安全要求的绰号“被黑”。 “，”没有考虑其数据和客户数据的安全性。
总结一下，我想列出在构建内部基础结构的信息安全监视时应遵循的关键提示：- 不要只局限于外围！使用（并选择）您的网络基础结构不仅可以将流量从A点传输到B点，还可以解决网络安全问题。
- 探索网络设备中现有的安全监视机制并进行部署。
- 对于内部监视，优先考虑遥测分析-它使您最多可以检测到所有信息安全事件的80-90％，同时执行捕获网络数据包和节省空间来存储所有信息安全事件时无法做的事情。
- 要监视流，请使用Netflow v9或IPFIX-它们在安全上下文中提供更多信息，并允许您不仅监视IPv4，还监视IPv6，MPLS等。
- flow- – . , Netflow IPFIX.
- – flow-. Netflow Generation Appliance.
- – 100% .
- , , flow- SPAN/RSPAN-.
- / / ( ).
至于最后一个技巧，我想举一个例子，我已经在前面引用了。您会看到，如果以前Cisco IB服务几乎完全基于入侵检测系统和签名方法构建了其IS监视系统，那么现在它们仅占事件的20％。流量分析系统占了另外20％，这表明这些解决方案不是一时兴起的，而是现代企业信息安全服务活动中的真正工具。此外，对于实施它们来说，您最重要的是-网络基础结构，也可以通过向网络分配IS监视功能来进一步保护投资。
我故意没有涉及对网络流中发现的异常或威胁做出响应的话题，但是我认为已经很清楚，不应仅通过检测威胁来完成监视。响应之后，最好是自动或自动模式。但这是单独材料的主题。附加信息：威胁。
如果您更轻松地听完上面写的所有内容，那么您可以观看构成本笔记基础的长达一个小时的演示。