灰色地带的网络安全

关于“数字战争”的讨论很快就解决了一个问题，即全球数字连接扰乱了我们对战争与和平的正统理解。在武装冲突门槛以下的所谓灰色地带（Wirtz 2017），各种各样的、流动的行动者试图通过不断增长的信息通信技术组合获得政治、战略和经济利益。即使将这些活动中的许多活动称为“战争”或“类似战争”（列文森，本卷），这一步走得太远了，但将网络安全的更广泛环境描述为持续的灰色地带冲突也是不无道理的（Corn 2019，347–354）。例如，在战略层面，装备适当的国家将“网络”视为一种胁迫性工具，值得利用以获取国家利益，无论是在军事行动、情报收集还是商业网络间谍活动中（Branty 2018；Valeriano等人2018）。由于大多数情况发生在常规冲突水平以下，因此它被视为限制冲突升级的一种方式，尽管总是有可能产生相反的结果（Brands 2016；Schneider 2019）。

在数字领域中的操作曲折可能令人惊讶，其影响可能非常显著，因为因果关系可以证明，但是，它们传播的媒介是熟悉的、无处不在的、日常的，包括全球互联网和无数共享和塑造我们生活的消费电子产品。网络安全的做法也是如此，尽管人们对“网络战”和“网络间谍”有着正当的兴趣，但它们构成了灰色地带数字冲突的“日常”。在技术网络安全的日常交流中，网络防御者和攻击者之间经常来来往往。网络安全从业者倾向于最大限度地利用现有技术，从对手手中夺取优势，无论是最卑微的黑客还是资源最充足的国家实体。然而，不可避免地，随着环境的发展，他们也寻求采用创新技术。根据时代精神，人工智能和机器学习（以下简称AI）被认为是应对各种网络安全威胁的基本“解决方案”。

以下讨论通过AI和算法手段识别网络威胁，并展示了从基于特征的方法到基于异常的方法的威胁检测和缓解方法的转变。然后，它转向人工智能在异常检测中的具体应用，特别是在构建“正常”组织“生活模式”方面。然后，这一技术取向的认知含义被解包，特别是人工智能如何通过新的人类-非人类主体创造新的知识生产场所。这一简短的探索以超越日常网络安全到军事和情报“网络”为结束，并询问网络安全自动化的利害关系。

从签名到异常

没有数据，网络安全就无法进行。访问和保护数据是网络安全专业人员的核心实际考虑因素。随着越来越多的计算设备在“物联网”中联网，静止和传输中的数据量不断增长，全球信息环境的“攻击面”不断扩大。被理解为邪恶行为体可利用的弱点的总和，攻击表面与其说是需要防御的物理边界，不如说是分布在空间和时间上的潜在漏洞的逻辑膜。防止利用这种外皮中的漏洞，通过这些漏洞可以插入恶意代码或提取有价值的数据，这是一项几乎不可能完成的任务，尤其是因为漏洞是信息系统固有的。正如利比基（2009，14）所指出的，网络空间没有强制进入。无论谁进入，都是通过系统本身产生的路径进入的。这种本体论上的不安全感由于这种环境的多样性和增长而变得更加复杂，因此防御永远不可能完美，攻击者似乎总是领先一步。网络安全就是要让这些漏洞和威胁变得明显，以应对它们，这是一项信息挑战，它依赖于及时、易懂的数据进行解释，并在预防和补救中有效使用。

有关信息系统状态和对其预期功能的威胁的数据的收集和过滤早已基本实现自动化。人类没有认知或感官能力来应对专用于警报的软件和硬件产生的巨大数据量系统管理员应对网络内外的问题。此外，网络安全行业的人力资本短缺（夏尔，2018年），自动化是解决其中一些问题的合理技术解决方案。例如，网络安全供应商提供数千种不同的产品用于自动恶意软件检测。这些软件包检查网络流量，并将数据包与恶意软件（恶意软件）的已知特征相匹配，这些恶意软件安装在用户的机器上并以有害的方式运行。现在，这些软件包不仅仅是“防病毒”保护，还可以检测和拒绝蠕虫、木马、间谍软件、广告软件、勒索软件、rootkit和其他搜索和利用数字漏洞的软件实体。以这种方式自动化，恶意软件可以被排斥、隔离、销毁或以其他方式防止感染系统并被打开进行攻击。尽管这在过去是有效的，但新类型的多态和变形恶意软件（每隔几秒钟就会改变其“外观”）可以避免传统的基于特征码的检测技术，这种技术依赖于现有的恶意软件种类知识。如果这些快速变化的威胁在不可避免地总是过时的数据库中没有签名匹配，您就无法抵御这些威胁

基于签名的检测对已知恶意软件仍然有效，但技术网络安全正在开发“基于异常”的功能，将网络流量与不断修订的“正常”行为基线进行比较，以检测入侵、分析恶意软件并检测垃圾邮件和钓鱼攻击。根据给定基线分类为合法的流量允许跨越网络边界，但异常行为将被自动检测并标记以供进一步调查，包括由人类分析师进行调查。然而，随着触发警报的数量增加，许多警报需要人类关注，我们再次回到了组织和认知能力的极限。这种情况因持续制造假阴性（不良行为被视为良好）和假阳性（良好行为被标记为不良）而加剧，这进一步消耗了资源（Libicki等人，2015，28-29）。一种回应是，在这些“大数据”集的解析和分析中增加了一层新的自动化，使用新兴的人工智能技术来处理和解释异常行为，并在不断缩短的行动和反应周期中将其反馈到网络安全决策过程中。网络安全和人工智能并非总是显而易见的同床共枕。在每个领域的早期，计算机安全研究人员对人工智能系统行为的相对不可预测性持怀疑态度，他们的多种可能输出与软件工程师所寻求的顺序背道而驰（Landwehr 2007）。现在，人工智能能够以动态方式学习和适应的可能性，使其对应对类似的适应性网络安全威胁更具吸引力

人工智能的承诺

人工智能在网络安全中的应用并非全新。如果我们把“AI”理解为一组算法机器学习启发式的占位符，而不是一种新形式的“智能”，那么网络安全至少自20世纪90年代以来就一直在发挥其潜力。早期应用包括使用贝叶斯逻辑过滤垃圾邮件，以及通过大型神经网络对垃圾邮件进行分类（Brunton 2013）。自那时以来，人工智能的复杂程度显著提高，其发展部分是由于对手使用了这些相同的技术。例如，学习算法推动了上述多态和变形恶意软件的发展。它们还被用来检测目标系统中的漏洞，并帮助其被利用和颠覆：网络安全行业对未来部署“对抗性”或“进攻性”人工智能深感担忧，这是政府、军事和情报机构的共同担忧（Brundage et al.2018）。在这方面，人工智能部署是攻击者和防御者之间正在出现的“军备竞赛”的一部分（Scharre 2018，229–230）。这一信息并未在企业身上消失，其中61%的企业在2019年报告称，如果没有人工智能技术，他们无法检测到网络漏洞，69%的企业认为人工智能是应对这些漏洞的必要手段（凯捷2019）

对这一市场需求的一个显著回应是开发网络安全AI平台，该平台声称模仿自然“免疫系统”，借鉴了网络安全与公共卫生和流行病学概念之间的长期类比关系（Betz和Stevens 2013；Weber 2017）。公司将基于异常的人工智能作为一种学习“正常”对组织意味着什么的方式，然后开始探索异常行为。公差然后，可以根据组织的风险偏好及其资源水平调整AI引擎对异常行为的响应（Wilkinson 2019）。“免疫系统”隐喻体现在平台检测、根除和预防进一步可疑行为的假定能力上。在一家公司对其“企业免疫系统”包的描述中，“通过检测与组织“生活模式”的细微偏差，它可以区分敌人和朋友，突出真实的网络威胁或攻击，否则这些威胁或攻击会被忽视”（Darktrace n.d.）。这些供应商声称对潜在客户的另一个好处是，他们腾出分析师的时间专注于更重要的任务，而不是陷入“低优先级或良性事件”的泥潭（Darktrace n.d.）。这是对假阴性和假阳性频率的承认，尽管人工智能承诺通过学习什么是“正常”的时间来降低其发生率，但这也是对现代安全行动中心生活紧迫性的合理评论。这些报告充斥着安全报告，乍一看很难辨别其重要性。自动化的人工智能系统可以处理大部分低级别的威胁检测和响应，从而允许分析师处理高级别的行为和事件。这包括发展复杂网络战役（如所谓的先进持续威胁（APT））背后的人类行为体，以定制威慑和应对机制。另一个有前景的研究途径是捕捉分析师的真实生活行为，并将这些数据反馈到学习算法中，作为塑造人工智能应对网络安全事件的一种方式（Bresniker等人，2019）

人工智能系统了解组织名义边界内外的威胁环境。这包括与这些网络互动的员工和其他人：客户、客户，以及政府机构、公民和服务用户。通过监控这些个人，人工智能可以建立一个组织的内部节奏和模式，这是一个正常的基线，可以记录异常情况，例如不满的员工、泄密者和举报人构成的“内部威胁”（Wall 2013）。例如，人工智能驱动的行为分析可能会检测到异常的员工夜间活动，或敏感商业数据或知识产权的意外传输高峰。结合多个其他数据流，一个组织的直接权限组织内的异常行为就会形成一张图片，从而导致进一步的调查和可能的谴责。使用人工智能预测人类而不仅仅是机器行为，是网络安全“社会技术”框架的重要贡献者，该框架解决了技术、用户和过程在复杂组织系统中的交互方式（Coles Kemp和Hansen 2017）。在这一领域，设计增强最终用户人类安全的计算机网络（Coles Kemp等人，2018）和使用技术识别异常行为之间存在着不安的紧张关系，这种观点倾向于将所有最终用户视为潜在的威胁载体（Schneier 2016）

AI、异常和认知

对异常的搜索将网络安全的重点从已知威胁转移到了未知威胁的预防，并转变为一种在关键安全文献中备受关注的预期态势（例如，2013年）。它还建议采用更具归纳性的方法，从大数据集中创建有用的网络安全知识。在人工智能的驱动下，基于异常的网络安全实践搜索模式、关联和相关性，这些模式、关联与相关性不能仅通过特征分析来识别，后者被理解为演绎推理的一种形式。这在一定程度上证明了大数据分析的臭名昭著的说法，即假设演绎法“过时”（Anderson 2000）。正如这一立场的批评者所观察到的，包括大数据分析在内的所有调查都实例化了许多理论假设和偏见（Kitchin 2014）。在人工智能驱动的机器学习中，参数和数据类别通常由人类程序员预先设置。这种“监督学习”与“无监督”学习技术非常不同，在无监督学习技术中，算法自己进行标记和分类，因此可能“不受特定地区偏见的限制”（Parisi 2019，98）。因此，训练数据的质量是决定输出质量的关键，而有监督的机器学习可以产生再现程序员偏见的结果（McDonald 2019）。在网络安全中，从多个数据流中收集“网络威胁情报”（CTI）容易产生各种偏差，正如分析家所说受群体思维、外部社交媒体和报道的影响，受专业知识的力量及其个人信仰和偏见的诱惑；因此，负责任的CTI不能仅仅是机器的专利（Collier 2019）。这些日常决策行为构成了“小的安全虚无”，在集体中的重要性甚至大于单独存在（Husymans 2011）

此外，正如Aradau和Blanke（2018）在其对“算法理性”的批判中所指出的那样，在大数据安全环境中寻找异常以三种特定方式微妙地改变了安全逻辑。提到情报和反恐，而不是网络安全，他们首先指出，如上所述，高级分析是如何应对安全从业者感兴趣的数据量增加的。因此，基于异常的分析适合于“可操作信息”的实际需求，而不是“良好或真实的信息”，这打破了“算法客观性”的说法，并显示了“不确定性如何从根本上嵌入算法推理”（Aradau和Blanke 2018，20）。由于缺乏标准化的数据收集和分类程序，这使得数据集之间的比较更加复杂。第二，异常是由它们与常态的差异来构建的，常态被定义为数据点之间的相似性，而不是预先确定的类别“其他”表示为几何或拓扑空间中的“点、尖峰或节点”，其与所构建的“法线”的不同性反常。虽然这似乎避免了之前提到的偏见问题，但这种对负面分类的忽视带来了一个政治问题：如何“将产生点、尖峰和节点的技术与不平等和歧视的词汇联系起来”？（Aradau和Blanke 2018，20）。第三，统计分析中的稳定类别让位于“对相似性和差异性的连续计算”，从而拒绝直接的政治竞争，尤其是因为这些计算“通常甚至对数据分析师本身都是看不见的”（Aradau和Blanke 2018，21）。隐藏在技术的原型“黑盒子”中，仅以输入和输出来定义（Von Hilgers 2011），人工智能技术的计算通常是不可知的，因此完全不透明（Castelvecchi 2016）

网络安全和其他领域基于异常的人工智能技术的复杂性、不确定性和缺乏透明度，引发了人工智能信任、安全和控制的问题。假设的解决方案要么是将人工智能作为这些问题的工程解决方案，要么是在人工智能决策的“回路”中精确地找出人类应该位于何处。在致命的自主武器系统和人工智能在战争中的使用背景下，问题变成了：人类应该进入、进入还是退出这个循环？（Jensen et al.2019；Scharre 2018）在网络安全中，就像在战争中一样，分析员和操作员被卷入混合的人机组合中，在特定的决策环境中产生特定效用的知识。网络威胁情报的产生是指人、数据、机器和组织的混合配置，其任务是满足特定的作战和战略需求（Jasper 2017）。Srnicek（2014，45）在分析社会技术构成的“认知组合”中对机器的“思维委托”时捕捉到了这种动态。在这些认知位点中，包括算法在内的异质人类和非人类行为体有助于专家知识的创造，这些知识是“集体和分布式的，而不是个人或单独的社会知识”（Srnicek 2014，45；Hayles 2016）。他们建立了“影响力合作”（Kaufmann 2019），在如何产生什么样的知识方面具有代理权。如果我们的选择是在机器传递的行动路径之间，那么我们是否“在循环中”？（Weber和Suchman 2016）若无监督学习系统开发出自己的问题和目标，那个么人类会变成什么样？网络安全是一项“团队运动”的传统口头禅，一旦在人工智能丰富的环境中，这种授权和复杂机构的关系过程得以确立，就更好地理解为“机构之舞”（Pickering 2010）

超越日常

上述审查讨论了维持日常生活所依赖的信息系统正常运行所需的日常网络安全。人工智能在这一多样化的环境中发挥着重要作用，使日常生活自动化，从环境中学习，并促进对用户、组织和社会的更好保护。然而，如上所述，算法在创建和维持中的作用具体的社会经济和政治安排从来都不是中立的（Kitchin 2017；Berry 2019）。人工智能驱动的异常检测在现代信息冲突的灰色地带产生了新的主观性，并有可能在组织网络安全的管理实践中牺牲“真相”来换取“效用”和“便利”。随着人工智能取代人类认知，成为网络决策和数据流监管的仲裁者，这种激进的偶然性产生了政治问题。异常可能无法轻易地映射到既定的人群和行为，但有许多例子表明了这种计算逻辑的潜在影响。类似于人工智能驱动的网络安全的数据操纵工具很容易被用于规模和影响令人担忧的经济和政治项目。从监控资本主义的“行为期货市场”（Zuboff 2019）到中国的社会信用体系（Matsakis 2019），从过度的国内监控（Bauman等人，2014）到后真相时代的在线信息运营（Woolley和Howard 2018），算法构成了政治影响和控制的新模式和中介。尽管我们几乎没有理由假设人工智能不如人类智能（柯林斯2019），但知识、权力和主观性问题与这些算法合理性密切相关（Aradau和Blanke 2018）。

人工智能和网络安全在秘密情报和军事行动领域也远未被忽视。人工智能是现代军事的必要条件（Lewis 2019），也是战略规划的有力补充（Payne 2018）。美国前网络司令部负责人在参议院证词中表示，如果网络空间没有人工智能，“你总是落后于权力曲线”（国会研究服务2019，11）。军事和情报机构正在大力投资于人工智能支持的网络，包括美国国防部新的联合人工智能中心（Corrigan 2019）以及许多其他利用人工智能在网络空间内和通过网络空间产生作战和战略效果的举措。英国正在包括网络在内的人工智能丰富的环境中发展“人机协作”，以促进“将人类、人工智能（AI）和机器人有效集成到作战系统中……利用人和技术的能力超越对手”（国防部，2018，39）。这些混血儿在美国被称为“半人马战士”，将“在不牺牲人类智能的鲁棒性和灵活性的情况下，利用自动化的精确性和可靠性”（Scharre 2018，321）。这延续了长期的混合军事主观性（Coker 2013），现在面向预测机器认知，为全球信息空间中的“认知机动”新军事行动提供决策优势（亲爱的2019）。这些混合实体不仅是网络防御者，也是网络战和网络间谍的代理人。随着美国在网络空间采用“持续参与”和“向前防御”的新理论（Healey 2019），他们将站在数字战和情报的前线，在决策和目标歧视方面拥有未知的自主权。在这个集合中，“我们可能永远不知道一个决策是否是一个决策……或者它是否被“以前的知识控制”和“编程””（Amore and de Goede 2008，180）。

军队和情报机构在灰色地带的复杂战场中使用人工智能网络工具加入企业、公民、罪犯、黑客活动者和其他人。技术网络安全利用人工智能克服人类认知的限制，加快决策，并为信息系统的组织和最终用户提供更好的保护。在这样做的过程中，它将操作效率置于真理之上，并创造了新的干预主体和目标。算法和自动化也创造了新的知识生产场所，同时混淆了导致特定输出的精确计算。这引起了人们对将思想下放给机器的问题方面的关注，因为这预示着有意义的监督和监管机会的减少。在军事网络目标定位或数字情报战略网络安全方面，风险再高也不为过。根据这一标准，人工智能在日常网络安全中的使用是一个直截了当的命题。尽管如此，人工智能在网络安全中的作用（灰色地带的一种核心攻防动态模式）仍然存在争议，正如它在我们名义上的“信息时代”中调节全球数据流一样。在考虑网络安全和其他领域的人工智能时，也许我们应该重新审视刘易斯·芒福德（1964273）的挑衅：“除非你有能力阻止自动过程，否则最好不要开始它'。在新的网络安全集合中，机构在哪里？谁或什么人做出了重要的决定

简介