1983年，斯坦尼斯拉夫·彼得罗夫（Stanislav Petrov）认识到苏联预警系统中的错误警报并不是美国即将发动袭击的真实报告，从而帮助防止了核战争的意外爆发。回想起来，这是一个在巨大压力下，基于猜测和直觉做出的非凡的决定。如果当晚有另一名军官接替他的位置，一名仅仅信任预警系统的军官，那么可能会有一个截然不同的结果：全球热核战争

随着主要军队在将人工智能（AI）引入情报、监视、侦察甚至指挥系统方面取得进展，彼得罗夫的决定应该有力地提醒人们，依赖复杂系统的风险，在复杂系统中，错误和故障不仅可能发生，而且可能不可避免。当然，使用大数据分析和机器学习可以解决军队在处理大量文本和数字数据、视频和图像时遇到的关键问题。引入快速和大规模处理数据的算法可以在情报和指挥决策中发挥关键优势。因此，美国军方正在寻求通过Maven项目加速其大数据和机器学习的集成，而中国军方也在寻求利用这些技术实现自动化数据和信息融合、增强情报分析和支持指挥决策的研发。与此同时，俄罗斯总统弗拉基米尔·普京（Vladimir Putin）表示，“人工智能不仅是俄罗斯的未来，也是全人类的未来……无论谁成为这一领域的领导者，都将成为世界的统治者。”，人工智能的此类军事应用引发的争论和对当前能力的担忧，不如对尚未存在的“杀手机器人”的担忧。但是，尽管终结者不在不久的将来，但越来越依赖人工智能系统的趋势仍可能导致技术错误导致误判的风险。尽管彼得罗夫的案例说明了这个问题的极端性，但它也提供了一个关于战争机器时代人类决策重要性的一般性教训

很明显，仅仅在概念上有一个人“在循环中”是不够的，因为引入更高程度的自动化往往会对人类的决策产生不利影响。在彼得罗夫的情况下，另一名军官可能非常信任预警系统，并在指挥链上报告了美国即将进行的核打击。只有彼得罗夫愿意质疑这一系统，因为他知道美国的实际打击不会只涉及几枚导弹，而是一场大规模的炮火避免了当天的灾难

然而，今天，问题中的人可能不太愿意质疑机器。人类对智能决策支持系统的计算机生成或自动推荐的依赖程度越来越高，这一已知趋势可能会导致决策受损。这种被称为自动化偏见或对自动化的过度依赖导致自满的动态可能会变得更加普遍，因为人类在日常生活中越来越习惯于依赖算法判断

在某些情况下，算法的引入可以揭示和减轻人类的认知偏见。然而，算法偏见的风险越来越明显。在社会背景下，“有偏见”的算法导致了歧视；在军事应用中，这种影响可能是致命的。在这方面，使用自主武器必然会带来作战风险。甚至更大程度的自动化，如在不直接参与致命武力决策（如预警和情报）的系统中引入机器学习，都可能导致一系列风险

随着多个军队开始使用人工智能来增强战场上的能力，一些致命的错误表明了自动化和半自主系统的风险，即使在理论上人类操作员处于循环中。1988年，文森号航空母舰在波斯湾击落了一架伊朗客机，原因是该舰的宙斯盾雷达和火控系统错误地将这架民用飞机识别为军用战斗机。在这种情况下，负责决策的机组人员未能认识到系统中的这种不准确，部分原因是用户界面的复杂性，并且过于信任宙斯盾瞄准系统，无法挑战其决心。同样，在2003年，美国陆军的爱国者防空系统（高度自动化，高度复杂）卷入了两起自相残杀。在这些情况下，对该系统的天真信任以及对其运营商缺乏充分的准备，导致了致命的意外交战

随着美国、中国和其他军队寻求利用人工智能来支持包括预警、自动目标识别、情报分析和指挥决策在内的应用程序，他们必须从之前的错误、近距离呼叫和悲剧中吸取教训。在彼得罗夫的成功干预中，他的直觉和质疑系统的意愿避免了一场核战争。就文森斯号和爱国者号而言，人类操作员过于信任和依赖复杂的自动化系统。很明显，缓解与高度自动化和自主系统相关的错误需要更加关注这一人类维度

然而，关于人工智能武器的人类控制问题仍然缺乏明确性。前国防部长阿什·卡特（Ash Carter）曾表示，美军永远不会追求“真正的自主”，这意味着人类将始终负责致命的部队决策，并有任务级别的监督。美国参谋长联席会议副主席、空军上将保罗·J·塞尔瓦（Paul J.Selva）用“终结者Conundrum”一词来形容与自主武器相关的困境，并重申支持让人类参与其中，因为他“认为让机器人来掌管我们是否会夺走人类的生命是不合理的”，美国军方还没有按照2012年国防部指令“武器系统自主性”中的要求，建立一个完整、正式的环内定义，或对使用武力进行适当程度的人类判断所需的定义。“

积极的或有意义的人为控制的概念已经开始受到关注，作为为武器系统操作员提供足够信息以做出慎重、有意识、及时决策的阈值的特征。然而，除了人类控制武器系统的道德和法律层面之外，还存在一个难题，即考虑到自动化偏见的现实，人类是否以及在何种条件下可以在执行监督性武器控制时充当有效的故障保护器

此外，让操作员直接参与决策对于许多军事任务和职能是否可行，还有待观察，不同的军队可能会对自动化和自治问题采取不同的方法

由于人类无法快速反应以防御饱和攻击，上述空中和导弹防御已经向更高程度的自动化过渡。由于对速度和规模的要求相当，类似的动态可能会在未来的网络作战中发挥作用。展望人工智能的未来潜力，某些中国军事思想家甚至预测到战场“奇点”的到来，在这种情况下，人类的认知将无法再跟上未来战争中的决策速度和作战节奏。也许不可避免地，在许多情况下，让一个人完全参与循环可能会成为一个主要的负担。在各种条件下可行或适当的人类控制类型和程度仍然是一个关键问题

展望未来，有必要超越人工智能控制系统中人与完全自主的二元概念。相反，努力将不可避免地转向缓解军事机器意外交战或意外升级风险的挑战

这些问题本质上需要双重关注战争的人力和技术层面。随着军队将更大程度的自动化纳入复杂系统，可能有必要为操作员引入新的培训方法和专门的职业轨迹。例如，鉴于引入人工智能武器和系统带来的更大需求，中国军方似乎认识到加强其军官和应征人员“思维和创新能力水平”的重要性。负责利用自主或“智能”系统的人员可能需要对底层算法中的功能和可能的错误或功能障碍来源有更深入的技术理解

在这种情况下，创造一种人工智能就绪的文化也是人类面临的关键挑战。为了利用人工智能的潜在效用，人类操作员必须充分信任和理解技术，以有效地使用它，但不能过于依赖自动辅助。在这方面，系统设计中的决策将是一个主要因素。例如，建议在人工智能支持的情报、监视和侦察系统中创建冗余，以便有多种方法确保与实际地面真相一致。这种保护措施尤其重要，因为深度神经网络（如图像识别）容易被对手的例子欺骗或欺骗，这种漏洞可能被对手故意利用。可能会破坏数据或利用算法缺陷的反人工智能能力的潜在发展将带来系统可能以不可预测和难以检测的方式发生故障的风险

在直接人工控制可能被证明不可行的情况下，例如网络作战，可能需要提前制定非预期交战的技术解决方案。例如，建议创建一个模拟断路器，以防止超出预期操作参数的快速或不可控升级

虽然禁止人工智能驱动的军事能力很可能是不可能的，而且条约或法规可能制定得太慢，但各国可能能够通过谨慎的方法减轻人工智能驱动系统对军事和战略稳定的可能风险，该方法侧重于自动化和自主系统设计和运行中的实用实践和参数，包括充分关注人的因素

Elsa B.Kania是新美国安全中心技术和国家安全项目的兼职研究员，她专注于中国国防创新和新兴技术，特别是人工智能。她的研究兴趣包括中国军事现代化、信息战和国防科技。她是中国网络与情报研究所的独立分析师、顾问和联合创始人，该研究所寻求成为分析和洞察中国将网络与情报能力作为国家力量工具的首要场所

她之前的专业经验包括在美国国防部、长期战略集团、FireEye股份有限公司和卡内基-清华全球政策中心工作。卡尼亚是哈佛大学的毕业生。她因关于中国人民解放军及其信息战战略思想的论文而获得詹姆斯·戈登奖。在哈佛大学期间，她在贝尔弗科学与国际事务中心和韦瑟海德国际事务中心担任研究助理。卡妮娅是中国北京的博伦学者，普通话流利

简介