执行摘要

美国和中国的战略家看到了人工智能（AI）在实现更好、更快决策方面的潜力，这将在未来的军事冲突中起决定性作用。机器学习的应用将越来越影响政治和军事领导人如何感知战略环境、权衡风险和选择以及判断对手。但是，将关键的人类决策过程暴露在令人惊讶的行为和人工智能系统奇怪的故障面前有什么风险

要获得人工智能的优势，首先需要了解其局限性和缺陷。人工智能系统根据数据模式进行预测。总是有一些意外行为或失败的机会。现有的工具和技术试图使人工智能对故障更加鲁棒，这往往会导致性能的权衡，解决一个问题，但可能会恶化另一个问题。人们越来越意识到人工智能的脆弱性和缺陷，但也需要在现实的部署环境中深入分析技术故障的潜在后果

本政策简介探讨了直接或间接影响决策的人工智能系统故障如何与战略压力和人为因素相互作用，从而引发危机或冲突升级：

包含人工智能或干扰对手人工智能系统的进攻性行动可能会导致无法预见的系统故障和级联效应，触发意外升级

不安全、训练不足或应用于错误类型问题的人工智能系统可能会将不良信息注入决策过程，导致意外升级

发现人工智能系统的折衷方案可能会对关键能力的可靠性或生存能力产生不确定性，如果冲突迫在眉睫，决策者会倾向于故意升级

这些场景揭示了一个核心困境：决策者希望使用人工智能来减少不确定性，尤其是当他们意识到战场、了解对手的意图和能力，或了解自己抵御攻击的能力时。但通过依赖人工智能，他们在人工智能系统技术故障的可能性和后果方面引入了新的不确定性来源

有效利用人工智能需要以一种有意识和风险知情的方式平衡这些权衡。没有办法保证一个概率人工智能系统会完全按照预期运行，或者它会给出正确的答案。然而，军队可以设计人工智能系统及其所依赖的决策过程，以降低人工智能失效的可能性并控制其后果，包括：定义一组任务特定的财产、标准和决策环境中使用的人工智能系统的要求，例如用于检测妥协或紧急财产的置信度和保障措施

避免在决策中使用人工智能，将人工智能应用于非常适合的狭窄问题，同时保留诸如解释对手意图等人类判断问题；并考虑在某些领域完全排除人工智能

尽可能让高级决策者参与他们将依赖的系统的开发、测试和评估过程，并教育他们人工智能的优势和缺陷，以便他们识别系统故障

美国应继续带头制定负责任开发和使用人工智能的全球标准，采取步骤证明某些保证，并尽可能鼓励中国采取类似的预防措施：

澄清为限制人工智能系统支持决策的风险而实施的实践和保障措施

开展国际合作，制定互利的技术保障措施和最佳实践，以降低灾难性人工智能故障的风险

致力于限制使用包含人工智能能力的进攻性行动，以及针对人工智能系统的行动，其中存在重大升级风险