阅读我们的Oppenheimer收藏

作者：Elsa B.Kania|2017年11月15日

<源大小=（最大宽度：750px）100vw，750px srcset=https://thebulletin.org/wp-content/uploads/2017/11/Human-element-new.jpg.webp750w，https://thebulletin.org/wp-content/uploads/2017/11/Human-element-new-300x225.jpg.webp300w，https://thebulletin.org/wp-content/uploads/2017/11/Human-element-new-493x370.jpg.webp493w type=images/webp> 自动化和半自治系统的风险，即使操作员名义上处于循环中。高度=563尺寸=（最大宽度：750px）100vw，750px

自动化和半自治系统的风险，即使操作员名义上处于循环中。高度=563尺寸=（最大宽度：750px）100vw，750px

自动化和半自治系统的风险，即使操作员在理论上处于循环中

1983年，斯坦尼斯拉夫·彼得罗夫认识到苏联早期预警系统中的错误警报并不是美国即将发动进攻的真实报告，从而帮助防止了核战争的意外爆发。回想起来，这是一个了不起的名字，是在巨大的压力下做出的，基于猜测和直觉。如果那天晚上有另一名军官在他的位置上——一名仅仅信任预警系统的军官——可能会有一个非常不同的结果：全球热核战争

随着主要军队将人工智能（AI）引入情报、监视和侦察，甚至指挥系统，彼得罗夫的决定应该有力地提醒人们，依赖复杂系统的风险不仅可能出现错误和故障，但可能是不可避免的。当然，使用大数据分析和机器学习可以解决军队的关键问题，因为军队正在努力处理大量文本和数字数据、视频和图像。引入以速度和规模处理数据的算法可以在情报和指挥决策方面发挥关键优势。因此，美国军方正在寻求通过Project Maven加速大数据和机器学习的集成，而中国军方也在类似地寻求利用这些技术实现自动化数据和信息融合、增强情报分析、，支持指挥决策。与此同时，俄罗斯总统弗拉基米尔·普京建议“人工智能是未来，不仅是俄罗斯的未来，也是全人类的未来……无论谁成为这一领域的领导者，都将成为世界的统治者。”，到目前为止，人工智能的这种军事应用引发的争论和对当前能力的担忧不如对尚不存在的“杀手机器人”的担忧。但是，尽管终结者不在不久的将来，但越来越依赖人工智能系统的趋势可能会导致技术错误导致误判的风险。尽管彼得罗夫的案例说明了极端情况下的问题，但它也为人类决策在战争机器时代的重要性提供了一般性的教训

很明显，仅仅让一个人在理论上“参与循环”是不够的，因为引入更高程度的自动化往往会对人类决策产生不利影响。在彼得罗夫的情况下，另一名军官可能非常信任预警系统，并向指挥链报告了美国即将进行的核打击。只有彼得罗夫愿意质疑这一系统——基于他的理解，即美国的实际打击不会只涉及几枚导弹，而是大规模的连射——才避免了当天的灾难

然而，今天，有问题的人可能不太愿意质疑机器。已知的人类更依赖计算机生成或自动推荐的趋势智能决策支持系统可能导致决策受损。这种动态——被称为自动化偏见或对自动化的过度依赖导致自满——可能会变得更加普遍，因为人类在日常生活中越来越习惯于依赖算法判断

在某些情况下，算法的引入可以揭示和减轻人类的认知偏见。然而，算法的风险已经变得越来越明显。在社会背景下，“有偏见”的算法导致了歧视；在军事应用中，这种影响可能是致命的。在这方面，使用自主武器必然会带来作战风险。甚至更高程度的自动化——比如在不直接参与致命武力决策的系统中引入机器学习（例如，预警和情报）——都可能导致一系列风险

当美国、中国和其他军队寻求利用人工智能来支持包括预警、自动目标识别、情报分析和指挥决策在内的应用时，他们必须向以前的错误、结束调用和悲剧。在彼得罗夫的成功干预中，他质疑该体系的直觉和意愿避免了一场核战争。在USS Vincennes和Patriot系统的情况下，操作人员过于信任和依赖复杂的自动化系统。很明显，缓解与高度自动化和自主系统相关的错误需要更多地关注这一人类层面

然而，人类对包含人工智能的武器的控制问题仍然缺乏明确性。前国防部长阿什·卡特曾表示，美国军方永远不会追求“真正的自主权”，这意味着人类将始终负责致命武力的决策，并拥有任务级别的监督。参谋长联席会议副主席、空军上将保罗·J·塞尔瓦用“终结者Conundrum”一词来描述与自主武器相关的困境，并重申了，serif>他支持让人类参与循环，因为他“认为让机器人来负责我们是否夺走人类的生命是不合理的”，2012年国防部关于“武器系统自主性”的指令中要求的“循环中”或对使用武力行使“适当水平的人类判断”所需的正式定义。

阳性或“有意义的”的概念已经开始成为表征

为武器系统操作员提供足够的信息，以便他们做出深思熟虑、有意识、及时的决定。然而，在人类控制武器系统的道德和法律层面之外，还有一个棘手的问题，即考虑到自动化偏见的现实，人类是否以及在什么条件下可以作为监督武器控制的有效“故障保险”

当战争速度太快，人类无法跟上时人类过度依赖技术的趋势并不是一个新的挑战，但今天机器学习的进步，特别是深度神经网络的使用，以及利用这些新技术实现一系列军事能力的积极努力，将加剧随之而来的风险

此外，是否让人工操作员直接参与决策还有待观察-对于许多军事任务和职能来说，制造甚至是可行的，不同的军队可能会对自动化和自主性问题采取不同的方法

展望未来，有必要超越人工智能控制系统中人类“在循环中”与“完全自主”的二元概念。相反，努力将不可避免地转向减轻军事机器意外交战或意外升级风险的挑战

从本质上讲，这些问题需要同时关注战争的人力和技术层面。随着军队将更大程度的自动化纳入复杂系统，可能有必要引入新的培训方法和操作员的专业职业轨道。例如，鉴于人工智能武器和系统的引入带来了更大的需求，中国军方似乎认识到加强军官和入伍人员“思维水平和创新能力”的重要性。那些负责利用自主或“智能”系统的人可能需要对底层算法的功能和可能的错误或功能障碍来源有更大程度的技术理解

在这种情况下，人类还面临着创造一种“适合人工智能的文化”的关键挑战，人类操作员必须足够信任和理解这项技术，才能有效地使用它，但不能过于依赖自动化辅助。系统设计中的决策将是这方面的一个主要因素。例如，在人工智能智能智能、监视和侦察系统中创建冗余可能是明智的，这样就有多种方法来确保与实际地面真相的一致性。由于深度神经网络的脆弱性，如图像识别，被愚弄或通过对抗性示例被欺骗，对手可能故意利用的弱点。“反人工智能”功能的潜在发展可能会毒害数据或利用算法中的缺陷，这将带来系统可能以不可预测和难以检测的方式发生故障的风险

在人工直接控制可能被证明不可行的情况下，如网络作战，可能必须提前设计出意外参与的技术解决方案。例如，建议创建一个类似于“断路器”的模拟，以防止超出预期操作参数的快速或不可控升级

虽然禁止人工智能军事能力是可能不太可能>，如果条约或法规的制定速度太慢，各国可能能够通过谨慎的方法来减轻人工智能驱动系统对军事和战略稳定的可能风险，该方法侧重于自动化和自主系统设计和运行中的实用实践和参数，包括对人为因素的充分关注

《公告》将专家的声音提升到噪音之上。但作为一个独立的非营利媒体组织，我们的运营依赖于像你这样的读者的支持。帮助我们继续提供高质量的新闻报道，让领导者负起责任。你在任何层面上对我们工作的支持都是重要的。作为回报，我们承诺我们的报道将是可理解的、有影响力的、警惕的、以解决方案为导向的和公正的。我们一起可以有所作为

主题：颠覆性技术、专题、技术与安全、明日之声

复制链接链接复制
推特

Elsa B.Kania是新美国安全中心技术与国家安全项目兼职研究员，她专注于…阅读更多

版权所有©2023原子科学家公报。保留所有权利。使用条款隐私政策

1307 East 60th Street，Chicago，IL 60637|773.702.6308

简介