人们常说，自主武器有助于减少战争带来的不必要的恐惧。它们的视觉算法可以比人类更好地区分校舍和武器库。它们不会被导致凡人灵魂犯下暴行的愤怒所左右；它们不会屠杀或抢劫。一些伦理学家长期以来一直认为，机器人甚至可以天生就遵循战争法则，并具有数学一致性。

然而，要让机器将这些美德转化为对战区平民的有效保护，它们还必须具备一项关键能力：它们要能够说不。

想象一下这样的场景。一架被派去摧毁敌方车辆的自主无人机发现附近有妇女和儿童。在敌后深处，没有与操作员联系，机器必须自行做出决定。为了防止悲剧发生，它必须取消自己的任务。换句话说，它必须拒绝命令。

“机器人拒绝”在理论上听起来很合理。国际特赦组织对自主武器的反对意见之一是它们“不能……拒绝非法命令”——这意味着它们应该能够拒绝命令。但在实践中，这却带来了一个棘手的两难境地。人类控制是政府倡导负责任的军事人工智能的核心。赋予机器拒绝命令的权力将违背这一原则。同时，阻碍人工智能忠实执行人类命令的缺陷也可能导致它们在拒绝命令时犯错。

因此，军队要么需要证明有可能制造出合乎道德、负责任的自主武器，要么证明他们可以设计出安全可靠的拒绝权，且符合始终让人类“了解情况”的原则。

如果他们无法做到其中之一，或者无法找到摆脱困境的第三种方法，那么他们对于合乎道德且可控的杀手机器人的承诺就应该谨慎对待。

去年，包括美国、英国和德国在内的 54 个国家签署了一项政治宣言，坚称自主武器和军事人工智能将始终在负责任的人类指挥和控制系统内运行。”也就是说，自主武器将完全严格地按照人类监督者的直接命令行事。俄罗斯联邦等其他国家也同样强调，自主武器必须具备区分合法目标和非法目标的能力。然而，如果机器作为道德专家的表现能够胜过人类，正如一项最近的研究（和多个国家）声称的那样，如果它们只能同意人类用户的意见，它们将很难运用这种专业知识。

有关的：

人工智能监控如何威胁各地的民主

允许机器在收到命令时说“我不会这么做”将大大削弱这种权力。这将赋予机器最终的决策权，任何国家都不会将这种权力交给计算机。也许可以指示武器避免伤害平民，同时服从其他命令。但这意味着它将对比例和歧视等问题做出法律判断——然而，红十字国际委员会等组织认为，只有人类才能做出法律判断，因为只有人类才能对伤害承担法律责任。

简而言之，自主武器拒绝服从命令的想法是行不通的。军队希望机器能够成为他们意志的延伸，而不是他们意图的平衡。即使是那些严格遵守最高法律标准的国家——这些标准依赖于所有士兵在接到错误命令时都有权说“不” ——也可能会拒绝这一提议。同时，那些有意违反法律的军队不会想要严格遵守法律的机器。

因此，各国可能使用的杀手机器人的道德标准永远只能与它们不完美的人类指挥官一样。就像子弹或导弹一样，只有当使用者努力让自己达到更高的标准时，它们才会带来更清洁的战争方式。这不是一个特别令人欣慰的想法。

拥有“拒绝模式”的杀手机器人也可能带来自身的道德风险。正如人类并不总是会给机器下达道德的命令一样，机器在转身说“不”时也并不总是正确的。例如，即使自主武器非常擅长区分战斗人员和儿童，它们有时仍会将两者混淆。它们可能无法解释使看似有问题的命令合法化的情境因素。自主武器也会遭到黑客攻击。例如，正如乌克兰战争所显示的那样，干扰和征用无人机的技术非常复杂且发展迅速。此外，狡猾的对手可能会利用算法的拒绝模式。例如，军方可能会用伪装术伪装其炮兵阵地，让自主武器误以为它们是民用建筑。

有关的：

人类应该教会人工智能如何避免核战争——趁它们还能做到的时候

换句话说，在某些情况下，武器可能会拒绝法律命令。鉴于这些系统的强大功能，这是不可接受的风险。 《2001：太空漫游》中最令人恐惧的部分是计算机 HAL 9000 拒绝宇航员戴维·鲍曼让他返回飞船的命令，因为这样做会危及上级指挥部指派的任务，这是有原因的。这句话是对我们这个时代的一个尖锐警告：“对不起，戴夫，恐怕我不能这么做。”

悖论就在这里。让自主武器能够准确区分正确行动和错误行动，没有偏见或错误，这是允许这些机器进入战场的最低标准。另一个标准——可预测性——认为机器应该只做指挥官想要它们做的事情，并期望它们做的事情。这些人工智能伦理原则被认为与控制的基本原则相兼容。现实可能比这更复杂。人类希望自主机器高尚，但他们能允许机器比他们更高尚，同时仍然说他们在掌权吗？

当然，军方也有可能找到第三种方法。例如，在执行命令之前，自主武器可能只需询问指挥官“你确定吗？”就足够了。国际法专家认为，如果人工智能武器能够被设计成促使人类重新考虑他们的决定，而不是推翻命令本身，那么它们可能使军方在激烈的冲突中做出更合法的选择。例如，人工智能系统可以敦促一位愤怒的指挥官在人口稠密的地区计划仓促空袭时三思而后行，或在扣动扳机前寻求第二个人类意见。虽然这种功能并非在所有情况下都有效（例如，在无人机与操作员没有联系的情况下），但在某些情况下，它可以挽救生命。

军队甚至可能无法接受这样温和的提议。毕竟，他们希望人工智能加速他们的决策，而不是减慢决策速度。但如果各国决心将人工智能用于战争，如果他们真心希望减少冲突带来的痛苦，那么他们就必须认真对待这些问题。

简介