2024 年，解决军事人工智能 (AI) 治理问题的努力势头强劲。然而，在同一年，我们也目睹了武装冲突期间人工智能决策支持系统的使用日益增多，而且越来越明显的是，这种系统可能对和平与稳定构成重大挑战。这些发展引发了人们对当前军事人工智能治理方法的质疑。

在这篇文章中，伦敦玛丽女王大学政治理论教授 Elke Schwarz 认为，治理工作因当代人工智能系统在针对性决策方面固有的许多因素而变得复杂。她特别强调了三个：(1) 当前人工智能系统的特征，它依赖于迭代和无常；(2) 私营部门生产者在该领域的主导地位以及由此产生的金融精神；（3）人工智能系统本身隐含的扩展驱动力，特别是预测性人工智能系统在目标决策方面的作用。人工智能的这些现实表明，风险可能比人们通常承认的要大。

红十字国际委员会人道主义法与政策博客 · 负责任的军事人工智能治理的（不）可能性

军事人工智能治理的势头正在增强。最近的一些举措为高层对话和谈判提供了专门的空间，探讨如何应对人工智能在军事领域的使用以及如何引导武器系统向更高自主性的转变。例如，军事领域负责任的人工智能 (REAIM) 峰会等活动就体现了这一势头，此类会议产生了多份文件，包括 2023 年 REAIM 关于负责任的军事使用人工智能和自主性的政治宣言，以及 2024 年 REAIM 峰会的成果文件，该文件认可了行动蓝图。

今年，我们还见证了人工智能系统的推出和使用增加，包括尽管人工智能决策支持系统存在许多“风险和低效”，但它们仍被用于冲突中。我们越来越感觉到，这些系统可能不会像军事人工智能支持者经常声称的那样，带来更少的平民受害者、快速的胜利或和平。事实恰恰相反。人们经常称赞新型人工智能系统在决策支持方面具有潜在优势，包括“保护平民和民用物体”的潜力，以及经常宣称利用人工智能迅速结束战争的承诺，但这些承诺均未实现。暴力事件不断增加，儿童死亡速度惊人，紧张局势不断加剧，而非缓解。

有些地方不对劲。除非我们更仔细地研究为什么在军事事务中采用人工智能决策支持系统和其他人工智能应用可能带来的风险远大于好处，否则政治和政策制定将永远处于劣势，一方面，我们必须对行业炒作周期做出反应，另一方面，我们必须面对严峻的现实。

换句话说，一方面，军事人工智能的投机愿望与当今与人工智能冲突的现实之间存在着紧张关系，而治理似乎发生在两者之间的空白处。

人工智能作为一种技术的无常性

主流人工智能作为一种统计数据处理技术，其基础是机器学习，作为其底层逻辑，它们的基础是迭代的。就像商业领域的任何其他软件系统一样，人工智能系统需要频繁更新才能保持相关性和功能性，在有争议的战场上更是如此。

有人建议，例如，无人机 (UAV) 系统需要每六到十二周更新一次才能保持有效性。人工智能系统的复杂性要高得多，可能需要更频繁地更新才能适应冲突的流动性和对抗性。但每次重大更新都可能损害重要的系统方面。持续的检查和评估是军事人工智能系统投入使用的最低要求。这需要时间，并且需要愿意优先利用这段时间——在战争中，行动速度至关重要，而时间是一种稀缺商品。此外，需要制定极其严格的道德程序，以应对未经适当测试和评估的系统不会被使用的可能性。

除此之外，人工智能领域正在快速发展，至少在规模方面是如此，但随着人工智能的每一次迭代，都会出现新的问题。大型语言模型 (LLM) 就是一个例子。隐性系统偏见和人类自动化偏见是大多数“传统”人工智能系统众所周知的问题。然而，法学硕士也出现了新的问题，例如“幻觉”以及对人工智能系统的激进拟人化。法学硕士仅仅是人工智能领域的最新创新——未来可能会出现许多新的次要和主要变体，每个变体都有自己的任务来寻找使用方法以及随之而来的问题。向市场推出更多 AI 产品将可能产生新问题的速度比解决现有问题的速度要快。

AI 的每一次迭代和后续实施都会带来值得伦理考虑的新挑战和问题。对最新 AI 功能的反应不能成为监管 AI 系统或寻找适当规范的前进方向。AI 固有的无常性意味着我们只有在系统已经投入使用后才能看到系统的红线应该是什么。然后重点就变成了风险管理，而不是责任本身。

利益相关者的既得经济利益和态度

军事人工智能市场利润丰厚。近年来，它吸引了许多非传统国防参与者，他们开始以有利于硅谷工业及其产品逻辑的方式塑造该行业。这一发展受到风险投资 (VC) 投资者的推动，他们发现国防领域是一个潜力巨大的市场——自 2021 年以来，已有1300 亿美元的风险投资注入了军事技术初创公司。

风险投资投资者期望他们承担的风险能带来高回报，而且风险并不小。近 90% 的初创企业最终都会失败，但那些成功创业的企业通常会获得超额回报。然而，风险投资的运作逻辑与传统国防投资不同。时间线更短，对初创企业未来需求、效用和估值的承诺更加夸张。为了在高风险、高回报的风险投资中获得预期的回报，国防部门必须更像 Silic 一样运作硅谷的整个发展历程。

更快的合同时间表、对硅谷盛行的失败和迭代精神的接受、接受变化和冒险的赌注——这些是为商业人工智能产品创造巨大回报的基石，在很大程度上不受监管限制或道德界限的束缚。这种精神越来越受到提倡，成为国防领域和更广泛的军事文化的指导方针。我曾在其他地方更深入地探讨过这种动态，以及风险投资兴趣对美国国防文化产生的巨大影响。风险投资资助的军事初创公司在整个国防市场中所占比例仍然相对较小，但它们通过打造一种让其产品变得不可或缺的环境来争夺更大的市场份额。为了实现这一目标，既得利益者有时会提出叙述，这些叙述令人回味，与旨在促进克制使用武力而不是扩张的既定规范和法律的目标和精神相矛盾。

风险投资公司在游说和激励前军事和政策人员加入进来，帮助形成对军事人工智能系统的有利政策态度。除非我们承认军事人工智能领域各投资利益相关者的利益紧张，否则坦率地说，有效的治理是不可能的。这是一个典型的政治问题，因为它是一个权力问题。这些初创公司及其财务支持者的精神和道德基础在更广泛的人工智能治理和责任框架背景下至关重要。如果要突出责任，他们值得审查。

人工智能的逻辑和我们（人类）与它的关系

人工智能在其技术基础上是扩张主义的。为了能够良好地、如预期的那样发挥作用，它需要大量相关数据和有效的人工智能系统交织。例如，如果行人和物体都能安装与自动驾驶汽车中的人工智能系统相对应的传感器（理论上），自动驾驶汽车将完美运行。

因此，人工智能在哲学意义上也是扩张主义的。1988 年，哲学家 Günther Anders 做出了以下观察：“每台机器都是扩张主义的，也就是说，帝国主义的；每台机器都创造了自己的服务和殖民帝国。他们要求这个殖民帝国能够按照机器同样的标准工作。……机器对积累的渴望是永无止境的。”换句话说，人工智能需要更多的人工智能才能正常运作。这样，一切都将被人工智能所吸引，直到最后，所有人类事务都将服从于它的逻辑。

人类与人工智能系统和系统的系统越紧密地联系在一起，系统逻辑就越有可能决定实际行动的方向。俗话说：如果你有一把锤子，你就会把每个问题都看作钉子。或者，换句话说，一旦一个系统在任何情况下都足够普遍，问题就会从“我应该使用这个系统吗”转变为“我如何才能更广泛地使用这个系统”——这是一种任务蔓延。

例如，考虑一下人工智能决策支持系统可能具有的诱人之处，不仅仅是因为它可以提高找到潜在目标并采取行动的速度和规模，还因为它可以“发现”目标，即被标记为“可疑”并因此可能在全球各地采取行动的流氓元素。当然，这是一种相当熟悉的做法；回想一下 2010 年代初全球反恐战争背景下通过所谓的“处置矩阵”生成目标。这种基于机器学习的预测性人工智能系统吸引了军事组织对此的兴趣日益浓厚。随着跨地域工作的多域连接 AI 决策支持系统，更加重视目标发现（而不是目标识别）是 AI 在目标确定过程中更广泛发展轨迹中高度合理的发展。

更广泛的冲突逻辑表明，此举将增加猜疑、敌意，并使关系紧张，而不是缓和。而这正是我们现在所处的境地，全球紧张局势不断扩大和升级。

结论

当联合国秘书长安东尼奥·古特雷斯指出现在是对自主武器系统采取行动的时候了，而且“必须不惜一切代价保护人类主体”，他完全正确——但确保这一点的挑战是巨大的。而且挑战不仅与武器系统的完全自主性有关，而且还与军事目标越来越依赖人工智能决策支持系统有关。

我赞扬所有寻求将多个利益相关者聚集在一起的举措，共同应对这项新技术，如果我们愿意的话，它确实会改变我们，以及我们彼此和世界的关系。这些论坛紧迫而关键。但除非人们愿意在风险超过实际收益的情况下不依赖人工智能，如果金融利益相关者的利益与国际社会的更广泛目标相悖，如果使用人工智能系统所释放的动态与限制战争暴力的目标和精神相悖，否则“军事领域负责任的人工智能”仍将是一个幻想。

换句话说，如果人工智能的现实与负责任的人工智能的理想不相称，那么必须更加关注何时以及如何不在军事行动中使用人工智能系统。

另请参阅：

Erica Harper，人工智能会从根本上改变战争的发起、战斗和结束方式吗？，2024 年 9 月 26 日
Matthias Klaus，超越武器系统：人工智能在军事决策支持系统中的道德挑战，2024 年 9 月 24 日2024年
温州& Anna Rosalie Greipl，军事决策中的人工智能：支持人类，而不是取代人类，2024 年 8 月 29 日

简介