在过去的十年里，围绕军事领域人工智能（AI）的讨论主要集中在自主武器系统上。这部分是由于《特定常规武器公约》致命自主武器系统问题政府专家组正在进行的辩论。虽然自主武器系统确实是一个紧迫的问题，但关键的现实是，人工智能被仓促部署以收集情报，更令人担忧的是，它被用来支持军队选择和打击目标

随着基于人工智能的决策支持系统（AI DSS）在当代战场上的使用越来越多，联合国秘书长人工智能高级别咨询机构成员、REAIM专员和经合组织的Jimena Sofía ViverosÁlvarez。人工智能专家，反对依赖这些技术来支持目标识别、选择和参与周期，因为它们的风险和无效性是一个不可忽视的永久事实，因为它们实际上有可能加剧平民的痛苦。

人工智能的军事用例超出了其在使用武力或授予武器系统自主权方面的应用，例如将其纳入指挥和控制、信息管理、后勤和训练。特别值得关注的是，目标定位中的AI DSS可以提出军事目标，并为其（人类）操作员提供可操作的建议，这与可以自行攻击目标的自主武器系统不同

事实上，美国、英国和北大西洋公约组织的政策制定者已经发布了国防战略，表明数据，而不是机器人或致命自主，将是未来十年的关键推动因素

他们认为，AI DSS可以产生可操作的情报，以“改善”目标定位。尽管如此，人工智能系统的有效性取决于其训练数据，因为它提供了其基本规范。此外，人工智能固有的不可预测性引发了许多问题，挑战了整个国际人道主义法，而人工智能的黑匣子问题使我们人类无法正确理解这些系统的决策过程。因此，必须保持数据质量和来源，并在能够选择和吸引目标的系统中保留人类的判断，这目前非常困难，如果不是无法实现的话

AI DSS如何影响目标定位

目标定位被广泛定义为交战方对其控制之外的个人或物体使用武力。根据国际人道主义法，目标选择和交战必须遵循区分、相称、人道和采取一切可行预防措施的基本原则

然而，由于信息作战变得越来越普遍，如非正规战争和城市地区的战斗，“战争迷雾”，即在战场上保持态势感知的困惑在数字时代有所增加。因此，为了保护平民，接战规则要求积极识别（合理确定拟议目标是合法的），作为任何攻击中必要预防措施的一部分

用于军事目标支持的人工智能系统的推动者经常认为，这项技术将“提高”军事精度。尽管如此，我们必须警惕这样的说法，因为将人工智能纳入军事领域会给数据来源和系统提供的信息的可靠性带来不确定性，当它产生的情报变得可操作时，这尤其危险

训练数据不足往往会导致偏见、脆弱性、幻觉、错位、隐私风险和失控，再加上技术的不可预测性，给它们在目标识别、选择和参与中的使用带来了各种问题

数据集缺乏多样性可能会导致人工智能系统将不同种族的成员作为目标，甚至由于编码的性别偏见而将所有平民男性视为战斗人员

人工智能的脆弱性，即当面对以前从未见过的数据时，它无法适应和正确执行，可能会导致意想不到的结果，例如，敌方战斗人员非法使用一辆校车或救护车可能会引发该系统将所有校车和救护车视为合法目标

“幻觉”是指当人工智能系统感知到不存在的模式或对象时出现的无意义或不准确的输出。当与战场上的任何意外变化相结合时，这可能会导致系统感知到没有模式的情况，从而促使无辜平民成为攻击目标

此外，错位是指人工智能将提示或命令与重要价值观或约束进行分层，这可能在整个瞄准过程中普遍存在，因为它可以优先考虑消灭敌方战斗人员的“目标”，而不管对平民造成任何附带和/或不成比例的伤害。值得注意的是，人工智能的“预测”是基于对过去行为的数据分析，因此缺乏背景和人类逻辑。这有可能使他们无法按照国际人道主义法的适当要求，在特定时间的情况下，适当审查拟议的目标是否可以合法地作为目标

此外，据广泛报道，各州正在集中资源将人工智能纳入其国防战略。因此，世界主要军事驱动力正在投入大量资源来主导这一领域，引发了事实上的军备竞赛

此外，大型科技公司的领导者也在积极向各州武装部队出售他们的技术。这引发了几个问题，因为正在销售的模型可能已经使用之前收集的个人身份信息（姓名、地址、电话或社会保障号码）或更糟糕的生物识别技术（与一个人特有的身体、生理和/或行为特征相关的数据）进行了训练，这些信息可能会被（错误地）用作情报，以“优化”针对功能的人工智能军事系统。这将给所有人群带来普遍的风险，并严重侵犯个人隐私

尽管许多州，如《欧盟人工智能法案》，对个人数据的处理和使用有严格的规定，禁止在公共场所为执法目的使用实时远程生物识别系统。然而，在武装冲突期间没有这样的规定，因为1949年日内瓦四公约在制定时没有考虑到数据，更不用说生物识别技术了，导致在武装冲突中合法使用和处理数据方面存在空白。尽管如此，军事AI-DSS数据处理的上述风险不可避免地超出了武装冲突的范围，因为它们的生命周期甚至可能在引爆之前就开始了，例如数据收集或系统培训，其后果甚至可能在爆炸解决后仍然存在。因此，作者认为，在这方面，国际人权法和国际人道主义法并不是相互排斥的制度

无论如何，军方可能会辩称，从实时获取生物识别技术中“受益”，可以提高识别和瞄准敌方战斗人员的可靠性。然而，由于脆弱性、幻觉和错位，人工智能系统不可避免地会出错，同样容易受到黑客攻击和对抗性攻击，即，这些输入旨在诱骗人工智能提交错误的预测，例如将民用基础设施误分类为合法的军事目标

此外，人工智能系统越来越多地使用合成数据进行训练，即计算机生成的数据，而不是现实生活中的数据，因此往往缺乏准确性，因为它只是模仿后者。与此同时，人工智能创建的合成数据集正逐步用于训练新模型。这带来了新颖且突出的不可复制性和不可预测性陷阱，因为我们忘记了初始系统向后续系统提供了什么，导致黑盒中有一个黑盒，即“黑盒²”

人工智能支持的目标定位：提高精度还是增加平民伤亡

尽管存在上述所有风险，但AI-DSS仍在当今的战场上部署，包括用于目标识别、选择和交战，这不可避免地会加剧平民的痛苦，特别是在没有必要的人类判断的情况下使用时

首先，在整个定位过程中使用人工智能依赖于基于模式识别和分类的预测，通过对系统训练期间使用的数据进行泛化。因此，其推荐目标的能力取决于其“发现”人群可用和间接信息与其训练数据之间相似性的能力。这引发了大量的法律问题，因为人工智能系统永远不会完美，因此总是容易“失败”，尤其是在面对复杂的现实生活中的战场。尽管开发人员尽了最大努力，但这根本无法在实验室中预先设计，因为“战争迷雾”中有无数可能的场景

假设AI DSS可以被训练并用于识别和定位已知敌方指挥官的合作者，不仅通过军事情报监视和侦察，而且通过社交媒体连接、照片、拦截通信甚至频繁访问的网站来监视他们的活动。此后，该系统还可以提供具体的可操作建议，例如轰炸目标居住的建筑物

问题是，如果人工智能系统感知到与敌方战斗人员的联系，无论多么遥远或无关紧要，它们都可能将个人误分类为“目标”。例如，，他们可能只是在同一所学校学习，有相互联系，甚至更糟，发明不存在的模式，促使无辜平民成为袭击目标

尽管使用武力的最终决定是由人类做出的，但这些人工智能决策支持系统的建议很可能会改变他们的决策过程，因为军事人员“在时间敏感的人机配置中，通常会优先考虑行动而不是不行动”，而不会彻底验证系统的输出，这被称为“自动化偏差”

此外，人工智能扭曲的速度和可扩展性实现了前所未有的“大规模生产目标”，增加了人类操作员自动化偏见的风险，将任何形式的有意义的人类控制、人机团队或人类认知自主减少到只需按一下按钮

考虑到上述所有因素，在目标决策中使用人工智能可能会比自主武器系统影响更多的生命，尤其是在城市地区。然而，军方经常将平民伤亡视为附带损害，声称他们“相信”该系统是可靠的，避免追究责任

然而，任何自我宣传的“成功或失败率”都可能具有欺骗性，因为一些人工智能系统基于动态数据流学习的指数速度不断改变这些波动的“百分比”

即使《第一附加议定书》第36条要求缔约国对新武器进行法律审查，也可能不足以防止这些技术的复杂性违反国际人道主义法，因为它们没有被设想为验证这种试探性模拟，特别是事后验证，因为这些系统是在事前进行实地测试的。无论如何，AI-DSS绝对应该像任何其他武器一样严格地接受这些法律审查，特别是那些他们打算“增强”的武器，因为将其纳入任何武器系统的核心目标是最终“增强”其自主能力，以一种新颖的方式实现其关键的瞄准功能，并对各级使用武力的决定产生影响

此外，武装部队经常不披露其系统的细节，包括用于微调和/或训练它们的数据，以国家安全为由，使任何监测或监督尝试都徒劳无功

即使有可能证实所谓的低误差幅度，在可靠性和/或可预测性方面，人工智能以前所未有的速度提供目标的能力仍将导致数千名平民的生命面临风险。因此，我们必须问自己——我们能否宽恕这些杀戮是“故障”或“幻觉”的产物

结论

作为一种本质上具有双重用途和可重新调整用途的技术，人工智能系统经常被不同的国家和非国家行为者使用，这加剧了人们对其在更广泛的和平与安全领域的影响的担忧，以及它们在军事部门的应用

人工智能改进后的瞄准能力是未知的领域，尽管有任何所谓的优势，但这些技术在部署之前缺乏适当的测试和审查标准。此外，由于人类活动的结果，这些系统也可能出错，因为它们本质上是不可预测和无法解释的，用于训练它们的数据永远不会完美，如果AI-DSS的使用增加会导致战场上的自动化偏差，它们固有的风险只会加剧。这就是为什么在任何军事行动之前和整个过程中，有效的人类判断都必须是一项艰巨的要求

因此，非法或不负责任地使用人工智能来支持军事瞄准风险，导致毁灭性的结局，导致联合国秘书长指出，“影响整个家庭的生死决定不应委托给算法的冷计算”

正如教皇方济各今年早些时候所说，“我们需要确保并维护人类对人工智能程序所做选择的适当控制空间：人类尊严本身取决于此”

作者坚定地支持并倡导整个国际社会采取这两项行动。

另见：

Ingvild Bode，Ishmael Bhila，基于人工智能的军事决策支持系统中的算法偏见问题，2024年9月3日
Wen Zhou，Anna Rosalie Greipl，军事决策中的人工智能：支持人类，而不是取代人类
Ingvild Borde，雷达下：人工智能的算法偏见和军事应用问题，2024年3月14日

简介