电子产品世界

人工智能治理者(ai governor)是一个框架、一套政策或监督机制，旨在确保人工智能系统的开发和使用符合伦理、安全、透明，并符合法律和社会标准。该术语也可以指用作特定人工智能系统中安全机制的实际代码或电路（调速器逻辑）。

PAI通过电机、执行器和传感器实现，为数字人工智能（DAI）与现实世界提供桥梁。它可以用于公共空间如机器人出租车，或工业运营中的自主机器人或手术辅助机器人等受保护空间。

物理人工智能（PAI）治理不同于生成式人工智能及其他DAI应用如聊天机器人，因其在安全、物理世界互动、责任制以及潜在的现实损害和伤害等多方面考虑因素。

为了分析治理需求，PAI 可分为两类：集中式或自包含式应用，以及分布式应用。分布式PAI（DPAI）可能存在更高的不确定性和风险。

例如，“存在问题”关注的是创建能够可靠且安全运行的系统，这些系统在受控数字模拟或工厂设置之外存在。

DPIA应用中的“社会接受问题”源于对信任、问责以及人类自主性和社会互动侵蚀的担忧。治理是克服存在和接受问题的必要手段。

克服坎尼金定律的限制可能更具挑战性。PAI的发展至少涵盖材料科学、机械工程、化学、生物学和计算机科学等五个学科，成熟度和发展轨迹各异。Cannikin定律帮助开发者聚焦于“滞后”学科的局限性，通过解决确保多样化组件无缝工作的固有挑战，构建稳健且值得信赖的AI，这是现代AI治理的重要方面（见图1）。

图1。坎尼金定律可以成为PAI治理的关键因素。（图片来源：arXiv)

代理型人工智能治理

传统的人工智能治理假设可预测性，侧重于部署前的检查和监督任务。在考虑动态、目标导向的代理人工智能系统时，这些系统独立规划和行动，治理需要持续的实时监督。

代理人工智能治理的一些核心考虑因素包括（见图2）：

• 透明度必须以对代理性人工智能决策的清晰解释来支持。

• 系统设计和法律要求需要明确的责任链。

• 持续监控，确保申请不倾向于歧视或偏见行为。

• 安全需求涵盖保护应用免受对抗性攻击和保护用户免受伤害。

• 人机参与监督可以提供持续的培训、协作和干预。
  

  图2。代理人工智能治理的一些要素。（图片来源：kanerika)

结合代理型和 PAI

代理性与利益相关性（PAI）的结合使治理变得复杂，将抽象风险转化为具体的物理伤害。这使得对自主行为的责任追究、管理不可预测的后果以及确保物理系统遵守不断演变的伦理和监管标准变得困难。

这需要更严格的安全性、伦理和控制规则，以使PAI活动与人类意图保持一致。某些组合比其他组合危险性较低。例如，结合智能人工智能和PAI的智能建筑应用更可能带来不适，而非直接伤害。

另一方面，像外科辅助和与人类密切合作的协作工业机器人这样的应用，则增加了对人造成身体伤害的风险，需要更严格的控制和治理。

强制治理还是建议？

美国NIST人工智能风险管理框架（RMF）和欧盟人工智能法案中采取了两种不同的人工智能治理方法。

欧盟人工智能法案直接监管与“物理或虚拟环境”交互的人工智能系统。这包括PAI和DAI。以PAI为例，它专注于机器人技术、自动驾驶车辆、关键基础设施如供水系统和电网、医疗设备以及工业自动化系统。它特别关注保护人们免受“高风险”应用的影响，并对安全、透明度和人工监督有严格要求。

图3。NIST人工智能风险管理框架的关键要素。（NIST）)

而NIST人工智能风险管理框架（AI RMF）则是一种结构化、自愿的人工智能治理方法，没有特别关注公共利益（PAI）。它旨在补充网络安全框架，并增加了特定的人工智能风险。它采用生命周期方法，包含与治理、地图绘制、衡量和管理人工智能风险相关的建议（见图3）。

摘要

治理对于建立人们对人工智能安全、其运行符合人类伦理以及符合所有监管要求的信任至关重要。DAI和PAI的治理实施方式不同。它在中心化PAI和分布式PAI的实现方式也不同。欧洲采用严格的监管，而美国则采取自愿性做法。

关键词： 人工智能 治理者 物理人工智能