新加坡发布全球首个代理型 AI 治理框架

新加坡在达沃斯发布全球首个代理型 AI 治理框架,由部长杨莉明推出,IMDA 主导。代理型 AI 能自主决策和行动,有时连接客户数据库或支付网关,因此一旦出错——比如错误删除生产代码库、泄露个人信息——影响是即时的,人工干预往往来不及。框架汇集了政府机构和领先企业的实践,目标是让中小企业也能用上这些前沿经验,而不是让前沿企业独占。

核心是问责与人在回路。IMDA AI 治理与安全集群主管 Lee Wan See 解释,企业部署代理时不能把责任推给 AI,要在整个生命周期保留人的责任,具体做法包括限制代理只能访问任务所需系统、在关键节点设人工审核(比如向客户发邮件前)。

框架不是法律,不会执法,而是为企业列出推荐措施。Lee 用客户退款举例:全程人工监督会让代理失去意义,合理做法是在金额超过阈值时切入人工审批;同时要培训监督者识别常见失败模式(比如代理执行了过时政策),并用自动化监控发现单笔难以察觉的成千上万笔退款中的异常模式。IMDA 会持续收集案例反馈,迭代框架。

字幕语言：zh-CN · 抓取日期：2026-05-02 · 翻译日期：2026-05-02

新加坡推出了一份新的指南，帮助企业更安全、更可靠地部署人工智能代理。这些系统能够独立做出决策并采取行动。该指南由数字发展与信息部长张玉娟在达沃斯发布，新加坡成为首个发布此类新兴技术框架的政府。发布此类框架的全部目的在于说明，为什么只有处于前沿的公司才有机会去探索，因为它们资源更丰富，对吧？为什么我们不能汇聚这些知识，使其更广泛地可供任何有兴趣实施该技术的主体使用，包括中小企业。该框架汇集了政府机构和领先企业在使用人工智能代理方面的最佳实践。

其中包括评估风险和确保问责的指导方针，明确在失败情况下谁承担责任。其措施包括建立控制机制以停止和检查，并对用户进行教育。信息通信媒体发展局（IMDA）正在接受那些部署了自主智能工具的用户的反馈和案例研究，以持续完善该框架。人工智能代理正在迅速发展，其应用范围从处理基本的客户服务请求到管理复杂的操作，如更高效地维持工厂系统运行。这是因为它们可以承担例行和重复的工作，释放员工时间用于更高价值的任务，或持续大规模地运作以支持复杂的业务运营并提升生产力。但技术本身不会思考，风险是真实存在的。

拥有数据访问权限的人工智能代理可能会采取错误的行动，从错误删除记录到暴露敏感信息。用户也可能因为依赖之前表现良好的代理而变得自满，减少监督，从而让错误得以漏过。随着人工智能代理之间的互动日益增多，单点故障可能引发连锁反应，导致广泛的系统中断。人工智能代理还可能生成相互矛盾的回应，因此你可能会基于错误的信息采取行动。这就是为什么业界呼吁制定明确的标准来监控人工智能代理，并确保人类保持责任。对于新加坡来说，其人工智能治理框架旨在实现平衡，管理风险的同时仍为实验和创新留出空间。好了，现在让我们深入了解。我们将与女士进行对话。

李 >> [轻笑] >> Wan See。她是IMDA人工智能治理与安全集群主管。首先，李女士，欢迎来到节目。现在，是什么改变了人工智能的能力，使得智能代理治理变得紧迫？正如您之前提到的，智能代理正被赋予越来越多的自主权。它们能够在极少人类监督的情况下，代表人类完成许多任务，对吧？在执行这些任务时，它们还被赋予访问敏感信息的权限，比如客户信息。它们可以连接到外部系统，如支付网关。这意味着当智能代理采取错误行动时，可能会产生即时影响。正如您已经提到的，确实有实例显示编码智能代理在未被指示的情况下删除了实时代码库和数据。

另一个例子是代理人泄露客户数据库中的个人数据。由于人工干预有限，这也意味着代理人的错误可能无法及时被发现。因此，随着这一领域变化迅速，我们越来越希望能够汇集领先公司的新兴最佳实践，使组织能够拥有一个全面的资源来理解和管理代理型人工智能的风险。这就是为什么我们现在迫切需要开始研究这个问题。 是的，我能理解这种紧迫感。这也可能是该框架强调终端用户责任的原因之一。那么，这对必须与人工智能代理互动的员工或客户来说，在实际操作中意味着什么呢？他们必须明白，他们仍需承担一定的责任，不能过度依赖代理人。

所以，不能指望责任也转移给代理，并在代理采取错误或有害行动时免除任何问题。因此，我们要强调企业，在其业务中部署代理时，必须采取措施确保人在整个生命周期中负有责任和义务。例如，建立技术控制措施。这意味着，例如，限制代理访问仅限于其任务所需的系统。或者提供有效的人类监督。例如，确保在向客户发送电子邮件之前完成人工审核。这是一种新的治理模式，是代理型人工智能的新框架。那么，这将如何执行，谁来执行呢？这本质上是一套指导原则。

首先，这些是给组织的建议，帮助他们思考需要在内部建立哪些措施。我们不会涉及执法问题。例如，我现在不会去追究一家尚未实施这些措施的公司。但这些建议确实是为了让他们开始弄清楚自己担心的风险是什么。在他们考虑这些风险并部署具代理性的人工智能时，这些是他们可以在内部实施的推荐措施。因此，重要的是我们要认识到，我们都处于具代理性人工智能部署的非常初期阶段。为了给这一领域留出空间，关键是确定组织在有效实施和采用人工智能时可以遵循的最佳实践。

是的，正如你所提到的，这只是一个旅程的开始，我想这仍然是一个平衡的问题，因为这个框架如何帮助组织防止过度依赖或偏见代理人工智能的诱惑呢？也许我先解释一下过度依赖或偏见的含义。它指的是人类倾向于过度信任并自动化一个系统，比如在这种情况下的代理，尤其是当该系统过去表现可靠时。我们在框架中提出的一些建议示例包括：第一，持续的人类监督代理可能不切实际。实际上，我认为如果你期望人在每个阶段都参与，那部署代理的目的就会被破坏。因此，我们建议识别需要人类批准的重要检查点。

所以，如果我举一个处理客户退款的例子，可能会确定一个退款金额超过某个数额的点，因此需要人工介入，而不是由代理的自动响应来处理。另一个建议可能是，并非所有的人为监督都能有效。我们需要确保对人工监督人员进行培训，使其熟悉非常常见的失败案例或模式。比如，再次以客户退款为例，人工可能无法发现代理遵循过时政策的问题。因此，人工监督人员也必须接受最新政策的培训，以便知道需要注意什么。第三个例子是，我们如何通过自动化监控来进行补充？同样以客户退款为例，人工可能无法发现成千上万笔退款中的模式。

因此，我们可能需要通过数据收集、数据分析等方式来识别这些模式。这些是我们在框架中提出的一些相当具体的建议。李女士，非常感谢您为我们介绍这个非常新的自主智能体AI模型框架。我刚才与来自新加坡信息通信媒体发展局（IMDA）的李婉诗女士进行了交流。