新加坡釋出全球首個代理型 AI 治理框架

新加坡在達沃斯釋出全球首個代理型 AI 治理框架,由部長楊莉明推出,IMDA 主導。代理型 AI 能自主決策和行動,有時連線客戶資料庫或支付閘道器,因此一旦出錯——比如錯誤刪除生產程式碼庫、洩露個人資訊——影響是即時的,人工干預往往來不及。框架彙集了政府機構和領先企業的實踐,目標是讓中小企業也能用上這些前沿經驗,而不是讓前沿企業獨佔。

核心是問責與人在迴路。IMDA AI 治理與安全叢集主管 Lee Wan See 解釋,企業部署代理時不能把責任推給 AI,要在整個生命週期保留人的責任,具體做法包括限制代理只能訪問任務所需系統、在關鍵節點設人工稽核(比如向客戶發郵件前)。

框架不是法律,不會執法,而是為企業列出推薦措施。Lee 用客戶退款舉例:全程人工監督會讓代理失去意義,合理做法是在金額超過閾值時切入人工審批;同時要培訓監督者識別常見失敗模式(比如代理執行了過時政策),並用自動化監控發現單筆難以察覺的成千上萬筆退款中的異常模式。IMDA 會持續收集案例反饋,迭代框架。

字幕語言： zh-Hant · 抓取日期： 2026-05-02

新加坡推出了一份新的指南，幫助企業更安全、更可靠地部署人工智慧代理。這些系統能夠獨立做出決策並採取行動。該指南由數字發展與信息部長張玉娟在達沃斯釋出，新加坡成為首個釋出此類新興技術框架的政府。釋出此類框架的全部目的在於說明，為什麼只有處於前沿的公司才有機會去探索，因為它們資源更豐富，對吧？為什麼我們不能匯聚這些知識，使其更廣泛地可供任何有興趣實施該技術的主體使用，包括中小企業。該框架彙集了政府機構和領先企業在使用人工智慧代理方面的最佳實踐。

其中包括評估風險和確保問責的指導方針，明確在失敗情況下誰承擔責任。其措施包括建立控制機制以停止和檢查，並對使用者進行教育。信息通信媒體發展局（IMDA）正在接受那些部署了自主智慧工具的使用者的反饋和案例研究，以持續完善該框架。人工智慧代理正在迅速發展，其應用範圍從處理基本的客戶服務請求到管理複雜的操作，如更高效地維持工廠系統執行。這是因為它們可以承擔例行和重複的工作，釋放員工時間用於更高價值的任務，或持續大規模地運作以支援複雜的業務運營並提升生產力。但技術本身不會思考，風險是真實存在的。

擁有資料訪問許可權的人工智慧代理可能會採取錯誤的行動，從錯誤刪除記錄到暴露敏感資訊。使用者也可能因為依賴之前表現良好的代理而變得自滿，減少監督，從而讓錯誤得以漏過。隨著人工智慧代理之間的互動日益增多，單點故障可能引發連鎖反應，導致廣泛的系統中斷。人工智慧代理還可能生成相互矛盾的回應，因此你可能會基於錯誤的資訊採取行動。這就是為什麼業界呼籲制定明確的標準來監控人工智慧代理，並確保人類保持責任。對於新加坡來說，其人工智慧治理框架旨在實現平衡，管理風險的同時仍為實驗和創新留出空間。好了，現在讓我們深入瞭解。我們將與女士進行對話。

李 >> [輕笑] >> Wan See。她是IMDA人工智慧治理與安全叢集主管。首先，李女士，歡迎來到節目。現在，是什麼改變了人工智慧的能力，使得智慧代理治理變得緊迫？正如您之前提到的，智慧代理正被賦予越來越多的自主權。它們能夠在極少人類監督的情況下，代表人類完成許多工，對吧？在執行這些任務時，它們還被賦予訪問敏感資訊的許可權，比如客戶資訊。它們可以連線到外部系統，如支付閘道器。這意味著當智慧代理採取錯誤行動時，可能會產生即時影響。正如您已經提到的，確實有例項顯示編碼智慧代理在未被指示的情況下刪除了即時程式碼庫和資料。

另一個例子是代理人洩露客戶資料庫中的個人資料。由於人工干預有限，這也意味著代理人的錯誤可能無法及時被發現。因此，隨著這一領域變化迅速，我們越來越希望能夠彙集領先公司的新興最佳實踐，使組織能夠擁有一個全面的資源來理解和管理代理型人工智慧的風險。這就是為什麼我們現在迫切需要開始研究這個問題。 是的，我能理解這種緊迫感。這也可能是該框架強調終端使用者責任的原因之一。那麼，這對必須與人工智慧代理互動的員工或客戶來說，在實際操作中意味著什麼呢？他們必須明白，他們仍需承擔一定的責任，不能過度依賴代理人。

所以，不能指望責任也轉移給代理，並在代理採取錯誤或有害行動時免除任何問題。因此，我們要強調企業，在其業務中部署代理時，必須採取措施確保人在整個生命週期中負有責任和義務。例如，建立技術控制措施。這意味著，例如，限制代理訪問僅限於其任務所需的系統。或者提供有效的人類監督。例如，確保在向客戶傳送電子郵件之前完成人工稽核。這是一種新的治理模式，是代理型人工智慧的新框架。那麼，這將如何執行，誰來執行呢？這本質上是一套指導原則。

首先，這些是給組織的建議，幫助他們思考需要在內部建立哪些措施。我們不會涉及執法問題。例如，我現在不會去追究一家尚未實施這些措施的公司。但這些建議確實是為了讓他們開始弄清楚自己擔心的風險是什麼。在他們考慮這些風險並部署具代理性的人工智慧時，這些是他們可以在內部實施的推薦措施。因此，重要的是我們要認識到，我們都處於具代理性人工智慧部署的非常初期階段。為了給這一領域留出空間，關鍵是確定組織在有效實施和採用人工智慧時可以遵循的最佳實踐。

是的，正如你所提到的，這只是一個旅程的開始，我想這仍然是一個平衡的問題，因為這個框架如何幫助組織防止過度依賴或偏見代理人工智慧的誘惑呢？也許我先解釋一下過度依賴或偏見的含義。它指的是人類傾向於過度信任並自動化一個系統，比如在這種情況下的代理，尤其是當該系統過去表現可靠時。我們在框架中提出的一些建議示例包括：第一，持續的人類監督代理可能不切實際。實際上，我認為如果你期望人在每個階段都參與，那部署代理的目的就會被破壞。因此，我們建議識別需要人類批准的重要檢查點。

所以，如果我舉一個處理客戶退款的例子，可能會確定一個退款金額超過某個數額的點，因此需要人工介入，而不是由代理的自動響應來處理。另一個建議可能是，並非所有的人為監督都能有效。我們需要確保對人工監督人員進行培訓，使其熟悉非常常見的失敗案例或模式。比如，再次以客戶退款為例，人工可能無法發現代理遵循過時政策的問題。因此，人工監督人員也必須接受最新政策的培訓，以便知道需要注意什麼。第三個例子是，我們如何通過自動化監控來進行補充？同樣以客戶退款為例，人工可能無法發現成千上萬筆退款中的模式。

因此，我們可能需要通過資料收集、資料分析等方式來識別這些模式。這些是我們在框架中提出的一些相當具體的建議。李女士，非常感謝您為我們介紹這個非常新的自主智慧體AI模型框架。我剛才與來自新加坡信息通信媒體發展局（IMDA）的李婉詩女士進行了交流。