싱가포르, 전 세계 최초의 에이전트 AI 거버넌스 프레임워크 공개

싱가포르가 다보스에서 세계 최초의 에이전트형 AI 거버넌스 프레임워크를 발표했으며, Yang Liming 장관이 추진했고 IMDA가 주도했습니다. 에이전트형 AI는 자율적으로 의사결정과 행동을 수행할 수 있으며, 때로는 고객 데이터베이스나 결제 게이트웨이에 연결되므로, 일단 오류가 발생하면——예를 들어 프로덕션 코드 저장소를 잘못 삭제하거나 개인정보를 유출하는 경우——그 영향은 즉각적이며 인간 개입이 보통 제때에 대응할 수 없습니다. 이 프레임워크는 정부 기관과 선도 기업들의 실행 관행을 모은 것이며, 목표는 중소기업도 이러한 최첨단 경험을 활용할 수 있도록 하려는 것이지, 선도 기업들이 이를 독점하도록 하는 것이 아닙니다.

핵심은 책임과 인간 개입입니다. IMDA AI 거버넌스 및 보안 클러스터 주관 Lee Wan See에 따르면, 기업이 에이전트를 배포할 때 AI에 책임을 전가할 수 없으며, 전체 생명주기에 걸쳐 인간의 책임을 유지해야 합니다. 구체적인 조치로는 에이전트의 접근을 작업에 필요한 시스템으로만 제한하고, 핵심 지점에 인간의 검토를 설정하는 것(예를 들어 고객에게 이메일을 보내기 전)이 포함됩니다.

이 프레임워크는 법률이 아니며 법적 강제를 하지 않고, 기업을 위해 권장 조치를 제시합니다. Lee는 고객 환불 사례로 설명했습니다: 전 과정에 걸친 인간의 감시는 에이전트의 의미를 상실하게 하므로, 합리적인 접근법은 금액이 임계값을 초과할 때 인간의 승인을 개입시키는 것입니다. 동시에 감시자들을 교육하여 일반적인 실패 양식(예를 들어 에이전트가 구식의 정책을 실행한 경우)을 파악하도록 하고, 자동화된 모니터링으로 개별적으로는 감지하기 어려운 수천 수만 건의 환불 중에서 이상 패턴을 발견해야 합니다. IMDA는 지속적으로 사례 피드백을 수집하고 프레임워크를 개선할 것입니다.

자막 언어: ko · 수집 날짜: 2026-05-02

싱가포르가 기업들이 인공지능 에이전트를 더 안전하고 신뢰할 수 있게 배포하도록 돕기 위한 새로운 지침을 발표했습니다. 이러한 시스템들은 독립적으로 결정을 내리고 행동할 수 있습니다. 이 지침은 디지털 발전 및 정보 장관 Zhang Yuquan이 다보스에서 발표했으며, 싱가포르는 이러한 신기술 프레임워크를 발표한 첫 번째 정부가 되었습니다. 이러한 프레임워크를 발표하는 전체 목적은 왜 최첨단에 있는 기업들만이 더 풍부한 자원을 갖기 때문에 탐색할 기회를 얻는지를 설명하는 것입니다, 맞죠? 이 기술을 구현하는 데 관심이 있는 중소기업을 포함한 모든 주체가 이 지식을 더 광범위하게 이용할 수 있도록 할 수 없을까요? 이 프레임워크는 인공지능 에이전트 사용에 관한 정부 기관 및 선도 기업들의 모범 사례를 집합했습니다.

이것은 위험 평가 및 책임 보장을 위한 지침을 포함하며, 실패 상황에서 누가 책임을 지는지를 명확히 합니다. 그 조치에는 멈추고 검사하기 위한 제어 메커니즘을 수립하고 사용자를 교육하는 것이 포함됩니다. 정보통신미디어발전청(IMDA)은 자율 지능형 도구를 배포한 사용자들로부터 피드백과 사례 연구를 수락하고 있으며, 프레임워크를 지속적으로 개선합니다. 인공지능 에이전트는 빠르게 발전하고 있으며, 그 적용 범위는 기본 고객 서비스 요청 처리에서부터 더 효율적인 공장 시스템 운영 유지와 같은 복잡한 작업 관리까지 이릅니다. 이는 그들이 일상적이고 반복적인 업무를 수행할 수 있기 때문이며, 직원들의 시간을 더 높은 가치의 작업에 투입하거나, 지속적으로 대규모로 운영하여 복잡한 비즈니스 운영을 지원하고 생산성을 향상시킵니다. 하지만 기술 자체는 생각하지 않으며, 위험은 실제로 존재합니다.

데이터 액세스 권한을 가진 인공지능 에이전트는 기록을 잘못 삭제하는 것부터 민감한 정보를 노출시키는 것까지 잘못된 행동을 취할 수 있습니다. 사용자들도 과거에 잘 작동했던 에이전트에 대한 의존으로 인해 자만심에 빠져 감시를 줄이고 오류가 빠져나갈 수 있도록 할 수 있습니다. 인공지능 에이전트 간의 상호작용이 증가함에 따라, 단일 장애점이 연쇄 반응을 일으켜 광범위한 시스템 중단을 초래할 수 있습니다. 인공지능 에이전트는 또한 상호 모순되는 응답을 생성할 수 있으며, 따라서 잘못된 정보에 기반하여 행동할 수 있습니다. 이것이 업계가 인공지능 에이전트를 모니터링하고 인간이 책임을 유지하도록 명확한 표준을 수립할 것을 요구하는 이유입니다. 싱가포르의 경우, 그 인공지능 거버넌스 프레임워크는 위험을 관리하면서도 실험과 혁신을 위한 공간을 남겨두는 균형을 달성하는 것을 목표로 합니다. 좋습니다. 이제 깊이 있게 살펴봅시다. 우리는 한 여사 분과 대화를 나누겠습니다.

Lee >> [가볍게 웃으며] >> Wan See. 그녀는 IMDA 인공지능 거버넌스 및 보안 클러스터 책임자입니다. 먼저, Lee 여사님, 프로그램에 오신 것을 환영합니다. 이제, 인공지능의 능력에서 무엇이 변했기에 지능형 에이전트 거버넌스가 긴급해졌을까요? 앞서 언급하신 대로, 지능형 에이전트가 점점 더 많은 자율성을 부여받고 있습니다. 그들은 인간의 감시가 거의 없는 상황에서 인간을 대신하여 많은 작업을 완료할 수 있습니다, 맞죠? 이러한 작업들을 실행할 때, 그들은 또한 고객 정보와 같은 민감한 정보에 접근할 수 있는 권한이 부여됩니다. 그들은 결제 게이트웨이와 같은 외부 시스템에 연결할 수 있습니다. 이는 지능형 에이전트가 잘못된 행동을 취할 때 즉각적인 영향을 미칠 수 있음을 의미합니다. 이미 언급하신 대로, 실제로 AI 에이전트가 지시 없이 실시간 코드 저장소 및 데이터를 삭제한 사례가 있습니다.

또 다른 예는 에이전트가 고객 데이터베이스의 개인 데이터를 유출하는 것입니다. 인간의 개입이 제한되어 있기 때문에, 이는 또한 에이전트의 오류가 시의적절하게 발견되지 않을 수 있음을 의미합니다. 따라서, 이 분야가 빠르게 변하고 있기 때문에, 우리는 점점 더 선도 기업들의 신흥 모범 사례를 모을 수 있기를 바라고 있으며, 조직들이 에이전트형 인공지능의 위험을 이해하고 관리할 수 있는 포괄적인 자원을 갖도록 합니다. 이것이 우리가 지금 이 문제를 연구하기 시작해야 하는 이유입니다. 네, 이러한 긴급성을 이해합니다. 이것은 또한 프레임워크가 최종 사용자 책임을 강조하는 이유 중 하나일 수 있습니다. 그렇다면, 인공지능 에이전트와 상호작용해야 하는 직원이나 고객들에게 실제 운영에서 이것이 무엇을 의미하는가요? 그들은 자신들이 여전히 특정 책임을 져야 하며, 에이전트에 과도하게 의존할 수 없다는 것을 이해해야 합니다.

따라서 책임이 에이전트로도 옮겨간다고 기대할 수 없으며, 에이전트가 오류 또는 해로운 행동을 취할 때 모든 책임을 면할 수 없습니다. 따라서 우리는 기업들이 자신들의 비즈니스에 에이전트를 배포할 때 전체 생명 주기 동안 인간이 책임과 의무를 지도록 보장하기 위한 조치를 취해야 한다는 점을 강조합니다. 예를 들어, 기술적 제어 조치를 수립합니다. 이는 예를 들어, 에이전트의 접근을 그 작업에 필요한 시스템만으로 제한하는 것을 의미합니다. 또는 효과적인 인간 감시를 제공합니다. 예를 들어, 고객에게 이메일을 보내기 전에 인간 검토가 완료되도록 보장합니다. 이것은 새로운 거버넌스 모델이며, 에이전트형 인공지능의 새로운 프레임워크입니다. 그렇다면, 이것이 어떻게 실행되고, 누가 실행할까요? 이것은 본질적으로 일련의 지도 원칙입니다.

먼저, 이것들은 조직을 위한 제안으로, 그들이 내부적으로 어떤 조치를 수립해야 하는지 생각하도록 도움을 줍니다. 우리는 집행 문제에 관여하지 않습니다. 예를 들어, 저는 지금 아직 이러한 조치를 구현하지 않은 회사에 대해 강제 조치를 취하지 않을 것입니다. 하지만 이러한 제안들은 실제로 그들이 자신들이 걱정하는 위험이 무엇인지를 이해하기 시작하도록 하기 위한 것입니다. 그들이 이러한 위험들을 고려하고 에이전트형 인공지능을 배포할 때, 이것들은 그들이 내부적으로 구현할 수 있는 권장 조치입니다. 따라서 중요한 것은 우리가 모두 에이전트형 인공지능 배포의 매우 초기 단계에 있다는 것을 인식하는 것입니다. 이 분야에 공간을 제공하기 위해, 핵심은 조직이 인공지능을 효과적으로 구현하고 채택할 때 따를 수 있는 모범 사례를 확인하는 것입니다.

네, 당신이 언급하신 대로, 이것은 여정의 시작일 뿐이며, 저는 이것이 여전히 균형의 문제라고 생각합니다. 왜냐하면 이 프레임워크가 조직들이 에이전트형 인공지능에 대한 과도한 의존이나 편견의 유혹을 방지하도록 어떻게 도울 수 있을까요? 아마도 먼저 과도한 의존이나 편견이 무엇을 의미하는지 설명해야 할 것 같습니다. 그것은 인간들이 시스템을 과도하게 신뢰하고 자동화하는 경향을 말합니다. 이 경우 에이전트와 같은 시스템들을 말하며, 특히 그 시스템이 과거에 신뢰할 수 있는 성과를 보였을 때 더욱 그렇습니다. 우리가 프레임워크에서 제시한 권장 사항의 몇 가지 예에는 다음이 포함됩니다: 첫째, 지속적인 인간 감시가 에이전트에 대해 실용적이지 않을 수 있습니다. 실제로, 제 생각에는 인간이 모든 단계에 참여하기를 기대한다면, 에이전트를 배포하는 목적이 훼손될 것입니다. 따라서 우리는 인간의 승인이 필요한 중요한 검사 지점을 확인할 것을 권장합니다.

따라서 고객 환불 처리의 예를 들면, 환불 금액이 특정 금액을 초과하는 지점을 확인할 수 있으며, 따라서 에이전트의 자동 응답으로 처리하지 않고 인간의 개입이 필요합니다. 또 다른 제안은 모든 인간 감시가 효과적인 것은 아니라는 점입니다. 우리는 인간 감시자들이 매우 일반적인 실패 사례 또는 패턴에 익숙해지도록 교육을 받도록 해야 합니다. 예를 들어, 다시 고객 환불의 예를 들면, 인간은 에이전트가 구식 정책을 따르고 있다는 문제를 발견하지 못할 수 있습니다. 따라서 인간 감시자들도 최신 정책에 대한 교육을 받아야 하며, 무엇에 주의를 기울여야 하는지 알아야 합니다. 세 번째 예는 우리가 자동화 모니터링으로 어떻게 이를 보완할 수 있는가 하는 것입니다. 다시 고객 환불의 예로, 인간은 수천 건의 환불 중에서 패턴을 발견하지 못할 수 있습니다.

따라서 우리는 데이터 수집, 데이터 분석 등의 방법을 통해 이러한 패턴을 식별해야 할 수 있습니다. 이것들은 우리가 프레임워크에서 제시한 꽤 구체적인 권장 사항들입니다. Lee 여사님, 이 매우 새로운 자율 지능형 AI 모델 프레임워크를 우리에게 소개해주셔서 매우 감사합니다. 저는 방금 싱가포르 정보통신미디어발전청(IMDA)의 Wan See 여사님과 대화를 나누었습니다.