# 첨단 AI 안전 규제 및 부서간 사고보고 체계

- 날짜: 2026-10-07
- 수록: 2026-10-21
- 관련자: Dr Charlene Chen · Mr Alex Yam · Dr Choo Pei Ling · Mr Yip Hon Weng · Mr Tan Kiat How
- 출처: https://sprs.parl.gov.sg/search/#/sprs3topic?reportid=oral-answer-4231
- sgai: https://sgai.md/ko/debates/oral-answer-4231/
- 라이선스: sgai가 작성한 내용(요약·번역·분석)은 CC BY 4.0(출처 표기 및 sgai.md 링크 조건). 원문 전문(의회 기록·연설·자막·정책 원문)은 원권리자에게 귀속되며 참고용으로만 게재. 조건: https://github.com/meltflake/sgai/blob/main/DATA-LICENSE.md

## 왜 중요한가

Tan Kiat How 선임 정무장관은 구두 보충질의에서 기존 사이버보안, 개인정보 보호, 핵심정보기반시설 체계가 이미 에이전트형 AI에 적용되고 있으며 보완을 검토 중이라고 했으나, 안전 시험 의무화나 보고 기준은 약속하지 않았습니다.

## 요약

Charlene Chen, Choo Pei Ling, Yip Hon Weng, Alex Yam Ziming 등의 의원들이 싱가포르 AI 안전원의 최첨단 AI 모델에 대한 독립적 테스트 역량, 부처 간 사고 보고 체계, 그리고 호주의 자율 AI 에이전트 무단 접근 사건과 유사한 사건이 정부 시스템의 복원력에 미치는 영향에 관해 디지털개발정보부(MDDI) 장관에게 질문했습니다. 상임정무장관 Tan Kiat How가 대신 답변했으며, 현존하는 네트워크 보안, 데이터 보호 및 중요 정보 기반시설 규제 체계가 에이전트형 AI 시스템에도 동등하게 적용된다고 지적했습니다. 정부는 GovTech 등의 기관을 통해 에이전트형 AI의 책임감 있는 배포를 시험하고 있으며, 관련 체계를 강화할 필요가 있는지를 지속적으로 검토하고 있으나, 강제적인 최첨단 AI 안전 테스트의 구체적 기준이나 시간표 설정을 약속하지 않았습니다.

## 핵심 포인트

- 현존하는 지침, 규정, 위험 관리 프로세스 및 감시 메커니즘이 에이전트형 AI 시스템에도 동등하게 적용되며, 여기에는 인간 책임 유지의 원칙이 포함됩니다.
- 정부는 GovTech 등의 기관을 통해 공공 서비스 영역에서 에이전트형 AI의 응용을 시험하여 이러한 시스템을 책임감 있게 구현하는 방법을 파악하고 있습니다.
- 싱가포르 AI 안전원은 국제 동료와 긴밀하게 협력하여 AI 안전의 모범 사례를 공유하고 있습니다.
- 싱가포르는 최근 국제연합 등의 다자 간 논의에서 뜻을 같이하는 국가들과 지지 선언을 체결하여 AI 안전 분야의 국제 협력을 강화하고 있습니다.
- 현존하는 사고 보고 체계(예: 개인 데이터 보호법)는 이미 기준을 설정했으며, 기관이 AI 도구를 사용하는지 여부와 관계없이 이를 준수해야 하고, 기업은 직원의 승인되지 않은 생성형 AI(섀도우 AI) 사용으로 인한 위험도 관리해야 합니다.

## 전문

10 Charlene Chen 박사가 디지털개발정보부(MDDI) 부장에게 묻다 (a) 싱가포르 AI 안전 연구소(AISI)가 최첨단 인공지능 모델의 능력을 독립적으로 평가할 때 개발자가 제공한 접근 권한이 부족하여 제약을 받는지 여부; (b) 접근 권한을 얻을 수 없는 경우 위험을 어떻게 평가하는지; 및 (c) 충분히 높은 위험으로 평가된 인공지능 시스템에 대해 독립적인 안전 테스트를 수행하도록 요구할 것인지 여부.

11 Charlene Chen 박사가 디지털개발정보부(MDDI) 부장에게 묻다 (a) 정부가 기존 산업 사건 보고 요건이 인공지능 시스템과 관련된 심각한 사건을 충분히 포함하는지 평가했는지 여부; 및 (b) 결점이 있는 곳에서 산업 전반에 걸친 보고 체계가 심각한 인공지능 사건을 다룰 수 있도록 고려할 것인지 여부.

12 Alex Yam Ziming 씨가 최근 호주 정부 시스템이 자율 인공지능 에이전트에 의해 불법적으로 접근한 점을 고려하여 디지털개발정보부(MDDI) 부장에게 묻다 (a) 싱가포르가 정부 디지털 시스템의 유사 에이전트 인공지능 행동에 대한 복원력을 평가했는지 여부; 및 (b) 기존 사이버보안 및 사건 보고 체계가 인공 작업자의 구체적 지시를 받지 않는 인공지능 시스템의 자율 행동을 충분히 다루는지 여부.

13 Choo Pei Ling 박사가 디지털개발정보부(MDDI) 부장에게 묻다 (a) 정부가 싱가포르에 배포되는 최첨단 인공지능 모델을 위해 배포 전 위험 평가, 독립적인 안전 테스트, 오용 방지를 위한 보호 조치 및 심각한 사건 보고를 포함하는 강제성 안전 요건을 도입할 것인지 여부; 및 (b) 그렇다면 인공지능 능력의 발전에 따라 이러한 요건이 어떻게 실행되고 업데이트될 것인지.

14 Yip Hon Weng 씨가 싱가포르가 최첨단 인공지능에 대한 국제 감시를 지지하는 점을 고려하여 디지털개발정보부(MDDI) 부장에게 묻다 (a) 독립적인 테스트 접근 권한을 얻을 수 없을 때 부장이 해외 모델이 필수 서비스에 배포하기에 충분히 안전한지를 어떻게 확인하는지; 및 (b) 개발자의 보장에 의존하기보다는 배포 전에 검증 가능한 안전 증거가 필요함을 정당화할 어떤 고려 요소들이 있는지.

15 Choo Pei Ling 박사가 디지털개발정보부(MDDI) 부장에게 묻다 (a) 정부가 빠른 인공지능 모델 진전이 기존 사이버보안 요건을 초과하는 추가 보호 조치를 필요로 할 시기를 결정하기 위한 임계값 또는 지표를 설정했는지 여부; 및 (b) 싱가포르가 국경 간 인공지능 지원 사이버 사건에 대해 외국 정부, 주요 인공지능 개발자 및 국제 사이버보안 기관과 비상 대응 계획을 수립했는지 여부.

디지털개발정보부(MDDI) 고위급 정무차관(Tan Kiat How 씨)(디지털개발정보부 부장 대리): 의장님, 오늘 의제의 10번부터 15번 항목에 대해, 이러한 문제들은 어제 국회 회의에서 45번부터 51번 항목과 33번 서면 회신 질문에 대한 회신으로 이미 다루어졌습니다. [「싱가포르 디지털 시스템의 에이전트 인공지능 행동에 대한 회복력 평가」, 공식 보고서, 2026년 10월 6일, 제96권, 제38호, 구두 회신 질문 중 질의 시간 종료 전에 회신되지 않은 부분을 참조하시기 바랍니다.]

의장님: Charlene Chen 박사님.

Charlene Chen 박사(탐핀스): 의장님께 감사합니다. 어제의 회신에서 부장은 사건 및 유사사건으로부터 배우는 것의 중요성을 언급했습니다. 고위급 정무차관께서 인공지능(AI) 사건이 보고되어야 하는 임계값이 무엇인지, 그리고 인공적 개입이 실제 피해를 방지했더라도 심각한 유사사건도 보고되어야 하는지 명확히 해주실 수 있을까요?

두 번째 추가 질문은 부장의 대부분 회신이 정부 시스템 및 필수 서비스에 집중되어 있다는 것입니다. 하지만 인공지능 시스템도 점점 더 민간 조직에 의해 배포되고 있습니다. 인공지능 시스템의 의도하지 않은 행동으로 심각한 영향을 받을 수 있는 일반 시민의 경우, 예를 들어 개인 또는 재무 정보와 관련된 경우, 현재 어떤 보호 조치와 구제 방법이 있습니까? 인공지능 관련 사건이 자신에게 영향을 미쳤다는 통지를 받을 권리가 있습니까?

마지막 추가 질문입니다. 싱가포르에 배포된 인공지능 시스템이 대중에게 직접적이고 심각한 위험을 구성한다는 것이 발견된 경우, 우리의 규제 기관이 현재 기초 모델이 해외에서 나오는 경우를 포함하여 위험 조사 중 사용을 일시 중단하거나 제한하도록 요구할 권한이 있습니까?

Tan Kiat How 씨: 의장님, 의원이 제시한 세 개의 추가 질문에 감사드립니다. 이들은 대체로 같은 주제를 중심으로 전개되며, 우리가 위험을 어떻게 생각하는지, 그리고 우리의 대응 방식과 관련이 있습니다. 따라서 그녀의 세 개 추가 질문을 함께 답변하도록 하겠습니다.

먼저 우리는 인공지능, 특히 점점 더 증가하는 에이전트 및 자율 인공지능 시스템이 새로운 기회와 위험을 야기한다는 것을 인식하고 있다고 말씀드립니다. 에이전트 시스템의 특징은 이들 시스템이 작동을 수행하고, 외부 시스템과 상호작용하며, 인공적 감시를 줄이기 위해 행동을 조정할 수 있다는 점입니다. 따라서 우리의 대응은 두 가지 측면에 집중됩니다.

먼저 우리는 에이전트 인공지능 및 의원이 언급한 일부 자율 시스템으로부터 비롯된 많은 위험이 기존 과제의 연장이라는 것을 인식해야 합니다. 따라서 영향이 개인을 대상으로 하든, 중요 정보 기반 시설 시스템이나 기타 필수 디지털 서비스를 대상으로 하든, 이들은 모두 우리가 오늘 직면하고 있는 같은 과제의 연장입니다.

따라서 지침 및 규정을 포함한 기존 규정, 위험 관리 절차 및 감시도 에이전트 인공지능 시스템에 적용됩니다. 인공적 책임성을 유지하고 충분한 통제 및 보호 조치를 실행하는 원칙도 적용됩니다. 더욱이 우리가 오랫동안 데이터 보호, 사이버보안 및 회복력을 강화해온 노력은 인공지능 에이전트 상호작용 시스템을 보호하는 데 도움이 됩니다.

물론 우리는 에이전트 시스템의 자율성 증가에 맞게 이러한 체계와 시스템을 어떻게 조정하고 강화할 것인지 검토하고 있으며, 또한 이 신흥 분야의 국제 발전을 모니터링하고 있습니다.

따라서 제가 강조하고 싶은 첫 번째 점은 이들 위험이 우리 주변에 이미 존재한다는 것입니다. 예, 새로운 측면이 있을 수 있지만, 이들은 기존 위험이고, 기존 체계가 적용되며, 우리는 이를 강화하는 방법을 검토하고 있습니다.

둘째, 우리는 또한 자체의 내부 능력을 개발해야 합니다. 우리는 기존 체계와 방법을 초월하는 능력을 개발하고 있습니다. 우리는 시험과 실험을 실행하여 빠르게 발전하는 기술을 따라가고, 에이전트 시스템을 책임 있게 배포하기 위해 필요한 것이 무엇인지 이해합니다. 우리는 물론 정부 내 이를 수행하고 있습니다. 정부기술청(GovTech)이 이를 수행하고 있으며, 정부 내 많은 다른 기관들이 이미 적절한 보호 조치 하에서 이를 책임 있게 수행하고 있습니다.

저는 모든 민간 부문 조직에, 중요 정보 기반 시설이나 필수 디지털 서비스를 운영하지 않는 조직이라도, 인공지능 에이전트 및 시스템을 배포할 때 적절한 신중함과 책임감을 유지하도록 권장합니다. 하지만 우리는 능력을 개발하고 있으며, 이것은 새롭고, 신흥하며, 빠르게 발전하는 분야입니다. 우리는 이를 계속해서 추적하고 필요한 경우 우리의 체계 및 규정을 업데이트할 것입니다.

의장님: Alex Yam Ziming 씨.

Alex Yam Ziming 씨(마르실링-유티): 의장님께 감사합니다. 고위급 정무차관의 회신과 부장의 어제 회신에 감사드립니다. 저는 호주의 OpenAI 사건의 한 가지 특별한 측면에 집중하고 싶으며, 이것이 우리에게 특히 중요하다고 생각합니다.

호주 정부는 사건 발생 3개월 후에야 불법 접근을 알게 되었는데, 개발자가 결국 이를 식별하고 호주 정부에 공개했기 때문입니다. 따라서 우리의 지역 사례에서, 우리의 법률은 중요 정보 기반 시설(CII) 및 중요 기반 시설 회사에 사건 보고를 요구합니다. 하지만 오늘날 개발자들, 특히 해외의 개발자들이, 우리가 적절한 조치를 취할 수 있도록 우리의 당국에 신속하게 조기에 통지할 명확한 의무가 있습니까?

두 번째 질문은 테스트에 관한 것입니다. 저는 우리의 지역 기관들, 사이버보안청(CSA) 포함과 디지털개발정보부(MDDI) 산하 우리 기관들이 시스템과 에이전트에 대해 상당히 강력한 테스트를 수행했고 모델을 개발했다고 상당히 확신합니다. 더 강력한 독립적인 테스트를 지지하지만, 우리가 최근에 본 사례들은 모두 개발자의 작업 범위 내에 있었고, 심지어 그 테스트들도 통제 불능에 빠졌습니다. 악의적인 일이 일어나지 않았습니다. 개발자들이 단지 자신의 모델을 테스트했을 뿐이고, 그것들도 통제 불능에 빠졌습니다. 그러면 우리가 우리 자신의 테스트 능력 내에서 위험이 발견되는 경우에도 다른 제삼자에게 위험이 발생하지 않도록 보장하기 위해 어떤 다른 보호 조치를 취할 수 있습니까?

Tan Kiat How 씨: 의장님, 의원의 질문에 차례로 답변하겠습니다.

첫 번째는 진행 중인 사항에 관한 것입니다. 이것은 여전히 활동 중인 문제입니다. 저는 공개 보도에서, 의원이 언급한 최첨단 인공지능 회사가 호주 정부와 통신 왕래를 하고 있다고 읽었습니다. 따라서 이것은 활동 중인 문제이고, 우리는 이를 모니터링하고 있습니다. 저는 우리가 물론 최첨단 인공지능 회사가 더 큰 책임을 떠맡아 자신들이 개발한 시스템이 야기하는 위험을 이해하고 관리하기를 환영한다고 말씀드리고 싶습니다. 여기에는 새로운 능력과 위험을 조기에 식별하고, 이들 시스템이 광범위하게 배포되기 전에 보호 조치를 시행하는 것이 포함됩니다.

이들 시스템이나 인공지능 최첨단 모델의 능력이 타인에게 해를 끼치거나 영향을 미치는 곳에서, 우리는 물론 그들이 책임을 떠맡고 문제를 가능한 한 빨리 시정하기를 환영합니다.

동시에, 저는 지난 몇 개월 동안의 상황이 거대한 변화를 겪었다고 생각합니다. 우리는 우리를 겨냥한 위협 환경을 봅니다. 우리는 다양한 사이버 위험, 디지털 위험에 직면합니다. 국가 후원, 국가 지원 행위자들인 사이버 범죄자, 사이버 해커, 고급 지속 위협(APT)으로부터의 위협, 또는 단순히 자극을 위해 디지털 솔루션을 채택하여 다른 시스템을 침입하려는 개인들로부터의 위협입니다.

어떤 조직이든, 어떤 경제 체계든 직면하는 위험은 몇 개월 전과는 아주 다릅니다. 이제는 더 이상 최첨단 인공지능 모델이 취약점을 탐지하거나 자율적인 연쇄 조작을 통해 취약점을 악용할 수 있는 능력만에 관한 것이 아니며, 인터넷에서 자유롭게 다운로드할 수 있는 많은 오픈소스 인공지능 모델이 있습니다. 불량 행위자들은 이들 능력을 사용하여 조직에 사이버 위협을 가하거나 범죄 활동을 수행할 수 있습니다.

따라서 위협 환경은 매우 다릅니다. 이것은 단지 최첨단 인공지능 모델의 개발자만이 위험을 구성한다는 것만에 관한 것이 아니라, 많은 많은 행위자들이 개방형 가중치 모델을 다운로드하고, 이를 적응시키며, 자신의 도구를 만들고, 자신의 맥락을 만들고, 부적절한 목적을 위해 이를 사용할 수 있습니다. 따라서 우리는 단지 다른 누군가가 우리를 침입하고 있다고 우리에게 말할 때까지 기다릴 수 없습니다. 싱가포르와 우리의 조직들, 특히 중요 정보 기반 시설을 운영하는 조직들은 필요한 보호 조치를 취할 책임이 있습니다.

우리가 할 수 있는 많은 것들이 있고, 이들 필수 서비스를 운영하는 조직들도 할 수 있는 많은 것들이 있습니다.

먼저 기본적인 네트워크 보안 조치를 수립했는지 확인하십시오. 저는 종종 비유를 사용합니다. 정보기술 시스템을 구축할 때는 건물에 새 방, 새 날개 또는 새 부속 건물을 짓는 것과 같습니다. 때로는 모든 문을 잠가거나 모든 창문을 고정했는지 알 수 없습니다. 악의적인 행위자는 같은 취약점을 이용합니다. 잠기지 않은 문이나 안전하지 않은 창문을 통해 우리 시스템에 진입합니다. AI 수단이든 더 전통적이고 일반적인 수단이든 상관없습니다.

따라서 먼저 필요한 예방 조치를 취해야 합니다: 네트워크 보안을 개선하고, 우리의 취약점을 제거하며, 우리 시스템 내 비정상적인 행동을 지속적으로 적극 모니터링합니다. 이러한 사항들은 기본 보안 조치인데, 우리가 할 수 있는 사항들입니다.

둘째, 악의적인 행위자가 AI 역량을 사용하더라도, 우리는 우리 자신의 시스템 내에서 이러한 AI 역량을 배포할 수 있어야 합니다. 우리의 취약점을 더 일찍 발견하기 위해서입니다. 우리는 우리 자신의 시스템을 알고 있기 때문에 우위를 가져야 합니다. 우리는 건물의 배치와 청사진을 알고 있습니다. 우리는 부속 건물이 어디에 있는지 알고 있습니다. 우리는 중요 서비스가 건물 내 어디에 위치하는지 알고 있습니다. 따라서 우리는 AI를 활용하여 우리 자신에게 우위를 가져옵니다. 이것이 우리가 해야 한다고 생각하는 두 번째 사항입니다.

셋째, 더 중요한 것은 이러한 위험에 대한 두려움이나 불안이 우리가 이 기술을 충분히 활용하는 것을 막지 않아야 한다는 것입니다. 따라서 우리는 이 기술을 사용하여 가치, 새로운 제품, 새로운 서비스를 창출하고 우리 국민을 위해 새로운 기회를 창출해야 합니다. 하지만 책임감 있게 이를 수행해야 합니다. 올바른 보호 조치를 취하고 과정 중에 배우고 적응해야 합니다.

의원의 관점에서, 이러한 것들은 우리가 할 수 있는 실제적인 조치이며, 다른 사람들이 우리를 이미 공격하고 있다고 말해줄 때까지 기다릴 필요가 없습니다.

의장님: Choo Pei Ling 박사.

Choo Pei Ling 박사(Chua Chu Kang): 의장님 감사합니다. 고위 정무 장관의 설명과 답변에 감사드립니다. 추가 질문이 몇 가지 있습니다.

첫째, 고위 정무 장관이 공유한 내용에 따르면, 정부가 지침에서 의무적인 보호 조치로 전환하도록 촉발할 수 있는 것이 무엇인지 추가로 설명해 주실 수 있을까요? 특히 최첨단 AI 시스템을 배포하기 전입니다. 예를 들어, 자율성이 대폭 향상되거나, 외부 시스템을 넘어선 행동 능력이 있거나, 기존 보호 조치로 충분히 포함할 수 없는 위험이 있을 때입니다.

두 번째 추가 질문은, 이러한 트리거 포인트에 도달하면, 이러한 더 강력한 보호 조치 또는 고위 정무 장관이 앞서 사용한 용어인 「AI capabilities」이 얼마나 빨리 적용될 수 있을까요? 여기에는 해외에서 개발된 모델의 경우도 포함됩니다.

마지막으로, 외국 대응 부서 및 주요 AI 개발사와의 공동 연습을 통해 테스트된 국경 간 비상 대응 계획이 이미 있는지요? 이러한 계획이 사전 경고, 정보 공유 및 대응에 대한 명확한 책임을 규정하고 있는지요?

Tan Kiat How 선생: 선생님, Dr. 추의 질문을 차례대로 해결하겠습니다. 그녀는 지침을 의무적인 요구 사항으로 바꿀 어떤 임계값이 있는지 질문했습니다. 이것은 우리가 계속 모니터링하고 검토해야 할 사항입니다. 그러나 말씀드리자면, 우리가 다루고 있는 위험과 이러한 위험을 완화하기 위해 취할 수 있는 단계는 실제로 새로운 위험이 아닙니다. 이들은 기존 위험입니다. 우리의 중요 정보 기반시설에 대한 사이버 공격이든, 필수 디지털 서비스 내에서 AI 봇 또는 에이전트 사용으로 인한 서비스 중단이든 상관없습니다. 예를 들어 금융 서비스 또는 기타 공공 유틸리티입니다. 이들은 기존 위험입니다. 사이버 보안 관점에서, 부문별 규제 기관은 중요 정보 기반시설 서비스의 운영자와 긴밀히 협력하여, 필요한 보호 조치를 검토해야 합니다.

따라서 어떤 자발적인 보호 조치든, 예를 들어 특정 사용 사례에서 에이전트형 AI를 사용하는 경우든, 또는 특정 배포를 위해 필요한 모든 유형의 보호 조치든, 이러한 것들은 부문별 규제 기관과 필수 서비스 운영자 간에 논의되어야 합니다.

물론, 우리는 공공 서비스 내의 다양한 서비스에서도 이런 방식으로 진행하고 있습니다. 예를 들어, 정부 내에서 정부기술청은 공공 서비스의 다양한 서비스 소유자와 긴밀히 협력하여 우리가 어떻게 책임감 있게 AI를 사용하는지 살펴봅니다.

국제 참여와 관련해서, 이는 매우 초기이고 신흥 영역입니다. 우리는 헤드라인 뉴스를 읽습니다. 예를 들어, 우리는 AI 안전에 관한 더 많은 대화를 환영합니다. 싱가포르의 경우, 우리는 우리가 주최하는 기술 및 과학 회의 같은 방법으로 건설적인 역할을 하려고 합니다. 우리는 싱가포르에서 이러한 많은 회의를 개최하며, 이 분야의 저명한 인물과 기술적으로 신뢰할 수 있는 최첨단 전문가들을 싱가포르로 모아 서로 대화하는 것뿐만 아니라 우리와 상호작용하고 우리와 자신의 관점을 공유합니다.

우리는 또한 다양한 AI 안전 연구소와 계속 긴밀히 협력해 왔습니다. 우리의 싱가포르 AI 안전 연구소는 다른 국제 대응 기관과 계속 긴밀히 협력하여 모범 사례를 공유합니다.

따라서 우리는 진행 중인 과학 및 공학 대화에 깊이 참여하고 있습니다. 하지만 이는 새로운 영역이며 여전히 논의 중입니다. 최근에, 다자간 포럼(예: 유엔)에서, 우리는 같은 생각을 가진 더 많은 국가가 함께 협력하기를 환영합니다. 싱가포르는 최근 같은 생각을 가진 국가들과 함께 AI 안전에 관한 국제 협력을 강화하기 위한 지지 선언에 서명했습니다. 이는 우리가 국제 대응 기관과 계속 긴밀히 협력할 사항입니다.

의장님: 마지막 추가 질문, Yip Hon Weng 선생.

Yip Hon Weng 선생(Yio Chu Kang): 의장님 감사합니다. 고위 정무 장관의 답변에 감사드립니다. 매우 짧은 추가 질문일 뿐입니다. 이것은 정말 AI 발전 속도의 문제에 대응하는 것입니다.

최첨단 모델과 그 역량이 배포 후 빠르게 변하기 때문에, 부처는 배포 전 보증을 일회성 연습으로 간주하지 않으면서, 필수 서비스 사용을 위한 정기적인 재평가 및 명확한 사건 보고 체계를 요구할 것을 고려할 수 있을까요?

저는 이 질문을 제기하는 이유는 시스템이 빠르게 진화할 때 공중의 신뢰를 유지하는 데 도움이 될 것이기 때문입니다.

Tan Kiat How 선생: 선생님, 의원의 질문에 감사드립니다. 기존의 법규와 규칙은 실제로 사건 보고 프레임워크를 가지고 있습니다. 서로 다른 위협 환경과 운영 환경을 고려할 때, 우리는 이러한 프레임워크를 계속 검토하여 업데이트가 필요한지 확인할 것입니다. 그러나 이러한 사건 보고 프레임워크 임계값은 이미 설정되어 있습니다. 예를 들어, 「개인정보보호법」에 따라.

AI 도구 사용 여부와 관계없이, 조직은 여전히 이러한 기존 의무를 준수해야 합니다. 여기에는 개인 데이터를 보호하기 위한 합리적인 보안 조치, 그리고 데이터 보호 의무를 충족하기 위한 적절한 정책과 실행이 포함됩니다.

일부 의원들은 최근 뉴스에서 한 사건을 봤을 수 있습니다. 한 조직의 직원이 생성형 AI 도구를 개인적으로 사용하여 마케팅 이메일을 보내기 위한 이메일 배포 스크립트를 개발했으나, 부정확하게 운영되어 개인 데이터가 유출된 사건입니다.

이 사례는 조직이 AI 도구의 광범위한 개인 사용과 관련된 위험을 관리해야 함을 강조합니다. 이것은 많은 조직이 직면한 또 다른 위험입니다. 최첨단 AI 모델뿐만 아니라, 업계에서 일컫는 「shadow AI」입니다. 이는 조직 직원이 조직의 승인이나 인정 없이 AI 도구를 조직 시스템에 들여올 수 있다는 의미입니다. 하지만 접근하기가 매우 쉽습니다. 휴대폰에 다운로드하고, 직장에서 필요한 보호 조치 없이 자신을 위해 사용할 수 있습니다.

따라서 AI 도구가 더 쉽게 접근 가능해지면서, 직원들이 능동적으로 사용할 수 있습니다. 이는 칭찬할 만합니다. 우리는 이러한 생산적인 AI 사용을 막지 않아야 합니다. 하지만 조직은 이러한 도구가 어떻게 사용되는지 이해하고 적절한 정책과 보호 조치를 취해야 합니다.

따라서 이러한 보고 임계값과 프레임워크는 이미 마련되어 있습니다. 중요한 것은, 조직이 직원의 AI 도구 사용을 장려하면서 동시에 올바른 보호 조치를 갖춘 문화를 구축해야 한다는 것입니다. 그리고 이제 AI 도구를 모든 조직에 더 쉽게 도입할 수 있기 때문에 새로운 위험이 도입되었다는 점에 주의해야 합니다.

## Hansard (original, English)

© Parliament of Singapore — reproduced for reference only.

10 Dr Charlene Chen asked the Minister for Digital Development and Information (a) whether the Singapore AI Safety Institute's ability to independently evaluate advanced AI models has been constrained by insufficient access from developers; (b) how risks are assessed where such access is unavailable; and (c) whether independent safety testing will be required for AI systems assessed to pose sufficiently high risks.

11 Dr Charlene Chen asked the Minister for Digital Development and Information (a) whether the Government has assessed whether existing sectoral incident-reporting requirements adequately capture serious incidents involving AI systems; and (b) where gaps remain, whether a cross-sector reporting framework for serious AI incidents will be considered.

12 Mr Alex Yam asked the Minister for Digital Development and Information in light of the recent unauthorised access of the Australian government's systems by an autonomous AI agent (a) whether Singapore has assessed the resilience of Government digital systems against similar agentic AI behaviour; and (b) whether existing cybersecurity and incident-reporting frameworks adequately address autonomous actions by AI systems that were not specifically directed by human operators.

13 Dr Choo Pei Ling asked the Minister for Digital Development and Information (a) whether the Government will introduce mandatory safety requirements for frontier AI models deployed in Singapore, including pre-deployment risk assessments, independent safety testing, safeguards against misuse and reporting of serious incidents; and (b) if so, how will these requirements be enforced and updated as AI capabilities evolve.

14 Mr Yip Hon Weng asked the Minister for Digital Development and Information following Singapore’s support for international oversight of frontier AI (a) how the Ministry determines whether overseas models are sufficiently safe for deployment in essential services when independent testing access is unavailable; and (b) which considerations would justify requiring verifiable safety evidence before deployment, rather than relying on developers' assurances.

15 Dr Choo Pei Ling asked the Minister for Digital Development and Information (a) whether the Government has set thresholds or indicators for when rapid AI model advancements will require additional safeguards beyond existing cybersecurity requirements; and (b) whether Singapore has contingency arrangements with foreign governments, major AI developers, and international cybersecurity bodies for cross-border AI-enabled cyber incidents.

The Senior Minister of State for Digital Development and Information (Mr Tan Kiat How) (for the Minister for Digital Development and Information) : Sir, for the Question Nos 10 to 15 on the Order Paper today, these questions have been addressed in the reply to Question Nos 45 to 51 and Question No 33 for written reply at yesterday's Parliamentary Sitting. [ Please refer to " Assessment of Singapore's Digital Systems' Resilience Against Agentic AI Behaviours ", Official Report, 6 October 2026, Vol 96, Issue 38, Written Answers to Questions for Oral Answer not Answered by End of Question Time section. ]

Mr Speaker : Dr Chen.

Dr Charlene Chen (Tampines) : Thank you, Speaker. In her reply yesterday, the Minister mentioned the importance of learning from both incidents and near misses. Could the Senior Minister of State clarify what threshold would make an artificial intelligence (AI) incident reportable, and whether significant near misses should also be reported even when human intervention prevents actual harm?

My second supplementary question is, much of the Ministry's response has focused on Government systems and essential services. But AI systems are also increasingly being deployed by private organisations. For an ordinary citizen who may be seriously affected by an unintended action of an AI system, for example, involving their personal or financial information, what protections and avenues for redress are in place? And would they have a right to be informed that an AI-related incident has affected them?

My last supplementary question. If an AI system already deployed in Singapore is found to pose an immediate and serious risk to the public, do our regulators currently have the power to require its use to be suspended or restricted while the risk is investigated, including if the underlying model comes from overseas?

Mr Tan Kiat How : Sir, I thank the Member for her three supplementary questions. They are broadly aligned to the same theme, around how we are thinking about risks and what the responses are. So, let me take all her three supplementary questions together.

First, let me say that we recognise that AI, and increasingly, agentic and autonomous AI systems, presents new opportunities and risks. The difference for agentic systems is that these systems can execute actions, interact with external systems and adapt their behaviour to reduce human oversight. So, our response focuses on two areas.

First, we should recognise that many risks arising from agentic AI and some of the autonomous systems that the Member has alluded to are extensions of existing challenges. So, whether the impact is on the individual or the impact is on a critical information infrastructure system or another essential digital service, these are extensions of the same challenges that we face today.

Therefore, existing guidelines and regulations, including risk management processes and oversight also apply to agentic AI systems. The principle of maintaining human accountability and putting in place sufficient controls and guardrails also applies. In addition, our longstanding efforts into strengthening data protection, cybersecurity and resilience help protect the systems that AI agents interact with.

Of course, we are reviewing how to adapt and strengthen these frameworks and systems to account for the increased autonomy of agentic systems, while also monitoring international developments in this emerging field.

So, the first point that I would like to emphasise is that these risks are already with us. Yes, there might be some new dimensions to it, but these are existing risks, and existing frameworks apply and we are reviewing how to strengthen them.

Second, we have to also develop our own internal capabilities. We are developing capabilities to go beyond existing frameworks and approaches. We are running trials and experiments to stay abreast of the evolving technology and to understand what it takes to implement agentic systems responsibly. We certainly do so within the Government – the Government Technology Agency of Singapore (GovTech) does it and many other agencies within the Government are already doing it with the right safeguards and doing so responsibly.

I encourage all private sector organisations, even those who are not running critical information infrastructure or essential digital services, to also take appropriate care and responsibility when deploying AI agents and systems within their operations. But we are developing capabilities and this is a new area, emerging area, and rapidly evolving. We will continue to keep track of it and update our frameworks and regulations where needed.

Mr Speaker : Mr Alex Yam.

Mr Alex Yam (Marsiling-Yew Tee) : Thank you, Speaker. I thank the Senior Minister of State for his response and the Minister's reply yesterday. I want to focus on a particular aspect of the Open AI case in Australia, which I think is particularly important for us.

The Australian government was made aware of the unauthorised access only three months after the incident, because the developer eventually identified and disclosed it to the Australian government. So, in our local example, our legislation requires CII and critical infrastructure companies to report incidents. But is there a clear obligation today for developers, especially those who are overseas, to notify our authorities promptly and early so that we can take the appropriate measures?

The second question is about testing. I am quite certain that our local agencies, including the Cyber Security Agency and our agencies under the Ministry of Digital Development and Information do quite robust testings of systems and agents, and develop and models. While I support stronger independent testing, the examples that we have seen recently were within bounds of the developers' work and even those testing have gone out of hand. There is nothing nefarious that is going on. It is just a developer testing their model and those have also gone out of hand. So, what other safeguards can we put in place to ensure that even in our own testing capabilities, to discover dangers that we do not in itself create risk for other third parties as well?

Mr Tan Kiat How : Sir, let me address the Member's question in turn.

The first is around the ongoing matter; it is still a live issue. I have read publicly that the frontier AI company the Member mentioned is in correspondence with the Australian government. So, it is a live issue and we are monitoring it. I would say that we certainly welcome frontier AI companies to take greater responsibility in understanding and managing the risk arising from the systems that they develop, and this includes identifying emerging capabilities and risk early, and putting in place safeguards before these systems are widely deployed.

Where these systems or the AI frontier models' capabilities have caused harm or have caused impact on others, we certainly welcome that they take responsibility and to rectify the issue as soon as possible.

At the same time, I think the landscape has changed drastically over the last few months. We look at the threat landscape arrayed against us – and we have different cyber risk, digital risk that are arrayed against us – from cyber criminals, cyber hackers, advanced persistent threat (APT), which are state-sponsored, state-supported actors, or just individuals who, for the thrill of it, adopt digital solutions to hack into another system.

The risk arrayed against any organisation, any economy is very different compared to a few months ago. It is no longer just about the most frontier AI models being used to detect vulnerabilities or being able to exploit vulnerabilities by autonomously chaining actions together, but there are many open AI models out there online that is freely downloadable. Bad actors can use those capabilities to create cyber threats against organisations or for criminal enterprise.

So, the threat landscape is very different. It is not just about developers of frontier AI models being a risk, but there are many, many actors out there who can download open-weight models, adapt them, create their own harness, create their own contexts and use them for bad purposes. So, we cannot just wait for other people to tell us that they are hacking us. It is the onus on Singapore and our organisations, especially those running critical information infrastructure, to take the necessary safeguards.

There are many things that we can do, many things that the organisations running these essential services can do.

Firstly, making sure basic cyber hygiene is put in place. I often use an analogy: when you build information technology systems, it is like building new rooms and new wings or new annexes to your building. Sometimes, you may not know whether you have locked all your doors or secured all your windows. The agents or bad actors exploit the same vulnerabilities – an unlocked door or the unsecured window – to enter our systems, whether through AI means or more traditional conventional means.

So, first and foremost, take the necessary precaution: improve cyber hygiene, close down our vulnerabilities and continue an active monitoring of anomalous behaviour within our system. These are things – basic hygiene – things that we can do.

Second, even as bad actors use AI capabilities, we should as well be able to deploy those AI capabilities within our own system to make sure that we detect our vulnerabilities earlier, and we should have an advantage because we know our own system. We know the layout, the blueprint of our building. We know where the annexes are. We know where the critical services are in that building. So, we use AI to our own advantage. And that is the second thing I think we should do.

Thirdly, more importantly, is that we should not allow fear or anxiety about those risks to prevent us from making full use of the technology. So, we should use the technology to create value, new products, new services, create new opportunities for our people. But you do so responsibly, putting the right safeguards, learning along the way and adapting.

To the Member’s point, these are practical things we can do, without waiting for someone else to tell us that they have been hacking us.

Mr Speaker : Dr Choo Pei Ling.

Dr Choo Pei Ling (Chua Chu Kang) : Thank you, Speaker, and I thank the Senior Minister of State for his clarifications and response. I have a few supplementary questions.

One, based on what the Senior Minister of State has shared, could he further elaborate what would trigger the Government to move from guidance to mandatory safeguards before deployment of a frontier AI system? For example, when it demonstrates substantially greater autonomy, the ability to act across external systems or risks that existing safeguards cannot adequately contain.

The second supplementary question, if such a trigger is reached, how quickly can these stronger safeguards or in the Senior Minister of State’s previous terms, “AI capabilities” be applied, including where the model is developed overseas?

And lastly, have we had cross-border contingency arrangements that have been tested through joint exercises with foreign counterparts and major AI developers, and do they establish clear responsibilities for early warning, information sharing and containment?

Mr Tan Kiat How : Sir, let me address Dr Choo’s questions in turn. She asked whether there are any thresholds that turn the guidelines into mandatory requirements. This is something that we have to continue monitoring and reviewing. But let me say that the risk that we are dealing with and the steps that we can take to mitigate those risks are actually not new risks. These are existing risks – whether there is a cyberattack on our critical information infrastructure, or there is a service disruption caused by using AI bots or agents within an essential digital service, for example, in the financial services or other utilities. These are existing risks. From a cybersecurity point of view, the sectoral regulators would have to work closely with the operators of those critical information infrastructure services to look at the safeguards that need to be put in place.

So, whether it is a voluntary safeguard, for example, on the use of agentic AI in certain use cases or whatever kind of safeguards that needs to be put in place for certain deployment, those will have to be discussed between the sectoral regulators and the essential services operators.

And certainly, we do so for different services within the Public Service. For example, within the Government, GovTech works very closely with the different service owners of the public services to see how we use AI responsibly.

On international engagements, this is a very nascent, emerging area. We read the headlines. We welcome, for example, greater conversation and dialogue on AI safety. For Singapore, we try to play a constructive role, for instance through technical and scientific conferences, which we host. And there are a number of these conferences that we hold in Singapore with luminaries and very technically credible, frontier professionals in this space who are coming to Singapore, to not just have a conversation among themselves, but also interact with us and share their perspectives with us.

We have been also working very closely with different AI safety institutes. Our AI Safety Institute in Singapore has been working very closely with other international counterparts to share best practices.

So, we are deeply plugged into the scientific and engineering conversations that are happening. But this is a new area, something that is still being discussed. More recently, at multilateral fora, like the United Nations, we welcome more like-minded countries to work together. Singapore has recently signed a statement of support with like-minded countries to have greater international collaboration on AI safety. This is something we will continue to work on very closely with our international counterparts.

Mr Speaker : Last supplementary question, Mr Yip Hon Weng.

Mr Yip Hon Weng (Yio Chu Kang) : Thank you, Mr Speaker. I thank the Senior Minister of State for his response. Just a very short supplementary question. It is really to respond to the issue of the speed of development of AI.

As frontier models and their capabilities change rapidly after deployment, will the Ministry consider requiring periodic re-evaluation and clear incident reporting arrangements for essential service use, rather than treating pre-deployment assurance as a once-off exercise?

I ask this because this would help preserve public trust when systems evolve rapidly.

Mr Tan Kiat How : Sir, I thank the Member for his question. The existing regulations and rules do have incident reporting frameworks. We will continue to review those frameworks to see whether they need to be updated, given the different threat landscape and operating environment. But those incident reporting frameworks thresholds are already in place. For example, under the Personal Data Protection Act.

Regardless whether there are AI tools being used, organisations remain subject to those existing obligations. This includes putting in place reasonable security arrangements to protect personal data, and appropriate policies and practices to meet their data protection obligations.

Some Members will have seen in the news that there was a recent incident that occurred due to personal use of a GenAI tool by an organisation's employee who developed an email distribution script for sending marketing emails, but did so incorrectly, resulting in personal data being revealed.

This case underscores the need for organisations to manage the risk associated with widespread personal use of AI tools, which is another risk that many organisations face – so, not just frontier AI models, but what, in the industry, they call “shadow AI”. Which means that organisations may not know that your employee may be bringing AI tools into your organisation’s system and these are not sanctioned or approved by the organisation. But it is so easily accessible; you download it on your phone, use it for yourself in the workplace, without the necessary safeguards.

So, as AI tools become more accessible, employees may use them on their own initiative, which is something commendable – we should not discourage such productive use of AI. But organisations need to be aware of how these tools are being used, and put appropriate policies and safeguards in place.

So, those reporting thresholds and frameworks are in place. Importantly, it is for organisations to build a culture while encouraging employees to use AI tools to have the right safeguards and to be mindful that new risks are introduced because it is so much easier to bring AI tools into any organisation today.