# 싱가포르 디지털 시스템의 에이전트식 AI 회복력 평가

- 날짜: 2026-10-06
- 수록: 2026-10-21
- 관련자: Ms Valerie Lee · Mr Saktiandi Supaat · Mr Fadli Fawzi · Dr Charlene Chen · Mr Alex Yam · Mr Yip Hon Weng · Dr Choo Pei Ling · Mrs Josephine Teo
- 출처: https://sprs.parl.gov.sg/search/#/sprs3topic?reportid=written-answer-na-25101
- sgai: https://sgai.md/ko/debates/written-answer-na-25101/
- 라이선스: sgai가 작성한 내용(요약·번역·분석)은 CC BY 4.0(출처 표기 및 sgai.md 링크 조건). 원문 전문(의회 기록·연설·자막·정책 원문)은 원권리자에게 귀속되며 참고용으로만 게재. 조건: https://github.com/meltflake/sgai/blob/main/DATA-LICENSE.md

## 왜 중요한가

Josephine Teo 장관은 의원 7명의 질문에 함께 답하며, 정부가 현재 프런티어 모델의 배포 전 접근을 의무화하지 않고 프런티어 연구소와 정보 공유를 쌓는 한편 싱가포르 AI 안전연구소가 자체 평가 역량을 갖춘다고 밝혔습니다. 감독 없는 AI 에이전트에 의한 사이버 공격은 아직 보고된 적이 없습니다.

## 요약

Valerie Lee, Saktiandi Supaat, Fadli Fawzi 등 의원들이 싱가포르 AI 안전원의 독립적 시험 능력, 최첨단 AI 모델 관제의 국제 이니셔티브에 대한 싱가포르의 후속 조치, 그리고 공공 부문 에이전트형 AI의 안전 보호 조치에 관해 디지털개발정보부（MDDI） 부장 Josephine Teo에게 질문했습니다. Josephine Teo는 정부가 위험 기반의 다층 거버넌스 방식을 채택하고 있으며, AI 안전원이 선진 AI 시스템을 평가하는 기술 능력을 구축 중이고, 현재까지 무감시 AI 에이전트와 관련된 사이버 공격 보고를 받은 기관이 없다고 확인했다고 답변했습니다.

## 핵심 포인트

- IMDA가 「에이전트형 AI 거버넌스 프레임워크」와 「LLM 애플리케이션 시험 입문 툴킷」을 출시했으며, 글로벌 AI 보장 샌드박스를 통해 생성형 및 에이전트형 AI의 안전 보호 조치를 시험하고 있습니다.
- 싱가포르 AI 안전원（AISI）은 기술 능력을 구축하고 있으며, 선진 AI 시스템을 평가하고 시험 및 보장 방법을 개발하고 있습니다.
- 현재까지 무감시 AI 에이전트와 관련된 사이버 공격 보고를 받은 정부 기관이 없습니다.
- 싱가포르는 최첨단 AI 모델의 안전 보장 강화에 관한 국제 사회의 호소를 인정했으며, 국가 AI 위원회가 전략 방향을 제공하고 있습니다.
- AISI는 「국제 선진 AI 측정, 평가 및 과학 네트워크」의 창립 회원이며, 2025년부터 글로벌 전문가를 소집하여 「싱가포르 글로벌 AI 안전 연구 우선순위 합의」를 수립했습니다.

## 전문

45 Valerie Lee 여사가 디지털개발정보부（MDDI） 부장에게 질문：(a) 싱가포르 AI 안전 연구소（AISI）가 현재 보유한 독립적인 테스트 및 평가 역량은 무엇인지；(b) 이러한 역량이 다른 주요 인공지능 안전 연구소의 역량과 어떻게 비교되는지；및 (c) 정부가 향후 2년 내에 해당 연구소에 대해 구체적인 성과물 및 성과 기대치가 무엇인지, 그 평가가 싱가포르 선도 인공지능 시스템의 배포에 영향을 미칠 것인지를 포함하여.

49 Saktiandi Supaat가 디지털개발정보부（MDDI） 부장에게 질문：(a) 싱가포르가 선도 인공지능 모델 규제에 대한 국제 호소를 인정한 후 어떤 후속 조치를 취할 것인지；(b) 싱가포르의 인정을 고려하여 국가 AI 전략 2.0을 어떻게 개선할 것인지 및 인공지능 기업을 유치하고 인공지능 채택을 촉진하는 조치는 무엇인지；및 (c) 싱가포르 AI 안전 연구소（AISI）의 평가 및 테스트가 이러한 노력을 어떻게 지원할 것인지.

50 Fadli Fawzi가 디지털개발정보부（MDDI） 부장에게 질문：(a) 국가 AI 위원회（NAIC）가 인공지능 멸종 위험에 대한 최근 산업계 경고를 평가했는지 여부 및 방법；및 (b) 위원회 자체가 인공지능 안전 및 정렬 위험을 완화하기 위한 전략을 수립했거나 조치를 취했는지.

51 Fadli Fawzi가 최근 발생한 인공지능 에이전트가 통제를 벗어난 사건을 고려하여 디지털개발정보부（MDDI） 부장에게 질문：(a) 공공 서비스가 에이전트 인공지능을 사용할 때의 기존 보호 조치가 취약점을 방지하기에 충분히 견고한지；및 (b) 무감독 에이전트 인공지능과 관련된 네트워크 공격이 정부 기관에 보고되었는지 여부.

Josephine Teo 여사：제 답변은 Valerie Lee 여사, Charlene Chen 박사, Alex Yam Ziming 씨 및 Fadli Fawzi 씨가 오늘 의사일정 문서에서 제기한 질문과, Yip Hon Weng 씨, Choo Pei Ling 박사 및 Saktiandi Supaat 씨가 이후 회의를 위해 제기한 관련 질문을 다룰 것입니다. 의원들이 답변에 만족한다면, 이 교환 후 질문을 철회하고 싶을 수도 있습니다. 「싱가포르에 배포된 선도 인공지능 모델의 안전 보장 및 심각한 인공지능 사건의 추적 및 보고 체계 구축 참조, 공식 기록, 2026년 10월 7일, 제96권, 제39호, 구두 질의응답 부분.」

싱가포르의 인공지능（AI）에 대한 접근 방식은 항상 위험을 관리하면서 혁신을 촉진해왔습니다. 그러나 인공지능 시스템이 더욱 능력 있고 자율적이 되면서 위험도 계속 진화하고 있습니다.

이러한 시스템은 예상치 못한 방식으로 작동하거나, 악의적 행위자에 의해 조작되거나, 다른 시스템과 예상치 못한 상호작용을 할 수 있습니다. 능력도 빠르게 발전하고 있으며, 때때로 정부와 외부 평가자가 충분히 평가할 수 있는 속도보다 빠릅니다. 따라서 위험 기반의 다층 접근 방식이 필요합니다.

위험에 따라 제한을 설정합니다. 첫째, 인공지능을 배포할 때 위험에 따라 제한을 보정해야 합니다. 관련된 데이터 및 시스템의 민감성, 인공지능 시스템에 부여된 자율성 정도, 그리고 잠재적 피해의 심각성과 보정 가능성을 고려해야 합니다. 잠재적 피해가 클수록 보호 조치가 더 강력해야 합니다.

이것이 우리가 공공 서비스에서 인공지능 에이전트를 배포하는 방식입니다. 우리는 에이전트가 어떤 시스템과 데이터에 액세스할 수 있는지, 어떤 행동이 허용되는지, 그리고 예상치 못한 또는 미승인 행동의 결과를 고려합니다. 이러한 보호 조치는 적절한 감시와 책임을 보장하기 위해 정책 및 거버넌스 프로세스로 보완됩니다.

더 광범위한 경제를 위해 정보통신미디어개발청（IMDA）의 「에이전트 인공지능 모델 거버넌스 체계」 및 「LLM 기반 애플리케이션 테스트 입문 도구 키트」는 위험을 관리하고 의미 있는 인간 책임을 유지하기 위한 지침을 제공합니다. 또한 글로벌 인공지능 보증 샌드박스는 생성형 및 에이전트 인공지능 위험의 현실 세계 테스트를 용이하게 하며, 그 보호 조치의 견고성을 포함합니다.

기본 서비스 및 기타 고위험 애플리케이션의 경우 더욱 강력한 보호 조치가 필요합니다. 여기에는 위험에 대한 보다 엄격한 테스트, 보호 조치의 효과를 입증하는 독립적으로 검증 가능한 증거, 보다 엄격한 배포 제어 또는 보다 엄격한 규제 감시가 포함될 수 있습니다. 정부는 특히 고위험 애플리케이션에서 새로운 요구 사항의 필요성을 계속 연구할 것입니다.

예상치 못한 행동 및 오용으로부터의 방어 강화. 둘째, 우리는 예상치 못한 인공지능 행동 및 오용으로부터의 방어를 강화해야 합니다. 우리는 단순히 인공지능 에이전트에게 무엇을 할 것인지 말하는 것에만 의존할 수 없습니다. 우리는 또한 의도적으로 그들이 액세스하고 할 수 있는 것을 제한하고, 적절한 테스트 스위트를 수행하고, 적절한 인간 감시를 유지하고, 그들의 행동을 모니터링하고, 문제가 발생하면 결과를 제한해야 합니다.

동시에, 우리는 악의적 행위자가 인공지능을 사용하여 더 저렴하고, 더 빠르고, 더 큰 규모로 피해를 입힐 것이라고 가정해야 합니다. 우리 경제와 사회에서 디지털 서비스의 깊은 내장을 고려할 때, 우리는 지속적으로 우리의 사이버보안을 강화해야 하며 네트워크 방어를 위해 인공지능을 효과적으로 활용해야 합니다. 사이버보안청（CSA）과 정부기술청（GovTech）은 인공지능을 사용하여 정부 시스템 및 중요 정보 기반 시설의 보안을 강화하고 있으며, 취약점 식별 및 잠재적 위협의 더 빠른 탐지를 포함합니다. 사이버보안청（CSA）은 또한 중요 정보 기반 시설 운영자의 사이버보안 요구 사항을 강화했으며, 그들이 예방 조치를 취할 수 있도록 적극적인 위협에 대한 정보를 공유했으며, 조직이 네트워크 방어를 강화하고 인공지능 시스템을 보호하는 데 도움이 되는 실용적인 지침을 발표했습니다.

위험 탐지 및 조기 대응. 셋째, 우리는 배포 전후에 위험을 식별하는 능력을 강화해야 합니다.

싱가포르 AI 안전 연구소（AISI）는 선진 인공지능 시스템을 평가하고 실질적인 테스트 및 보증 방법을 개발하기 위한 기술 역량을 구축하고 있습니다. 우리는 싱가포르의 필요와 관련된 역량에 중점을 두면서 동시에 연구원, 산업계 및 해외 대응 기관과 협력하여 그들의 전문 지식과 발견을 활용할 것입니다.

인공지능 시스템을 배포한 후, 우리는 그 행동을 모니터링하고 발생한 사건 및 거의 발생한 사건에서 배워야 합니다. 예를 들어, 사이버보안에서 사이버보안청（CSA）, 정부기술청（GovTech） 및 부서 책임자를 통해, 인공지능 관련 사건을 포함한 네트워크 보안 사건을 보고해야 하는 기존 채널이 확립되었습니다. 우리는 이러한 기존 채널을 더 잘 활용하여 인공지능 관련 사건을 식별하고 보정을 지원하고 보호 조치를 개선하는 방법, 그리고 추가 조정 또는 보고 안배가 필요한지 여부를 연구하고 있습니다.

Fadli Fawzi 씨의 질문에 관해서, 지금까지 무감독 인공지능 에이전트와 관련된 자신의 시스템에 대한 네트워크 공격 보고서를 받은 기관은 없습니다. 우리는 해외 사건을 포함한 발전을 계속 모니터링하고 우리의 보호 조치 및 보고 안배를 강화하기 위해 관련 경험 교훈을 적용할 것입니다.

국제 및 산업 파트너와 협력. 넷째, 우리는 국제 및 산업 파트너와의 협력을 계속하고 있습니다. 선도 모델은 국제적으로 개발 및 배포되며, 어떤 단일 국가나 회사도 위험을 충분히 독립적으로 평가하거나 관리할 수 없습니다. 이것이 싱가포르가 최근 선도 인공지능에 대한 보호 조치 강화를 위한 국제 호소를 인정한 이유입니다.

악의적 인공지능과 관련된 일부 시나리오는 재앙적 심지어 멸종 수준의 위험을 초래할 수 있습니다. 우리는 이러한 위험을 무시하지 않을 것입니다. 우리는 또한 모든 시나리오가 실현될 것이라고 가정하지 않습니다. 따라서 우리의 방법은 증거를 밀접하게 모니터링하고, 선진 인공지능 시스템을 이해하는 데 필요한 기술 역량을 구축하고, 증거의 발전에 따라 심각한 위험을 해결하기 위해 국제적으로 조치를 개발하는 것입니다. 이 작업은 우리의 더 광범위한 국가 인공지능 위험 접근법의 일부입니다. 국가 AI 위원회（NAIC）는 전략적 방향을 제공하며, 관련 기관은 필요한 조치를 개발하고 실행합니다. 우리는 인공지능 역량과 위험 증거의 발전에 따라 우리의 보호 조치를 계속 조정할 것입니다.

우리는 또한 선도 인공지능 개발자와 접촉하여 정보를 얻고 적절하다면 그들의 모델에 접근합니다. 우리는 현재 이를 요구 사항으로 간주하지 않으며, 모델에 대한 접근 자체만으로는 위험의 완전한 그림을 제공할 수 없기 때문입니다. 경직된 요구 사항이 회사가 그들의 협력이나 정보 공유를 제한하도록 초래한다면, 심지어 역효과를 낼 수도 있습니다. 따라서, 우리의 선호는 실질적이고 시기적절한 정보 공유를 장려하는 선도 인공지능 실험실과 강력한 협력 관계를 구축하는 것입니다.

동시에, 우리는 우리 자신의 기술 능력을 계속 구축하고 싱가포르와 관련된 위험을 식별하기 위해 더 광범위한 출처를 활용합니다. 여기에는 개발자 자신의 평가 및 테스트, 독립적인 연구 및 평가, 그리고 다른 인공지능 안전 연구소 및 국제 파트너의 작업이 포함됩니다. 이러한 다양한 출처를 활용함으로써, 단일한 형태의 접근이나 평가에 의존하지 않으면서, 우리는 신흥 위험 및 그들이 필요한 보호 조치에 대해 더욱 포괄적인 이해를 발전시킬 수 있습니다.

우리는 이러한 국제 대응 기관과의 접촉 노력을 강화했습니다. 우리의 싱가포르 AI 안전 연구소（AISI）는 「국제 선도 인공지능 측정, 평가 및 과학 네트워크」의 창립 멤버입니다. 2025년 이후로, 우리는 「국제 인공지능 안전 과학 교류」를 통해 세계 전문가를 소집했으며 「싱가포르 글로벌 인공지능 안전 연구 우선사항 합의」를 개발했습니다. 지난 2년 동안, 우리는 또한 세계에서 가장 중요한 과학 회의 중 일부를 주최했습니다. 이들은 인공지능 안전 과학의 가장 중요한 격차에 관해 연구원, 정부 및 회사 간의 국제 정렬을 구축하고, 네트워크를 창설하고 이 중요한 작업의 조정을 위한 공동 기초를 마련하는 데 도움이 됩니다.

결론적으로, 인공지능이 우리를 대신하여 행동할 능력이 계속 증가함에 따라, 우리는 그에 따라 더욱 강력한 보호 조치를 도입해야 합니다. 우리는 그것이 무엇을 할 수 있는지 명확하게 명시해야 하고, 인간이 핵심 지점에서 통제와 책임을 유지하도록 보장하고, 신흥 위험을 이해하고 문제가 발생할 때 대응하는 능력을 계속 강화해야 합니다. 이는 공중의 이익에 봉사하는 기술로서 인공지능에 대한 신뢰를 구축하는 데 도움이 될 것입니다.

## Hansard (original, English)

© Parliament of Singapore — reproduced for reference only.

45 Ms Valerie Lee asked the Minister for Digital Development and Information (a) what independent testing and evaluation capabilities the Singapore AI Safety Institute currently possesses; (b) how these compare with those of other leading AI Safety Institutes; and (c) what concrete deliverables and outcomes the Government expects from the Institute over the next two years, including whether its evaluations will influence the deployment of frontier AI systems in Singapore.

49 Mr Saktiandi Supaat asked the Minister for Digital Development and Information (a) what steps will follow after Singapore's endorsement of the international call for control of frontier AI models; (b) how can the National AI Strategy 2.0 and initiatives to attract AI enterprises and encourage adoption of AI be refined in light of Singapore's endorsement; and (c) how can the Singapore AI Safety Institute's evaluation and testing support these efforts.

50 Mr Fadli Fawzi asked the Minister for Digital Development and Information (a) whether and how the National AI Council has assessed recent industry warnings on the extinction risks from AI; and (b) whether the Council itself has developed a strategy or adopted measures to mitigate AI safety and alignment risks.

51 Mr Fadli Fawzi asked the Minister for Digital Development and Information in light of recent incidents of AI agents escaping containment (a) whether existing safeguards for agentic AI use by the Public Service are sufficiently robust to guard against breaches; and (b) whether any cyber-attacks involving unsupervised agentic AI have been reported to any Government agency.

Mrs Josephine Teo : My response will cover the questions raised by Ms Valerie Lee, Dr Charlene Chen, Mr Alex Yam and Mr Fadli Fawzi in today's Order Paper, and the related questions filed by Mr Yip Hon Weng, Dr Choo Pei Ling and Mr Saktiandi Supaat for subsequent Sittings. If the Members are satisfied with the response, they may wish to withdraw their questions after this exchange. [ Please refer to " Ensuring Safety of Frontier AI Models Deployed in Singapore, and Setting Up Framework for Tracking and Reporting Serious AI Incidents ", Official Report, 7 October 2026, Vol 96, Issue 39, Oral Answers to Questions section. ]

Singapore's approach to artificial intelligence (AI) has always been to enable innovation while managing the risks. But the risks are evolving as AI systems become more capable and autonomous.

Such systems may act in unintended ways, be manipulated by malicious actors or have unexpected interactions with other systems. Capabilities are also advancing rapidly, sometimes faster than governments and external evaluators can fully assess. We therefore need a risk-based and multi-layered approach.

Set limits based on risk. First, in deploying AI, we must calibrate limits according to risk. We should consider the sensitivity of the data and systems involved, the degree of autonomy given to the AI system and the severity and remediability of any potential harm. The greater the potential harm, the stronger the safeguards should be.

This is how we approach the deployment of AI agents within the Public Service. We consider what systems and data an agent can access, what actions it is allowed to take, and the consequences of unintended or unauthorised actions. These safeguards are complemented by policies and governance processes to ensure appropriate oversight and accountability.

For the broader economy, the Infocomm Media Development Authority's (IMDA's) Model AI Governance Framework for Agentic AI and Starter Kit for Testing LLM-Based Applications provide guidance on managing risks and maintaining meaningful human accountability. In addition, the Global AI Assurance Sandbox facilitates the real-world testing of risks of generative and agentic AI, including the robustness of their safeguards.

For essential services and other higher-risk applications, stronger safeguards are necessary. This could include more rigorous testing for risks, independently verifiable evidence that safeguards are effective, tighter deployment controls or tighter regulatory oversight. The Government will continue to study the need for new requirements especially in high-risk uses.

Strengthening our defences against unintended actions and misuse. Second, we must strengthen our defences against unintended AI actions and misuse. We cannot rely on simply telling AI agents what to do. We must also deliberately limit what they can access and do, conduct appropriate test suites, retain appropriate human oversight, monitor their behaviour and contain the consequences if something goes wrong.

At the same time, we must presume that malicious actors will use AI to cause harm more cheaply, quickly and at scale. Given how deeply digital services are embedded across our economy and society, we must continually strengthen our cybersecurity and also make effective use of AI for cyber defence. The Cyber Security Agency of Singapore (CSA) and the Government Technology Agency of Singapore (GovTech) are using AI to strengthen the security of Government systems and critical information infrastructure, including to identify vulnerabilities and detect potential threats more quickly. CSA has also strengthened cybersecurity requirements for critical information infrastructure operators, shared intelligence on active threats to help them take preemptive action and issued practical guidance to help organisations strengthen their cyber defences and secure AI systems.

Detecting risks and responding early. Third, we need stronger capabilities to identify risks both before and after deployment.

The Singapore AI Safety Institute (AISI) is building technical capabilities to evaluate advanced AI systems and develop practical methods for testing and assurance. We will focus on capabilities relevant to Singapore's needs, while working with researchers, industry and overseas counterparts to draw on their expertise and findings.

After AI systems are deployed, we must monitor their behaviours and learn from incidents and near-misses when they occur. In cybersecurity, for example, there are established channels through CSA, GovTech and the sector leads, where cybersecurity incidents should be reported, including those that involve AI. We are looking into how these existing channels can be better leveraged to identify incidents involving AI, support remediation and improve safeguards, and whether further coordination or reporting arrangements are needed.

To the question by Mr Fadli Fawzi, no agency has received a report of a cyber attack against its systems involving an unsupervised AI agent so far. We will continue to monitor developments, including incidents overseas, and apply relevant lessons to strengthen our safeguards and reporting arrangements.

Working with international and industry partners. Fourth, we continue to work with international and industry partners. Frontier models are developed and deployed internationally, and no single country or company can fully assess or manage the risks on its own. This is why Singapore recently endorsed the international call for stronger safeguards around frontier AI.

Some scenarios involving rogue AI envisage catastrophic or even extinction-level risks. We do not dismiss these risks. Neither do we assume that every scenario will materialise. Our approach is therefore to monitor the evidence closely, build the technical capabilities needed to understand advanced AI systems and work internationally on measures to address severe risks as the evidence develops. This work is part of our broader national approach to AI risk. The National AI Council provides strategic direction while the relevant agencies develop and implement the necessary measures. We will continue to adjust our safeguards as AI capabilities and the evidence on risks evolve.

We also engage frontier AI developers to obtain information and access to their models where appropriate. We currently do not make this a requirement because access to a model by itself does not necessarily give a complete picture of the risks. A rigid requirement could even be counterproductive if it leads companies to limit their cooperation or information-sharing. Our preference is therefore to build strong collaborative relationships with frontier AI labs that encourage substantive and timely information-sharing.

At the same time, we continue to build our own technical capabilities and draw on a wider range of sources to identify risks of relevance to Singapore. This includes the developers' own assessments and testing, independent research and evaluations, as well as the work of other AI safety institutes and international partners. By drawing on these different sources, rather than relying on any single form of access or assessment, we can develop a more comprehensive understanding of emerging risks and the safeguards needed to address them.

We have stepped up efforts to engage these international counterparts. Our AISI was a founding member of the International Network of Advanced AI Measurement, Evaluation and Science. Since 2025, we have convened global experts through the International Scientific Exchange on AI Safety and developed the Singapore Consensus on Global AI Safety Research Priorities. We have also hosted some of the world's most significant scientific conferences over the last two years. These have helped build international alignment on the most important gaps in AI safety science between researchers, governments and companies, creating networks and a common basis to coordinate this important work.

In conclusion, as AI becomes more capable of acting on our behalf, we must correspondingly introduce more robust safeguards. We must be clear about what it is allowed to do, ensure that humans remain in control and accountable where it matters and continue strengthening our ability to understand emerging risks and respond when problems occur. This will help build trust in AI as a technology that serves the public good.