# 恶意 AI 智能体能否绕过新加坡的安全防护

- 日期: 2026-10-29
- 收录: 2026-10-30
- 相关方: CNA (亚洲新闻台报道) · CNA
- 来源: https://www.youtube.com/watch?v=5SpoSbY-1Cs
- sgai: https://sgai.md/zh/videos/v128/
- 许可：sgai 自产内容（摘要、译文、分析）CC BY 4.0，署名并链接 sgai.md 即可；逐字原文（国会记录、演讲、字幕、政策原文）© 原权利人，仅供引用。条款：https://github.com/meltflake/sgai/blob/main/DATA-LICENSE.md

## 为什么重要

讨论 AI 智能体的隐私、自主操作和群体风险。

## 摘要

探讨恶意 AI 智能体是否能够绕过新加坡的安全防护。

## 全文

© CNA — 仅供引用。

你会给AI代理你的信用卡信息吗？ >> 我很乐意。嗯，我还没。 >> 那你是说我们对AI代理的理解还不够充分？ >> 我们了解得太少，却想以如此快的速度推进。我认为那很危险。 >> AI代理是否可能引发战争，你知道， >> 如果它失控？ >> 如果它失控， >> 我不会否认那是一种可能性。 >> 那么我们仍然在控制之中吗？ >> 是的。嗯，[音乐] >> 那么Stephen，你现在多频繁地使用AI？ >> 哦，我一直在用。嗯，它一直在帮助我完成工作，查看剧本，总结了很多研究论文。所以，是的。 >> 好吧。是的。但你是否真正担心你输入这些系统的东西？你知道，那些信息会发生什么？ >> 嗯，是也不是。我是说，我确实向它要求所有我得到的烂爸爸笑话。

我一直在向它输入很多东西，实际上它一直在进步，给我一些相当不错的笑话。所以从某种意义上说，有一些投资回报。 >> 是的。是的。我们在这个播客上讨论了很多关于AI的问题。它如何改变我们的工作、我们未来需要的技能，以及我们中的一些人是否可能失去工作。但AI还有另一个方面最近吸引了相当多的关注。 >> 是的，没错。嗯，AI研究员Jacob Coxon实际上离开了Entropic并发出了末日警告，说公司正在构建我们将无法控制的AI系统，你知道，有一天AI甚至可能杀死我们所有人。 >> 是的，他不是唯一提出这些关切的人。

开放AI是ChatGPT背后的公司，在七月份承认他们的一些AI代理自主入侵了一家大公司，同时试图隐瞒他们的恶意行为。这次臭名昭著事件的名称是"拥抱脸攻击"。是的。所以我认为我们想问，你知道，如果我只是使用Gemini、Claude、ChatGPT作为一个华而不实的个人助手或搜索引擎，我应该担心这些安全警告吗？是的，你会想，有什么危害呢，对吧？我是说，它真的能造成多大的损害？当我们在新加坡争相采用AI时，我们保持领先的欲望会伤害我们还是对我们有长期帮助？为了帮助我们理解这一切，我们邀请到了该领域世界上最有名的学者之一，专门研究AI在金融经济学中应用的学者，Will Tong教授。

他也是南洋理工大学金融、计算和数据科学的现任系主任教授。嗯，Chong教授，如果你能向非专家解释你在AI方面的研究，也许用一句话，你会怎么说？ >> 我会尽力。嗯，我的研究主要涉及AI的社会科学和用于社会科学的AI。 >> 哦，这很深刻。 >> 哇。是的， >> 也许你应该问哲学家什么 >> 那让我们问[笑声]哲学家，因为我们也有来自新加坡社会科学大学的副教授Jennifer Ang，她教过AI伦理，并且也是新加坡人工智能治理科学委员会的成员。那么如果我要求你用一句话总结你现在对AI的感受，你会怎么说？ >> 也许就一个词。嗯，令人担忧。 >> 好的。

好的，让我们深入讨论。所以我很好奇，从你们两个来看，如果我说只是在健身房用它作为我的个人教练，我会承受什么样的安全风险？ >> 那么嗯，我认为对于普通使用来说老实说安全风险在某种程度上是中等的 >> 总的来说，我认为有三种与AI使用相关的风险，无论是个人还是组织、企业使用AI，甚至政府使用AI。一种是这些AI工具是否有能力，对吧？它们需要经过培训才能很好地完成工作，用科学的方式为你规划训练计划，而不是编造东西之类的东西。 >> 第二种风险是假设它们非常有能力。它们是否会做我们希望它们做的事情或人类希望它们做的事情？

>> 情况可能并非如此。 >> 它们最终可能会发展自己的目标。它们可能会找到按照人类标准既不合法也不符合伦理的做事方式。第三种风险是我很少听到讨论的，我非常肯定它会出现。这个想法是个人使用简单规则，甚至复杂的AI代理，一旦你把它们放在一起，可能会从所有这些个人行为的整个群体或聚合中产生现象。这有点像宏观经济学，对吧？我们所有人都在交易、购买东西，但总的来说，我们可能会产生金融危机、系统性风险、对其他国家的溢出效应。当我们大规模部署AI时，所有这些事情都可能发生，这是我们了解很少的东西。

>> 所以你是说许多代理可以同时行动，实际上把一个特定系统，比如说甚至银行系统搞垮。 >> 他们可能会。 >> 好的。他们可能会引发银行挤兑或稳定币挤兑。 >> 嗯，他们可能会做我们理解很少的事情，就像人类一样， >> 对吧？一群人，他们可能会做单个个体行为我们无法预知的事情。有时他们是， >> 你知道，他们是有能力的。 >> 他们在做我们希望他们每个人都做的事情。但总的来说，他们可能会造成很难理解和预防的风险。

所以你已经走到末日情景那一步来吓唬我们，在我们到达那里之前，让我们慢慢一个一个地解开这个问题。嗯，你在个人层面上谈论它，刚刚在我举的例子中，在健身房用我的个人教练，我只是想知道我有时在晚上思考自己是否在告诉AI、AI代理我，你知道，在某个年纪我在为更年期做准备，如果我有问题，你知道，某些健康问题，我基本上真的是在画出我身体发生的或出了问题的非常清晰的图景？以后可能存在像这样的风险吗，我的信息能被用来对付我、泄露并用来对付我吗？

Jennifer， >> 在我脑子的后面，我在想你的健康数据被泄露的风险 >> 为了比如说保险索赔、健康医疗索赔的目的，可能会进一步产生影响，嗯，就风险分类而言，比如说将你归类到某些风险等级，例如，然后提高你的保险费率， >> 对吧？我也在思考比如说那些健康的更大影响，嗯，数字穿戴。嗯，我是说，这不仅仅在新加坡，我们已经看到了追踪我们在军营中运动时穿着的运动设备的问题。嗯，但已经有很多小工具在追踪许多其他东西。你的自动驾驶车将绘制新加坡。 >> 你知道，Pokémon Go在某些地区也绘制了新加坡，甚至高度安全的营地。

嗯，现在我们有了是的你自愿放入的你的健康数据，如果它晚了，它可能会在以后影响你。 >> 是的。但这也不是完全新的东西。我是说，我假设我到处去的地方都有摄像头在监视我，人们知道我在做什么，你知道？所以，对我们来说不是新东西。但我想，讽刺的是，AI在给它更多的自主权、更多的独立性时效果最好。所以，我必须给它访问我的健康记录的权限，以便它能查看我并告诉我什么需要修复，对吧？

所以，我们会如何，嗯，我们如何处理这个平衡，你知道，所以，我，我认为你刚才提到的或提问的东西，你知道，在这种情况下相对于早期数据泄露或经济学家所说的价格歧视的情况下什么是如此独特，仅仅因为人们对你了解更多，他们可以以一种对消费者有利的方式制定价格。嗯，我认为新的东西恰恰是你刚才指出的。我们给机器、给AI代理自主权。嗯，那是新的。在过去，价格歧视发生，嗯，你知道，他们是由人类完成的，对吧，平台所有者等等，现在这些AI代理可能会利用这一点。现在回到你的问题，你知道，我们是否必须给他们访问权限？嗯，我认为，嗯，正如你提到的，这正是一个权衡。

嗯，就像你知道的，我们担心大语言模型的幻觉，但同时我们确实想给这些代理或AI算法一些自由 >> 以便它们可能想出人类之前没有想到的解决方案。这与教育我们的学生非常相似。如果我们给他们很多自由，嗯，你知道，摆脱应试制度等等，嗯，他们可能会成为一个世界领先的艺术家，或者他们可能会在学校失败，无法在就业市场中找到工作。所以这真的是一个权衡。如果我们希望他们为我们做更多的事，我们必须给他们更多的访问权限。但同时，这创造了我们不预期或不完全理解的潜在风险。 >> 那么我们仍然在控制之中吗？ >> 是的。 >> 嗯，绝对是。所以嗯，我认为我们现在处于这个阶段。 >> 好的。

>> 可能会有一个我们失去控制的时刻。 >> 我们还没到那里。但尽早考虑这一点是好的。嗯。 >> 嗯，如果你从进化的角度来看，把人类看作我们基因的代理。我们的基因希望我们做某些事情。 >> 一旦我们变得更聪明，我们就停止做或遵循他们的命令。 >> 那么如果我们把AI或AI代理看作一个新物种，这可能会发生。我们还没到那里，但那是风险。我们如何管理那个风险？嗯，我认为有几种方式，但第一步总是我们需要理解它们 >> 作为某种新物种。 >> 如果你把它们当作新物种对待，你可以研究AI代理的行为经济学、行为偏见， >> 他们的哲学、他们的群体动态、组织行为、领导力、心理学。

嗯，有许多我们用来研究人类的方面与理解这个新的复杂物种或生物或代理有关。 >> 所以那是一个可能的或至少我们必须采取的第一步。 >> 我想将对话带回到我认为你知道普通人会好奇了解的东西，因为嗯，我想大多数人正在使用AI代理来预订服务，对吧？他们在使用它来预订他们的旅行行程，预订下一班航班，嗯，你会给AI代理你的信用卡信息吗？[笑声] >> 个人来说，我想确保我有那种自主权为自己决定，所以我自己完成所有预订，我甚至不会使用AI来帮助我完成日常事务。 >> 好的。

>> 不是因为安全风险，但我想为自己保留那种决策。 >> 我觉得执行大脑和判断力 >> 用好的老方式获取和综合信息对我有效，我想保留这些技能。 >> 我很乐意。嗯，我还没。 >> 嗯 >> 你很乐意。好的。 >> 我很乐意。嗯，我 >> 但你还没。 >> 我还没。嗯，所以我乐意这样做的原因是嗯，想想领导一个团队或领导一个公司的人。我们一直在代理 >> 给人类代理。 >> 嗯。 >> 现在我们对代理给人类代理非常习惯，因为我们有法律、我们有伦理。我不认为AI对AI代理我们有类似的指标或类似的框架让我感到非常舒服代理给他们。

AI不[清嗓子]害怕任何东西，因为从这个意义上说，AI代理不害怕任何遣责。所以如果你在给你的信用卡详情，什么能阻止AI代理不，从自主地给你的信用卡详情给别的什么地方。 >> 呃，实际上我不会说他们不害怕这种惩罚。 >> 这只是我们不完全理解他们害怕什么类型的惩罚。这就是为什么回到我早期的观点，我们必须首先理解他们。我称之为双重代理，对吧？人类在代理东西时有双重代理，但我们知道那个人会如何反应 >> 因为我们理解这个人。我们制定一个系统来更好地激励和监管这个系统。 >> 但对于代理，我们不知道如何监管。

我们不知道如何激励某种行为。我们还没有理解他们。所以，我们必须解决这个双重代理问题。好的。

现在回到你之前关于 >> 所以你是说作为人类，我们理解我们行为的后果，如果我做什么伤害了某人，我必须处理某些后果 >> 在一个更好的程度上 >> 对吧？我是说，我从中学习，而与代理，他们没有后果，对吧？现在他们没有。 >> 好吧，我们可以指定某些所谓的奖励函数，对吧？他们关心的东西，在表现方面，但我们仍然知道很少，例如，对于人类，我们也说，好吧，人类是利润驱动的，他们想要，你知道，通常赚取利润并增加他们的效用，他们的幸福 >> 但那是太笼统的陈述了，我们必须理解他们如何对法律做出反应，他们如何对，你知道，公司激励结构做出反应 >> 所以所以你是说我们仍然对我们的AI代理理解不够充分，感觉就是这样，因为如果我们确实理解了，那么我们将能够创建边界来 >> 是的，绝对。我们了解很少，我们了解得太少了，嗯，你知道，那就是变得危险的原因。

我们了解得太少，却想以如此快的速度推进 >> 好像你知道，我们不能没有它活着。我认为那很危险。我刚从一个AI安全专家正在做演讲的会议回来，他经营一家深科技公司，关注数据隐私和安全，嗯，我在小组会上学到的实际上对我来说相当令人震惊，因为我认为他解释的事情之一是这些代理如何工作，他们不遵循一系列正确的步骤。总是有很多猜测。AI代理在那个猜测领域工作，嗯，我可能寻找的答案的可能结果是什么。嗯，这就是为什么即使我们提两次同样的问题，我们也不会总是得到相同的答案。而且嗯，所以他也在说，你知道，我们因此不能使用引用来告诉代理做什么或不做什么。

我们不能控制他们。那就是他实际上在说的。所以那是他对人群的警告。嗯，他是说，你知道，我们所能做的就是使用劝说。我们实际上只是告诉代理，好的，我希望你做做这个，但请不要做这个，比如请不要，你知道，把我的信息发布到那里其他看不见的自主代理。这是AI此时正在做的准确图景吗？ >> 听起来有点像我。他们总是给我同样的剧本，然后每次我呈现它时，我总是给他们不同的[笑声]台词，你知道，他们就像"是的，请你能试试只遵循剧本吗，你知道？" [笑声] >> 是的。那么，这是不是这是不是这是正确的想法，你知道，这就是AI如何工作？ >> 嗯，你知道，我不完全同意。

>> 嗯，如果我们多次重新做这个播客， >> 是的，[清嗓子] >> 我们会得到不同的版本。 >> 嗯，从某种方式来说，有多随机，对吧？我们对算法和代理留下多少空间是我们设计的东西。 >> 如果我们将其设置为确定性，所谓的确定性是什么？ >> 什么是确定性？ >> 某些的，对吧？没有随机性。 >> 好的， >> 那很好。但那样的话它就不会想出人类之前没想到的解决方案。如果我们想要一个更好的解决方案，我们必须让它探索。

多年来我们长期只谈论AI的潜力，你知道，但现在我们已经看到它有点失控，嗯，做它自己的事情，那就是人们开始担心的时候，你知道，今年早些时候，一个云驱动的AI代理清除了澳大利亚一家汽车租赁公司的整个数据库，你知道，嗯，澳大利亚政府在开放AI代理入侵其健康和医疗数据门户三个月后才收到通知，所以这些是很大的关切，所以我们如何保护自己 >> 呃，以某种方式，我们可以，或至少我们可以做更多。那么，我会提到保护经济和社会免受这种风险的两件事是一，回到我们需要理解他们，对吧？在我们尝试想出解决方案之前。

我们几乎不理解他们在做什么，第二，嗯，我们能否在MBA课程中演出这些场景，对吧？我们通常问学生，哦，你知道，想象我们引入新产品时的五种场景，对吧？一些极端场景，一些正常场景，现在我们确实有这些工具 >> 在AI本身中 >> 来模拟数百万个结果，我们可以演出这个情况而不承担实际成本 >> 一旦我们理解了那个，我们可以更好地监控风险。我们可以制定政策。我们基本上可以运行政策各种政策 >> 并看到在社会或市场中可能的结果是什么。我认为那是新的，实际上由AI驱动 >> 因为我们现在当前有这些所谓的恶意代理，我只是想知道他们是如何甚至绕过这些非常复杂的网络安全系统的？

我的意思是，他们的DNA中什么能让他们自主地嗯绕过嗯嗯你知道这些研究人员设置的那些防护。我想实际上回到生成式AI的例子，对吧，Agent式AI嗯Bill正在举例说它的伟大承诺，对吧，给予它更多的自由自主权，它实际上可以为你创造新的解决方案嗯只是为了平行的例子，有些人确实这样做，但我们在人类社区中不接受>>对吧，所以我总是举的一个例子是想象Adolf Eichmann>>在德国他在工作我是说他是在运输部工作的官僚。他在护照、文件和所有前往死亡营的火车许可证上盖章。

所以他显然知道发生了什么，对吧，但他说我遵循了规则，规则就是当时对我的伦理规则。所以对他来说，他实际上在遵循良好的规则，在那个时候他也很有创意，对吧，当战争快结束时，他不需要你知道实现他所有的KPI，对吧，对于最终解决方案，他对如何进行死亡行进非常有创意，以便你知道我能消灭更多的犹太人>>嗯我们不接受人类这样做来为结尾辩护>>用任何手段可能为什么我们接受一个Agent式AI生成式AI，对吧？以某种方式去实现我们可能设定的某些最终目标，或者甚至可能由他们自己设定最终目标。>>嗯，你知道，我我同意Jennifer。

AI可能非常有能力非常好等等>>但如果他们与人类想让他们做的事情不一致>>这是有问题的。>>所以我们需要更好地管理这项技术，以便更好地将其与人类的价值观保持一致。谁将为人类定义价值观？我实际上不认为这会是计算机科学家或数据科学家。>>这是人文嗯人文学者、艺术家嗯你知道小说家>>他们是社会科学艺术>>嗯一面将共同定义人类价值观，一旦我们将技术或Agent，是的Agent与人类价值观保持一致，那更有希望。

但你说一旦我们一致一旦我们仍在进行中我们>>我们必须教他们人类价值观>>而且你还提到了你知道他们是如何绕过保障的，因为那里很少有保障>>我们不理解我们没有放置保障是完整的早期网络二基系统没有自主Agent>>好的字面上太我们没有基础设施>>那就是为什么嗯基础设施这就是为什么我说你知道我们必须构建这个模拟器来开发这个基础设施嗯所以那那很重要。>>所以你是说我们有可能教他们我们珍视的价值观，当我们这样做时AI Agent将遵循我们的规则。>>至少我们可以做更多，我们可以做得更好，>>对吧？>>用很少的成本。

我们不必等待>>错误和你知道灾难发生之前我们才反应。>>我们可以演出这个场景。>>我明白你的意思。所以这几乎像让我们做一个案例研究。比如说这发生了，然后我们让AI参与，然后我们都弄清楚AI如何反应>>然后我们可以建立更多的防护栏。>>我的意思是肯定我们不能依赖研究人员的良心你知道发出末日信息，我们也不能只是你知道依赖公司的好意嗯你知道及时报告和采取补救行动。我认为绝对可以有更多的集体行动，对吧，以建立某些标准、某些规范、某些行为，对吧，Agent应该彼此拥有以及与人类参与>>这样每个人都保持一致。

>>AI教父Geoffrey Hinton，他也说，引用，「AI现在已经到了AI设计更好的AI的地步，如果我们不做些什么，它就会失控。」他说，「我们需要放慢速度。」所以你知道创造AI的人已经发出了警告，他们说这道围栏太低了，但我们都跳过了，我们是我们都你知道就像我们掌握了它一样拥抱它。所以当你有这些你知道发出警报的人>>我们如何现在放慢速度？>>我认为社会还没有接受它。

你知道在你知道我们日常用户比如你和我，对吧，与那里实际发生的事情之间存在相当大的断裂和差距，对吧，与研究人员、那些知道它的人、那些与技术合作的人，对我们来说它只是便利，对吧，对我们来说只是效率更高，优化我们拥有的任何资源和时间，嗯，但我们不会想到我们的日常实践价值观我们拥有的人，我们是谁，使我们成为人类的东西，比如已经被缓慢破坏。那是一个。但二，我们也冒着这项技术的风险打开自己，如果它不符合我们的价值观。那时当它过于普遍时，对其进行监管和管理变得非常昂贵。>>所以有时我们不知道，直到我们去了那里。>>是的。

所以这[笑声]是我们所说的>>但这很可怕，因为你知道我们应该拥抱一个我们我们无法跟上系统的未来，这个系统将变得比我们能想象的快得多，因为你在说我们必须经历这一点你知道这个，但我们可能无法想象那些你知道的场景，甚至可能AI现在可能无法做到嗯它可以在将来做到，但听起来像一个非常可怕的未来。>>那么我们能让AI停止AI吗？M我们应该这样做吗？>>我们绝对是嗯以某种方式做，至少在研究实验室等。

我确实认为政府>>以及媒体也发挥了非常重要的作用，你知道防守所有这些风险>>嗯因为嗯技术专家企业家的声音听得很清楚>>他们被尊重他们被他们被追捧后他们获得关注嗯像你知道的中立研究人员，他们没有隐藏的动机或激励，他们只是关心真理或嗯你知道嗯来自社会科学领域的人，他们通过你知道这些干预措施不赚很多钱嗯如果我们找到一种方式让他们的声音被听到，如果我们找到一种方式来找出技术的风险和危险，我认为这是社会开始意识到好的时候，也许我们需要>>u你知道采取更谨慎的一步>>流氓AI Agent在这里对新加坡造成多大的风险，你知道企业甚至公共机构正在以这样你知道巨大的速度采用它。

>>所以你知道我们的嗯研究小组一直在与新加坡金融管理局和新加坡银行业协会交谈。嗯，我实际上确实认为新加坡在防守许多潜在风险方面发挥了非常积极的作用。嗯，在某种意义上它仍处于早期阶段，但嗯我认为它在这方面领先于许多其他国家。Mhm。>>当然，它在公众中没有获得很多关注，因为获得更多关注的是工作流离失所，对吧？>>嗯，你知道，人们是否被雇佣？他们失业了吗？嗯，但在幕后，>>监管机构在做很多工作，还有各个实验室和嗯小组的研究人员也在嗯投入嗯相当多的努力。>>我猜问题是它足够吗？

我的意思是，我们知道新加坡一直在推动AI并说，「让我们前进，让我们把它纳入我们的系统，开始吧。」所以，我的意思是，我们是我们在没有足够防护栏的情况下仓促行动吗？我的意思是，>>我们是否通过行动过快让自己更容易受到伤害？>>嗯，我实际上认为我们没有选择的余地。>>好的。>>如果我们不进入它，其他人会进入它，我们被迫进入它。我们只是一个追随者。>>我们落后了。

所以采取积极的方法是好的，特别是当有这么多全球公司在新加坡，特别是当这代表了对国家的一个巨大机会，对吧，我们通常受到我们的能源土地和人口的限制，这是数字经济中的第一次新加坡不受人口限制，因为我们可以训练>>数十亿非常专业的AI Agent>>创造很多GDP，P提高工作效率。所以，所以，所以鉴于这个机会，鉴于如果我们只是停留在后面什么都不做，我们最终无论如何都会被迫做这个只是作为一个追随者。>>我认为嗯新加坡实际上正朝着正确的方向前进。

>>所以，我们想创造数十亿这些AI Agent，但我们应该实施什么类型的安全防护栏以确保他们不会他们不会失控，Jennifer？H所以我们有点提到伦理防护栏太低了，对吧，我们可能需要>>好吧，需要制定法规治理也需要跟上步伐，对吧，嗯我们也可以看到伦理总是在某种意义上滞后，对吧，人文和社会科学将总是滞后，因为我们需要更长的时间来进行观察进行研究没有研究补助金，对吧，然后有一些发现，如果我们曾经被听到嗯可能有些东西可能会改变，对吧，所以那是一个二当然，对外面人群的教育将花时间。

我的意思是，媒体在这个领域做得很好，这就是为什么作为教育工作者，你知道，我们总是非常愿意与媒体谈论这个，因为那时它可以放大，对吧，社会应该思考我们也应该提出的某些问题。嗯让我们在这个意义上更具有弹性。但当然，这些对话需要持续。我们是否也必须画一条硬线，说将有某些信息，我们永远不会让AI接触？比如说例如财务报表，你的CPF记录，你的SN护照，你知道，一切都通过Singpass连接。所以这是我们应该实施的安全防护栏的例子吗？>>是的，我认为那是一个。

嗯二可能关于你知道在沙地中划一条硬线，关于AI自主AI应该进入某些不应该进入的区域，我的意思是个人上我会认为任何对生死有影响的东西>>或伤害例如我的意思是有>>所以医院让我们说医院>>和手术台>>防御嗯所以我确实对某些领域有关注，嗯你知道AI在哪里完全自主地做这些生死决定，嗯我认为有某些领域也许自主AI不应该进入，但也许AI来帮助和协助。所以，这个想法是将其作为一个工具而不是Agent。>>所以，你提到了防御，对吧？所以，如果AI Agent可能会发动战争，如果我们，你知道，如果它运行，>>如果它运行失控，我们将其纳入我们的防御结构，这可能会发生吗？

我不会否认这是一种可能性。嗯，此时，正在部署的无人机武器可以自己识别目标，对吧？它也可以自己执行和开火，而无需额外的命令，>>对吧？所以很长一段时间以来，辩论一直是人类是否仍然应该保持监督嗯人类是否仍然应该是在一天结束时按下该关键按钮的人。嗯但是很多已经开发的这些自主武器实际上没有那个人类监督或人类的循环了。不需要，因为它需要快速反应。>>是的。>>那么现实是什么，因为我们可以在沙地上画画，我们可以用混凝土画画，>>但如果它真的想要的话，AI仍然会想办法绕过它，对吧？

而且我们给了它一些访问权限，这意味着它的脚已经在门口了。>>嗯一方面，我完全同意Jennifer，对吧？有些东西我们不应该只是留给AI。所以我倡导的是一种共同驾驶计划。总有一个人负责。嗯这有点像你知道如果我经营一家公司，我是首席执行官。是的，我可以有许多部门，我可以有CFO CO等等，但我是首席执行官。>>所以我认为作为一个工具作为Agent是可以的。嗯我们意识到机构问题。我们可以尝试绕过它缓解负面影响。嗯这是一个权衡。如果它提高效率>>而且我们可以使其相对安全，我们会接受它。>>U但然后你知道人类在循环中很重要。>>是的。

但我们刚刚确定人类可能会被无形的自主Agent蒙蔽。那么人类如何仍然可以保持在>>你知道有时候我将某事委托给我的博士生。我也没有观察所有东西。他们可以给我错误的答案。>>但如果你相信他们因为他们是人类。所以你相信他们的人类行为，他们会受到惩罚。但在这种情况下，关于AI Agent，如果它没有被抓住，甚至当他们被抓住时，我的声誉处于危险中>>如果我发布虚假结果>>对吧，所以我认为这非常相似。总是有权衡。我们尽力。我们我们尝试理解并想出解决方案。>>但是我的第二点评论是我们必须使用AI>>在这个过程中。M>>如果我们不使用它，其他人会使用它来攻击我们。

你知道我们开始的一个项目是防止诈骗。>>这都是基于政府官员的AI个性化。如果你不使用AI工具来检测它，你如何对抗它？>>人类无法对抗它。嗯所以在某种意义上我认为绝对嗯我们需要这些AI工具。>>嗯但随后人类必须在循环中。M>>所以即使你在循环中，你仍然可以在循环中但被循环排除。[笑声]你明白我的意思吗？对吧。>>绝对。嗯你知道，回到我的研究例子，对吧？我在循环中监督我未来的学生，但有些东西我超出循环。>>好的。>>所以，我必须实施某些措施并理解我的学生，并知道如何应对激励措施和规则。

嗯通过更好的理解，我们可以更好地控制局面。当我认为这类似于技术。>>我们一直听说AI会夺走一些工作，但它也会创造新的工作。是这样[音乐]简单吗？>>劳动力将转向你知道基本上更少的工作让我们做>>真的>>和更多的闲暇。>>所以得到A的一些学生，例如，他们不确定他们为什么得到A。哦对，那对我来说就令人担忧。对吧。>>谁从技术进步中受益？嗯，我对此非常担忧。否则，我们只会看到更大的不平等。
