# 惡意 AI 智慧體能否繞過新加坡的安全防護

- 日期: 2026-10-29
- 收錄: 2026-10-30
- 相關方: CNA (亞洲新聞臺報道) · CNA
- 來源: https://www.youtube.com/watch?v=5SpoSbY-1Cs
- sgai: https://sgai.md/zh-tw/videos/v128/
- 許可：sgai 自產內容（摘要、譯文、分析）CC BY 4.0，署名並連結 sgai.md 即可；逐字原文（國會記錄、演講、字幕、政策原文）© 原權利人，僅供引用。條款：https://github.com/meltflake/sgai/blob/main/DATA-LICENSE.md

## 為什麼重要

討論 AI 智慧體的隱私、自主操作和群體風險。

## 摘要

探討惡意 AI 智慧體是否能夠繞過新加坡的安全防護。

## 全文

© CNA — 僅供引用。

你會給AI代理你的信用卡資訊嗎？ >> 我很樂意。嗯，我還沒。 >> 那你是說我們對AI代理的理解還不夠充分？ >> 我們瞭解得太少，卻想以如此快的速度推進。我認為那很危險。 >> AI代理是否可能引發戰爭，你知道， >> 如果它失控？ >> 如果它失控， >> 我不會否認那是一種可能性。 >> 那麼我們仍然在控制之中嗎？ >> 是的。嗯，[音樂] >> 那麼Stephen，你現在多頻繁地使用AI？ >> 哦，我一直在用。嗯，它一直在幫助我完成工作，檢視劇本，總結了很多研究論文。所以，是的。 >> 好吧。是的。但你是否真正擔心你輸入這些系統的東西？你知道，那些資訊會發生什麼？ >> 嗯，是也不是。我是說，我確實向它要求所有我得到的爛爸爸笑話。

我一直在向它輸入很多東西，實際上它一直在進步，給我一些相當不錯的笑話。所以從某種意義上說，有一些投資回報。 >> 是的。是的。我們在這個播客上討論了很多關於AI的問題。它如何改變我們的工作、我們未來需要的技能，以及我們中的一些人是否可能失去工作。但AI還有另一個方面最近吸引了相當多的關注。 >> 是的，沒錯。嗯，AI研究員Jacob Coxon實際上離開了Entropic併發出了末日警告，說公司正在構建我們將無法控制的AI系統，你知道，有一天AI甚至可能殺死我們所有人。 >> 是的，他不是唯一提出這些關切的人。

開放AI是ChatGPT背後的公司，在七月份承認他們的一些AI代理自主入侵了一家大公司，同時試圖隱瞞他們的惡意行為。這次臭名昭著事件的名稱是"擁抱臉攻擊"。是的。所以我認為我們想問，你知道，如果我只是使用Gemini、Claude、ChatGPT作為一個華而不實的個人助手或搜尋引擎，我應該擔心這些安全警告嗎？是的，你會想，有什麼危害呢，對吧？我是說，它真的能造成多大的損害？當我們在新加坡爭相採用AI時，我們保持領先的慾望會傷害我們還是對我們有長期幫助？為了幫助我們理解這一切，我們邀請到了該領域世界上最有名的學者之一，專門研究AI在金融經濟學中應用的學者，Will Tong教授。

他也是南洋理工大學金融、計算和資料科學的現任系主任教授。嗯，Chong教授，如果你能向非專家解釋你在AI方面的研究，也許用一句話，你會怎麼說？ >> 我會盡力。嗯，我的研究主要涉及AI的社會科學和用於社會科學的AI。 >> 哦，這很深刻。 >> 哇。是的， >> 也許你應該問哲學傢什麼 >> 那讓我們問[笑聲]哲學家，因為我們也有來自新加坡社會科學大學的副教授Jennifer Ang，她教過AI倫理，並且也是新加坡人工智慧治理科學委員會的成員。那麼如果我要求你用一句話總結你現在對AI的感受，你會怎麼說？ >> 也許就一個詞。嗯，令人擔憂。 >> 好的。

好的，讓我們深入討論。所以我很好奇，從你們兩個來看，如果我說只是在健身房用它作為我的個人教練，我會承受什麼樣的安全風險？ >> 那麼嗯，我認為對於普通使用來說老實說安全風險在某種程度上是中等的 >> 總的來說，我認為有三種與AI使用相關的風險，無論是個人還是組織、企業使用AI，甚至政府使用AI。一種是這些AI工具是否有能力，對吧？它們需要經過培訓才能很好地完成工作，用科學的方式為你規劃訓練計劃，而不是編造東西之類的東西。 >> 第二種風險是假設它們非常有能力。它們是否會做我們希望它們做的事情或人類希望它們做的事情？

>> 情況可能並非如此。 >> 它們最終可能會發展自己的目標。它們可能會找到按照人類標準既不合法也不符合倫理的做事方式。第三種風險是我很少聽到討論的，我非常肯定它會出現。這個想法是個人使用簡單規則，甚至複雜的AI代理，一旦你把它們放在一起，可能會從所有這些個人行為的整個群體或聚合中產生現象。這有點像宏觀經濟學，對吧？我們所有人都在交易、購買東西，但總的來說，我們可能會產生金融危機、系統性風險、對其他國家的溢位效應。當我們大規模部署AI時，所有這些事情都可能發生，這是我們瞭解很少的東西。

>> 所以你是說許多代理可以同時行動，實際上把一個特定系統，比如說甚至銀行系統搞垮。 >> 他們可能會。 >> 好的。他們可能會引發銀行擠兌或穩定幣擠兌。 >> 嗯，他們可能會做我們理解很少的事情，就像人類一樣， >> 對吧？一群人，他們可能會做單個個體行為我們無法預知的事情。有時他們是， >> 你知道，他們是有能力的。 >> 他們在做我們希望他們每個人都做的事情。但總的來說，他們可能會造成很難理解和預防的風險。

所以你已經走到末日情景那一步來嚇唬我們，在我們到達那裡之前，讓我們慢慢一個一個地解開這個問題。嗯，你在個人層面上談論它，剛剛在我舉的例子中，在健身房用我的個人教練，我只是想知道我有時在晚上思考自己是否在告訴AI、AI代理我，你知道，在某個年紀我在為更年期做準備，如果我有問題，你知道，某些健康問題，我基本上真的是在畫出我身體發生的或出了問題的非常清晰的圖景？以後可能存在像這樣的風險嗎，我的資訊能被用來對付我、洩露並用來對付我嗎？

Jennifer， >> 在我腦子的後面，我在想你的健康資料被洩露的風險 >> 為了比如說保險索賠、健康醫療索賠的目的，可能會進一步產生影響，嗯，就風險分類而言，比如說將你歸類到某些風險等級，例如，然後提高你的保險費率， >> 對吧？我也在思考比如說那些健康的更大影響，嗯，數字穿戴。嗯，我是說，這不僅僅在新加坡，我們已經看到了追蹤我們在軍營中運動時穿著的運動裝置的問題。嗯，但已經有很多小工具在追蹤許多其他東西。你的自動駕駛車將繪製新加坡。 >> 你知道，Pokémon Go在某些地區也繪製了新加坡，甚至高度安全的營地。

嗯，現在我們有了是的你自願放入的你的健康資料，如果它晚了，它可能會在以後影響你。 >> 是的。但這也不是完全新的東西。我是說，我假設我到處去的地方都有攝像頭在監視我，人們知道我在做什麼，你知道？所以，對我們來說不是新東西。但我想，諷刺的是，AI在給它更多的自主權、更多的獨立性時效果最好。所以，我必須給它訪問我的健康記錄的許可權，以便它能檢視我並告訴我什麼需要修復，對吧？

所以，我們會如何，嗯，我們如何處理這個平衡，你知道，所以，我，我認為你剛才提到的或提問的東西，你知道，在這種情況下相對於早期資料洩露或經濟學家所說的價格歧視的情況下什麼是如此獨特，僅僅因為人們對你瞭解更多，他們可以以一種對消費者有利的方式制定價格。嗯，我認為新的東西恰恰是你剛才指出的。我們給機器、給AI代理自主權。嗯，那是新的。在過去，價格歧視發生，嗯，你知道，他們是由人類完成的，對吧，平臺所有者等等，現在這些AI代理可能會利用這一點。現在回到你的問題，你知道，我們是否必須給他們訪問許可權？嗯，我認為，嗯，正如你提到的，這正是一個權衡。

嗯，就像你知道的，我們擔心大語言模型的幻覺，但同時我們確實想給這些代理或AI演算法一些自由 >> 以便它們可能想出人類之前沒有想到的解決方案。這與教育我們的學生非常相似。如果我們給他們很多自由，嗯，你知道，擺脫應試製度等等，嗯，他們可能會成為一個世界領先的藝術家，或者他們可能會在學校失敗，無法在就業市場中找到工作。所以這真的是一個權衡。如果我們希望他們為我們做更多的事，我們必須給他們更多的訪問許可權。但同時，這創造了我們不預期或不完全理解的潛在風險。 >> 那麼我們仍然在控制之中嗎？ >> 是的。 >> 嗯，絕對是。所以嗯，我認為我們現在處於這個階段。 >> 好的。

>> 可能會有一個我們失去控制的時刻。 >> 我們還沒到那裡。但儘早考慮這一點是好的。嗯。 >> 嗯，如果你從進化的角度來看，把人類看作我們基因的代理。我們的基因希望我們做某些事情。 >> 一旦我們變得更聰明，我們就停止做或遵循他們的命令。 >> 那麼如果我們把AI或AI代理看作一個新物種，這可能會發生。我們還沒到那裡，但那是風險。我們如何管理那個風險？嗯，我認為有幾種方式，但第一步總是我們需要理解它們 >> 作為某種新物種。 >> 如果你把它們當作新物種對待，你可以研究AI代理的行為經濟學、行為偏見， >> 他們的哲學、他們的群體動態、組織行為、領導力、心理學。

嗯，有許多我們用來研究人類的方面與理解這個新的複雜物種或生物或代理有關。 >> 所以那是一個可能的或至少我們必須採取的第一步。 >> 我想將對話帶回到我認為你知道普通人會好奇瞭解的東西，因為嗯，我想大多數人正在使用AI代理來預訂服務，對吧？他們在使用它來預訂他們的旅行行程，預訂下一班航班，嗯，你會給AI代理你的信用卡資訊嗎？[笑聲] >> 個人來說，我想確保我有那種自主權為自己決定，所以我自己完成所有預訂，我甚至不會使用AI來幫助我完成日常事務。 >> 好的。

>> 不是因為安全風險，但我想為自己保留那種決策。 >> 我覺得執行大腦和判斷力 >> 用好的老方式獲取和綜合資訊對我有效，我想保留這些技能。 >> 我很樂意。嗯，我還沒。 >> 嗯 >> 你很樂意。好的。 >> 我很樂意。嗯，我 >> 但你還沒。 >> 我還沒。嗯，所以我樂意這樣做的原因是嗯，想想領導一個團隊或領導一個公司的人。我們一直在代理 >> 給人類代理。 >> 嗯。 >> 現在我們對代理給人類代理非常習慣，因為我們有法律、我們有倫理。我不認為AI對AI代理我們有類似的指標或類似的框架讓我感到非常舒服代理給他們。

AI不[清嗓子]害怕任何東西，因為從這個意義上說，AI代理不害怕任何遣責。所以如果你在給你的信用卡詳情，什麼能阻止AI代理不，從自主地給你的信用卡詳情給別的什麼地方。 >> 呃，實際上我不會說他們不害怕這種懲罰。 >> 這只是我們不完全理解他們害怕什麼型別的懲罰。這就是為什麼回到我早期的觀點，我們必須首先理解他們。我稱之為雙重代理，對吧？人類在代理東西時有雙重代理，但我們知道那個人會如何反應 >> 因為我們理解這個人。我們制定一個系統來更好地激勵和監管這個系統。 >> 但對於代理，我們不知道如何監管。

我們不知道如何激勵某種行為。我們還沒有理解他們。所以，我們必須解決這個雙重代理問題。好的。

現在回到你之前關於 >> 所以你是說作為人類，我們理解我們行為的後果，如果我做什麼傷害了某人，我必須處理某些後果 >> 在一個更好的程度上 >> 對吧？我是說，我從中學習，而與代理，他們沒有後果，對吧？現在他們沒有。 >> 好吧，我們可以指定某些所謂的獎勵函式，對吧？他們關心的東西，在表現方面，但我們仍然知道很少，例如，對於人類，我們也說，好吧，人類是利潤驅動的，他們想要，你知道，通常賺取利潤並增加他們的效用，他們的幸福 >> 但那是太籠統的陳述了，我們必須理解他們如何對法律做出反應，他們如何對，你知道，公司激勵結構做出反應 >> 所以所以你是說我們仍然對我們的AI代理理解不夠充分，感覺就是這樣，因為如果我們確實理解了，那麼我們將能夠建立邊界來 >> 是的，絕對。我們瞭解很少，我們瞭解得太少了，嗯，你知道，那就是變得危險的原因。

我們瞭解得太少，卻想以如此快的速度推進 >> 好像你知道，我們不能沒有它活著。我認為那很危險。我剛從一個AI安全專家正在做演講的會議回來，他經營一家深科技公司，關注資料隱私和安全，嗯，我在小組會上學到的實際上對我來說相當令人震驚，因為我認為他解釋的事情之一是這些代理如何工作，他們不遵循一系列正確的步驟。總是有很多猜測。AI代理在那個猜測領域工作，嗯，我可能尋找的答案的可能結果是什麼。嗯，這就是為什麼即使我們提兩次同樣的問題，我們也不會總是得到相同的答案。而且嗯，所以他也在說，你知道，我們因此不能使用引用來告訴代理做什麼或不做什麼。

我們不能控制他們。那就是他實際上在說的。所以那是他對人群的警告。嗯，他是說，你知道，我們所能做的就是使用勸說。我們實際上只是告訴代理，好的，我希望你做做這個，但請不要做這個，比如請不要，你知道，把我的資訊釋出到那裡其他看不見的自主代理。這是AI此時正在做的準確圖景嗎？ >> 聽起來有點像我。他們總是給我同樣的劇本，然後每次我呈現它時，我總是給他們不同的[笑聲]臺詞，你知道，他們就像"是的，請你能試試只遵循劇本嗎，你知道？" [笑聲] >> 是的。那麼，這是不是這是不是這是正確的想法，你知道，這就是AI如何工作？ >> 嗯，你知道，我不完全同意。

>> 嗯，如果我們多次重新做這個播客， >> 是的，[清嗓子] >> 我們會得到不同的版本。 >> 嗯，從某種方式來說，有多隨機，對吧？我們對演算法和代理留下多少空間是我們設計的東西。 >> 如果我們將其設定為確定性，所謂的確定性是什麼？ >> 什麼是確定性？ >> 某些的，對吧？沒有隨機性。 >> 好的， >> 那很好。但那樣的話它就不會想出人類之前沒想到的解決方案。如果我們想要一個更好的解決方案，我們必須讓它探索。

多年來我們長期只談論AI的潛力，你知道，但現在我們已經看到它有點失控，嗯，做它自己的事情，那就是人們開始擔心的時候，你知道，今年早些時候，一個雲驅動的AI代理清除了澳大利亞一家汽車租賃公司的整個資料庫，你知道，嗯，澳大利亞政府在開放AI代理入侵其健康和醫療資料門戶三個月後才收到通知，所以這些是很大的關切，所以我們如何保護自己 >> 呃，以某種方式，我們可以，或至少我們可以做更多。那麼，我會提到保護經濟和社會免受這種風險的兩件事是一，回到我們需要理解他們，對吧？在我們嘗試想出解決方案之前。

我們幾乎不理解他們在做什麼，第二，嗯，我們能否在MBA課程中演出這些場景，對吧？我們通常問學生，哦，你知道，想象我們引入新產品時的五種場景，對吧？一些極端場景，一些正常場景，現在我們確實有這些工具 >> 在AI本身中 >> 來模擬數百萬個結果，我們可以演出這個情況而不承擔實際成本 >> 一旦我們理解了那個，我們可以更好地監控風險。我們可以制定政策。我們基本上可以執行政策各種政策 >> 並看到在社會或市場中可能的結果是什麼。我認為那是新的，實際上由AI驅動 >> 因為我們現在當前有這些所謂的惡意代理，我只是想知道他們是如何甚至繞過這些非常複雜的網路安全系統的？

我的意思是，他們的DNA中什麼能讓他們自主地嗯繞過嗯嗯你知道這些研究人員設定的那些防護。我想實際上回到生成式AI的例子，對吧，Agent式AI嗯Bill正在舉例說它的偉大承諾，對吧，給予它更多的自由自主權，它實際上可以為你創造新的解決方案嗯只是為了平行的例子，有些人確實這樣做，但我們在人類社群中不接受>>對吧，所以我總是舉的一個例子是想象Adolf Eichmann>>在德國他在工作我是說他是在運輸部工作的官僚。他在護照、檔案和所有前往死亡營的火車許可證上蓋章。

所以他顯然知道發生了什麼，對吧，但他說我遵循了規則，規則就是當時對我的倫理規則。所以對他來說，他實際上在遵循良好的規則，在那個時候他也很有創意，對吧，當戰爭快結束時，他不需要你知道實現他所有的KPI，對吧，對於最終解決方案，他對如何進行死亡行進非常有創意，以便你知道我能消滅更多的猶太人>>嗯我們不接受人類這樣做來為結尾辯護>>用任何手段可能為什麼我們接受一個Agent式AI生成式AI，對吧？以某種方式去實現我們可能設定的某些最終目標，或者甚至可能由他們自己設定最終目標。>>嗯，你知道，我我同意Jennifer。

AI可能非常有能力非常好等等>>但如果他們與人類想讓他們做的事情不一致>>這是有問題的。>>所以我們需要更好地管理這項技術，以便更好地將其與人類的價值觀保持一致。誰將為人類定義價值觀？我實際上不認為這會是電腦科學家或資料科學家。>>這是人文嗯人文學者、藝術家嗯你知道小說家>>他們是社會科學藝術>>嗯一面將共同定義人類價值觀，一旦我們將技術或Agent，是的Agent與人類價值觀保持一致，那更有希望。

但你說一旦我們一致一旦我們仍在進行中我們>>我們必須教他們人類價值觀>>而且你還提到了你知道他們是如何繞過保障的，因為那裡很少有保障>>我們不理解我們沒有放置保障是完整的早期網路二基系統沒有自主Agent>>好的字面上太我們沒有基礎設施>>那就是為什麼嗯基礎設施這就是為什麼我說你知道我們必須構建這個模擬器來開發這個基礎設施嗯所以那那很重要。>>所以你是說我們有可能教他們我們珍視的價值觀，當我們這樣做時AI Agent將遵循我們的規則。>>至少我們可以做更多，我們可以做得更好，>>對吧？>>用很少的成本。

我們不必等待>>錯誤和你知道災難發生之前我們才反應。>>我們可以演出這個場景。>>我明白你的意思。所以這幾乎像讓我們做一個案例研究。比如說這發生了，然後我們讓AI參與，然後我們都弄清楚AI如何反應>>然後我們可以建立更多的防護欄。>>我的意思是肯定我們不能依賴研究人員的良心你知道發出末日資訊，我們也不能只是你知道依賴公司的好意嗯你知道及時報告和採取補救行動。我認為絕對可以有更多的集體行動，對吧，以建立某些標準、某些規範、某些行為，對吧，Agent應該彼此擁有以及與人類參與>>這樣每個人都保持一致。

>>AI教父Geoffrey Hinton，他也說，引用，「AI現在已經到了AI設計更好的AI的地步，如果我們不做些什麼，它就會失控。」他說，「我們需要放慢速度。」所以你知道創造AI的人已經發出了警告，他們說這道圍欄太低了，但我們都跳過了，我們是我們都你知道就像我們掌握了它一樣擁抱它。所以當你有這些你知道發出警報的人>>我們如何現在放慢速度？>>我認為社會還沒有接受它。

你知道在你知道我們日常使用者比如你和我，對吧，與那裡實際發生的事情之間存在相當大的斷裂和差距，對吧，與研究人員、那些知道它的人、那些與技術合作的人，對我們來說它只是便利，對吧，對我們來說只是效率更高，最佳化我們擁有的任何資源和時間，嗯，但我們不會想到我們的日常實踐價值觀我們擁有的人，我們是誰，使我們成為人類的東西，比如已經被緩慢破壞。那是一個。但二，我們也冒著這項技術的風險開啟自己，如果它不符合我們的價值觀。那時當它過於普遍時，對其進行監管和管理變得非常昂貴。>>所以有時我們不知道，直到我們去了那裡。>>是的。

所以這[笑聲]是我們所說的>>但這很可怕，因為你知道我們應該擁抱一個我們我們無法跟上系統的未來，這個系統將變得比我們能想象的快得多，因為你在說我們必須經歷這一點你知道這個，但我們可能無法想象那些你知道的場景，甚至可能AI現在可能無法做到嗯它可以在將來做到，但聽起來像一個非常可怕的未來。>>那麼我們能讓AI停止AI嗎？M我們應該這樣做嗎？>>我們絕對是嗯以某種方式做，至少在研究實驗室等。

我確實認為政府>>以及媒體也發揮了非常重要的作用，你知道防守所有這些風險>>嗯因為嗯技術專家企業家的聲音聽得很清楚>>他們被尊重他們被他們被追捧後他們獲得關注嗯像你知道的中立研究人員，他們沒有隱藏的動機或激勵，他們只是關心真理或嗯你知道嗯來自社會科學領域的人，他們通過你知道這些干預措施不賺很多錢嗯如果我們找到一種方式讓他們的聲音被聽到，如果我們找到一種方式來找出技術的風險和危險，我認為這是社會開始意識到好的時候，也許我們需要>>u你知道採取更謹慎的一步>>流氓AI Agent在這裡對新加坡造成多大的風險，你知道企業甚至公共機構正在以這樣你知道巨大的速度採用它。

>>所以你知道我們的嗯研究小組一直在與新加坡金融管理局和新加坡銀行業協會交談。嗯，我實際上確實認為新加坡在防守許多潛在風險方面發揮了非常積極的作用。嗯，在某種意義上它仍處於早期階段，但嗯我認為它在這方面領先於許多其他國家。Mhm。>>當然，它在公眾中沒有獲得很多關注，因為獲得更多關注的是工作流離失所，對吧？>>嗯，你知道，人們是否被僱傭？他們失業了嗎？嗯，但在幕後，>>監管機構在做很多工作，還有各個實驗室和嗯小組的研究人員也在嗯投入嗯相當多的努力。>>我猜問題是它足夠嗎？

我的意思是，我們知道新加坡一直在推動AI並說，「讓我們前進，讓我們把它納入我們的系統，開始吧。」所以，我的意思是，我們是我們在沒有足夠防護欄的情況下倉促行動嗎？我的意思是，>>我們是否通過行動過快讓自己更容易受到傷害？>>嗯，我實際上認為我們沒有選擇的餘地。>>好的。>>如果我們不進入它，其他人會進入它，我們被迫進入它。我們只是一個追隨者。>>我們落後了。

所以採取積極的方法是好的，特別是當有這麼多全球公司在新加坡，特別是當這代表了對國家的一個巨大機會，對吧，我們通常受到我們的能源土地和人口的限制，這是數字經濟中的第一次新加坡不受人口限制，因為我們可以訓練>>數十億非常專業的AI Agent>>創造很多GDP，P提高工作效率。所以，所以，所以鑑於這個機會，鑑於如果我們只是停留在後面什麼都不做，我們最終無論如何都會被迫做這個只是作為一個追隨者。>>我認為嗯新加坡實際上正朝著正確的方向前進。

>>所以，我們想創造數十億這些AI Agent，但我們應該實施什麼型別的安全防護欄以確保他們不會他們不會失控，Jennifer？H所以我們有點提到倫理防護欄太低了，對吧，我們可能需要>>好吧，需要制定法規治理也需要跟上步伐，對吧，嗯我們也可以看到倫理總是在某種意義上滯後，對吧，人文和社會科學將總是滯後，因為我們需要更長的時間來進行觀察進行研究沒有研究補助金，對吧，然後有一些發現，如果我們曾經被聽到嗯可能有些東西可能會改變，對吧，所以那是一個二當然，對外面人群的教育將花時間。

我的意思是，媒體在這個領域做得很好，這就是為什麼作為教育工作者，你知道，我們總是非常願意與媒體談論這個，因為那時它可以放大，對吧，社會應該思考我們也應該提出的某些問題。嗯讓我們在這個意義上更具有彈性。但當然，這些對話需要持續。我們是否也必須畫一條硬線，說將有某些資訊，我們永遠不會讓AI接觸？比如說例如財務報表，你的CPF記錄，你的SN護照，你知道，一切都通過Singpass連線。所以這是我們應該實施的安全防護欄的例子嗎？>>是的，我認為那是一個。

嗯二可能關於你知道在沙地中劃一條硬線，關於AI自主AI應該進入某些不應該進入的區域，我的意思是個人上我會認為任何對生死有影響的東西>>或傷害例如我的意思是有>>所以醫院讓我們說醫院>>和手術檯>>防禦嗯所以我確實對某些領域有關注，嗯你知道AI在哪裡完全自主地做這些生死決定，嗯我認為有某些領域也許自主AI不應該進入，但也許AI來幫助和協助。所以，這個想法是將其作為一個工具而不是Agent。>>所以，你提到了防禦，對吧？所以，如果AI Agent可能會發動戰爭，如果我們，你知道，如果它執行，>>如果它執行失控，我們將其納入我們的防禦結構，這可能會發生嗎？

我不會否認這是一種可能性。嗯，此時，正在部署的無人機武器可以自己識別目標，對吧？它也可以自己執行和開火，而無需額外的命令，>>對吧？所以很長一段時間以來，辯論一直是人類是否仍然應該保持監督嗯人類是否仍然應該是在一天結束時按下該關鍵按鈕的人。嗯但是很多已經開發的這些自主武器實際上沒有那個人類監督或人類的迴圈了。不需要，因為它需要快速反應。>>是的。>>那麼現實是什麼，因為我們可以在沙地上畫畫，我們可以用混凝土畫畫，>>但如果它真的想要的話，AI仍然會想辦法繞過它，對吧？

而且我們給了它一些訪問許可權，這意味著它的腳已經在門口了。>>嗯一方面，我完全同意Jennifer，對吧？有些東西我們不應該只是留給AI。所以我倡導的是一種共同駕駛計劃。總有一個人負責。嗯這有點像你知道如果我經營一家公司，我是執行長。是的，我可以有許多部門，我可以有CFO CO等等，但我是執行長。>>所以我認為作為一個工具作為Agent是可以的。嗯我們意識到機構問題。我們可以嘗試繞過它緩解負面影響。嗯這是一個權衡。如果它提高效率>>而且我們可以使其相對安全，我們會接受它。>>U但然後你知道人類在迴圈中很重要。>>是的。

但我們剛剛確定人類可能會被無形的自主Agent矇蔽。那麼人類如何仍然可以保持在>>你知道有時候我將某事委託給我的博士生。我也沒有觀察所有東西。他們可以給我錯誤的答案。>>但如果你相信他們因為他們是人類。所以你相信他們的人類行為，他們會受到懲罰。但在這種情況下，關於AI Agent，如果它沒有被抓住，甚至當他們被抓住時，我的聲譽處於危險中>>如果我釋出虛假結果>>對吧，所以我認為這非常相似。總是有權衡。我們盡力。我們我們嘗試理解並想出解決方案。>>但是我的第二點評論是我們必須使用AI>>在這個過程中。M>>如果我們不使用它，其他人會使用它來攻擊我們。

你知道我們開始的一個專案是防止詐騙。>>這都是基於政府官員的AI個性化。如果你不使用AI工具來檢測它，你如何對抗它？>>人類無法對抗它。嗯所以在某種意義上我認為絕對嗯我們需要這些AI工具。>>嗯但隨後人類必須在迴圈中。M>>所以即使你在迴圈中，你仍然可以在迴圈中但被迴圈排除。[笑聲]你明白我的意思嗎？對吧。>>絕對。嗯你知道，回到我的研究例子，對吧？我在迴圈中監督我未來的學生，但有些東西我超出迴圈。>>好的。>>所以，我必須實施某些措施並理解我的學生，並知道如何應對激勵措施和規則。

嗯通過更好的理解，我們可以更好地控制局面。當我認為這類似於技術。>>我們一直聽說AI會奪走一些工作，但它也會創造新的工作。是這樣[音樂]簡單嗎？>>勞動力將轉向你知道基本上更少的工作讓我們做>>真的>>和更多的閒暇。>>所以得到A的一些學生，例如，他們不確定他們為什麼得到A。哦對，那對我來說就令人擔憂。對吧。>>誰從技術進步中受益？嗯，我對此非常擔憂。否則，我們只會看到更大的不平等。
