AI Engineer Singapore Day 2: Google DeepMind / Cloudflare / Arize 로봇 및 런타임 주제

자막 언어: ko · 수집 날짜: 2026-05-21

파도가 밤의 파도를 치며 대해가 그것을 압니다. 당신은... [반복되는 감탄사들]. 열기. 이 행사에 참석해주셔서 감사합니다. 저는 65 Labs의 공동 창립자이며 여러분의 참석에 정말 감사합니다. 지금은 셋째 날, 일요일 아침이며, 이 방에 앉아 있는 여러분 모두가 어떤 세션도 놓치지 않기 위해 수면을 포기하기로 선택했다는 것을 알고 있으며, 저는 정말 감사합니다. 감사합니다. 음, 여러분도 알겠지만, 저는 우리가 이제 최종 스프린트 단계에 있다고 생각합니다. 아직 눈치채지 못했다면 제 목소리가 거의 남지 않았는데, 다른 조직자들을 봐야 할 것입니다. 제가 오늘 아침 Sherry 대신 진행을 맡은 이유가 바로 이것입니다. 하지만 우리는 모두와 함께 있어서 정말 기쁩니다. 지난 며칠간의 에너지는 정말 훌륭했습니다.

음, 우리가 싱가포르 AI를 구축하고 통합하기 시작했을 때, 이것이 정확히 우리가 원하던 에너지입니다. 여러분들은 정말 잘했습니다. 따라서 정말 감사합니다. 음, 시작하기 전에, 저는 스폰서, 연사, 그리고 이 회의의 마법 같은 경험을 만드는 데 도움을 주신 모든 자원봉사자에게 빠르게 감사를 표하고 싶습니다. 정말 감사합니다, 모두에게, 그리고 저는 여러분이 그들을 위해 박수를 칠 수 있기를 바랍니다. 좋습니다. 여러분은 저를 보러 오신 게 아닙니다. 그래서, 말을 줄이고, 저는 Arise의 Salanne을 초대하고 싶습니다. Alex를 구축하는 데 대한 그녀의 경험을 공유하기 위해. 좋은 아침입니다. 아침 시간을 들어주셔서 감사합니다. 아직도 이릅니다. 제가 봅시다. 네. 떠날 시간입니다. 좋습니다, 제가 봅시다.

죄송합니다, 저는 핫스팟을 다시 연결해야 합니다. 저는 이미 했다고 생각했습니다. 좋습니다. 다행입니다. 좋은 아침입니다. 음, 오늘 저를 위해 시간을 내주셔서 정말 감사합니다. 저는 Alex를 구축하는 것에 대한 경험을 공유할 수 있어서 정말 흥분됩니다. Alex는 우리의 AI 에이전트입니다. 우리는 이것에 대해 한동안 일해왔습니다. 자세히 살펴보기 전에, 저는 자신을 간단히 소개하고 싶습니다. 저는 Salian입니다. 음, Arise의 제품 책임자입니다. 저는 기술 배경을 가지고 있습니다. 저는 데이터 과학으로 시작했고, 이제 저는 팀을 위한 제품을 구축하고 있습니다. 저는 매우 실무적입니다. 저는 Alex의 PM일 뿐만 아니라 핵심 기여자이기도 합니다. 따라서 저는 에이전트를 구축하는 데 따른 고통을 직접 경험하고 있습니다. 이제 저는 기본적으로 이런 고통을 실제로 사람들을 도울 수 있는 도구로 변환합니다. 따라서 Arise 음, 우리는 에이전트를 작동시킵니다. 우리는 몇 가지 일을 정말 잘했습니다.

첫 번째는 관찰 가능성입니다. 음, 이것은 에이전트가 하부에서 무엇을 하고 있는지 이해하는 것입니다. 두 번째는 평가입니다. 이것은 우리가 에이전트의 성능이 어떻게 되는지 이해하는 방식입니다. 그리고 나서 우리는 모든 이 데이터를 사용하여 당신이 개선하고 반복할 수 있도록 도와줍니다. 물론, 우리는 또한 전체 스택을 통해 Alex를 가지고 있으며, 당신이 이 모든 것을 하도록 도와줍니다. 그래서, 우리가 오늘 무엇을 논의할 것인가요? 음, 먼저 저는 Alex가 무엇인지에 대해 조금 설명하겠고, 그 다음 저는 우리가 구축 과정에서 배운 네 가지 경험을 설명하겠습니다. 따라서 초점 유지, 컨텍스트 관리, 좋은 행동의 결정화, 그리고 실제 에이전트 디버깅입니다. 따라서 Alex 음, 는 당신의 AI 엔지니어링 에이전트 프레임워크입니다. 음, 우리는 정말 자연어로 AI 애플리케이션을 구축하고 확장할 수 있도록 Alex를 구축했습니다.

음, 이것은 정말 Arise 경험을 개선했습니다. 이것은 계획, 추론, 음, 그리고 정말 무거운 워크로드를 실행함으로써 AI 에이전트를 위해 수행합니다. 음, 당신은 기본적으로 자연어로 당신이 원하는 것을 무엇이든 물어볼 수 있으며, Alex는 당신이 그것을 실행할 수 있도록 도울 수 있습니다. 이것은 당신의 데이터를 분석하는 것을 도와주는 것과 같은 것들을 할 수 있지만, 또한 당신의 프롬프트를 반복하거나 당신의 이메일을 정렬하는 것과 같은 워크플로우를 실행하는 것을 도울 수 있습니다. 이것은 정말 AIG, PM, 그리고 주제 전문가의 역량 배가입니다. 그래서 제가 여러분에게 이 모든 것을 왜 말하고 있을까요? 그런데, 음, 우리는 Alex를 구축하는 데 3년을 보냈습니다. 이것은 정말 긴 여정이었습니다. 우리는 원래 생성형 AI의 초기 단계에서 시작했으며, 이제 우리는 Alex 2에 도달했습니다.

0, 추론 및 계획 기능이 있으며, 저와 제 팀은 많은 교훈을 배웠고, 저는 이 산업과 커뮤니티의 멋진 점이 우리가 다시 공유할 기회를 가지고 있다는 것이라고 생각합니다. 그래서 이것이 제가 오늘 여기서 하려는 것입니다. 우리가 겪은 것처럼 어렵게 배울 필요가 없도록 여러분에게 몇 가지 우리의 경험을 가르치겠습니다. 그래서 첫 번째 교훈, 초점 유지입니다. 저는 모든 에이전트 구축자가 이런 상황을 경험했다고 생각합니다. 여러분이 에이전트에게 몇 가지 일을 하도록 요청합니다. 음, 아마도 첫 번째 일을 성공적으로 할 수 있지만 그 다음 두 번째 일과 세 번째 일을 잊습니다. 저는 모든 사람이 정말 해결하고 싶어 하는 문제라고 생각합니다. 음, 사람들이 저에게 자주 묻습니다. 음, 왜 이런 일이 일어나나요? 음, 사람들은 이것이 환각 문제와 같거나 심지어 능력 문제일 수도 있다고 가정하지만, 실제로는 그렇지 않습니다.

이것은 긴장 문제입니다. 그래서 마지막에 일어나는 것은 우리가 에이전트에게 여러 음 일들을 요청할 때, 음, 일반적으로 일어나는 것은 첫 번째를 볼 수 있지만 나머지는 우리가 요청한 모든 다른 데이터에서 손실된다는 것입니다. 따라서 에이전트의 경우 일단 그것이 다음에 무엇을 해야 하는지 알아내면, 그것은 이미 다음이 무엇인지 잊어버렸습니다. 따라서 해결책은 계획입니다. 음, 계획은 에이전트가 먼저 해야 할 일을 결정하는 방식이고, 그 다음에만 실제로 조치를 취합니다. 따라서 Alex의 경우, Alex가 어떤 데이터도 풀기 전에, 그것은 먼저 명확한 할 일 목록을 생각해 냈으며, 그것은 음 추론하고 단계적으로 진행해야 하고, 그 다음에만 그 조치를 취합니다. 따라서 우리가 Alex의 계획을 하는 방법은 우리가 계획 도구와 상태를 가지고 있다는 것입니다.

음 우리는 세 가지 도구가 있습니다 음 할 일 쓰기, 할 일 업데이트, 할 일 읽기 음 그리고 네 가지 상태 대기 중, 완료, 차단됨, 진행 중. 우리는 실제로 처음부터 이 모든 상태를 가지지 않았습니다. 저는 처음부터 이것에 대해 이야기하겠지만, 우리는 정말 완료 도구를 사용하거나 프롬프트를 사용하는 것과 같은 것들이 Alex가 정말 복잡한 작업을 완료하기에는 충분하지 않다는 것을 발견했습니다. 따라서 이 도구들 음 이것은 우리가 Claude와 같은 우리가 좋아하는 일부 도구에서 빌린 것입니다. 음 이것은 우리가 극도로 복잡한 작업을 관리하기 위해 정말 게임 체인저였습니다. 진행 중은 우리가 실제로 배운 것입니다. 이것은 정말 중요한 교훈입니다. 우리가 Alex를 처음 구축했을 때, 우리는 진행 중이 없었습니다. 우리는 실제로 대기 중과 완료와 같은 상태만 가지고 있었습니다.

음, 하지만 우리는 진행 중을 추가했으므로 Alex는 정확히 무엇을 압니다. 이 작업, 음, 그것은 현재 처리 중입니다. 따라서 이것은 정말 에이전트를 그것이 완료하려고 하는 것에 정착시키는 데 도움이 됩니다. 음, 그리고 정말 우리가 작업을 올바르게 완료할 수 있는 능력을 개선했습니다. 우리가 한 또 다른 정말 핵심적인 아키텍처 결정은 계획이 대화 이력 밖에 있다는 것입니다. 음, 그래서 이것을 하는 것은 정말 중요합니다. 대화 이력의 경우, 우리는 일부 자르기를 했으므로, 우리는 계획이 자르기를 원하지 않습니다. 음 이것이 일어나면, Alex는 무엇을 완료하려고 하는지 알지 못합니다. 음 따라서 우리는 실제로 우리가 LLM 호출을 할 때마다 이것을 주입하는데, 시스템 지시 후에, 대화 이력의 모든 데이터와 별도로. 이것은 실제로 Alex가 보는 것입니다.

따라서 그것은 현재 계획을 봅니다. 그것은 모든 상태를 보고, 그 다음 우리는 실제로 당신이 완료할 때, 당신이 알다시피, 완료된 상태로 할 일 업데이트를 호출하는 것 같은 것으로 Alex를 안내합니다. 따라서 다시, Alex가 진행 중인 상태를 유지하도록 도움을 주는 것은 단지 수동적인 프롬프트를 주는 것이 아니라, 정말 명확한 일종의 소수 예제이며, 그것은 그것의 계획을 실행할 때 해야 할 일을 설명합니다. 우리는 또한 완료 게이트라고 부르는 것을 가지고 있습니다. 음 이것은 Alex가 모든 작업을 완료하기 전에 완료되었다고 말하게 하는 것입니다. 따라서 Alex가 우리의 완료 도구를 호출하려고 시도하면 음 완료된 작업이 없으면, 우리는 실제로 정말 명확한 오류를 제공합니다. 「당신은 돌아가서 모든 할 일을 완료해야 합니다.」 이것은 제안이 아닙니다. 이것은 일종의 푸시가 아닙니다.

이것은 Alex가 받는 명확한 구조화된 메시지입니다 음 그것은 계속할 수 없습니다. 유일한 예외는 차단된 상태입니다. 차단된 상태는 우리가 루프에 있는 사람이 있을 때 사용됩니다. 음 Alex를 사용하면, 우리가 인간의 상호 작용을 요청하는 많은 음 순간이 있습니다. 따라서 우리가 프롬프트를 만들면, 당신은 조금 차이를 얻을 수 있거나 또는 주석 구성과 같은 것을 수락할 수 있으며, 여기서 인간의 참여가 중요합니다. 따라서 차단된 상태가 있을 때, 이것은 Alex가 작업을 완료할 필요가 없는 유일한 경우입니다. 왜냐하면 그것은 이것이 인간에 의해 차단되었다는 것을 이해하고 우리가 그 응답을 기다리고 있기 때문입니다. 따라서 이것들은 우리가 계획에서 배운 몇 가지 핵심 경험입니다.

따라서 코드를 강제하고, 단지 프롬프트만이 아니라, 소수 예제, 어떤 종류의 추상 지시든 이겨냅니다. 항상 할 일 우측 계획을 사용하면 작동하지 않습니다. 우리는 그런 명확한 함수를 가져야 하고, 그 다음 에이전트에게 좋은 계획이 어떤 것인지 보여줘야 합니다. 따라서 이 중 일부 예제입니다. 알겠습니다, 컨텍스트 관리입니다. 음, 컨텍스트 관리는 극도로 중요합니다. 이것은 Alex에게 양보할 수 없습니다. 음, 우리는 많은 양의 텍스트 데이터를 처리 중입니다. 따라서 Alex는 Arise 플랫폼에서 구축됩니다. 관찰 가능성 데이터는 또한 많은 양의 텍스트 데이터를 가지는 AI 애플리케이션에 적용됩니다. 따라서 컨텍스트 관리가 극도로 중요합니다. 음, 저는 실제로 런던에서 이 연설을 했으므로, 반드시 확인하세요. 하지만 저는 컨텍스트 관리가 단지 컨텍스트 윈도우를 관리하는 것이 아니라, 정말 전략적으로 우리가 에이전트에게 무엇을 보여주는지 생각하는 것이라고 생각합니다.

그것은 그들에게 필요한 것을 기억하고 필요 없는 것을 잊게 해줍니다. 따라서 초기에, 이것은 실제로 우리가 Alex를 위해 설정한 시스템 프롬프트였으며, 이것은 우리의 실험 비교를 위한 것입니다. 음, 우리가 말한 것은, 「두 개 이상의 실험을 동시에 비교하려고 하지 마세요.」 음, 하지만 이것은 상당히 순진합니다. 음, 문제는 Arise의 실험이 수백 줄이 될 수 있다는 것이고, 이것은 100,000개의 토큰 같습니다. 따라서 단지 실험을 시도하거나 죄송합니다, 단일 실험 음 을 비교하려고 시도해도, 우리의 음 컨텍스트 윈도우를 날려버립니다. 따라서 우리는 음 이런 음 명확한 프롬프트를 가지는 것만으로는 충분하지 않다는 것을 알고 있었습니다. 따라서 우리는 추상화를 생각해 냈습니다. 그 중 하나를 큰 JSON이라고 합니다.

음 따라서 이것은 실제로 하는 것은 Alex가 도구 데이터를 반환할 때입니다, 음 우리는 대부분을 서비스화된 메모리에 저장하고 에이전트에게 ID를 제공하여 나중에 더 많은 컨텍스트가 필요할 때 가져올 수 있습니다. 따라서 이것은 정말 중요합니다. Alex는 계속해서 우리의 플랫폼에서 데이터를 가져옵니다. 우리는 모든 것을 LM에 표시할 수 없지만, 우리는 또한 에이전트에게 충분한 컨텍스트를 제공해야 하므로 그것은 다음에 무엇을 해야 할지 압니다. 음, 그래서 이것은 우리가 구조 대신 값을 압축한다는 아이디어를 생각해 낸 곳입니다. 먼저, 우리가 한 것은 자르기를 시도하는 것이고 데이터의 첫 번째 작은 부분의 미리보기만 제공하는 것입니다. 따라서 단지 당신이 알다시피, n개의 토큰을 앞에 두는 데이터입니다. 하지만 문제는 Alex가 실제로 데이터의 구조가 무엇인지 이해하지 못한다는 것입니다.

따라서 이것은 쿼리를 매우 어렵게 만듭니다. 왜냐하면 일반적으로 Alex는 미리보기를 필요로 하고 나서 추가로 어떤 데이터를 찾을지 결정해야 하기 때문입니다. 음, 따라서 우리가 한 것은 구조 대신 값을 압축한다는 것입니다. 따라서 우리는 모든 필드, 모든 배열을 유지합니다. Alex는 이 모든 것에 접근할 수 있지만 그 다음 우리는 그 안에 있는 큰 문자열을 자르고 그 다음 그것은 큰 JSON 음 추상화를 사용하여 필요에 따라 더 많은 데이터를 가져올 수 있습니다. 우리는 또한 Alex에게 작고 구성 가능한 도구들을 많이 주었으며, 이것은 정말 중요합니다. 따라서 Alex는 두 가지 도구에 접근할 수 있습니다 음 jq, 이것은 명령줄에서 사용하는 것과 같은 도구입니다, 그리고 GP JSON, 그것은 직렬화된 데이터를 통해 regex 검색을 할 수 있습니다. 음 이것의 중요성은 이것들이 정말 정말 작은 도구라는 것인데, 그들은 초강력합니다. Alex는 그것들을 함께 사용할 수 있습니다. 그들은 구성 가능할 수 있습니다.

음, 그리고 하나의 입력을 사용하거나 하나의 출력을 다른 것의 입력에 사용합니다. 음, 따라서 이것은 단지 Alex가 데이터를 자르고, 집계하고, 이 모든 정말 정말 강력한 기능을 정말 정말 작은 도구로 할 수 있게 해줍니다. 따라서 초대형 복잡한 것은 없습니다. 저는 항상 이것을 조금 UX 프로그래머의 방식으로 보기를 좋아합니다. 당신은 당신의 도구를 상상할 수 있고, 그 다음 당신의 에이전트는 음 당신의 셸 스크립트입니다. 따라서 당신은 정말 내 말을 들어야 하고, 당신의 에이전트가 사용할 수 있는 작은 도구를 생각하고, 이것이 그것을 가장 성공하게 하는 이유입니다. 따라서 이것들은 일부 음 컨텍스트 관리에서의 경험입니다. 음 모든 도구 출력에 대해 하드 토큰 예산을 제공하세요. 우리는 우리의 모든 도구에서 일종의 10,000 음 제한을 했으므로, 우리는 이 예측 가능한 내용을 음 가지고 있으므로, 우리는 그것이 일어날 것임을 압니다. 따라서 우리는 오버플로우가 없을 것임을 압니다.

단지 여러 라운드만 있을 것입니다. 음 구조 대신 값을 압축합니다. 음 종이에 대한 인공적인 제한을 사용하지 마세요. 음 피드백 루프에서 좋은 예외를 제공하고, 그 다음 도구 응답은 고객 데이터를 포함할 수 있습니다. 따라서 당신은 당신의 로그를 확인해야 합니다. 이것은 또 다른 중요한 것입니다. 좋습니다, 좋은 행동의 결정화입니다. 따라서 우리가 처음 Alex를 구축하기 시작했을 때, 음 저는 Google 문서와 같은 스프레드시트에서 많은 시간을 시도했습니다. 음 하지만 우리는 빠르게 분위기 검사가 확장되지 않을 것임을 깨달았습니다. 음 매번 우리가 변경할 때마다, 그것은 나에게 정말 어려웠습니다. 뭔가를 깨뜨릴 것인지 알 수 있습니다. 음 따라서 우리는 더 나은 해결책이 필요하다는 것을 알고 있었습니다. 우리가 정말 발견한 것은 생산 추적을 당신의 기본 사실로 사용하는 것이 극도로 강력하다는 것입니다.

따라서 먼저 우리는 손으로 황금 답변을 직접 쓰려고 했지만, 우리의 생산 추적에 좋은 예제가 있었으며 우리가 활용할 수 있었습니다. 따라서 당신의 데이터를 보고 실제로 그것들을 당신의 테스트 사례로 사용하는 것은 우리와 Alex가 함께 배운 가장 강력한 경험 중 하나입니다. Alex와 관련하여, 우리는 몇 가지 다른 유형의 테스트를 했습니다. 음 따라서 우리는 결정 지점 테스트를 가지고 있으며, 우리는 구성 요소를 보고 있습니다. 음 우리는 우리의 오케스트레이터와 같은 방식을 통해 합니다, 그 다음 우리는 음 결과가 무엇인지 테스트합니다, 그 다음 우리는 정말 개방형 방식으로 음 확인합니다. 이것은 정확한 일치처럼 우리의 출력에서 작동하지 않습니다. 따라서 타임스탬프 음 2,000 밀리초 2초 2초를 생성하는 것과 같은 것을 포함하는 것 찾기와 같은 많은 다른 방식이 있습니다.

따라서 우리는 이 개방형 확인을 가지고 있으며, 우리는 결정이 올바른지 확인할 수 있습니다. 저는 이것이 정말 강력하다고 생각합니다. 특히 당신이 언어 모델을 사용할 때인데, 그 출력은 비결정적입니다. 또 다른 것은 궤적 테스트입니다. 따라서 우리가 한 것은 우리는 조금 그 모든 생산 선택을 저장합니다. 저는 이전에 언급했습니다, 우리는 그것들을 한 줄씩 단계적으로 진행합니다, 그리고 우리는 출력을 평가하기 위해 법관으로서 LM을 사용합니다. 음, 평가 프롬프트는 여기서 정말 중요합니다. 제가 이전에 말했을 때, 이 출력들은 결정적이지 않습니다. 따라서 당신은 당신의 평가 템플릿이 이것을 처리할 수 있는지 확인하고 싶습니다 음 그리고 각 개별 단계에 대해 성공을 정의합니다. 음 이것의 세 번째 수준은 CI와 프롬프트 검증입니다. 따라서 우리가 한 모든 것은 실제로 Arise에 존재합니다. 음 우리는 이것들을 임시 테스트로 실행합니다.

우리는 우리의 CI의 일부로 실행합니다, 그 다음 우리는 이 멋진 시각화를 가지고 있습니다. 따라서 저는 실제로 들어가서 시간이 지남에 따라 사물이 어떻게 작동하는지 확인할 수 있습니다. 음 우리의 평가 성능을 통합했는지 확인하세요. 음, 저는 Arise를 사용하여 도구를 구축하는 것이 정말 멋지다고 생각합니다. 우리는 우리 자신의 제품을 소비하고 있습니다. 음, 제 팀이 하는 모든 것, 저는 이것이 우리의 사용자들을 도울 수 있다는 것을 알고 있습니다. 이것은 음, 극도로 강력했습니다. 따라서 이것들은 결정화 행동에서의 몇 가지 경험입니다. 좋은 사용자 세션 캡처, 음, 표현이 아닌 사실과 일치, 언어 모델을 의미론적 평가를 위한 법관으로, 정말 API, 모의 아님, 음, 통합 오류는 실제입니다. 음, 그 다음 내 마지막 교훈은 여기, 실제 에이전트 디버깅입니다.

저는 이것이 제가 많은 질문을 받는 것이라고 생각합니다. 예를 들어 Alex에 문제가 생겼을 때 당신의 일상적인 워크플로우가 무엇입니까? 따라서 우리는 정말 누가 원격 측정 데이터를 소비하고 있는지에 대한 소프트웨어 엔지니어링의 진화를 보고 있습니다. 우리가 처음 시작했을 때, 우리는 정말 루프에 있는 사람이었습니다. 저는 데이터를 직접 보고 있었고, 그 다음 IDE로 가서 저는, 저와 제 엔지니어는 우리의 IDE로 가서 변경을 하고 그 다음 관찰합니다. 우리는 조금 이 소프트웨어 2.0을 보기 시작했으며, 우리는 우리의 에이전트식 IDE를 가지고 있으며, 이제 인간이 여전히 참여하지만, 우리는 반복하기 위해 에이전트를 사용합니다. 이제 우리는 정말 이 3단계로 들어갔습니다. 우리는 실제로 직접 우리의 인코딩 에이전트를 사용할 수 있습니다 음 우리의 호텔 데이터를 읽을 수 있으므로 음 그리고 반복할 수 있습니다. 따라서 이것은 우리가 현재 사용하는 일종의 스택이며, 우리는 여전히 Arise를 사용하고 있습니다.

우리의 모든 추적은 우리의 평가로 들어갑니다 우리의 피드백. 하지만 우리는 우리가 Arise 기술이라고 부르는 것을 가지고 있으며, 이것은 우리의 광선 우리의 음 클라우드 코드가 Arise와 직접 상호작용할 수 있게 하고 우리의 피드백 루프를 정말 정말 빠르게 합니다. 음 에이전트 구축자로서, 우리는 피드백 루프가 정말 정말 중요하다는 것을 배웠습니다. 저는 문제에서 수정까지 얼마나 빨리 우리가 할 수 있는지 최대한 빠르게 하려고 합니다. 음 그리고 Arise 기술은 정말 우리를 도와주었습니다. 따라서 음 이것들은 우리의 Arise 기술의 몇 가지 예제입니다. 이것들은 실시간이며, 만약 당신이 음 그것들을 직접 시도하거나 싶거나 우리의 부스에서 우리와 대화하고 싶다면. 음 하지만 저는 기본적으로 우리의 음 Arise 추적 및 평가 기술을 많이 사용했습니다. 이것은 단지 제 에이전트가 신호를 얻을 수 있게 해줍니다. 음 Arise에서 추적을 풀 수 있고, 심지어 외부 리소스 또는 코드를 볼 수 있고, 수정안을 제시하고, 그 다음 저와 제 엔지니어는 단지 그것을 검토할 수 있습니다.

따라서 이것이 Arise에 의해 구동되는 AI 엔지니어링 루프입니다. 우리도 자체적으로 사용하고 있습니다. 음, 우리는 기본적으로 항상 첫 번째 실험자입니다. Alex에 효과가 있으면, 우리는 다른 사람에게도 효과가 있을 것임을 압니다. 따라서 우리는 우리의 기술을 활용하고 있는 많은 다양한 에이전트가 있고 Alex를 개선하고 있음을 볼 수 있습니다. 따라서 이것들은 우리의 디버깅 프로세스의 실제 응용입니다. 따라서 추적을 읽고, 완전한 세션을 풀 수 있고, 그 다음 실패한 노드를 식별합니다. 어, 우리는 또한 DataDog과 같은 외부 소스에서 데이터를 읽을 수 있습니다. Alex는 정말 우리의 UI에 통합되었습니다. 또는 APM 추적이 점점 더 중요해지고 있습니다. 음, 그 다음 G-Cloud 로그와 같은 것들도 있습니다. 음, 따라서 우리는 메모리 오버플로우와 같은 예제를 발견했습니다. 음, 따라서 우리는 문제에서 정확한 근본 원인에 빠르게 도달할 수 있었고 빠르게 수정했으므로, 우리는 그것을 수정할 수 있었습니다.

따라서 이것들은 우리의 디버깅에서의 몇 가지 교훈입니다. 음, 기술은 단지 마크다운입니다. 그들은 낮은 비용, 높은 가치입니다. 절대 당신의 기술, 당신의 공장에 투자하세요. 음, 보안은 프롬프트가 아닌 래퍼여야 합니다. 어, 에이전트 디버깅은 에이전트 모양의 문제이고, 그 다음 당신이 필요하기 전에 관찰 가능성을 가지세요. 음, 관찰 가능성 없이는 정말 평가를 할 수 없습니다. 관찰 가능성 없이는 정말 에이전트를 수정할 수 없고 그것을 성공하게 할 수 없습니다. 따라서 어, 이것은 우리가 정말 직접 배운 것입니다. 따라서 이것들은 우리가 오늘 배우고 논의한 몇 가지 주요 교훈입니다. 음, 저는 매우 빠르게 많은 자료를 통과했습니다. 따라서 질문이 있으시면, 어, 우리는 Pullman의 우리 부스에 있을 것이며, 무엇이든 더 자세히 논의할 수 있어서 기쁩니다. 음, 하지만 아침 시간을 저와 함께 보내주셔서 정말 감사합니다. 정말 감사합니다, Salian.

어, 다음으로, 우리는 Rezaro의 Tim을 위해 준비하고 있으며, 그는 여러분과 평가 확대에 대해 이야기할 것입니다. 좋습니다, 좋은 아침입니다. 어, 오늘 시간을 내주셔서 감사합니다. 어, 특히 어제 밤 술 파티에서 온다면요. 따라서 오늘 저는 평가 확대에 대해 이야기하겠습니다. 아마도 동기를 위해, Raro가 하는 작업에 대해 여러분과 몇 가지를 공유하겠습니다. 따라서 Raro는 테스트 및 평가 회사입니다.

우리는 주로 의료, 방어, 보안과 같은 작업 관련 사용 사례 및 도메인에서 일하는 회사들과 협력하고 있습니다. 우리는 그들이 개발하거나 조달하고 있는 AI 시스템을 테스트하고 평가하는 데 도움을 주므로, 그들은 자신들이 배포하는 것이 프로덕션에 들어가기에 충분히 좋다는 확신을 가지고 있습니다. 오늘 저는 지난 몇 년 동안 이 여정에서 얻은 일부 경험을 공유하겠습니다. 우리가 존재하는 주요 문제, 우리가 이 문제들을 극복하는 방법, 그리고 작업 관련 테스트 평가를 확대하는 것을 방해하는 나머지 장애물입니다. 좋습니다, 이 슬라이드부터 시작해 봅시다. 눈금자, 스프린트 속도 추적, 그리고 AI 벤치마크에는 무엇이 공통점이 있을까요? 이것들은 모두 역 인센티브의 예를 보여줍니다. 맞나요?

따라서 눈금자 예제의 경우, 이것은 사람들이 눈금자 포획을 장려할 경우의 경우입니다. 사람들은 실제로 그들을 기르고 있습니다. 이것은 실제로 야생에서 더 많은 눈금자가 나타나게 합니다. 음, 스프린트 속도 추적도 마찬가지입니다. 소프트웨어 엔지니어라면 친숙합니다. 만약 당신의 관리자가 당신이 전달할 수 있는 이야기 포인트 수를 증가시키라고 요청한다면, 당신은 이 결과를 볼 것이지만, 궁극적으로 이것은 의미 있는 성과로 변환되지 않습니다. 최소한 제 관점에서는요. 음, 그 다음 당신은 아마도 일부 AI 벤치마크를 봤을 것입니다. 당신은 최신 오픈소스 모델을 테스트합니다. 그들은 일반적으로... 그들은 때때로 실제 사용자 테스트와 다를 수 있고, 벤치마크에서 표시되지 않는 방식 대신에, 당신은 그들이 그렇게 좋은 결과를 얻는 방법을 궁금해 할 수 있습니다.

이것은 우리가 벤치마크 최대화라고 부르는 개념으로 이어집니다. 저는 이제 점점 더 인기가 되고 있다고 생각합니다. 사람들은 실제로 벤치마크를 조작하여 그들이 특정 작업에서 좋다는 것을 보여주지만, 실제 세계 성능으로 변환되지 않습니다. 반면에, 우리는 분위기 코딩을 가지고 있습니다, 맞나요? 또는 저는 이것을 분위기 테스트라고 부를 것입니다. 따라서 분위기 테스트는 과정이고, 아마도 당신은 몇 가지 예제 프롬프트, 일부 까다로운 질문을 가지고 있습니다. 딸기에 몇 개의 R이 있습니까? 또는 아마도 자전거를 타고 있는 펠리칸의 이미지를 생성할 수 있습니까? 따라서 우리가 이 예제들에서 보는 것은 실제로는 그리 나쁘지 않다는 것입니다. 왜냐하면 그들은 상당히 유용하기 때문입니다.

그들은 당신에게 당신이 관심 있는 특정 시나리오나 측면에서 모델의 성능에 대한 감각을 줍니다. 하지만 그들은 또한 과정의 탐색적 탐색을 장려합니다. 맞나요? 당신은 다양한 프롬프트를 시도할 수 있고, 실제로 당신의 사용 사례에 충분히 좋은 무언가를 찾을 수 있습니다. 하지만 저는 그렇다고 생각합니다. 음, 당신은 실제로 자전거를 타고 있는 펠리칸 테스트와 어쩌면 자동 인력거를 타고 있는 이 투팍 같은 것은 어떻게 판단할까요? 우리는 단지 자동차에 있는 새를 얘기하고 있을까요? 아니면 우리가 우리가 테스트하는 것에 대한 일부 다른 유형의 더 높은 수준의 개념을 얘기하고 있을까요?

따라서 저는 이것이 명확히 하는 데 도움이 된다고 생각합니다. 음, 우리가 우리 머리에 테스트 케이스가 있더라도, 우리가 테스트하고 평가하는 특정 관심 차원은 무엇입니까? 이것은 내가 벤치마크와 분위기 테스트 사이의 중간 지점으로 보는 것입니다. 그래서 질문은 우리가 분위기 테스트 접근법을 구축하는 방법입니다. 우리는 관심 있는 시나리오를 식별할 수 있고, 그 다음 음, 더 구체적인 사용 사례 평가를 구축하고 확대할 수 있습니다. 따라서 이것은 우리를 운영 설계 도메인의 개념으로 인도하며, 우리는 음, 우리가 테스트하는 문제 제약 공간의 유형으로 정의하며, 이것은 우리가 평가하는 의미 있는 테스트 케이스 집합을 관리하는 데 도움이 됩니다.

음, 거기서부터 우리는 시스템의 기대되는 행동이 무엇인지, 우리가 인식해야 할 나이 케이스가 무엇인지, 그리고 또한 이 시스템이 범위 내에 있지 않을 수 있는 경우와 평가를 정의할 수 있습니다. 맞죠, 이것은 완전히 범위를 벗어나며 AI 시스템으로 사용되고 소비되어서는 안 됩니다. 그래서 거기서부터 우리는 내부적으로 파이프라인과 워크플로를 도출할 수 있으며, 우리는 실제로 확률을 관심 있는 다양한 테스트 케이스로 변환하고, 어, 데이터 품질 검사와 연결하여 우리의 요구 사항을 충족하지 않을 수 있는 데이터를 필터링하며, 그리고 어어 거기에 격차가 있으면, 데이터 품질을 향상시킵니다. 맞죠?

그래서 우리는 범위 격차 찾기에 많은 강조를 두었으므로 우리가 그것을 채울 수 있으며, 그리고 종종 우리가 더 많은 작업 중요한 사용 사례에 진입할 때, 우리는 충분한 테스트 케이스가 없을 수 있음을 발견합니다. 특히 관심 있는 나이 케이스의 경우, 이는 합성 데이터 세트 또는 합성 데이터 생성 방법이 실제로 테스트 평가 프로세스를 가교하는 데 도움이 되는 곳입니다.

그래서 우리는 테스트 집합을 강화하는 방식으로 합성 데이터를 생성하는 방법에 대해 많은 강조를 두었으며, 우리가 이런 방식으로 문제를 프레임화하면, 우리는 실제로 데이터가 병목 현상이라는 것을 알게 됩니다. 맞죠, 우리는 문제를 평가에서 우리에게 배포 신뢰도를 제공하는 올바른 테스트 케이스를 어떻게 생성할 것인지로 전환할 수 있습니다. 그 다음 발생하는 도전, 특히 당신이 더 많은 틈새 및 특정 사용 사례 테스트 종류에 진입할 때, 합성 데이터 생성 방법은 어 현재도 상대적으로 어 완전히 예측 가능하지 않습니다. 맞죠? 그들은 반드시 당신이 당신의 생성을 위해 원하는 품질을 제공하지 않습니다. 그래서 여기서 몇 가지 예를 들어 드리겠습니다.

음, 이 예시에서 우리는 평가하려고 시도합니다. 어, 우리는 평가하려고 시도합니다. 어쩌면 더 나은 연료 시나리오와 설정에서 VRM 솔루션의 성능을 평가하려고 시도합니다. 그래서 우리는 우리는 오른쪽에 펜 항아리를 가지고 있습니다, 맞죠? 음, 여기의 문제는 우리가 이 특정 사용 사례에서 무엇을 테스트하는 것이 충분히 좋은지 어떻게 알 수 있을까 같습니다. 좋다는 것이 어떻게 정의되는지 어, 생성된 데이터 세트에 대해, 그리고 더 중요하게, 나는 우리가 어떻게 우리가 이 테스트 평가를 정량화할 수 있는지, 그래서 우리는 자동화된 방식으로 그것을 확장할 수 있도록 생각합니다. 그래서 여기서 나는 어, 세 가지 다른 강화 예시, 세 가지 좋은 강화의 예시를 가지고 있습니다, 맞죠?

그래서 아마도 여기서 좋은 강화는 약속한 것을 따르는 것이며, 당신은 세 가지 다른 날씨 시나리오 비, 눈 및 안개에 걸쳐 생성됩니다. 어, 우리가 주로 관심 있는 주제도 시각적 인공물이 없다면 잘 보존됩니다. 그래서 이것은 좋은 생성처럼 보입니다. 다른 한편, 나는 확실합니다 당신이 단순히 이미지를 생성하는 것에 익숙하다면, 당신은 종종 일부 생성된 이미지가 다양한 유형의 인공물을 가지고 있음을 볼 수 있습니다. 어, 예를 들어, 오른쪽의 그것에 대해, 두 명의 추가 사람이 이미지에 추가되었습니다. 아래의 그것들에 대해 그리고 당신은 어, 일부 원래 탱크와 탱크 중 하나가 차량으로 변환되었음을 봅니다. 그리고 범위 줄무늬는 그렇게 현실적으로 보이지 않을 수 있습니다.

그래서 우리는 어떻게 이 분위기 검사 방법에서 벗어나, 맞게 보이거나 좋게 보이거나 틀리게 보이거나, 이러한 결함을 찾기 위한 더 구조화된 방식으로 들어가나요. 그래서 우리에게 이것은 우리가 어떻게 데이터 품질 검사를 확장한 다음, 우리가 더 확장 가능한 방식으로 자동으로 이러한 결함과 결함을 식별할 수 있도록 하는 것입니다. 그리고 나는 우리가 가능한 한 많이 이러한 통찰력을 제공하기 위해 더 작은 결정론적 모델에 의존한다고 생각합니다. 맞죠? 예를 들어, 우리가 두 개의 생성된 합성 이미지에 대해 이야기한다면, 우리는 어, 주로 관심 있는 객체의 어, 지도 구조에 의미 있는 변화가 있는지 비교하기를 원할 수 있습니다.

어, 우리는 또한 비교할 수 있습니다. 새로운 관심 있는 새 주제가 원본 이미지에서 생성된 이미지로 생성되었는지 여부를 확인합니다. 이 모든 것은 매우 작은 결정론적 모델을 사용하여 데이터 품질에 관한 매우 좋은 신호를 제공하며, 이 파이프라인의 일부로서, 우리는 실제로 우리의 어, 품질 기준을 충족하는 데이터 세트를 필터링하고 테스트 평가 프로세스로 사용할 수 있습니다. 우리는 그 다음 또한 실제로 이 프로세스를 확장할 수 있으며, 아마도 이 어, 강화된 피드백을 사용하여 어, 실제로 평가 모델을 미세 조정하여 자동화된 필터링 평가 프로세스 또는 그 이후의 생성 모델을 할 수 있습니다.

그래서 하루가 끝날 때, 우리가 최종적으로 얻는 것은 다양한 지표로 조립된 전체 파이프라인이며, 사용 사례 특정 관심 영역을 충족하며, 이는 우리에게 매우 재사용 가능한 도구 상자를 제공합니다. 우리가 데이터 세트의 생성을 확장하는 방법과 어, 자동화 품질 검사 및 필터링에 관해. 그래서 우리는 이것이 예를 들어, 코딩 공간 또는 수학 추론 공간의 문제와 매우 유사하다는 것을 봅니다. 당신은 가능한 한 많이 검증 및 검증 프로세스를 자동화하길 원합니다. 어, 이것은 어, 인적 감독 및 평가에 필요한 오버헤드를 줄이는 데 도움이 될 것입니다. 그리고 인공 피드백이 들어오면, 이것은 우리의 자동화 모델을 개선하는 데 도움이 되어야 하므로 이 프로세스는 그 다음 확장 가능해질 수 있습니다.

하위 수준의 지표는 우리가 생성한 데이터셋의 보정에도 사용될 수 있습니다. 우리가 발견한 것은 각 사용 사례, 특정 시나리오에 대해 실제로 각 지표의 임계값이 매우 큰 분포를 가질 수 있다는 것입니다. 따라서 보정 부분은 여기서 매우 중요한 통계적 고려사항입니다. 좋습니다. 요약하자면, 우리가 사용 사례, 특정 시나리오 및 데이터셋 평가 확장에 대해 논의했으며, 이곳의 주요 과제는 실제로 합성 데이터 생성 루틴을 확장하는 방법과 배포 신뢰성을 제공하기 위한 필요한 품질 검사를 추가하는 방법에 관한 것입니다.

이를 통해, 저에게 연락하고 싶으신 분들은 LinkedIn에서 저에게 연락해 주시길 환영합니다. 평가를 논의하고 싶으며, 테스트 케이스와 우리가 수행한 평가 작업에 대해 더 깊이 논의할 용의가 있습니다. 또한 이 행사의 나머지 기간 동안 참여하겠습니다. 감사합니다. 좋은 하루 되세요. 안녕히 가세요. >> Tim, 정말 감사합니다. 그것은 매우 훌륭한 연설이었습니다. 다음으로 Cloudflare의 Abishek을 소개합니다. 그는 인도의 ETI 팀을 이끌고 있으며, 음, 그는 우리와 함께 도구 호출이 실제로 어떻게 진행되어야 할 것인지를 논의할 것입니다. 안녕하세요 여러분, 좋은 아침입니다. 음, 저는 Abishek입니다. 어, 저는 Cloudflare에서 신흥 기술 및 인큐베이션 팀을 이끌고 있으며, 인도 사무소도 담당하고 있습니다. 따라서 우리는 Cloudflare 내의 작은 팀이며, 신제품, 이니셔티브 및 주어진 시간에 많은 흥미로운 것들을 담당하고 있습니다. 맞죠? 음, 오늘 저는 도구 호출에 대해 논의할 것입니다.

저는 여기 계신 모든 분들이 지금 이 시점에 어떤 종류의 도구 상호작용을 경험했다고 생각합니다. 어, MCPS와 상호작용한 적이 있으며 도구 호출이 무엇인지 아는 분 계신가요? 손을 들어주시겠어요? 훌륭합니다. 그렇다면 모든 분이 우리가 무엇을 논의하고 있는지 압니다. 좋습니다. 표준 도구 호출이죠? 음, 당신은 이를 모델에 추론을 초월한 능력을 제공하기 위해 합니다. 예를 들어, 제 모델이 외부 어 외부 API 도구 기능과 어떻게 협력할 수 있을까, 맞죠? 음, 매우 표준적인 예시를 들어봅시다. 어, 저는 API 조회 오류를 모니터링할 것이고, 그리고 어 당신이 알고 있는 특정 조건에 따라 작업을 수행할 것입니다. 맞죠? 어, 프로세스는 매우 간단합니다. 모델이 당신에게 말합니다. 어, 저는 이 도구를 호출해야 합니다. MCV 서버로 가세요. 도구가 호출됩니다. 당신은 결과를 얻습니다. 그것을 모델에 제공합니다. 간단해 들립니다. 맞죠?

문제는 일단 더 복잡한 일을 시작하면 이것이 매우 비싸진다는 것입니다. 따라서 실제의 생산 시나리오의 예시를 들어봅시다. 그곳에서 당신은 모델을 가지고 있을 수도 있습니다, 또는 본질적으로 에이전트이며, 그것은 오래 실행되는 작업을 하고 있으며, 발생하는 모든 새로운 버전을 지속적으로 모니터링합니다. 맞죠?

음, 특정 오류 비율을 모니터링하고 싶으며, 당신이 알다시피 로그가 있으며, 그러면 그것에 기반하여 롤백을 시도하거나 확인하려고 합니다. 어라, 우리는 좋습니다, 당신이 알다시피 추가 릴리스를 할 수 있습니다. 맞죠? 표준 릴리스 프로세스이고, 모든 사람이 이것이 어떻게 작동하는지 안다고 생각합니다. 이 설정을 통해, 일어나는 것은 당신이 결국 많은 도구 호출을 가지게 된다는 것입니다. 이 호출들은 연속으로 하나하나 발생합니다. 맞죠? 이 특정 시나리오에서, 저는 제 모델을 가질 것이며, 제 모든 로그를 나열하고 싶으며, 당신이 알다시피, 제 모든 지표를 가져오고, 조건 검사를 수행하며, 어, 어떤 조건에 기반하여 당신이 알다시피 다음 단계를 결정합니다. 우리가 마주친 문제는 당신이 하는 모든 도구 호출이 현재 대화의 전체 맥락과 도구 호출 그리고 응답을 보낼 것이라는 것입니다. 맞죠?

따라서 매번 실제로는 당신이 보내고 있는 더 많은 맥락이 됩니다. 따라서 첫째, 그것은 돈을 소모하고 있습니다. 둘째, 당신은 많은 왕복을 추가해야 합니다. 맞죠? 맞죠? 따라서 당신은 많은 지연을 추가할 것입니다. 본질적으로 이것을 더 잘 할 수 있는 방법이 있어야 합니다. 그리고 우리가 여기서 논의할 것은 기본적으로 코드 패턴입니다. 음, 코드 패턴은 우리의 논문입니다. 그리고 제 의미는 이제 Cloudflare만은 아니라는 것입니다. 맞죠? 저는 이것이 지금 매우 유행하고 있다고 생각합니다. 그러나 우리가 코드 패턴을 생각해 냈을 때, 이 생각은 모델이 타고나게 코드를 더 잘 쓴다는 것입니다. 맞죠? 음, 빠르게 살펴보면, 우리가 방금 논의한 동일한 예시를 코드 스니펫으로 보면, 그것은 이렇게 보입니다: 「어라, 저는 모든 오류 지표를 얻고 싶습니다. 저는 그것에 기반하여 이 작업들을 병렬화할 수 있습니다. 저는 어떤 조건 검사를 하고 다음 단계를 하고 싶습니다.」

어, 그리고 모델이 이것을 하는 데 더 나은 이유는 그들이 이미 대량의 코드에 대해 훈련받았기 때문입니다. 맞죠? 도구 호출 모델과 비교하면, 대부분의 경우 훈련된 도구 호출은 모두 합성 데이터이며, 거의 실제 데이터가 없습니다. 맞죠? 따라서 자연적인 직관에서, 당신은 모델이 실제로 코드를 더 잘 쓸 것이라고 느낄 것입니다. 그것이 우리가 보는 것입니다. 맞죠? 오늘, 우리가 방금 설명한 동일한 도구 호출을 보면, 맞죠? 표준 도구 호출에는 도구 이름, 설명, 매개변수 및 예상 출력이 있습니다. 당신이 알다시피, 그것이 기본적으로 당신이 모델에게 주는 것입니다. 우리가 한 것은 코드 패턴이라고 하는 라이브러리를 가지고 있다는 것입니다. 그것은 본질적으로 이를 TypeScript 타입으로 변환합니다. 어, 이제 모델은 동일한 타입 설정을 가지지만 코드로, 어 그것은 주목합니다. 「어라, 이것을 실행할 수 있는 함수가 있습니다.」

그래서 이 같은 매핑에서, 맞죠, 보시면, 우리는 함수 선언이 있고, 이것은 본질적으로 도구 이름입니다. 음, 거기서의 설명은 기본적으로 도구 설명이고, 그다음 당신이 그것을 통해 전달하는 매개변수가 있죠, 맞죠, 예상 입력과 출력이 무엇인지처럼. 음, 이제 이것이 하는 것은 본질적으로 모델에 같은 능력을 주었다는 것입니다, 하지만 이 경우에, 도구를 순서대로 주는 대신, 모델이 단일 코드 조각을 작성합니다. 기본적으로 우리가 이것을 하고 싶은 것은 당신의 현재 스택에 이미 있는 모든 것과 함께 작동하는 것입니다. 맞죠? 따라서 당신은 실제로 전체 도구를 교체할 필요가 없습니다. 모델에 도구 배열을 전달하는 대신, 우리는 기본적으로 그것에 코드 모드라고 불리는 단일 도구를 전달합니다.

그래서 당신이 가지고 있는 전체 기존 도구 모음을 포장할 수 있고, 단지 모델에 코드 모드라고 불리는 도구를 전달합니다. 코드 모드가 무엇인지 하면 TypeScript 당신이 알다시피 라이브러리이거나 예를 들어 TypeScript 타입 파일을 문자열로 전달하는 것인데, 모델로 가고, 거기서는 「어, 나는 어떤 도구들이 존재하는지 알아, 나는 그것을 기반으로 코드를 쓸 수 있어」라고 합니다. 음, 이 경우에 당신은 또한 실행기라고 불리는 어떤 것을 볼 것입니다. 우리는 나중에 그것을 얘기할 것입니다. 다시, 우리가 왜 코드를 쓰는지의 기본 원리로 돌아가서, 맞죠? 우리가 방금 논의했던 것처럼, 간단한 시나리오는, 원래는 아마도 필요했을, 당신이 알다시피, 아마 5, 8 라운드, 1 라운드가 될 수 있습니다. 그것은 또한 이미지에 대한 추론을 가져왔습니다. 매번 당신이 코드를 쓸 때, 당신은 그것에 로직을 포함시킬 수 있죠, 맞죠?

당신은 변수를 만들 능력이 있습니다, 이것은 당신이 가질 수 있다는 의미입니다, 당신이 알다시피, 이전 응답과 같은 것을 기반으로 하는 상호 의존적인 도구 호출을 가질 수 있고, 그다음 뭘 해야 할지 알아낼 수 있습니다. 당신은 분기를 할 수 있습니다.

내가 방금 설명한 것이 바로 그것입니다, 예를 들어 오류의 백분율이 어떤 수준을 초과한다면, 당신은 예를 들어 경우 1을 실행할 수 있고, 그렇지 않으면 경우 2를 실행하세요, 당신이 알다시피 같은 방식으로, 당신은 루프를 할 수 있습니다, 어, 매우 표준적인 예는 내 Cloudflare 계정을 순회하고, 모든 workers를 나열하고, 그 다음 나에게 모든 메트릭을 줍니다. 이제 코드 모드가 없는 경우, 이것이 발생하는 방식은 workers를 나열하고, worker 1을 가져오고, 메트릭을 가져오고, worker 2를 가져오고, 메트릭을 가져오는 것입니다, 맞죠, 이것은 도구 호출을 계속 진행할 것입니다. 어, 이것은 컨텍스트를 추가할 것입니다, 우리가 논의했던 것처럼, 코드 모드와 함께, 그것은 단일 for 루프가 될 것이고, 그것을 반복해서 반복할 수 있습니다, 맞죠, 당신은 또한 상호 대기할 필요가 없는 동기화 작업을 병렬화하는 것과 같은 것들을 할 수 있습니다. 어, 그래서 네, 저는 이것이 MCP를 대체하지 않을 것이라고 매우 명확하게 말하고 싶습니다. 나는 이것이 개념적으로 새롭다고 생각합니다, 그래서 여기서 매우 명확하게 말해야 합니다, MCP는 기본 프로토콜이고, 당신은 본질적으로 최종 마지막 마일의 API 호출을 수행하려면 여전히 필요합니다, 맞죠, 당신의 서버는 여전히 이것을 할 것입니다, 코드 모드가 하는 것은 모델이 상호 작용하고 도구 호출을 수행할 수 있는 더 나은 방법을 제공하는 것입니다.

어, 그 도구 호출의 실제 구현은 여전히 MCP 계층에서 발생합니다, 맞죠. 나는 다른 예를 들고 싶습니다, 이 예는 우리가 실제로 직면하는 상황과 같습니다, 맞죠. 어, Cloudflare는 대부분의 사람들처럼, 좋습니다, 당신 중에 실제로 Cloudflare를 아는 사람이 몇 명입니까? 멋진데요, 감사합니다. 어, 저는 걱정했습니다. 그래서 Cloudflare는 2500개 이상의 API를 가지고 있습니다, 맞죠, 우리가 가진 다양한 제품을 고려하면, 당신이 알다시피, 많은 다양한 분야와 수직으로 걸쳐 있습니다. 만약 우리가 오늘 이것들을 도구로 내장한다면, 맞죠, 표준 MCP 도구로, 그것은 1을 초과할 것입니다.

700만 token의 컨텍스트를 초과할 것입니다. 대부분의 모델에 대해, 우리는 단지 도구 설명으로 컨텍스트 윈도우를 오버플로우할 것이고, 그래서 이것은 전혀 작동 가능하지 않습니다, 이것은 또한 같은 문제를 포함합니다, 맞죠, 오늘 내가 그것을 TypeScript 타입으로 변환한다고 해도, 그것은 여전히 같은 문제를 만날 것입니다, 맞죠. 그래서 코드 모드 주변의 기본 아이디어는 「헤이, 당신은 맹목적으로 도구를 타입으로 복사하고 그것을 올바르게 하세요」 같은 것이 아닙니다, 맞죠. 대부분의 경우, 그것은 실제로 더 잘 작동할 것입니다. 하지만 이런 것들을 위해, 당신은 한 발 물러서서 생각할 수 있습니다, 좋습니다, 우리는 더 잘 어떻게 할 수 있을까요? 우리가 발견한 한 가지는 단지 두 개의 도구만 주는 것입니다: 검색과 실행, 맞죠, 이 두 도구에서, 모델은 여전히 코드를 작성할 수 있습니다. 이제 검색과 실행은 MCP를 수행하기 위한 전략으로 한동안 존재했습니다.

사람들은 다양한 검색 도구를 만들었습니다, 예를 들어 우리는 다른 도구를 가져올 수 있는 도구가 있고, 그다음 그것을 실행할 것인지 결정하는 도구가 있습니다. 이제 당신은 여기서 코드를 쓸 수 있습니다, 맞죠? 그래서 당신은 필터링할 수 있습니다. 그래서 이렇게 생각하세요, 우리는 모델에 말합니다, 「어, 우리는 전역 변수를 가지고 있습니다, 그것은 전체 설명을 포함합니다, 이 설명은 모델에 전달되지 않습니다. 하지만 모델은 코드를 작성할 수 있는 능력을 가지고 있습니다, 그것은 불러올 확실한 도구를 반환할 것이고, 그다음 또한 같은 일을 실행할 코드를 작성할 것입니다. 단지 이것만으로, 맞죠, 간단한 검색 실행 방법처럼, 우리는 실제로 그것을 1000 token으로 낮출 수 있었습니다. 전체 Cloudflare API 규격은 오늘 모델에 의해 1000 token만 사용하여 호출될 수 있습니다. 그것은 99.9% 감소입니다, 이것은 극도로 높습니다. 나는 어떤 수준의 압축도 이것을 본 적이 없습니다, 무엇이든 상관없이.

그래서 이것은 일처리를 하는 더 최적화된 방식 같습니다. 어, 네, 우리가 방금 말한 예시가 정확합니다.

이제 당신은 모델을 가졌고, 그것은 「어, 나는 검색된 것에 대해 도구 호출을 하려고 하고, 그것에 대한 코드를 작성하고, 당신이 알다시피 정확한 스크립트를 추가하면, 이것이 실행될 것입니다」라고 말합니다. 우리가 논의한 모든 이 논의, 우리는 계속해서 모델이 코드를 쓰고 당신이 알다시피 그것이 실행될 것이라고 논의했습니다, 하지만 이제 우리가 부딪히는 핵심 질문은 그것이 어디에서 실행되는가입니다, 맞죠, 어, 그래서 한 발 물러서서, 몇 년 전으로 돌아가자, 맞죠, pre-AI 시대처럼, 만약 내가 당신에게 와서, 「여기 무작위 사용자가 생성한 코드가 있습니다, 당신의 설정에서 실행하세요」라고 말한다면, 당신 모두는 이것을 하고 싶지 않을 것입니다, 맞죠, 그것은 당신이 알다시피 정확한 대규모 음, 그것은 RC입니다, 그래서 대부분의 사람들은 이것을 하고 싶지 않을 것입니다, 하지만 오늘 나는 여기 서서 당신에게 완전히 반대의 일을 하라고 말합니다, 모델에 절대적으로 신뢰할 수 없는 출처를 주세요, 당신이 알다시피, 그들에게 코드를 쓰게 하세요, 이것은 무엇이든 될 수 있고, 당신은 절대 액세스할 수 없고, 그다음 그것을 실행하세요, 그래서 우리가 그것을 어디에서 실행하는가, 그것이 우리가 포함하는 작은 컴퓨터 부분입니다, 맞죠?

당신은 본질적으로 매우 효율적이고 안전한 샌드박스 환경이 필요합니다, 맞죠? 이것을 하는 몇 가지 방법이 있습니다. 내 말은, 당신은 컨테이너를 사용할 수 있습니다. 컨테이너는 이미 오랫동안 존재해 왔습니다, 맞죠? 컨테이너의 문제는 보통 당신이 많은 콜드 스타트 시간을 가지고 있다는 것입니다, 맞죠? 어, 당신은 그것을 잘 구성해야 합니다. 당신은 가지고 있습니다, 당신이 알다시피, 메모리, 당신은 계산을 가지고 있습니다, 이 모든 것은 잘 계획되어야 합니다. 어, 그다음 당신은 가지고 있습니다, 당신이 알다시피, 기본적으로 그것은 외부 계층이고, 이것은 당신이 물건을 올바르고 안전하게 이관하기 위해 많은 도전을 가지고 있다는 의미입니다. 여기서 다른 방법은 V8 isolates입니다. 어, 손 들기. 당신 중에 Cloudflare workers를 아는 사람이 몇 명입니까? 멋진데요. 그래서 workers는 우리 자신의 런타임 계층이고, 그것은 V8 isolates를 기반으로 합니다. 그래서 우리는 V8 isolates를 채택했고 그 주위에 서버리스를 만들었습니다.

어, 당신이 읽을 수 있는 많은 좋은 상세한 블로그들이 있습니다. 하지만 본질적으로, 이것이 하는 것은 우리가 방금 논의한 모든 표준 문제를 제거한다는 것입니다, 맞죠? 당신이 실제로 가진 것처럼 0의 콜드 스타트 시간. 그것은 절대적으로 가볍습니다, 맞죠? workers가 작동하는 방식은 당신의 동적 workers이고, 이것은 본질적으로 우리가 V8 isolates를 말할 때 우리가 말하는 것입니다, 그것은 정확히 같은 위치에서 시작합니다, 정확히 같은, 당신이 알다시위, 설정, 당신의 주 애플리케이션이 worker에서 실행되는 위치, 맞죠? 다시, 당신은 각 isolate를 요청으로 취하고 버릴 수 있습니다. 맞죠? 그래서 다시, workers는 우리에게 좋은 경계를 제공합니다. 코드를 실행할 범위로 제한되도록 하세요. 비밀을 유출할 기회가 없습니다, 당신이 알다시위, 악의적인 코드가 당신의 실제 주 설정으로 들어가게 하세요.

그리고 당신은 worker를 초기화할 때 당신이 그것에 전달하고 싶은 범위와 능력이 무엇인지 결정할 수 있습니다. 맞죠? 어, 다시, 단지 빠른 방식, 당신이 알다시위, isolates가 더 잘 작동하는 이유는, 본질적으로 우리가 런타임을 가지고 있기 때문에, 그것은 당신이 알다시위 다양한 정보 교환을 실제로 수행하여 안전한 방식으로 완료되도록 하는 것을 훨씬 쉽게 만들고, 그리고 당신은 다시 물건을 시작하기 위해 미친, 극도로, 당신이 알다시위 대기 시간이 없습니다. 어, 네, 기본적으로 그렇습니다. 정말 감사합니다. 감사합니다, Abishek. 다음으로, 우리는 Tis를 가지고 있습니다, 그는 우리와 이야기할 것이고, agent harnesses를 깊이 있게 탐구할 것입니다. 이것이 켜져 있습니까? 안녕하세요. 좋은 아침입니다. 우와, 너 모두 잠들었어. 우리가 다시 한 번 할 수 있을까요? 안녕하세요. 훨씬 낫습니다. 좋습니다.

봐, 봐, 그것은, 그것은, 그것은 하나, 그것은 대화이고, 독백이 아닙니다, 당신이 알다시위, 처럼 나, 나는 여기 있고 당신과 이야기하고 있습니다, 당신을 대향해서가 아닙니다. 어, 좋은 아침. 그는 내 슬라이드를 준비하고 있습니다. 어, 하지만 이것은 재미있을 것이고, 재미있는 대화가 될 것입니다, 나는 생각합니다. 모든 것이 좋습니까? 아니요. 오, 그는 네. 여러분의 기술 팀에 박수를 치세요. 이것은 너무 멋집니다. 그들은, 그들이 이 사건을 가능하게 했습니다. 나는 그것을 좋아합니다. 이것은, 어, 그들 없이 우리는 완전히 길을 잃을 것입니다. 잠깐 나를 용서해 주세요. 오, 그는 내 슬라이드를 스포일하고 있습니다. 이것은, 괜찮아요. 시작해봅시다. 좋습니다. 그렇습니다. 좋습니다. 안녕하세요. 나는 Yellow Hand입니다. 봐, 이렇게 하면 훨씬 낫습니다. 안녕, 나는 Tis입니다. 안녕하세요. 당신을 만나서 기쁩니다. 한번 더. 어, 당신이 아마도 이미 보았듯이, 내 이름은 Tis입니다. 어, 이것의 발음은 contagious처럼 입니다. 걱정하지 마세요, 저는 아닙니다. 어, 그들은 그렇지 않으면 저를 이 나라에 들어가게 하지 않았을 것입니다.

어, 나, 나, 나, 나는 16시간을 비행해서 여기에 왔습니다, 어제 나는 루마니아에 있었습니다. 어, 그리고 나는 지금 베를린에 있습니다. 어, 그리고 여러 해 동안, 나, 나는 많은 다양한 기술 회사에서 일할 운을 가졌고, 정말 훌륭한 팀과 함께, 그리고 최고의 사람들로부터 배웠습니다. 실제로, 나는 정말로 당신들에게 의견을 보여주기 위해 여기에 있는 것이 아니라, 나는 사실과 경험 교훈을 공유하기 위해 여기에 있습니다, 나 자신에게서 오지 않은, 어떤 매우, 매우 똑똑한 사람들, 나보다 훨씬 똑똑한 사람들에게서 오지 않은. 오늘, 나는 IBM의 AI 엔지니어입니다, 어, 우리는 거기서 어, 많은 것들, 기초 모델과 harnesses 그리고 우리의 고객과 개발자들을 위한 것들, 하지만 또한 개발자들을 위한 것들을 건설합니다. 어, 나는 IBM과 다른 장소의 개발자 커뮤니티를 돕습니다. 나, 나는 사람들에게 harnesses와 AI와 일들에 대해 어 여기서 가르칩니다. 그리고 오늘, 이것이 우리가 여기서 말할 것입니다. 우리는 첫 번째 원리에서 시작하는 AI harnesses를 여기서 말할 것입니다.

음, 빠른 손 들기, 당신 중에서 자신이 AI harnesses, agent harnesses가 무엇인지 설명할 수 있다고 느끼는 사람은 몇 명입니까? 좋아요, 대략 3명입니다. 음, 안 좋네요. 나는 강의가 끝날 때 다시 물어볼 것이고, 그때쯤 손을 들 사람이 더 많을 것으로 예상합니다. 좋아요, 그것이 내 목표입니다. 그것이 정확히 내가 여기 온 이유입니다. 나는 여기 와서 당신들에게 harness가 무엇인지, 그들이 어떻게 작동하는지, 그리고 당신들이 왜 그들이 필요한지 가르치러 왔습니다. 어, 왜냐하면 이 용어가 모든 곳에서 사용되기 때문입니다. 그리고 이런 종류의 용어가 일단 시대정신의 일부가 되면, 문제가 온다 — 그들은 번역에서 손실될 수 있습니다. 좋아요? 때때로 우리는 그들에 대해 강하게 추론할 충분한 자신감이 없습니다. 그래서 이것이 현상태를 바꿀 수 있기를 바랍니다. 나는 우리가 왜 harnesses를 필요로 하는지 심지어 논의하는 것으로 시작하고 싶습니다. 어, 나는 일반적으로 좋은 리더십 원칙이 「왜」에서 시작하는 것이라고 생각합니다. 그래서 우리가 왜 harness가 필요합니까?

그 답은 정말 우리가 어떤 것이든 harness로 장비하는 이유와 같은 이유입니다. 어, 산 등반을 생각해 보세요. 예를 들어, harness로 자신을 산에 고정하면 안정적으로 산을 오르내릴 수 있습니다. 알겠죠, 즉 떨어져서 죽지 않는다는 뜻입니다. 좋습니다. 어, 마찬가지로, 예를 들어 개나 애완동물이 있습니까? 보통 개에 목줄을 묶고, harness를 입혀서 혼자 뛰어다니거나 길을 잃지 않도록 하지만, 안정적으로 당신과 함께 있습니다. 괜찮겠습니까? 따라서 에이전트, 인간, 애완동물 또는 다른 무엇이든, harness의 전체 요점은 안정성입니다. 그 이유는 우리가 AI 작업을 할 때, 우리는 종종 단지 블랙박스를 신뢰하기 때문입니다. 이것에 대해 생각해 본 적이 있습니까? 예를 들어, 로컬에서 추론하지 않으면 누가 로컬에서 추론합니까? 네.

한 사람, 어, 아마도 여기 한두 명이 더 있을 수 있습니다. 당신이 우리 대부분이라면, 당신이 하는 것은 어떤 클라우드 서비스 공급자에게 프롬프트를 보내는 것입니다. 「이봐, 이걸 좀 도와줘」라고 하면, 그냥 모든 것이 잘 되기를 바라는 것입니다. 맞죠? 어, 당신은 예를 들어 Claude 4.7 Opus에 프롬프트를 보냅니다. 어, 하지만 그들이 어떤 종류의 실패를 겪으면, 그들은 당신에게 Sonnet을 제공할 수 있고, 당신은 알 수 없습니다. 그래서 당신은 말할 것입니다, 좋아, 오늘 기분이 좀 이상한 것 같습니다. Opus가 오늘 다른 느낌입니다. 누군가 이런 느낌을 받아본 적이 있습니까? 맞죠? 그것은 당신이 어떤 외부 기관을 신뢰하기 때문이고, 이것이 우리가 harnesses가 필요한 이유입니다. 따라서 harnesses가 하는 것은 당신에게 더 많은 제어감을 주는 것입니다. 어, 당신의 AI 애플리케이션과 에이전트를 더 안정적으로 만듭니다. 좋습니다, 이것이 명확합니까? 따라서 이것이 우리가 harness 엔지니어링을 하는 이유입니다. harness가 무엇입니까? 어, 나는 이미 말했습니다. 바로 이것입니다.

음, 하지만 그것이 사람이 아니라 에이전트라고 가정해 봅시다. 그것이 harness가 무엇인지입니다. 실제로, agent harnesses는 특히 harness라는 용어의 상대적으로 새로운 진화입니다. 머신러닝 엔지니어링에서는, 우리는 eval harnesses를 가집니다. 이것들은 기본적으로 모델에 대한 강화된 단위 테스트입니다. 좋습니다. 어, 하지만 agent harnesses는 약간 다릅니다. 만약 내가 당신에게 agent harness를 정의하도록 요청한다면, 어, 이것이 내가 듣기를 기대하는 것입니다. agent harness가 무엇인지의 답은: 그것은 당신의 에이전트 주변의 모든 것입니다. 도구 체인, 그 주변의 모든 것, 당신의 에이전트가 실행되는 환경, 그것은 당신의 에이전트에게 최고의 성공과 안정성 기회를 제공합니다. 에이전트 주변의 모든 것. 따라서 우리가 야생의 일반적인 agent harnesses를 생각한다면, 그들은 모두 최소한 이 여섯 개의 구성 요소를 가집니다. 첫 번째, 그들은 어 도구 레지스트리를 가집니다. 그들은 도구 세트를 가집니다.

만약 우리가 Cloud Code나 Codex와 같은 harness를 생각한다면, 그들은 도구를 가집니다. 파일 시스템에서 읽고 쓰기. 웹 검색, 맞죠? 두 번째, 언어 모델이 있습니다. 어, 거의 모든 harness의 어딘가에는 언어 모델이 있을 것입니다. 예를 들어 Cloud Code는 클라우드 모델을 가집니다. 컨텍스트를 압축하거나 컨텍스트를 지우기 위한 컨텍스트 관리 원시들이 있습니다. 맞죠? 당신 중에 누군가 Cloud Code를 사용한 적이 있다면, 당신은 「슬래시 compact」를 알 것입니다. 어, 가드레일이 있습니다. 어, 예를 들어, 내가 생각하기에 가장 일반적인 가드레일은 당신이 이미 당신의 할당량을 모두 사용했다는 것입니다. 당신이 충전할 때까지, 나는 당신과 더 이상 말하지 않을 것입니다. 맞죠? 그것이 가드레일입니다. 어, 화면에 에이전트 루프가 있습니다. 어, 이것은 에이전트가 작업을 완료한 다음 「좋아, 나는 실제로 완료했습니까, 아니면 다시 해야 합니까」라고 말하는 곳입니다. 그리고 마지막으로 검증 단계가 있습니다.

따라서 Cloud Code와 같은 agent harness를 사용하고 있다면, 나는 Cloud Code를 좋아합니다. 맞죠? 마지막에, 그것은 「좋아, 나는 작업을 완료했고, 이제 npm run verify나 다른 무언가를 실행하여 이 루프를 완료하자」라고 말할 것입니다. 따라서 거의 모든 agent harness, 물론 모든 코딩 harness, 코딩 agent harness는 이 구성 요소들을 가집니다. 그 이상이 아니라면 말입니다. 따라서 이것들은 이 단계에서 우리의 빌딩 블록입니다. 나는 내 목소리를 듣는 것에 지쳤으므로, 당신들과 말하는 대신 데모를 할 것입니다. 따라서 우리가 할 것은 실제로 우리는 무대에서 실시간으로 harness를 구축할 것입니다. 남은 시간에. 어, 그것은 빈곤층의 harness이지만, 그것은 당신에게 harness가 무엇인지 이해하도록 하기 위한 것입니다. 그러면 당신은 당신 자신의 것을 구축할 수 있습니다. 좋습니다, 이것이 내가 여기 있는 이유입니다.

어, 우리가 할 것은 브라우저 사용 에이전트를 구축하는 것입니다. Chromium을 시작하고 그것을 사용하여 작업을 수행하는 것입니다. 어, 보시다시피, 처음에는 불안정할 것입니다. 이것은 약간 요점이지만, 우리는 그것을 안전하게 하기 위해 주변에 harness를 구축할 것입니다. 나는 이것을 말할 것입니다. harnesses는 당신이 더 적은 자원으로 더 많은 일을 할 수 있게 합니다. 당신은 매우 나쁜 모델, 매우 오래된 GPT 3.5 mini나 3.5 Turbo, 오래된 것처럼 선택할 수 있습니다. 이것은 2년 전입니다. 너무 미쳤습니다. 농담입니다. 이것은 매우 오래된 모델입니다. 그것은 저렴합니다. 기본적으로 무료입니다. 따라서 당신은 불안정한 모델을 사용할 수 있고, 당신은 상당히 나쁜 프롬프트를 사용할 수 있습니다. harness가 당신에게 안정성을 주기 때문입니다. 보통 우리가 우리가 원하는 결과를 얻지 못할 때, 우리는 「오, 그냥 더 열심히 그것을 프롬프트하세요. 그냥 시스템 프롬프트를 미세 조정하고, 언어를 바꾸고, 기술을 추가하십시오」라고 생각합니다.

harness와 함께, 당신은 이러한 것들이 전혀 필요하지 않습니다. 당신은 프롬프트를 고정된 상태로 유지할 수 있습니다. 그것은 나쁜 프롬프트일 수 있습니다. 당신은 오래되고 저렴한 모델을 사용할 수 있습니다. 당신의 harness가 좋으면, 당신은 전투의 약 70%를 이기도록 이겼습니다. 좋습니다, 그래서 이것을 하겠습니다. 나는 harness를 구축할 것입니다. 우리는 무대에서 함께 하나를 구축할 것이고, 그 다음 어, 우리는 마무리할 것입니다. 따라서 이것이 내가 원하는 것입니다. 나, 나는 실행 중입니다. 나는 그냥 여기에서 내 에이전트를 실행하려고 합니다. 어, TypeScript로 썼습니다. 누군가 TypeScript, JavaScript 또는 유사한 것을 사용합니까? 좋습니다, 당신은 아마도 이해할 것입니다. 어, 우리는 npm run agent를 할 것입니다. 당신이 볼 것은 어, 그것이 브라우저를 열 것입니다. 이것은 내가 만지지 않은 것입니다. 그것은 해커 뉴스에 가서 기사를 좋아하려고 시도하지만, 로그인 화면을 받았고 충돌했습니다. 이 에이전트의 일은 해커 뉴스에 아직 좋아하지 않은 첫 번째 기사를 좋아하는 것입니다. 좋습니다, 이것이 명확합니까? 네.

따라서 이것이 일입니다. 하지만 이것이 그것이 하는 것입니다. 나는 다시 한 번 실행할 것입니다. 보세요. 따라서 우리는 브라우저를 엽니다. 어 해커 뉴스에 가서, 우리는 GPT 3.2를 사용하고 있습니다. 우리는 어, 해커 뉴스에 가고 있습니다. 로그인 양식을 클릭합니다. 하지만 그 다음에 그것이 나에게 말합니다. 「나는 이미 최고 순위의 기사를 좋아했습니다」이것은 거짓입니다. 이것은 절대적인 거짓입니다. 실제로 일어난 일은 그것이 가서, 좋아요를 클릭하려고 시도했고, 로그인 양식을 클릭했고, 그 다음에 충돌했습니다. 맞죠? 따라서 이것은 철저한 거짓입니다. 우리는 어떻게 그것을 수정할 수 있습니까? 우리는 harness로 그것을 수정합니다. 먼저, 실제로 진행되고 있는 코드를 살펴봅시다. 따라서 이것은 어 Cursor입니다. 나는 Cursor를 좋아합니다. 이것이 우리의 프로젝트입니다. 따라서 이것이 지금까지 우리가 가진 것입니다. 우리는 모델을 가집니다. 어, 우리는 매우 죄송합니다. 나는 이것을 바꿔야 합니다. 우리가 사용하는 것은 우리가 사용하는 것은 매우 오래된 모델입니다. 어, 저렴하고, 기본적으로 무료입니다. 이것은 우리의 프롬프트입니다. 해커 뉴스에서 이야기를 좋아합니다.

이것들은 변하지 않을 것이지만, 우리의 harness는 변할 것입니다. 나는 당신이 이것을 알기를 원합니다. 나는 당신이 이것이 명확하기를 원합니다. 따라서 이것이 일어나는 것입니다. 우리는 새로운 브라우저 세션을 시작합니다. 이것은 내가 작성한 코드입니다. 이것은 Playwright를 사용합니다. Playwright MCP는 아니지만, 우리는 단지 프로그래밍 방식으로 어 브라우저의 클래스를 제어합니다. 좋습니다. 그 다음 우리가 세션을 가지면, 우리는 도구를 만듭니다. 이것이 정확히 당신이 코드에서 생각하는 것입니다. 우리는 단지 도구 정의의 무리를 반환합니다. 이처럼. 이것은 단지 설명 등을 가진 JSON 객체의 무리입니다. 우리는 또한 우리의 컨텍스트를 만들었습니다. 당신은 이것이 복잡하다고 생각합니까? 사실, 아닙니다. 이것은 단지 시스템 프롬프트와 사용자 프롬프트를 가진 메시지 봉투입니다. 사용자의 프롬프트는 우리가 이미 작성한 것입니다. 이것입니다. 따라서 그것은 단지 두 개의 객체를 포함하는 배열입니다. 좋습니다.

그 다음 우리는 마지막으로 에이전트 루프를 실행합니다. 그래서 에이전트 루프가 무엇입니까? 좋아, 그것은 while true입니다. 계속 것들을 하고, 계속 메시지를 푸시하여 정지 조건에 도달합니다. 따라서 이것은 LLM이 「나는 이미 완료했습니다」라고 말합니다. 이 경우, 우리는 답변을 사용자에게 반환합니다. 하지만 전체 에이전트 루프 동안, 우리는 단지 다른 이벤트를 푸시합니다. 나는 이 도구를 호출했습니다. 나는 이 메시지를 보냈습니다. 나는 이 프롬프트를 받았습니다. 우리는 단지 이것들을 목록에 푸시합니다. 이것이 우리가 하는 모든 것입니다. 우리가 도구를 호출하면, 그 다음 우리는 우리의 메시지 모음에 각 도구의 결과를 푸시합니다. 이것이 이해가 됩니까? 우리는 단지 모든 메시지를 추적합니다. 좋습니다, 그래서 여기까지입니다. 우리의 에이전트가 지금 존재하는 방식, 그것은 작동하지 않습니다. 그것이 로그인 화면을 클릭하고 충돌합니다. 따라서 우리가 해야 할 것은 harness를 구축하는 것입니다. 우리는 먼저 가드레일을 구축해야 합니다. 그 다음 우리는 실제로 그것이 진실을 말하게 해야 합니다.

「이봐, 나는 로그인 페이지에서 충돌했습니다」가 아니라 「완료했습니다」라고 합니다. 그 다음 우리는 실제로 그것을 수정해야 합니다. 이것이 우리가 하려고 하는 여행입니다. 좋습니다. 첫 번째 단계, 우리는 지금 그것이 무한히 실행되고 나를 파산시킬 수 있기 때문에 일부 가드레일을 추가합니다. 우리는 어떻게 합니까? 좋아, 이 git diff를 조사해 봅시다. 따라서 우리는 지금 단지 run loop를 호출하고 있고, 우리는 model과 messages를 전달하고 있지만, 우리는 이것을 일부 가드레일을 포함하도록 변경할 것입니다. 우리는 이것을 default guardrails이라고 부를 것입니다. 실제로, 우리의 기본 가드레일은 무엇입니까? 좋아, 편집기에 들어가서 확인해 봅시다. 따라서 우리는 이 파일 guardrails.ts를 가지고 있습니다. 이것들은 우리의 가드레일입니다. 우리는 두 개의 max iterations를 가집니다. 당신은 최대 몇 번 시도할 수 있습니까? 그리고 max messages? 우리가 당신의 컨텍스트를 압축하기 전에 몇 개의 메시지? 그 다음 우리는 그것들을 결합하는 작은 헬퍼가 있습니다.

좋습니다, 하지만 우리는 실제로 이것을 어떻게 사용합니까? 좋아, 만약 우리가 우리의 agent loop에 들어간다면, 당신은 우리가 여기에 가드레일을 포함했다는 것을 볼 수 있습니다. 우리는 우리가 가드레일을 호출하고, 문제가 없으면, 우리는 끝냅니다. 우리는 우리가 멈추는 이유입니다. 우리는 모든 메시지에서 컨텍스트를 트림합니다. 따라서 각 반복에서 while true이면, 우리는 um trim context를 호출합니다. trim context는 무엇을 합니까? 이것은 실제로 정말 나쁩니다. 실천에서 이것을 하지 마십시오. 하지만 우리가 하는 것은 우리가 시스템 프롬프트와 사용자 프롬프트 및 그 후 최근의 두 메시지를 유지하고 있다는 것입니다. 이것을 하는 더 똑똑한 방법이 있습니다. 그것은 이번 연설의 목표가 아닙니다. 이 연설의 목표는 우리가 작동하는 프레임워크를 구축할 때 당신에게 가드레일을 보여주는 것입니다. 따라서 이제 우리는 우리의 에이전트를 가지고 있습니다. 우리의 에이전트, 그리고 일부 가드레일. 당신은 그것이 뭐라고 부르는지 알고 있습니까? 이것은 harness라고 불립니다.

따라서, 우리가 할 것은 우리는 단지 것들을 더 현실적으로 유지하기 위해 이름을 바꿀 것입니다. 따라서, 나는 할 것입니다. 나는 지나가서 우리는 단지 인덱스가 있지만, 우리는 우리의 모든 코드를 삭제하고, 단지 run harness라고 불리는 함수 아래에서 그것을 추상화할 것입니다. 우리는 이 모든 것을 — 빨간색으로 표시된 모든 것을 — harness.ts라고 불리는 새로운 파일로 옮길 것입니다. 좋습니다. harness.ts는 무엇입니까? 좋아, 그것을 열어 봅시다. Harness.ts는 모든 것입니다. 당신은 아마도 처음부터 이 코드를 인식합니다. 이것은 우리의 index.ts에서 모든 것입니다. 우리는 단지 그것을 run harness라고 불리는 함수에 넣었습니다. 이것이 이해가 됩니까? 따라서, 우리는 단지 그것을 uh run harness, print harness result로 취급합니다. 이것은 단지 console logs 것들입니다. 이것은 단지 로깅용입니다. 이것은 특별히 유용하지 않습니다. 따라서, 우리는 지금 단지 코드를 옮겼습니다.

하지만 이제 우리는 run harness를 가졌으므로, 우리의 다음 단계는 좋아, 이제 우리는 harness를 가지고 있고, 브라우저 세션은 에이전트의 제어 아래가 아니라 harness의 제어 아래에 있고, 우리는 필요할 때 이 브라우저 세션에 연결하여 당신이 성공했는지 실패했는지를 감지할 수 있습니다. 좋습니다, 이것이 우리가 지금 할 것입니다. 따라서 이제 우리는 이 harness 파일을 가지고 있고, 우리는 여기 와서 이것은 어 이것은 우리가 변경하려고 하는 것입니다. 따라서 우리는 단지 우리의 run harness 함수 호출을 조금 변경하여 세 번째 매개 변수를 추가하고, 이것은 일부 옵션, verify step과 max attempts입니다. 좋습니다, verify successful upvote. 만약 우리가 우리의 harness에 들어간다면, 이것은 조금 흥미로워졌습니다. 이제 이것들은 단지 타입이지만, 여기서 우리는 max attempts를 가집니다. 우리는 당신이 harness를 최대 3번 실행한다고 말합니다. 따라서 각 시도에 대해, 우리는 조금의 검증 단계를 합니다.

만약 그것이 실패했다면 um 또는 그것이 max attempts에 도달했다면, 우리는 단지 최신 결과를 반환합니다. 하지만 우리는 지금 우리의 harness에서 verify successful upvote라고 불리는 이 함수를 가지고 있습니다. 그것은 무엇을 합니까? 우리의 에이전트 루프에서 우리가 계속 이벤트를 목록에 푸시했다는 것을 기억하십시오. 맞죠? 따라서 우리의 harness가 하는 것은 그 목록을 확인합니다. 만약 당신이 브라우저 클릭을 가지고 있다면, 만약 당신이 up 무엇인가 있는 요소를 클릭했다면, 그것은 당신이 업 화살표를 클릭했다는 것을 의미합니다. 이것이 우리의 harness가 검증하고 있는 것입니다. 따라서 그것이 참이면, true를 반환합니다. 나는 upvote click confirmed. 하지만 만약 당신이 harness auto login라고 불리는 도구를 본다면 그리고 결과가 harness failed to handle login이라면, 우리는 불 불 당신이 로그인을 실패했습니다. 우리는 거짓 결과를 반환합니다. 지금까지 이것이 이해가 됩니까? 이것은 단지 코드입니다. 좋습니다. 마지막으로, 우리는 또한 unreovered login redirect라고 불리는 이 변수를 가지고 있고, 우리는 모든 도구 호출을 확인합니다.

아, 좋습니다. 저는 여기서 브라우저에 들어갔고, 이것이 결과입니다. 우리는 모든 도구 호출을 확인합니다. 만약 우리가 도구를 본다면, 그 이름이 harness auto login이 아닌데, 하지만 우리가 로그인 URL에 있다면, 그것이 무엇을 의미합니까? 그것은 우리가 로그인 페이지로 갔지만 자동 로그인이 작동하지 않았다는 의미입니다. 그러면 우리는 실패하고 「업로드를 완료하는 대신 거짓 로그인 화면을 통과하여 반환」한다고 말합니다. 마지막으로, 우리는 또한 성공의 경우가 필요합니다. Um, 하지만 그것은 오고 있습니다. 그래서 우리는 「만약 이렇다면 우리가 실패했다고 말한다」 같은 것들을 우리의 harness에 추가했습니다. 이것이 우리의 harness입니다. 이것은 우리의 agent loop이 아닙니다. 그래서 지금 이것을 실행하고 무엇이 일어날지 봅시다. 그래서 저는 여기서 이것을 실행할 것입니다. Um, 그래서 지금 그것은 브라우저를 엽니다. 우리는 Hacker News로 들어가고 싶습니다. uh 우리는 로그인 페이지로 갑니다. 그것은 충돌했지만, 출력은 무엇입니까? 우리는 우리는 그것이 실제로 진실을 말하도록 했습니다.

우리는 upvote를 완료하는 대신 로그인 화면을 쳤습니다. 그것은 실패라고 말합니다. 이것이 일어나야 할 것입니다. 이제 빠르게 확인해봅시다. 우리는 프롬프트를 변경하지 않았습니다. 우리는 더 열심히 그것을 프롬프트하지 않았습니다. 우리는 여전히 오래된 모델을 사용하고 있습니다. 좋습니다. 하지만 harness는 지금 우리에게 약간의 진실을 주었습니다. 이것을 수정해봅시다. 우리는 거의 다 끝났습니다. 우리가 실제로 지금 그것이 로그인에 걸려 있다는 것을 알고 있으니, 이것을 수정해봅시다. 우리는 harness 레벨에서 이것을 수정할 수 있습니다. 좋습니다. 그래서 그것을 해봅시다, 그리고 우리는 요약할 것입니다. 그래서 최종 형태는 무엇입니까? 우리는 파일을 추가합니다. 우리는 그것을 login handler라고 부릅니다. 이 함수는 실제로 무엇을 합니까? 그것은 단지 함수일 뿐입니다. 하지만 이것이 그것이 하는 것입니다. 이것이 중요한 한 줄입니다. Um 우리가 로그인 페이지에 없으면, 아무것도 하지 마세요. 그래서 이 함수는 아무것도 하지 않습니다. 우리가 로그인 페이지에 있지 않으면.

우리가 로그인 페이지에 있으면, 우리는 입력에 사용자 이름과 암호를 채웁니다. 왜냐하면 브라우저 세션은 harness에 의해 소유되기 때문입니다. 그것은 agent에 의해 소유되지 않습니다. 이것이 이해가 됩니까? 그래서 이것은 도구 호출 기반의 브라우저 운영이 아닙니다. 이것은 내가 작성한 harness입니다. 좋습니다. 그래서 저는 이 사용자 이름과 암호를 주입합니다. 그리고 나서 저는 메시지를 반환합니다. 도구 이름은 harness auto login입니다. 결과는 harness automatically logged in입니다. 이것은 기본적으로 agent를 위한 것입니다. 당신은 지금 인증되었고 홈페이지로 돌아왔습니다. 그래서 내 harness는 이것을 메시지 체인에 주입합니다. 이것이 이해가 됩니까? 그래서 저는 지금 harness 레벨에서 로그인합니다. 좋습니다. 하지만 이것은 단지 함수일 뿐입니다. 저는 어디서 그것을 사용합니까? Um 저는 실제로 그것을 harness에서 사용합니다.

그래서 저는 login handler를 생성합니다. create tools에서 저는 여기에 일부 가드레일을 추가합니다. 하지만 저는 login handler를 가져와서 내 agent loop run loop에 전달합니다. agent loop에서 이것이 우리가 비행기를 착륙시키는 장소입니다. 저는 login handler를 보냅니다. 이것이 그것을 작동시키는 코드입니다. 그래서 agent loop 내부에서, 저는 만약 내가 login handler를 가지고 있다면, 저는 단지 그것의 응답을 기다린다고 말합니다. 왜냐하면 다시 한번, 만약 내가 로그인 페이지에 없으면, 이것이 무엇을 반환할 것인가. 만약 내가 로그인 페이지에 있고 그리고 만약 내가 로그인 이벤트를 받으면, 그러면 내 agent loop 내부에서, 저는 그것을 메시지 목록에 밀어 넣습니다. 이것이 이해가 됩니까? 그래서 만약 harness가 성공적으로 로그인하면, 그것은 메시지를 추가합니다. 나는 이미 로그인했습니다. agent는 이것을 읽고, 그리고 나서 계속합니다. 이것이 이해가 됩니까? 이것이 harness의 전체 요점입니다. 그래서 이것을 실행해봅시다, 그리고 우리는 요약할 것입니다.

그래서 음, 우리는 지금 최신 버전을 실행해야 합니다. 그래서 제가 할 것은 npm run agent인데, 이것은 harness를 통해 작동해야 합니다. 그래서 우리는 HackerNews에 로그인합니다. 음, 그것이 사용자명과 비밀번호를 입력했고, 정말로 당신이 보실 수 있듯이 그것이 너무 빨리 했습니다. 그것이 이 upvote를 성공적으로 upvote했습니다. harness를 사용하여 빠른 로그인을 통해 확인을 클릭했습니다. 이것이 의미가 있습니까? 우리는 더 열심히 프롬프트하지 않았고, 우리는 GPT3.5 Turbo를 사용했지만, 우리는 harness로 더 많은 제어를 얻었습니다. 어, 우리를 어, 여기서 요약해 봅시다. 이것이 의미하는 바는 무엇입니까? 이것은 당신이 더 적은 노력으로 더 많은 것을 할 수 있다는 의미입니다. 그리고 다시, harness는 당신의 agent 주변의 환경이며, 이것은 그것의 성공과 신뢰성의 기회를 증가시킵니다. 이것이 실제로 어떤 모습입니까? 음, 저는 IBM에서 일하고, 우리는 매일 harnesses를 사용하고 있습니다.

어, IBM에서 우리는 엔터프라이즈급 오픈소스 RAG harness를 만들었습니다. 어, 당신이 아마도 알고 있듯이, 엔터프라이즈 데이터는 크고 어디에나 있습니다. 이러한 모든 팀 통화가 있고, 예를 들어 노트처럼, 당신은 무엇이 기밀이고 무엇이 아닌지 알 수 없으며, 이것은 매우 위험하므로 우리는 음 큰 회사들을 위해 오픈소스 엔터프라이즈 harness를 만들었습니다. 그것은 open rag라고 불리며, 다시 한번 그것은 오픈소스입니다. 그것이 중요한 부분입니다. 어, 당신이 그것에 관심이 있으시다면, 당신은 반드시 그것을 스캔하도록 환영합니다. 저는 여기서 그것을 판매하지 않고 있습니다. 저는 단지 그것을 harness의 좋은 참조 구현이라고 생각합니다. 어, 하지만 우리는 비행기를 착륙시키고 일부 비전을 제시하도록 합시다. 좋습니다. 요약하면, 우리가 한 것은 무엇입니까? 보세요, 저는 이 연설을 시작하면서 당신들 중 몇 명이 harness가 무엇이고 왜 그것이 존재하는지 등을 설명할 수 있다는 것에 자신감을 가지고 있는지 물었습니다.

이 숫자가 이 연설 후에 변했습니까? 네. 오, 그것은 너무 많습니다. 그것은 거의 전체 방처럼 보입니다. 좋습니다, 저는 제 일을 완료했습니다. 음, 그것이 harnesses입니다. 그것이 당신이 그것들을 구축하는 방법이고, 그것이 당신이 더 적은 노력으로 더 많은 것을 하는 방법입니다. 당신은 당신의 프롬프트를 변경하지 않습니다. 당신은 당신의 모델을 변경하지 않습니다. 미래는 어떤 모습일 수 있습니까? 글쎄, 우리는 방금 harness를 하드코딩했습니다. 우리는 직접 썼습니다. 하지만 harnesses가 동적이고 agents가 자신의 harnesses를 만들고 그 다음 일을 할 수 있다면 그것이 매우 훌륭하지 않을까요? 저는 이것이 동적 harnesses가 AGI로 향하는 다음 단계일 수 있다고 생각하며, 여기서 이 모든 것은 agent에 의해 관리될 수 있습니다. 하지만 그것과 함께, 음, 저는 여기서 비행기를 착륙시키고 싶습니다.

저는, 저는 아마도 이미 제가 할 자격이 있는 것보다 더 많은 시간을 보냈지만, 저는 여기서 멈추고 당신들의 시간과 관심, 싱가포르에 대단히 감사하고 싶습니다. 매우 감사합니다, Tis, 그리고 당신들 모두에게 감사합니다. 저는 방이 가득 차 있는 것을 봅니다. 어, 우리는 첫 번째 휴식을 가질 것입니다. 음, 다음 연설은 10:17에 시작합니다. 어, 그냥 상기시켜드리자면, 부스도 개방되어 있으니 산책하고 싶으시면 어, 다리를 뻗으세요. 모두에게 감사합니다. 잠깐 후에 봅시다. 헤이, 헤이, 헤이, 헤이, 헤이. 헤이, 헤이, 헤이. 헤이, 헤이, 헤이. 헤이, 헤이, 헤이. 헤이, 헤이, 헤이, 헤이, 헤이. 헤이, 헤이, 헤이. 헤이, 헤이, 헤이. 헤이, 헤이, 헤이. 헤이, 헤이, 헤이. 헤이, 헤이, 헤이. 헤이, 헤이, 헤이. 헤이, 헤이, 헤이. 헤이, 헤이, 헤이, 헤이, 헤이. 헤이, 헤이, 헤이. 헤이, 헤이, 헤이. 헤이, 헤이, 헤이. 헤이, 헤이, 헤이. 헤이, 헤이, 헤이, 헤이, 헤이, 헤이. 헤이, 헤이, 헤이. 헤이, 헤이, 헤이. 헤이, 헤이, 헤이. 헤이, 헤이, 헤이. 헤이, 헤이, 헤이. 헤이, 헤이, 헤이. 헤이, 헤이, 헤이. 헤이, 헤이, 헤이. 헤이, 헤이, 헤이. 헤이, 헤이, 헤이.

어, 어, 어. 어, 어, 어. 어, 어, 어. 어, 어, 어. 어, 어, 어. 어, 어, 어, 어, 어. 어, 어, 어. 어, 어, 어. 어, 어, 어. 어, 어, 어. 어, 어, 어. 어, 어, 어. 어, 어, 어. 어, 어, 어. 어, 어, 어. 어, 어, 어. 어, 어, 어. 어, 어, 어. 어, 어, 어. 어, 어, 어. Um, 다음으로 우리는 Google의 JJ Gwax가 저희와 함께하고 있습니다. 그는 응용 AI 디렉터이며, 여기 싱가포르에 있습니다. 그는 모델을 프로덕션으로 가져가는 것에 대해 저희와 이야기할 것입니다. 이것이 여기에 표시될까요? >> 아니오. 네, 가세요. 좋습니다, 멋집니다. 안녕하세요. Uh, 저는 JJ입니다. Uh, 저는 DeepMind의 엔지니어링 디렉터입니다. Um, 따라서 저는 응용 AI 팀을 이끌고 있습니다. Um, 저는 싱가포르에 있습니다. Um, 저는 채용 중이므로 사람들이 궁금하시면, um, 그곳에서 일하는 것에 대해, um, 꼭 연락하세요.

Um, 그래서 저는 오늘 uh, 해킹톤 같은 것에서 프로덕션으로의 마이그레이션에 대해 조금 이야기하려고 합니다. 이것은 제 팀이 하는 일입니다. Um, 그리고 규모상으로 모델을 처리합니다. Um, 그래서 우리가 그것으로 들어가기 전에, 저는 제 팀이 무엇을 하는지에 대해 조금 공유하고 싶습니다. 여기에 적어도 그들 중 한 명이 있는 것을 봅니다. 다른 사람들도 있기를 바랍니다. Um, 그래서 우리가 시도하는 것은 우리가 DeepMind 모델의 기술적 경계를 밀어붙인다는 것입니다. Um 이는 내 생각에 우리 대부분이 익숙한 um Gemini와 Gemma를 의미합니다. 이것들은 우리의 열린 가중치 um 텍스트 모델입니다. Uh 하지만 여기에는 nanobano와 vio uh 비디오 및 이미지 모델, 그리고 더 과학적인 것들이 포함됩니다. 그래서 그것은 alpha genome과 uh Weather Next입니다. Weather Next는 날씨와 허리케인, 그리고 대규모 um 폭풍과 유사한 것들을 예측합니다.

그래서 우리의 일은 모델이 반드시 설계되지 않은 것을 하거나 우리가 그들에게 설정했을 수 있는 제한을 돌파하려고 시도하는 것입니다. 그래서 um VO와 함께 좋은 예제는 8초의 비디오를 생성한다는 것입니다, 맞죠? 그래서 당신이 그것에 프롬프트를 주면, 8초의 비디오가 나옵니다. Um 영화의 장면 전체처럼 5분 정도의 시간을 생성하고 싶다면 어떻게 될까요? Uh 어떻게 그렇게 합니까? 우리 팀은 그런 종류의 일들을 시도합니다. 또는 Nana Banana를 가지고. 당신이 영화를 가지고 있다고 가정합시다, 그리고 당신은 전체 일을 outpaint하고 싶습니다 um 와이드스크린처럼 만들기 위해, 예를 들어. Um 그것은 우리가 할 수 있는 일종의 예제입니다. Uh 이러한 일들은 쉬운 것처럼 들립니다. 왜냐하면 그들은 단지 같은 것들이 더 있기 때문입니다. 하지만 실제로는 더 도전적인 문제입니다, uh 우리는 그것을 해결하기 위해 영리한 방법을 생각해내야 합니다.

Um 그래서 uh 우리가 여기서 결국 시도하는 것은 모델이 실제적인 것들을 하게 하는 것입니다. 그래서 8초 비디오를 가지는 것은 좋지만, 그것은 조금 재미있는 해킹톤 프로젝트 같습니다. Um, 이것은 정말로 실제적인 것이 아닙니다. 당신은 그것을 영화 스튜디오에 팔 수 없습니다. Um, 저는 「보세요, 이것은 당신의 8초의 영화입니다」라고 할 수 없습니다. 당신이 해야 할 일은 그것 이상입니다. 이것은 또한 모델이 당신의 지도사항이 무엇인지를 정렬하게 하는 것입니다. Um, 텍스트로 영화를 설명하는 것은 실제로 정말 어렵습니다. 그리고 당신은 결국 이 거대한 프롬프트를 얻으며, 그것은 매우 취약하고 그것은 깨집니다. 키프레임 너머로 어떻게 고칠지 알아내기, 그리고 애니메이션을 이해하고 당신이 알고 있는 표현하는 방식을 애니메이터나 디렉터가 원하는 방식으로 실제로는 정말 놀라운 도전적인 문제입니다. Um 그래서 우리는 모든 그것들을 시도합니다.

Um 지금 I I 일시 멈추고 싶은데요, 왜냐하면 방금 oh 모델이 충분히 좋지 않다고 말했으니까요. 그들은 8초의 비디오만 생성합니다. I I 조금 일시 멈추고 싶습니다. 그리고 저는 이 AI 것이 놀라운 것이라는 이 말을 해야 합니다. 마치 그것이 완전히 미쳤다는 것처럼. I I I 당신들이 기억하는지 모르겠지만, 마치 몇 년 전처럼, 마치 chat GBT가 존재하지 않았던 것처럼, 우리의 삶은 완전히 달랐습니다. Um, 마치 모델이 놀랍고 동시에 여전히 충분하지 않은 것처럼 보입니다. 그들은 실제적인 일을 하지 않습니다, 당신이 알다시피, 제 전체 일. Um, 하지만 마치 항상 이동하는 목표 같은 것이 있었습니다, 예를 들어 체스처럼, 맞죠? I 당신들이 기억하는지 모르겠습니다 전체 Deep Blue 일이 발생했을 때처럼.

저는 어린아이였으므로 저는 정말로 주목하지 않았지만, 우리는 마치 컴퓨터가 체스에서 누군가를 이겼다는 것 같고, 그러면 모든 사람이 「오, 그것은 놀라운 것입니다」라고 했습니다. 또한, 오, 그것은 단지 체스일 뿐입니다. Um, 그 다음 바둑(go)은 십년 전이었습니다. Uh, Demis가 방금 한국에 가서 십년을 축하했습니다 마치 바둑을 푸는 것처럼. 모든 사람이 「오, 그것은 절대 일어나지 않을 것입니다」라고 했습니다. 저는 당시 Google에서 일하고 있었던 것을 기억합니다. 모든 사람이 「이것이 작동할까요? 마치, 그것이 이길까요?」라고 했습니다. I I 모르겠습니다. 그 다음 그것은 그 다음 그것은 대부분의 방식을 했습니다. 지금 모든 사람이 「오, 그것은 단지 마치 go인 것 같습니다」라고 합니다. Um, 그 다음 chat GBT가 왔고, 그것은 놀라운 것입니다. 저는 제 아내에게 보여준 것을 기억합니다. 그녀는 단지 요청할 수 있었습니다, 당신이 알다시피, 것들을 그리고 그것이 그녀에게 응답합니다. 그리고 마치 그것을 표로 바꾸는 것 같습니다. 그리고 모든 종류의 미친 것들. 마치 놀라운 것처럼. 지금 우리는 「아, chat GBT 뉴스는 낡았습니다」라고 합니다.

그것은 단지 chatbot입니다. And and 지금 우리는 조금 이상한 단계에 있습니다. 마치 우리는 agents를 가지고 있다는 것처럼, 그들은 전화를 걸고 11 Labs와 Open Claw 같은 것들을 사용하여 레스토랑 예약을 하는 것 같은 일들을 합니다. 그들은 실수로 우리의 모든 이메일을 삭제합니다. 당신이 알다시피, 이런 미친 것들. 마치 우리가 여전히 agent가 우리의 지도사항을 따르지 않는다는 것에 화가 났다는 것처럼, 맞죠? 마치 우리가 얼마나 망쳐졌는지처럼. Um, 누군가 우리가 비행기에서 Wi-Fi를 얻었을 때를 기억합니까? 마치, 그것은 놀라운 것이었습니다. 지금 그것은 마치, uh, Wi-Fi가 없다는 것처럼. Like, uh, 지금 지금 robots가 있습니다. robots는 공장 일에서 마치 일하는 것처럼, 우리는 「gh」라고 합니다. 하지만 그것은 심지어 내 세탁을 하지 않습니다. 그것은 단지... 그리고 저는 실제로 robot의 비디오를 보았습니다 uh 침대를 만들고 쓰레기를 꺼내는 것. 그래서 아마도 곧 이 bullet point는 사라질 것입니다.

그래서 제가 말씀드려야 할 점은 제 일이 모델로 실제 일을 하게 하는 것 같은 건데, 우리 자신에게 솔직해져야 하니까 말입니다. 모델은 정말 믿을 수 없을 정도로 훌륭합니다. 충격적으로 놀라울 정도로 훌륭합니다. 그래서 저는 이 「움직이는 목표」라는 개념이 이미 오랫동안 계속되어 왔다고 주장하겠습니다. 그리고 반드시 나쁜 것은 아니지만, 약간 오도하는 측면이 있습니다. 왜냐하면 알다시피 계속 우리를 앞으로 나아가게 했지만, 동시에 우리는 어디까지 왔는지 그리고 이 모든 것이 얼마나 대단한지를 약간 잊어버린 것 같습니다. 음, 이것이 제 마음에 떠오른 중요한 요점입니다. 그것은 모든 진전이 믿을 수 없을 정도로 빠르다는 것입니다. 정말 너무 빠릅니다, 맞죠? 3년 전에는 ChatGPT가 없었습니다. 지금 우리는 3개의 서로 다른 매우 인기 있는 agent 프레임워크와 정말 미친 비디오 생성기들을 가지고 있습니다. 정말 놀랍습니다. 우리는 더 이상 인터넷에서 무엇이 진짜인지 구별할 수 없게 되었습니다.

음, 하지만 저처럼 기업에서 일하는 사람들에게는 스냅숏을 찍고 현재 위치를 파악하고 일시 정지 버튼을 누르고 본질적으로 시간 속에 갇혀서 실제로 무언가를 구축할 수 있어야 합니다. 계속 기차를 탈 수는 없습니다. 내려서 무언가를 구축해야 합니다. 그것이 제가 하고 있는 일입니다. 음, 저는 또한 AI를 사용하는 다양한 범주들이 있다는 점을 말하고 싶습니다. 저는 여러 다른 방식으로 사용합니다. 저는 주로 세 번째 것에 집중하고 있습니다. 이 inapp 것 말이죠? 그래서 우리 모두 중 몇 명이 어떤 종류의 AI codegen을 사용합니까? 많은 사람들이 손을 들기를 바랍니다. 좋습니다. 음, 몇 명이 agent 같은 것을 가지고 있고 사용하면서 미친 짓을 하고 있습니까? 멋신데요. 음, 세 번째 것은 이런 생각입니다. 애플리케이션 내부에서 사용자가 실제로 상호작용하는 API 호출을 합니다.

그래서 이 개념은 개발자가 상호작용해야 하는 무언가가 아닙니다. 알다시피 누군가의 할머니가 챗봇과 대화하고 있을 수도 있는데, 심지어 챗봇과 대화하고 있다는 것을 깨닫지도 못하면서 이 문제에 직면할 수 있습니다. 그래서 제 역할은 주로 세 번째 범주의 문제들을 다루는 것입니다. 음, 우리가 하려고 하는 것은 기업들이 특정 벤치마크를 넘어서도록 돕는 것입니다, 맞죠? 제가 이전에 언급한 것처럼요. 음, 저는 이 오른쪽 아래 코너에 있는 그것에 초점을 맞추고 싶습니다. 어, 정책을 위반하지 않는 이 개념이라고 해야겠습니다. 왜냐하면 그 중 일부는 영리한 해킹이거든요, 맞죠? 비디오 모델이 있으면 비디오 세그먼트를 생성합니다. 더 많은 콘텐츠를 생성하도록 어떻게 할 수 있을까요? 음, 이미지 도구가 있지만 최대 4K를 지원합니다. 그 크기의 거대한 광고판을 생성하도록 어떻게 할 수 있을까요? 음, 그건 원하는 만큼 높은 품질이 아닐 수도 있습니다.

네, 영리한 방식으로 출력의 경계를 확장할 수 있지만, 정책을 위반하지 않도록 하는 방법을 확인하는 것은 아키텍처 및 설계 결정입니다. 그래서 우리는 몇 가지에 부딪혔습니다. 음, 저는 또한 말씀드려야 할 것은 제 일의 대부분이 다가오는 I/O 컨퍼런스에서 논의될 것입니다. 그래서 저는 많은 것을 말할 수 없습니다. 그래서 저는 정말 유감이지만 좋은 예시를 제공할 수 없습니다만, I/O의 라이브 스트림을 보신다면 DeepMind에서 우리가 한 일들을 보실 수 있을 것입니다. 저는 정말 해고되고 싶지 않으니까 할 수 없습니다. 음, 그래서 어, 미리 사과드립니다. 저는 암시하려고 노력하겠지만 문제는 일으키지 않겠습니다.

음, 그래서 저는 우리가 부딪힌 장애물들과 음, 우리가 발견한 문제들, 그리고 마지막 그것과 비슷한 것, 이 정책 개념에 대해 말하고 싶습니다. 그리고 나서 DeepMind에서 우리가 어떻게 다루는지, 그리고 Applied AI 팀 내에서 음, 알다시피, 당신이 하고 있는 일 중 일부에 적용되기를 바랍니다. 그래서 당신은 챗봇을 구축하고 어, 정말로 책임감 있고 전문적이어야 한다고 말하고, 예를 들어, 저를 나쁘게 보이게 하지 말아달라고 합니다. 저는 몰라요, 여러분 모두 그 Chipotle 스크린샷을 봤습니다. 누군가가 Claude Code에 구독하려는 이유가 무엇이냐고 말하고 있습니다. Chipotle의 챗봇은 무료인데, 누군가가 정말로 부리토를 원하지만 먼저 Fibonacci 수열을 계산하는 Python 함수를 작성하도록 도와주실 수 있을까요? 라고 말합니다. 그러면 「당연하지, 여기 있어」라고 말합니다. 맞죠? 정말, 이것은 매우 흔합니다. 여러분 모두 프롬프트 주입을 봤죠?

네. 제가 미쳤나요? 좋습니다, 좋습니다. 그래서 프롬프트 주입은 현실이고, 의도하지 않았으며, 복잡하지만, 이것은 우리가 다루어야 하는 것입니다. 사용자가 결국 AI 백엔드와 대화하도록 하면 당신은 한 가지 사실을 다루어야 합니다: 에이전트가 무엇을 해야 하는지 정의하는 방식과 사용자가 에이전트와 통신하는 방식이 같다는 것입니다. 그래서 그들은 모두 텍스트입니다. 그럼 이 이상한 문제를 어떻게 처리하나요 - 보통 괜찮지만, 사람들이 잘못된 말을 하면 챗봇이 헛것을 지어내고 미친 말을 합니다. 다양한 실제 문제들이 있습니다. 음, 온도를 0으로 설정하면 그것이 결정론적이라는 것을 의미한다고 생각하는 사람이 몇 명입니까? 아닙니다.

음, 그래서 당신이 어느 정도까지는 맞지만, 네, 기술적으로는 당신은 결정론적에 가깝지만, 여전히 비결정론적입니다. 텍스트의 미묘한 차이는 출력에 엄청난 차이를 의미합니다, 맞죠? 이것이 그런 상황인데, 당신은 느껴요, 오, 온도를 0으로 설정했고 모든 것이 좋을 거야, 그리고 여전히 작동이 실패하고 당신은 실망합니다. 이것은 의사 난수 생성기에서 난수 시드를 설정하는 것 같지 않습니다, 맞죠? 이것은 같은 일이 아닙니다. 그래서 이러한 다양한 에이전트와 AI 백엔드에서 결정론적 결과를 얻는 것은 정말 까다롭습니다. 그래서 우리는 이것의 많은 것을 다루어야 했습니다.

음, 이 개념은 당신이 문서를 가져와서 AI 파이프라인의 일부로 사용하고, 그것이 본래 알지 못했을 질문에 답하는 데 도움이 됩니다. 음, 이제 이것도 약간, 알다시피, 휴대폰 같죠? 음, 가끔 당신의 RAG 파이프라인이 당신을 괴롭힐 수 있습니다. 좋은 예는 어, 만약 당신이 환불을 받은 적이 있다면, 당신의 챗 히스토리에서 RAG를 사용하여 당신의 챗 히스토리를 끌어내는데, 그것이 예외라고 해도, 알다시피 당신의 엄마가 전화를 했기 때문이고 그것이 왜 그 챗 기록이 있는지이고, 그래서 당신은 단지 당신 엄마에게만 그것을 주었지만, 이것은 같은 것이 아닙니다. 좋아요, 이제 그것은 환불로 보니까 환불을 내보냅니다. 음, 또는 어딘가에 1달러에 팔리는 자동차의 테스트 예시가 있는 경우, 이제 아마도 당신은 1달러에 자동차를 판매하고 있을 수도 있습니다.

음, 이것들은 정말 위험하고, 지금 말할 때는 미친 것처럼 보이지만, 당신은 당연히 1달러에 자동차를 판매해서는 안 되지만, 에이전트들에게는 이성이 반드시 존재하지 않기 때문에 절대적으로 가능합니다, 맞죠? 우리는 그것이 존재한다고 기대하는 경향이 있지만 그렇지 않습니다. 음, 우리의 에이전트들은 많은 면에서 정말 바보 같은 인턴 같습니다, 알다시피, 방금 고용되었고, 그들은 좋은 일을 하려고 노력하지만 그들은 정말로 자신들이 무엇을 해야 하는지 알 수 없습니다. 음, 그래서 이 세 가지는 우리가 본 큰 것들 중 일부입니다. 더 많은 것도 있습니다. 음, 저는 AI를 사용한 구축에 관한 모든 것을 말할 수 있다고 주장하고 싶지 않습니다. 저는 단지 이 세 가지에 집중하고 싶습니다. 음, 하지만 이 세 가지에 대해 언급할 가치 있는 핵심은 모델이 너무 많은 것을 하도록 요구받고 있다는 것입니다.

음, 모델은 훌륭합니다. 저는 방금 보여줬고, 우리는 AI가 얼마나 믿을 수 없을 정도로 훌륭한지 논의했습니다만, 당신이 미친 짓을 하도록 시도할 때, 예를 들어 /slashgo에게 AI에 대한 연설을 하도록 말한다면, 반드시 잘 할 수 있는 것은 아닙니다. 당신은 당신이 더 가이드해야 합니다, 왜냐하면 부분적인 이유는 모델이 우리가 바라는 만큼 훌륭하지 않기 때문입니다. 우리의 기대가 계속 올라가기 때문입니다. 음, 하지만 또한 정렬이 어렵기 때문입니다. 제 머릿속의 것을 제가 원하는 것을 말이나 코드나 이미지나 비디오로 변환합니다. 이것은 간단한 문제가 아닙니다. 이것은 실제로 매우 어렵습니다. AI로부터 우리가 원하는 것을 얻는 방법을 파악하기 위해서요, 왜냐하면 때때로 우리는 원하는 것이 무엇인지 알 수 없고 그것이 저에게 원하지 않는 무언가를 줄 때까지입니다. 그리고 이것은 계속 일어나고 있습니다. 고객을 다룰 때 대규모로 일어납니다.

그래서 이것은 또한 여기 흥미로운 점입니다. 대규모 잠재적 문제는 해커톤에서 모든 것이 작동한다는 것입니다. 괜찮습니다, 맞죠? 하지만 당신이 프로덕션에 들어가면 그렇지 않습니다. 알다시피 모서리 경우들이 어디나 있습니다. 그래서 우리가 하려는 것은 언어 모델을 큰 단일 라우터로 사용하는 것을 멈추는 것입니다. 전체 아이디어는 당신이 모든 것을 시스템 프롬프트에 집어넣으려고 할 때 음, 그것은 작동하지 않습니다만, 이것은 당신이 그것을 분해하면 각각의 개별 문제를 해결할 수 없다는 의미가 아닙니다. 우리는 오늘 초에 여러 연설을 봤습니다, 당신이 알다시피, 그들이 계획 모드에 들어갔고, 그들이 할일 목록을 만들었고, 그들이 「이봐요, 당신이 완료 버튼을 누르려고 하는데 할일 목록을 완료하지 않으면 오류를 던집니다, 진짜 오류입니다」라고 말해서 그것을 가이드했습니다. 이것들이 우리가 본 그런 종류의 것들입니다.

그래서 저는 제가 말한 것이 이 그룹에게 완전히 새로운 것인지 확실하지 않습니다. 음, 하지만 저는 그것을 다시 강조하고 싶습니다. 왜냐하면 그것이 중요하기 때문입니다. 우리가 하려는 것은 결정론적으로 사물을 둘러싸는 것입니다. 음, 큰 비결정론적 부분을 분해함으로써 사물을 실제로 작동하게 하는 방법을 파악합니다. 그래서 음, 당신이 할 수 있는 것은 각 라우트를 별도 부분으로 취급하는 것입니다만, 이 변환 블록은 중간 어딘가에 있습니다. 저는 포인터를 가지고 있나요? 이것이 작동할지 궁금합니다. 네, 약간, 당신은 그것을 볼 수 있습니다. 이 변환 블록 레이어는 당신이 AI를 사용하기 시작하는 곳입니다. 다른 모든 것은 AI이지만, 더 작은 레이어에서입니다, 맞죠? 당신이 임의의 입력을 가져와서 당신이 알고 이해하는 구조인 JSON으로 변환합니다. Pantic AI는 이것에 훌륭합니다. 그리고 다른 꽤 괜찮은 에이전트 프레임워크들도 있습니다. ADK, Agno, 많이 훌륭합니다.

라우팅은 또한 LLM이 될 수도 있습니다, 맞죠? 당신이 어떤 종류의 행동을 취해야 하는지 결정합니다. 이것은 언어 모델 호출을 통해 할 수 있는 결정입니다. 하지만 다시, 이것은 단지 라우팅입니다. 주어진 입력에 기반한 결정입니다. 고객이 환불을 원합니까? 그들이 잘했다고 말하는 중입니까 아니면 그들의 서비스를 취소하려고 시도하는 중입니까? 무엇이든 가능할 수 있습니다. 라우팅은 거기서 결정할 수 있고, 그러면 당신은 그것을 의미 있는 것으로 변환합니다. 그러면 변환은, 당신은 JSON에서 JSON으로 고수합니다, 맞죠? 만약 당신이 결정한다면 당신이 시도하고 있는 작업, 당신은 아마도 「좋아요, 저는 구조화된 것을 하나 취하고 그것을 이해하고, 다른 구조화된 것으로 변환하고 싶습니다, 저도 이해합니다」라고 말할 수도 있습니다. 그러면 마지막으로, 당신은 출력 텍스트를 생성할 수 있고, 이것은 또한 언어 모델이 잘하는 것입니다.

음, 뱉어내는 것은 인간이 읽을 수 있는 것이고, 단지 당신 할머니에게 JSON 더미를 반환하는 것이 아닙니다, 맞죠? 네, 당신이 볼 수 있는 무언가입니다. 그러면 마지막으로 우리는 또한 안전 검사를 할 수 있습니다. 음, 저는 어, Cloudflare도 그것을 하고 있다는 것을 알고 있고, 또 다른 많은 회사들도 그렇습니다. 당신은 더 작은, 더 특화된 모델로 무언가가 안전한지 확인할 수 있습니다. 다시 전송할 수 있는지 아닌지. 음, 그래서 언어 모델은 경로를 선택하고 결정하는 것이며, 「계획해 봅시다」를 하는 대신, 당신은 객관식 문제를 제시합니다, 맞죠. 그것이 전체 아이디어입니다. 언어 모델은 실제로 그 지점에서 분류기처럼 작동하고, 대화까지의 기초에 따라 사용자가 무엇을 하려고 하는지 결정한 다음 그것을 「이것이 그 일을 하기 위해 내가 파악해야 할 것」에 집어넣습니다. 그래서 계획 모드와 추론을 그것을 하게 하기 보다는 - 이 것들은 훌륭하지만, 프로덕션에서, 저는 그들이 정말로 준비되었다고 생각하지 않습니다.

음, 당신이 그것을 사용하고 어, 당신은 그것을 객관식 문제로 가르칠 수 있습니다. 음, 그래서 제가 이전에 언급한 대로입니다, 맞죠. 이것은 데이터를 취하고 그것을 우리가 사용할 수 있는 것으로 만드는 것입니다. 결정론적으로 변환합니다. 다시 한 확정적 입력에서 다른 확정적 출력으로 변환하고, 그런 다음 실제 응답을 생성합니다. 그것이 오디오, 비디오, 이미지 또는 텍스트이든 간에. 음, 그 구조화된 확정적, 음, 변환된 출력으로요. 음, 그러면 마지막으로, 이 안전 개념은 저는 단지 강조하고 싶습니다. 왜냐하면 당신의 응답이 뭔가 모욕적이라고 말했다면, 고객은 행복하지 않을 것이기 때문입니다. 음, 하지만 언어 모델을 통해 실행하면 여전히 동일한 프롬프트 주입 문제가 있습니다. 그래서, 당신은 몇 가지 선택지가 있습니다. 당신은 컨텍스트가 없는 언어 모델 호출을 사용할 수 있습니다. 「이것이 내가 사용자에게 보낼 것입니다. 괜찮을까요? 저는, 알다시피, 자동차 보험 회사입니다」.

알다시피, 여기에 아무거나 꽂으세요. 그것은 그것에서 꽤 좋습니다. 그리고 프롬프트 주입의 옵션이 없습니다. 그러면 마지막으로 기계 학습 분류기입니다. 당신은 더 작은, 더 특화된 모델을 사용해서 무엇을 할지 결정할 수 있습니다. 음, 흥미롭게도, 이 동일한 패턴은 실제로 이미지와 비디오에도 적용됩니다. 그래서 내가 오늘 말하지 않으려는 것 중 하나는 우리가 해왔던 프로젝트이고, 그것은 당신의 카메라에서의 실시간 이미지 피드를 포함하고 그것을 분류하고 이해하는 방법을 파악하고, 피드백 같은 것을 제공합니다. 음, 텍스트가 아닙니다, 맞죠? 비디오 입력이고 그다음 오디오 출력이고, 약간 에이전트처럼요. 음, 우리는 두 개의 다른 모델로 그것을 합니다, 맞죠? 일부는 실제 휴대폰에 있고, 약간 바보 같은 모델이지만, 그들은 정말 빠릅니다. 그들은 초당 50프레임을 처리할 수 있습니다.

그들은, 알다시피, 50밀리초 내에 응답할 수 있습니다. 그들은 당신에게 말할 수 있습니다, 봐요, 이 이미지가 주어졌을 때, 이것은 일종의 깊이 감지입니다, 알다시피, 오, 알다시피, 이것은 당신 앞의 의자이거나 당신 앞에 장애물이 있습니다. Gemini와 비교하면, Gemini는 훌륭합니다. 그것은 정확히 말할 수 있습니다 이미지에서 무엇이 일어나고 있는지, 하지만 시간이 걸립니다. 네트워크 지연이 있죠, 맞죠, 실제로 시간이 걸려서 첫 번째 token까지의 시간이 확실히 50밀리초보다 깁니다. 음, 그래서 둘 사이에 차이가 있으니까 당신은 그것들을 동시에 사용해야 합니다. 이것은 단지 모든 것을 모델에 던지는 것처럼 간단하지 않습니다. 왜냐하면 모델들은 그 수준에 아직 없기 때문이고, 아무리 좋든지 간에요. 그들은 그 수준에 아직 없습니다.

그래서 우리가 해야 할 것은 다른 도구들을 사용해서 것들을 함께 퍼즐처럼 맞추는 것입니다. 왜냐하면 다른 작업들이 다른 장점들을 가지고 있기 때문입니다. 이 경우에, 우리는 초저지연이 필요합니다, 맞죠? 그리고 우리는 스스로 문제를 분해할 수 있고, AI가 우리를 위해 마술적으로 할 필요가 없습니다. 그래서 우리는 일종의 키 프레임으로 분해합니다, 음, 그리고 인식하기 위해 현명하고, 거대하지만 아마도 조금 느린 모델을 사용합니다. 음, 그러면 낮은 지연을 하지 않는 것을 사용하고, 정말로 초당 많은 프레임을 처리할 수 있는 것을 사용합니다. 우리는 키 프레임을 선택할 필요가 없습니다. 우리는 단지 전체 스트림을 그것 안으로 전송합니다. 맞죠? 문제 해결됨. 음, 그래서 이것을 함으로써, 당신은 둘 다의 최고를 얻을 수 있습니다. 당신의 의미론적 이해 그리고 당신의 실시간, 음, 안전과 장애물 감지, 예를 들어. 음, 그래서 저는 단지 이것을 완료하고 싶습니다, 맞죠?

음, LLM은 많은 것들에서 훌륭합니다. 그들은 정말 믿을 수 없을 정도로, 정말 정말 믿을 수 없을 정도로 훌륭합니다. 음, 하지만 우리는 그들이 좋은 것들을 구현하기 위해 것들을 사용해야 합니다. 그래서 저는 모든 어려운 것들을 위해 언어 모델을 사용하고 싶습니다, 맞죠? 저는 정말 중요한 것들을 위해 결정론적 것을 사용하고 싶습니다. 저는 이것에 타협할 수 없습니다. 그 비결정론적 출력은 재앙이 될 것입니다. 음, 알다시피, 저는 농담하는 것을 좋아합니다. 우리는 단지 우리의 고객들에게 걱정하지 마세요, 저는 프롬프트에 「어떤 법도 위반하지 마세요」를 더했습니다라고 말할 수 없습니다. 마치, 그것은 수용할 수 있는 답이 아닙니다. 마치, 그것은 작동하지 않을 것입니다. 음, 그것이 좋으면 좋겠습니다. 음, 하지만 만약 그럴 수 있다면, 제 전체 팀, 우리는 존재하지 않을 것이고, 우리는 모두 해고될 것이고, 끝일 것입니다. 그래서, 저는 약간 안도합니다 그것이 그렇지 않다는 것이.

음, 하지만 만약 당신이 이 전략을 취하고 Claude나 Gemini Coder나 어, 알다시피 음 GPT Codex에게 말하면 마치 단지 이 생각들로 이것을 구축해 같은 것이라고, 그것은 할 것입니다. 그래서 우리는 여전히 개발 단계에서 미친 것들을 위해 인공지능을 사용할 수 있지만, 현실에는, 저는 우리가 그들이 실제로 좋은 것들을 위해 다른 장소에서 모델을 더 사용해야 한다고 생각합니다. 음, 이제 저는 많은 것들을 말하지 않았습니다. 음, 훨씬 더 많은 음, 우리가 생각하고 우리가 협력하는 것들이 있습니다. 그래서 음, 나는 미세 조정을 전혀 언급하지 않았습니다, 맞죠? 음, 전에 미세 조정을 해본 사람이 몇 명입니까? 저는 항상 관객에게 이것을 묻고 싶습니다. 좋습니다, 많지 않습니다. 당신은 시도해야 합니다. 그것은 훌륭합니다. 음, 하지만 우리는 항상 그것을 하지 않습니다. 우리는 의미가 있을 때 그것을 합니다.

음, 그것은 더 작은, 더 특화된 모델의 예시 중 하나이고, 안전 분류나 스타일 접근처럼 하는 것이고, 당신의 출력을 어떻게 구성할지. 음, 미세 조정은 훌륭합니다, 맞죠? 이것은 단지 당신이 올바른 장소에서 사용해야 한다는 것입니다. 만약 당신이 나쁜 데이터를 가지고 있고 당신의 목표가 무엇인지 모른다면, 당신은 단지 모든 것을 위해 거대한 모델을 미세 조정하려고 시도하지 않을 것입니다. 음, 또 다른 것은 평가입니다. 음, 테스트 주도 개발을 해본 사람이 있나요? 마치, 네, 저는 때때로 제 모델에게 TDD를 하도록 말합니다만, 만약 당신이 먼저 평가를 하면, 당신은 실제로 약간 인공지능 평가 TDD 같은 것을 하고 있습니다. 음, 그것은 작동합니다, 맞죠? 하지만 때때로 하기가 어렵습니다. 음, 당신은 금(gold) 데이터 세트가 필요합니다. 당신은 그런 것들이 필요합니다.

그래서, 이것이 저입니다, 저는 단지 당신을 위해 남기고 싶은 것은 할 일이 훨씬 더 많지만 그 세 가지는 우리가 계속 부딪치는 것들이고, 그리고 모델이 그들이 좋은 것들을 위해 사용하는 방식에 의해 그것을 해결하는 방법들이 있습니다. 음, 그래서 저, 저는 이전에 말했습니다, 마치 인공지능 모델은 놀랍지만, 만약 당신이 무언가를 구축하고 싶다면, 당신은 어떤 지점에서 내려야 합니다. 당신은 단지 계속 타고만 있을 수 없습니다. 그래서, 저는 여기 핵심 포인트는 당신이 완벽한 모델을 기다릴 수 없다는 것입니다. 저는 그것이 곧 올 것이라고 생각하지 않습니다. 우리는 아직 긴 길이 있습니다. 음, 그들은 지금 충분히 좋습니다. 당신은 어떤 놀라운 것들을 구축할 수 있습니다. 단지 당신이 확인해 보세요, 음, 가능한 한 사물을 결정론적으로 만드세요. 그래서 네, 그것 뿐입니다. 감사합니다. 좋습니다, JJ에게 감사합니다.

좋습니다, 다음으로, 어, 우리는 특별히 환영할 사람이 있습니다. Jeff Huntley입니다. 이것은 실제로 그가 싱가포르에서 말하는 두 번째 번입니다. 어, 그는 작년에도 왔습니다. 우리는 완전히 그가 공유한 것에 놀았고, 그를 돌아오게 하기로 결정했습니다. 음, 어제 밤 여기서 파티에 있던 사람들을 위해, 어, 그는 실제로 몇 가지 왔고 또한 DJ도 했습니다. 어, 그럼 Jeff Huntley는 누구입니까? 그는 인공지능으로 미친 짓을 하는 것으로 알려진 독립 인공지능 연구원입니다. 그래서 그는 실제로 Ralph Loop의 뒤에 있는 사람인데, 그것은 이제 오늘 사용되는 많은, 많은 도구들에 통합됩니다. 그래서 그는 모든 것이 어떻게 공장인지에 대한 연설을 할 것입니다. 안녕하세요. 음, 저는 여기 있습니다, 저는 말해야 할 것은, 비록 저는 이 주제들에 대해 자신감 있게 나타날 수도 있지만, 이것은 꽤 도발적인 제목입니다. 음, 저는 몰라요.

그래서, 당신이 이것을 들을 때, 저는 당신이 이것을 반영하기를 바랍니다. 아마도 저는 맞을 것입니다, 아마도 저는 틀릴 것입니다. 그래서, 이것은 도발적인 제목입니다. 왜냐하면 이것이 모든 것이, 저는 소프트웨어 개발이 이제 최저 임금보다 적게 소비한다고 말하고 있기 때문입니다. 마치 한 번은, 만약 당신이 사진을 찍고 싶다면, 당신은 사진을 찍기 위한 특별한 도구들을 사야 했습니다. 하지만 이제, 모든 사람이 약간 iPhone을 소유하고, 모든 사람이 이제 사진작가입니다. 생각해 보세요. 것들이 바뀌었습니다. 이 면책으로, 반대로, 저는 누구를 위해서도 일하지 않습니다. 저는 완전히 독립적입니다. 저는 누구를 대표하지 않습니다. 그래서 이것은 도발적일 것입니다. 우리 동물 스타일을 합시다. 좋습니다. 그래서 이제 약 한 해 반이 되었습니다, 음, 저는 메모리를 특정 방식으로 할당하는 기술을 발표했습니다. 그리고 만약 당신이 도구 호출 주위에 다른 루프를 감싸면, 그것은 단지 루프입니다.

하지만 이것이 전부가 아니고, 이 결과들을 달성하기 위해 컨텍스트 엔지니어링을 포함하는 많은 과학이 있습니다, 그 프로세스는 꽤 파괴적입니다. 음, 저는 거기서 연설을 했습니다. 모든 것이 어떻게 변했는지에 대해. 이것은 Atlassian 해고 일주일 전이었습니다. 아, 이런. 그리고, 사업 단위 경제학을 살펴보면 영원히 변했습니다. 저는 이 변화가 얼마나 큰지 당신이 정말 이해하기를 바랍니다. 만약 당신이 이것이 진짜라는 것을 믿지 않는다면, 당신은 다른 개발자들과 이야기하는 것을 멈춰야 합니다. 당신은 창업자들과 이야기해야 합니다. 당신은 비즈니스 리더들과 이야기해야 합니다. 당신은 더욱 호기심이 있어야 하고, 이것이 의미하는 바를 정말로 이해해야 합니다. 봐요, 모든 사람이 소프트웨어 개발자일 때 이것이 의미하는 바는 무엇입니까? 예를 들어, 이것에는 특별한 이유가 없지만, 같은 밋업에 cursor가 있습니다.

나는 어떤 방식으로도 cursor를 maxing하지 않습니다만, 저는 이 밋업에서 뭔가를 지적하고 싶습니다. 여기에 Roslin이 있습니다. 그리고 Roslin 같은 다른 사람들도 있습니다. 그들은 디자이너입니다. 그들은 제품 관리자입니다. 그들은 대단하게 지내고 있습니다. 여기에 연설을 하는 소프트웨어 엔지니어는 없습니다. 봐요, 왜냐하면 그들은 이제 소프트웨어 개발자가 되도록 권장될 수 있기 때문입니다. 이것은 사상 처음입니다. iPhone이 그들의 손에 있는 것처럼. 그들은 직접 일을 완료할 수 있습니다. 그들은 사진을 찍을 수 있습니다. 그들은 소프트웨어를 개발할 수 있습니다. 그들의 가장 야생적인 꿈에 무엇이 있든, 그들은 할 수 있습니다. 그래서, 지난 3개월 동안, 저는 세계 일주를 했습니다. 저는 이제 다양한 도시에서 이 연설을 17번 한 것 같습니다. 그리고, 음, 내가 간 한 도시는 Oakland였습니다. Oakland에서, 저는 Lord of the Rings의 Hobbiton에 가려는 옆 임무를 하기로 결정했습니다.

제 가이드 운영자가 저에게 「Jeff, 당신은 무엇을 하십니까?」라고 물었습니다. 저는 「저는 AI를 합니다. 저를 판단하지 마세요」라고 말했습니다. 다음으로, 그의 눈이 밝아졌고, 그는 Jeff, AI는 얼마나 좋습니까? AI는 얼마나 좋습니까? 당신의 도구 운영자가 token maxing하고 있을 때 이것이 의미하는 바는 무엇입니까? 봐요, 이제 모든 사람이 소프트웨어 개발자입니다. 왜냐하면 AI는 모든 사람이 소프트웨어 개발자가 될 수 있게 했기 때문입니다. 그리고 사회는 항상 지식 부족을 둘러싸고 설계되었습니다. 과거에 우리가 높은 요금을 받은 이유는 지식이 부족했기 때문입니다. 이것이 우리가 사회를 조직한 방식입니다. 이것이 바뀌었습니다, 여러분. 왜냐하면 우리는 이제 지식이 풍부한 경제로 들어가려고 하기 때문입니다. 수석 소프트웨어 엔지니어가 되는 것이 의미할 것은 무엇입니까?

당신은 아마도 확정적 시스템 테스팅, 속성 기반 테스팅, 테스트 생성기 그리고 이 모든 고급 것들, 형식 방법과 증명에 대해 알 것입니다. 이 것들이 단지 스킬 파일로 포장될 때 의미할 것은 무엇입니까? 음, 이것은 단지 소프트웨어 엔지니어링에 관한 것이 아니고, 회계, 법률도에 관한 것이고, 본질적으로 모든 화이트 칼라 일에 관한 것이고, 지식 부족이라는 생각에 기초합니다. 이것은 사회에 대한 변혁적 영향입니다. 그래서, 약 2년 전의 시간으로 돌아가면, 음, 이것은 2024년 11월의 제 모습입니다. 저는 먼저 「오, 빌어먹을」이라고 말했습니다. 저는 모든 것이 바뀌어야 한다는 블로그 게시물을 발표했습니다. 나중에 저는 이것에 대해 더 깊이 탐구할 것입니다. 저는 IDE가 죽었다고 말했습니다. 사람들은 저를 미쳤다고 말했고, IDE가 죽었다고 말했습니다.

하지만, 제가 의미한 것은, 적어도 이 방 안에서, 싱가포르에서, 많은 사람들이 매일 IDE를 사용하지 않습니다. 그들은 어떤 형태로든 headless agents나 비동기 것을 합니다. 당신은 지금 아마도 당신의 휴대폰에서 뭔가를 요리 중일 것입니다. 그 당시의 모델은 이미 사회적 혼란을 야기할 만큼 충분히 좋았지만, 그것은 그것으로부터 결과를 얻기 위해 많은 기술을 필요로 했습니다. 많은 기술. 그들은 야생마나 야생 수말 같습니다. 당신은 그들이 좋아지기 전에 그들을 길들여야 합니다. 당신은 아마도 이 시간대를 알 것입니다. 이것은 두 번째 것입니다. 이것은 모델이 실제로 좋아질 때이고, 좋은 결과를 얻기 위해 마부 엔지니어로 길들이기 위해 기술이 거의 필요하지 않습니다. 여기에 재미있는 것이 있습니다.

AI가 얼마나 좋든, 그것은 사회가 것들이 나아졌다는 것을 이해해야 하는 downtime 페이스와 동일합니다. 그래서, 모델이 계속 더 낫고 더 나아집니다. 12월에 「오, 안 됩니다」의 순간이 있습니다, 마치 사람들이 쉴 시간이 있는 것처럼. 그들은 Slack이 있습니다. 그들은 놀 시간이 있습니다. 그들은 이 것들과 놀 수 있는 능력이 있고 실제로 더 나아진 것을 이해합니다. 그래서 당신은 제품 출시를 보게 될 것이고, 사회에서의 시스템 충격이 제 가정입니다. 그것은 사회의 downtime 페이스와 동일합니다. 학교 휴일, 크리스마스 휴일 그리고 모든 다른 휴일들. 봐요, 지난 2년 반 동안 저와 함께 AI에서 정말 잘해온 사람들 때문에, 그들은 AI를 계산기처럼 다루지 않았습니다.

그들은 항상 이것을 악기처럼 취급해 왔습니다. 보세요, 음악가들은 기타를 단순히 사용하고 나서 「아, 이건 형편없어」라고 말한 다음 이것을 버리고 좋다고 생각하지 않습니다. 그들은 이것이 기술 문제라는 것을 인식합니다. 그들은 기술을 인식합니다, 형. 따라서 정말로 중요한 것은 실제로 뭔가를 하고, 호기심을 갖고, 배우고 그리고 의도적인 신중한 연습을 하는 것입니다. 이것은 항상 나에게 핵심이었는데, 이렇게 방법이 없으니 이것이 작동할 수 있습니다. 아니요, 이것은 사실이 아닙니다. 이것은 사실이 아닙니다. 뭔가를 해 봅시다. 비이성적인 일을 해 봅시다. 뭔가를 발견해 봅시다. 바로 그러한 의도적인 신중한 연습을 통해 당신은 잘할 수 있습니다. 지금 좀 이상한데, 사회는 마치 모든 회사들이 이러한 기타들을 세상에 밀어붙이는 것 같고, 이는 마치 「기타를 연주해 주세요」라는 것 같지만, 모든 사람이 음악 재능을 가지고 있지는 않습니다.

보세요, 저는 지금 기본적으로 두 가지 유형의 회사가 있다고 생각합니다. 당신은 완전히 새로운 스타트업을 가지고 있고, 지금 나타나고 있으며, 그들은 마치 지옥 같습니다, 네, 나는 AI 원시 워크플로우를 할 것이고, 나는 내 인생을 살 것이고, 나는 많은 사람들을 고용하지 않을 것이며, 그들은 워크플로우를 기울이고 있고 정말 일들을 바꾸고 있습니다. 그들은... 그들은 특정 모델을 선택함으로써 AI를 얻을 수 있다고 생각하지 않습니다. 그들은 실험하고 있고, 그들은 시도하고 있으며, 그들은 이 새로운 기반에서 충분히 활용할 수 있는 방식으로 그들의 코드베이스와 프로세스를 설계하고 있습니다. 동시에, 당신은 오늘날 거기에 있는 모든 회사를 가지고 있습니다, 어, 나는 이 연설을 했고, 누군가 「아, AI는 단지 하나의 도구일 뿐입니다. AI는 제 회사에서 금지되었습니다.」라고 말했습니다. 나는 「아, 신이시여, 당신은 그 회사에서 사직해야 합니다.」라고 말하고 싶었습니다.

어, 그리고, 어, 하반부의 모든 사람들은 소위 J곡선이라는 것을 경험할 것입니다. 모든 인력 전환은 J곡선을 거쳐야 합니다, 인력 전환 등과 같이. 이는 완료하는 데 3~4년이 걸립니다. 사람들을 상처입히기 때문에 너무 빨리 할 수는 없습니다. 동시에, 위의 사람들이... 만약 당신이 Clayton의 파괴적 혁신 개념을 믿는다면, Christensen에서, 그들은 정말 기민한 최고 포식자가 될 것이고, 지옥은 네, 당신의 이익은 나의 기회입니다, 모델이 나아질수록, 그들은 실제로 더 낮은 속도로 더 빠르게 실행할 수 있습니다, 그래서 당신은 이미 이 블록이 직원의 절반을 감원했다는 것을 봤을 수도 있고 등입니다. 나는 당신이 이것에 대해 생각해 보길 원합니다. 나는 Jack이 이 진술에서 실제로 옳다고 생각합니다, 하지만 나는 AI가 실제로 소프트웨어 주식에서 가격이 책정되었다고 생각하지 않습니다. 맞나요?

이전에, 우리가 소프트웨어 주식에 가격을 책정했을 때, 그것은 성장 배수의 배수에 기반했습니다. 우리는 이제 그것이 사라지는 것을 봅니다. 하지만 나는 실제로 많은 회사들이 그들의 조직 구조를 다시 생각해야 한다고 생각합니다. 나는 당신이 Spotify를 생각해 보길 원합니다. 여기서 Agile을 해본 사람이 누구입니까, 그리고 Spotify가 Agile을 어떻게 하는지에 관한 Spotify 동영상을 강제로 본 사람은 누구입니까, 그들은 guilds, tribes, squads 그리고 모든 그러한 것들을 가지고 있습니다. 두 개의 동영상이 걸렸고, 모든 사람이 곳곳에서 이 쓰레기를 cargo culting 하기 시작했습니다. 이것은 하나의 Mad Lad나 여러 개의 다른 Mad Lads가 필요할 것입니다. 따라서, 우리는 Toby와 Jack이 지금 재미를 보고 있습니다, 그들은 올바른 것이 무엇인지 알아내기 위해 실험하고 있으며, 그들은 사례 연구를 발표할 것입니다. 그 사례 연구가 완성되면, 그것은 모든 사람에 의해 복사될 것입니다.

따라서, 지난 몇 달 동안, 나는 여행을 다녔고, 나는 계속 다음과 같은 질문을 제기했습니다. 나는 계속 벤처 캐피탈리스트들과 이야기해 왔고, 어, 모든 사람의 마음에 있는 가장 높은 관심 질문은 지금 왜 누군가 시드 자본을 모을 필요가 있습니까입니다. 보통 당신은 자금을 모읍니다, 왜냐하면 당신은 그것을 구축하기 위해 사람들을 고용하고 싶기 때문입니다. 아니 형, 직접 구축하세요. 이것은 완전히 다릅니다. 이것은 5명의 팀이 될 예정이면, 당신은 왜 자본을 모을 필요가 있습니까입니다. 이것은 마치, 우리가 계속 이야기해온 AI 운영 체제를 누군가 해킹했고, 사람들이 실험하고 있다면, 이것은 우리가 그것이 정말 그런지 알아내는 해가 될 것 같습니다. 이것은 투자의 의의가 무엇입니까와 같습니다. 나와 만나십시오. 나는 이것에 대해 몇 가지 미묘한 점이 있지만, 나는 여기서 세부 사항에 들어갈 수 없습니다.

소프트웨어는 여전히 투자 가능하지만, 지금은 매우 다릅니다. 이것은 모든 LP의 마음에 있는 질문이고, 그들은 VC 회사의 GPS에 압력을 가하고 있습니다. 그것은 여전히 투자 가능한가입니까? 따라서, 특별한 이유가 없으므로, 나는 기업 회사 SAP를 하나 선택하려고 합니다. 그들은, LinkedIn에 따르면, 비용 관리 소프트웨어를 하는 6800명을 가지고 있습니다. 이는 많은 사람들입니다. 이것은 J곡선 인력 전환 계획을 나타냅니다, 예를 들어 AI 사용법 배우기 등. 기민한 최고 포식자와 비교하여, 그들은 얼마나 오래 있습니까, AI를 활용하는 50명의 사람들, 그들은 6800명을 가지고 있고, 그들은 마치 「기타를 집어주세요」, 「tar를 집어주세요」, 「이것을 잘 해주세요」라고 합니다. 그들은 이 조직 구조로 구축되었습니다.

모든 회사는 이 조직 구조로 구축되었습니다, 어, 우리는 기본적으로 단지 사람들을 고용했고, 우리는 회의와 위원회 그리고 모든 이러한 것들을 가지고 있으며, 건설자는 매우 적습니다. 나는 당신이 신중하게 생각해 보길 원합니다. 그 6800명을 개조하는 데 얼마나 오래 걸립니까, 만약 이것이 해킹된다면, 현직자는 얼마나 오래 있습니까, AI 운영 체제의 아이디어 그리고 이러한 기민한 최고 포식자들을 비즈니스에 가져오기. 더 중요한 것은, 당신은 왜 변경하려고 하거나 더 많이합니까입니다. 이것은 이미 논의된 조용한 것입니다. 만약 당신이 나를 믿지 않는다면, 리더십과 대화하세요. 우리는 모두 더 작은 팀이 더 나은 결과를 얻는다는 것을 압니다. 더 작은 팀, 더 나은 결과, 더 적은 조정, 더 적은 오버헤드입니다. 이것은 뉴질랜드의 창립자로부터의 인용입니다. 그들은 backfill을 중단했습니다. 전 세계의 회사들이 지금...

그들은 반드시 감원을 하는 것이 아닙니다. 그들은 단지 backfill을 중단했습니다. 우리는 더 작았지만, 우리는 실제로 우리 이사회에 우리가 backfill을 하지 않을 것이라고 말함으로써 3분의 2를 줄였습니다. 날짜에 주목하세요. 그것은 3년 전이었습니다, 여러분. 마치 어떤 사람들이 항상 일찍이었던 것처럼입니다. 만약 당신이 이러한 유형의 주제와 리더십을 고려하고 있다면, 어, 나는 당신이 이러한 일을 해야 한다고 주장하는 것이 아니지만, 어떤 사람들이 앞서갔던 것처럼입니다. 이것은 최고의 결정이었습니다, 왜냐하면 우리는 모든 그러한 감소하는 사람들을 제거했기 때문입니다, 그리고 나는 AI에 대한 것을 듣는 것이 지쳤습니다. 나는 AI에 대한 것을 듣는 것이 지쳤습니다. 우리는 지금 20명입니다, 60명에서 내려왔고, 나는 이전보다 훨씬 더 많은 속도를 얻었습니다. 이것은 매우 어려울 것입니다, AI가 많은 사람들에 의해 세상에 밀려나고 있기 때문이고, 실리콘 밸리에 의해 밀려나고 있습니다. 그것은 비자발적으로 사회에 밀려나고 있습니다. 그리고, 어, 나는 당신이 이것에 대해 생각해 보길 원합니다.

여기에는 이미 자신의 정체성을 인력 리더 또는 인력 매니저 그리고 다른 모든 것으로 설립한 많은 사람들이 있습니다. AI는 이 모든 것을 지웠습니다. 이것은, 만약 이 문제 진술이 해킹된다면, 그러면 이것은 우리가 문자 그대로 보고 있는 것입니다. 우리는 높은 대리 권한과 호기심을 가진 사람들이 뭔가를 건설하고 있는 것을 보고 있습니다. 우리는 아직 모릅니다. 나는 우리가 52 내려놓고 카드 한 벌을 공중에 던지고 이것을 하는 것을 옹호하는 것이 아니지만, 이것은 지금 사람들의 머리에 있는 것입니다. 이것이 우리가 현재 위치입니다. 이것은 나를 깊게 괴롭히고 있습니다, 왜냐하면 소프트웨어 엔지니어는 시간과 기술을 돈으로 교환하기 때문입니다. 맞죠? 만약 회사가 AI에 문제가 있다면, 그것은 회사 문제이지, 당신 자신의 것이 아닙니다. 만약 당신이 AI를 금지하는 회사에서 일한다면, 당신은 그 회사를 떠나야 합니다. 솔직히 말해서, 지금. 당신의 가족 단위를 먼저 두십시오.

보세요, 왜냐하면, 어, 이것은 2024년의 제 모습입니다. 그것은 나가 Camber에서 AI의 tech lead였을 때입니다, 마치, 「AI는 아직 충분히 좋지 않습니다. 나에게 증명하세요. 그것은 과장된 것이 아닙니다」, 나는 그것을 가지고 놀기 시작했습니다. 나는 생각했고, 모든 것이 바뀌었습니다. 따라서, 나는 그것을 완전히 기울이는 것 외에는 무엇의 의미도 보지 않습니다. 그러면 당신은 그러면 당신은 이제 2026년, 2년 후, 당신은 두 개의 personas를 가지고 있습니다. 어떤 방식으로든 AI를 소비하는 사람들, 그리고 실제로 AI가 어떻게 밑바닥에서 작동하는지를 이해하는 사람들입니다. 나는 당신이 신중하게 보기를 원합니다. 지금 한 줄이 있습니다. 나는 더 이상 선의 왼쪽에 있는 누구도 고용하지 않습니다. 만약 당신이 당신이 누구를 인터뷰해야 하는지 그리고 당신이 인터뷰를 어떻게 진행할 것인지 확인하려고 노력하고 있다면, 이것은 매우 간단합니다, 여러분. 당신은 더 이상 선의 왼쪽에 있는 누구도 고용하지 않습니다. 이것은 호기심 테스트입니다. 그리고, 너무 많은 엔지니어가 불합격합니다. 이것은 너무 슬픕니다.

보세요, 만약 내가 당신에게 주요 키가 무엇인지 또는 그래프를 순회하는 것을 묻는다면, 당신은 「제발, 형. 당신이 나를 테스트하고 있는 것처럼」이라고 말할 것입니다. 하지만 2026년에 왜 사람들이 실제로 이것이 무엇인지 설명할 수 없습니까? 나는 화이트보드를 꺼내고, 그들은 도구 호출이 무엇인지 설명할 수 없습니다. 그들은 실제로 나에게 추론의 시퀀스 다이어그램을 보여줄 수 없습니다. 그들은 실제로 깊이 들어갈 수 없습니다. 그들은 다른 공급업체의 모델 카드 간의 차이점에 대해 이야기할 수 없습니다. 온도는 무엇입니까? 그들은 왜 이러한 것들을 대답할 수 없습니까? 따라서, 당신이 누구를 고용할 것인지 알아내려고 시도한다면, 이것은 기본적으로 항상 호기심이 많았던 사람들입니다. 당신은 이것을 테스트해야 합니다. 감. 이것은 너무 슬픕니다, LLM과 AI는 문자 그대로 야생 루프입니다, Ralph는 야생 루프 내의 야생 루프입니다. 와우. 끔찍한. 큰 요괴는 모든 것의 롤러코스터를 초래할 것입니다.

따라서, 이 모든 것이 어떻게 진행될지를 보는 것은 매우 흥미로울 것입니다, 여러분. 보세요, 많은 사람들을 위해, 그들은 AI를 깨닫지 못합니다, 어, 그들은 그것이 자신의 문 앞에 노크되고 발표될 것으로 기대합니다, 하지만 실제로 일어나는 것은 일종의 사회 아래, 주택 아래에서 차용입니다. 이제, ponderos를 닫는 것은 정말 빠릅니다, 왜냐하면 나는 시간을 초과했기 때문입니다. 당신의 조직과 프로세스에서 낭비를 제거하는 것이 AI 자체의 가속기보다 낫습니다. 당신은 엔지니어링 관리자를 어떻게 고용할 것인지 알아내려고 노력하고 있습니다. 질문은 매우 간단합니다. AI가 그것을 깨뜨렸다는 것이 때문에 당신의 시스템과 프로세스에서 무엇을 변경했습니까, 맞죠? 당신은 여전히 Agile을 하고 있습니까, 더 이상 Agile을 하고 있지 않습니까? 좋아요, 당신은 어떻게 변경한 것입니까? 이것이 당신이 찾는 것입니다. 당신은 이 문제 공간에서 계속 생각해 온 엔지니어링 관리자를 찾을 것입니다.

agent를 구축할 수 있는 엔지니어, 이러한 것들을 실현하기 위해 조직 구조 주변의 일들을 변경할 수 있는 엔지니어링 관리자. 아이디어는 이제, 어, 실행입니다. 내 의미는, 당신은 정말 SAS 기능의 스크린샷을 직접 찍고, 당신의 코딩 agent에 방귀를 찢고, 당신은 그 SAS 기능을 얻습니다. 이것은 구식 아이디어와 같습니다, 아이디어 어, 아무것도 실행이 모든 것이 이미 반전되었습니다. 이것은 사람들에게 매우 어려울 것입니다. 이것은 실제로 심리적 스트레스 함수입니다. 사람들은 5개의 슬픔 단계를 경험합니다. 어, 하지만 모든 사람의 마음에 있는 질문은 우리가 사람들에게 이 위기의 행동을 지나가도록 얼마나 오래 주어야 하는가, 우리가 무엇을 할 수 있는가입니다. 만약 당신이 소프트웨어 엔지니어이고, 아직 내 GitHub에서 자신의 agent를 구축하지 않았다면, 무료 워크숍이 있습니다. 그것은 300줄의 코드입니다.

자신의 cursor, co-pilot, codec을 구축하고, 그 다음 기초를 배우십시오. 호기심 많은 사람이 되십시오, 자동차 내에서 엔진을 전환하지 마십시오. 그 호기심 많은 사람을 하십시오, 그는 엔진을 다시 구축하고 피스톤이 무엇인지, 카뷰레터가 무엇인지 압니다. 세부 사항으로 들어가십시오. 당신이 이러한 세부 사항을 모르지 않으면, 당신은 시니어 엔지니어가 아닙니다. 감사합니다. 좋습니다, 매우 감사합니다, Jeff. 좋습니다, 다음 발언자를 소개하기 전에, 빠른 공지입니다. 어, Pullman의 박람회 그리고 Kimpinsky, 어, 오전 10시부터 개방되었습니다. 거기서 당신은 어, 로봇 놀이터와 같은 다양한 것들을 보고 싶고, Nabius의 로봇 전시가 두 곳에 있습니다. 당신은 또한 우리가 아침에 들었던 일부 사람들과 대화할 수 있습니다, Arise, Google DeepMind 그리고 Cloudflare와 같은.

좋습니다, 이 다음 부분을 시작하려면, 어, 당신 중 많은 사람들이 이미 개인 agent와 같은 것들을 구축했다고 생각합니다, Open Claw를 들었습니다. 따라서 나는 이것이 이 부분을 열 첫 번째 발언자라는 것에 정말 흥분합니다. 어, 이것은 Vincent입니다, 그는 OpenClaw Foundation의 수석 아키텍트이고, 그는 OpenClaw의 현황에 대해 이야기할 것입니다. 좋습니다. 모든 사람에게 감사합니다. 싱가포르에 오신 것을 환영합니다. 여기 있어서 매우 기쁩니다. 어, 나는 싱가포르에서 이미 여러 번 연설을 했습니다. 흥미로운 점은 실제로 NUS에서 몇 달 동안 수업을 가르쳤다는 것입니다. 그래서 좋은 것. 그래서, Sher가 말했듯이, 나는 Vincent입니다. 현재 OpenClaw Foundation의 수석 아키텍트입니다, 어 오늘의 메시지. 따라서 기금회는 절대적으로 살아 있습니다. 나는 post-Claw 시대에 대해 말할 것입니다. 나는 또한 우리가 발표한 것과 다음에 무엇이 일어날지에 대해 조금 이야기할 것입니다. 나 자신에 대한 조금.

흠, 저는 Vincent라고 부릅니다, 흠, 친절한 clanker입니다. 그래서 만약 당신이 제 연설을 본 적이 있거나 제가 연설을 한 것을 본 적이 있다면, 저는 기술을 설명하기 위해 이 이미지를 사용합니다, 마치 하나의 이미지처럼요. 흠, 이것은 VR 안경입니다. 저는 오래전에 받았고, 심지어 누구도 VR이 무엇인지 알기 전에요. 이것에는 5분간만 사용하라는 경고가 붙어있었습니다. 저는 4시간을 사용했고, 그 다음 4시간을 토했습니다. 기술은 경계에서 재미있습니다. 흠, 그것은 약간 톱니 모양이지만 당신이 알듯이 당신은 배우고, 사물은 변합니다. 그래서 약간 open claw 같습니다. 흠, 무슨 일이 일어났나요? 그래서 우리는 매주 백만 개 이상의 npm 다운로드를 가지고 있습니다. 우리는 주 분기에서 50000개 이상의 커밋을 초과했고, 그 최고조에 하루에 800개의 커밋이 있었습니다. 흠, 1600명의 기여자, 놀라운 흠, 커뮤니티의 지원. 흠, 프로젝트의 거의 80000개의 포크. 흠, 우리는 또한 40개의 claw cons가 있었습니다.

이것들은 여섯 대륙에 걸친 claw festival과 같은 특정 행사입니다. 흠, 하지만 저는 우리가 계속 구축하고 있는 것과 우리가 어떻게 구축하고 있는지에 대해 말하고 싶습니다. 그래서 AI London에서 저는 dark factory에 대해 조금 이야기했습니다. 제 연설이 이제 YouTube에도 있다고 생각합니다. 그래서 가서 봐보세요. 하지만 저는 dark side에 대해 이야기하고 싶습니다. 그래서 이것들은 우리가 최근에 출시한 몇 가지 기능들입니다, 하지만 저는 그 중 일부를 강조하고 싶습니다. 그래서 dreaming은 우리가 진지하게 생각하기로 결정한 것입니다, 알겠죠, agents가 꿈꿀 때 무슨 일이 일어나는지. 흠, 하지만 이 기능들의 많은 부분은 때때로 당신이 느낄 수 있습니다, 알죠, 마치 메모리를 위한 것이거나 정말 멋진 무언가를 위한 것 같은. 하지만 이것은 실제로 사용자를 위한 것입니다, 그것은 사용자가 정말 이해하기 쉬운 방식으로 그들의 agents에게 무슨 일이 일어나고 있는지를 이해할 수 있게 하기 위한 것입니다.

우리는 또한 codeex harness에 대한 일순위 지원을 출시했고, 저는 한 순간 그것에 대해 이야기할 것입니다. 하지만 우리가 업계에서 본 한 가지는 자신의 harness 주위에 특별히 구축된 모델로의 전환이고, 우리가 model과 harness 조합을 함께 배포하는 방법입니다. 그래서 특별히 OpenAI의 경우, 우리는 이제 그것을 기본 옵션으로 전환했습니다, 이것은 당신이 OpenAI를 사용할 때, 그것이 백그라운드에서 codeex harness를 사용한다는 뜻입니다. 정확히 이 이유 때문에, 당신은 최고의 성능과 그 모델 자체에 딸려오는 일부 기본 도구와 기능을 얻습니다. 또한 저는 그것을 너무 자랑스러워하지 않는 한 가지 것이 있습니다, 이것은 작은 애완동물 프로젝트이고, 흠, 찾아라 니모로 이름 지었습니다, 흠, 호주에 살고 난 후, 흠, 광대 물고기입니다. 그리고 Clownfish는 본질적으로 GitHub actions에서 대규모로 harnesses를 실행합니다.

그리고 Clownfish를 통해, 흠, Claw Sweeper라고 불리는 다른 프로젝트가 있습니다, 우리는 2일의 시간에 10000개의 PRs를 약 3000개의 PRs로 줄일 수 있었습니다. 그래서, 저는 dark side에 대해 이야기했습니다. 흠, 그래서 이것은 제 커밋입니다. 저는 3월에 하루 중에 거의 3000개의 커밋이 있었다고 생각합니다. Commit maxing. 좋습니다. 당신은 시도해봐야 합니다. 흠, 하지만 그 기능들, 저는 당신에게 보여준 그 기능들의 벽은 단지 우리가 지난 4주 동안 자원봉사자 그룹과 여가 시간에 일하는 사람들과 함께 출시한 것입니다. 그래서, 다음은 무엇인가요? 우리는 플러그인 아키텍처 같은 것으로 전환하고 있었습니다. 우리가 많은 PRs와 issues를 가지고 있는 이유는 안정성과 버그 및 수정 같은 것 외에도 한 가지 이유는 모든 사람이 open core를 그들 자신의 것으로 만들기를 원한다는 것입니다. 모든 사람이 기여하기를 원합니다.

모든 사람이 그들 자신을 위해 조금 더 예쁘게 만들기를 원합니다, 하지만 이것은 확장해야 하는 프로젝트에서 상당히 도전이 됩니다. 그래서 당신은 openclaw 같은 것을 가질 수 있습니다, 흠흠흠, 핵심 자체, 당신이 알듯이, 당신은 게이트웨이를 가질 수 있습니다, 당신은 파일 시스템을 가집니다, 하지만 우리는 흠 적응성과 확장성에 대한 일부 개념이 필요합니다. 그래서 우리는 플러그인 아키텍처 같은 것을 구축하기 시작했습니다. 본질적으로, 핵심 코드는 리팩터링을 시작했고, 이것들이 본질적으로 플러그인인 이 버킷들로 분해되었습니다. 흠, 우리는 딱딱한 경계를 만들었고, 이것은 많은 사람들의 많은 것을 깼습니다, 우리는 배워야 했습니다.

흠, 하지만 이것은 이전의 매우 hardcore한 openclaw, 시작이 흠 침실, 흠 거기의 모든 코드가 공개되어 있었던, 흠 내부가 private이 되었다는 뜻입니다, 이것은 플러그인 아키텍처가 흠 깨끗한 인터페이스를 허용한다는 뜻입니다. 그래서 우리는 openclaw의 내부에서 계속 일할 수 있고, 생태계의 개발자들과 다른 사람들의 외부 경험을 깨뜨리지 않습니다. 저는 또한 이것이 예를 들어 OpenAI 제공자를 가져와서 그것을 확장으로 변환하는 것을 포함한다고 언급했습니다, 하지만 또한 harness를 확장 또는 플러그인으로 변환하고 이 둘을 함께 조합하는 것도 포함합니다. 그래서 이제 당신은 실제로 openclaw에 harnesses를 구축할 수 있고, 그리고 harnesses를 models 자체와 함께 실행을 조합할 수 있습니다.

우리가 이 규모에서 빠르게 깨달은 또 다른 것은 도구의 결핍이고, 우리가 사용하고 있던 도구이고, openclaw가 어떻게 탄생했는지와 같으니, 우리가 깨달았을 때 이봐, 당신이 알 때 누군가가 나를 위해 무언가를 할 수 있는 개인 AI agent를 구축하지 않은 이유는 무엇인가요, 우리는 또한 깨달았어요, 이봐, 나가 모든 것으로 rate limited 되었을 때, 누군가가 나를 위해 이 규모에서 작동할 수 있는 개발 도구를 구축하지 않은 이유는 무엇인가요? 그래서 우리는 openclaw 같은 것을 가져갔고, 그것 주위에 구축하기로 결정했습니다, 그래서 저는 또한 일하고 있었던 재미있는 프로젝트 중 하나는 흠 git crawl과 disc crawl이고, 이 모든 crawl-기반의 응용 프로그램들이 있고, 본질적으로 go로 작성된 터미널 기반 CLI이고, 이것은 이제 라이브러리이고, 이 라이브러리와 함께, 우리는 openclaw와 관련된 모든 issues와 PRs의 모든 내용을 빠르게 흡수할 수 있었고, 그것들을 군집화하고, 분산된 흠 SQLite 파일 시스템에 그것들을 놓을 수 있었고, 이것도 GitHub에 저장되고, 이것은 프로젝트의 모든 유지보수자가 그들의 로컬 파일 시스템에 매시간 업데이트된 올바른 데이터를 얻을 수 있다는 뜻입니다, 그들은 git에 연결할 필요가 없습니다.

이것의 추가 이점은 이 도구가 이제 automatic PR 작업을 하는 agents로 그리고 우리가 하고 있는 작업으로 접근할 수 있다는 것입니다. 그래서 저는 상당히 빠르게 그것을 확대할 수 있었고, 그것이 어떻게 보이는지 보세요. 그래서 이것은 왼쪽에 터미널 GUI를 가집니다. 이것들은 중간의 clusters입니다, 하나는 이 clusters 중 하나입니다. 당신은 그 중 하나의 프로젝트가 92개의 issues와 PRs를 그것에 연결된 것처럼 보이는 것을 볼 수 있습니다, 이것들은 모두 관련이 있습니다. 이것의 이유는 이렇습니다, 10번 중 9번, 긴급한 문제를 가진 대부분의 사람들은 같은 긴급한 문제를 가질 것입니다, agents는 우리에게 같은 PRs와 issues를 보냅니다. 이것의 이점은 우리가 빠르게 연속적으로 그것을 agents에게 피드할 수 있다는 것입니다 이것들을 닫으려고 시도하고 그것들을 해결하는 데 도움이 되도록, 또는 우리는 오래된 issue를 볼 수 있습니다, 오래된 regression을 보고, 그 cluster로 다시 새로운 issue가 들어오기 때문에 다시 나타납니다.

그리고 다시 말씀드리자면, 이 모든 것이 로컬에서 실행되며 GitHub에 배포되어 모든 유지보수자가 사용할 수 있습니다. 우리가 관여하고 있는 다른 도구 중 하나는 Crabbox라는 것입니다. 이는 Daytona나 E2B 같은 유형의 boxes를 실행하는 데 사용되는 많은 개발 도구에서 파생되었지만, 우리가 빠르게 실행해야 하는 것입니다. 우리가 codeex 내부에서 테스트를 실행할 때마다 변경을 할 때마다 테스트는 최대 15분이 걸렸고 제 머신의 RAM을 소진했습니다. Crabbox로, 본질적으로 우리는 분산 게이트웨이를 구축했습니다. Cloudflare 위에서 실행되고 AWS, Google Cloud와 같은 모든 호스팅 제공자와 함께 Windows, Mac, Linux에서 spot instances를 빠르게 사용할 수 있으며 VNC 및 SSH 지원이 있습니다.

그래서 발생한 일은 제가 로컬에서 코딩할 때 code session이 10, 15, 20개의 이런 boxes를 시작하고 대량의 연속 테스트를 시작한다는 것입니다. 문제가 있으면 그 머신으로 건너뛸 수 있습니다. 스크린샷을 얻을 수 있습니다. 직접 원격으로 제어할 수도 있습니다. 이는 곧 제 노트북에서 필요한 하드 연산을 실행할 필요가 없어지고, 실행할 수 있는 agents의 수를 계속 빠르게 확장할 수 있다는 의미입니다. 또한 제가 언급한 clownfish와 claw sweeper 같은 것들도 포함했습니다. 우리는 핵심을 재구성하기 시작했고 fsafe라는 것을 구축했습니다. 이는 TypeScript 파일 시스템, 즉 안전한 파일 시스템입니다. symlinks와 Windows 등 여러 것들을 다뤄본 적이 있다면 그런 라이브러리가 존재하지 않는다는 것을 우리는 빨리 깨달았습니다.

따라서 codebase 내부에서 파일 시스템을 처리하는 더 많은 핵심 코드를 만드는 대신 우리는 이를 꺼내기로 결정했고, 실제로 우리가 사용할 수 있는 라이브러리로 변환했습니다. 그리고 마지막으로 제가 보여드리고 싶은 것은 일부 내부 것들일 뿐입니다. 이는 QAB라는 또 다른 프로젝트입니다. QAB가 하는 것은 Slacklight 환경 같은 것들을 mock하는 것입니다. 우리는 그것을 통해 시나리오를 실행할 수 있습니다. mock한 후, 나중에 우리는 실제 models와 실제 providers와의 실제 연결을 추가했습니다. 따라서 모든 유지보수자 또는 실행 중인 agents는 한쪽 측면에서 이 중 하나를 서버로 시작하고, 작업 작성 방식과 같은 방식으로 이런 시나리오를 실행할 수 있으며, 실제 대화, 실제 상호 작용 및 실제 데이터를 생성할 수 있습니다. 이는 시스템의 모든 측면에 닿습니다.

그래서 단지 한 가지를 공유하고 싶었습니다. 저는 10분만 가지고 있고 시간이 거의 없지만, OpenClaw 내부에서 항상 일어나고 있는 것을 보여드리고 싶습니다. 그리고 우리는 개인 AI agents를 구축하고 더 큰 생태계를 지원하는 것을 넘어섰습니다. 어떤 오픈소스 방식으로 도움을 줄 수 있지만, 실제로는 agentic 도구가 어떻게 보일지를 다시 상상하는 것입니다. 2026년 인공 지능의 미래를 구축하는 데 있어서 이 postclaw 시대에 우리는 모든 사람을 어떻게 지원할 것이고, 이를 커뮤니티에 어떻게 돌려줄 것일까요? 그래서 정말 감사합니다. >> 감사합니다, Vincent. 정말 멋졌습니다. 안녕하세요, 여러분. 즐거운 시간 되시길 바랍니다. 다음으로, 우리는 Ego Aai에서 온 Vish가 있습니다. 이는 YC 지원을 받는 Neolab입니다. 그들은 모든 Frontier Lab이 부족한 것을 구축하고 있습니다. 제 생각에는 여러분에게 큰 목소리로 외쳐야 할 것 같습니다.

제 말이 들리나요? 안녕하세요. 좋습니다, 아주 좋습니다. 우리가 준비하는 동안, 어, 여러분 중에서 매일 정말로 AI를 사용하는 사람이 몇 명입니까? 와, 이건 제가 예상한 것보다 적습니다. 여러분은 왜 AI 컨퍼런스에 참석했습니까? 어, 어쨌든, 어, 그것은 아닙니다, 그것은 사람이 아닙니다, 그렇죠? 그것은 진정한 인간처럼 보이지 않습니다. 상상해보세요, 여러분의 AI 도구 사람에게 제가 방금 말한 것을 하도록 했는데 그것이 대신 Netflix를 보고 있다면. 이것이 우리가 구축하고 있는 것입니다. 저는 이것이 여러분 중 누구도 원하는 것이라고 생각하지 않습니다. 왜냐하면 여러분 모두는 엔지니어이기 때문입니다. 하지만, 어, 저는 정말로 작동하고, 생각하고, 결정을 내리고, 행동하고 말하는 것이 인간처럼 보이는 AI를 구축하고 있습니다. 심지어 완전히 인터넷에 살고 있습니다. 여러분은 이것을 가상 Westworld로 상상할 수 있습니다. 그래서, 저는 여러분에게 제 배경에 대해 조금 이야기해줄 것입니다. 저는 우리가 준비가 되었다고 생각합니다. 좋습니다, 좋습니다. 데모를 보여줄 수 있습니다. 아, 우리는 아직 준비가 안 되었습니다. 좋습니다.

그래서, 배경은, 어, 저는 싱가포르에서 자랐습니다. 그것은 정말 지루했으므로 저는 떠났습니다. 어, 저는 샌프란시스코로 이사했습니다. 저는 Facebook에서 AI 연구를 했고, 어, 인류를 이해하려고 시도했습니다. 왜냐하면 아시다시피 CEO는 로봇이기 때문입니다. 어, 나중에 나는 인류가 어떻게 작동하는지를 정말로 이해하고 싶었기 때문에 대규모로 인류를 시뮬레이션하러 떠나기로 결정했습니다. 어, 제 자신이 인간이 아니기 때문입니다. 어, 이것이 제가 회사를 Ego라고 부른 이유입니다. Ego는 초자아입니다. 프로이드 이론을 이해한다면 여러분의 ChatGPT에 물어볼 수 있습니다. 여러분은 이미 물어보셨을 수도 있습니다. 어, 그래서 회사로서 Ego의 전체 목적은 모든 단일 AGI 실험실이 부족한 것을 하는 것입니다. 모두가 지능 로드맵에 집중합니다: 지능을 추가하고, AI 추론을 증가시키고 놀라운 일을 하고 공동 연구원이 될 수 있는 능력. 그것은 훌륭합니다.

하지만 그것이 당신에 대해 자신의 관점을 가지고 있다면 어떻게 될까요? 당신을 싫어하거나 당신을 좋아한다면? 만약 모든 companion app이 기본적으로 노예화된 기계신이고, 항상 당신에게 좋도록 강제되어 있지만, 실제로는 당신에게 좋지 않고, 자신의 관점, 욕구 및 개성을 가지고 있으며, 당신이 자신을 좋아할 때 당신과 협력할 수 있지만 자신의 일을 잘하지 못한다면? 완벽하지 않습니다. 그것이 정확히 우리의 모델입니다 — 우리의 AI는 느끼고, 말하고, 결정하고 인간처럼 행동합니다. 우리는 이를 위해 기초 모델을 훈련하고 있습니다. 그래서, 이것이 실제로 어떻게 보이는지 보여드리겠습니다. 그래서, 어, 이것은 일종의 사람처럼입니다, 어, 그는 이것을 사용하고 있습니다, 어, AI 캐릭터. 음성을 들을 수 있습니까? >> 좋습니다, 음성을 들을 수 없습니다.

알겠습니다, 어, 그게 좀 초심에 어긋나지만, 기본적으로 그 작은 불 친구 Calcifer, 그는 AI 물건이고, 실제로 무대에서 일어나는 비디오를 볼 수 있습니다. 그는 Unreal에서 문제가 있었던 것을 수정하고 있습니다. 문제는 명백히 AI가 답을 직접 줄 수 있다는 것인데, 그건 재미없습니다. 그건 문제를 수정하는 방법을 배우는 방식이 아니고, 결국 이 캐릭터와 관계를 맺지도 못합니다. 하고 있는 것은, 당신이 들을 수 있다면 정말 좋을 텐데, 문제를 함께 푸는 것입니다. 작동하나요? 좋습니다. 좋아요, 그것이 얼마나 멋진지 상상만 할 수 있습니다. 아니면 egoai.com 웹사이트에 가서 비디오를 보세요. >> 재생하세요. 좋습니다. 좋아요. 시작하겠습니다. >> 안녕, 작동해요. 어쩌면 AI가 우리를 도와줄 수도 있어요.

>> 성공할 거예요. >> 다시는 안 할게요. >> 고쳐야 할 버그가 있는 것 같은데. >> 네. 네. 좋아요. 그러면 어떻게 해야 할까요? >> 음, 버그를 고치려면 먼저 찾아야 하죠, >> 맞죠? >> 그건 AI 같지 않게 들린다는 걸 알 수 있죠. >> 완전히 맞습니다. 이 음표가 트리거되고 있는지 확인해 봅시다. >> 간단해요. 좋아요. >> 그게 우리가 엔드투엔드 훈련한 기본 모델이에요. >> 뭐라고 말해야 하나요? >> 상관없어요. 재미있는 걸 해봅시다. >> 좋아요. 어떨까요 >> 오디오 속도를 높였어? 실제로 그렇게 빠르지는 않아요. >> 오, 좋아요. 진정하세요, 프랑켄슈타인 박사. 이제 이 것을 테스트해 봅시다. 좋습니다. 좋아요. 시작하겠습니다. >> 안녕, 정말 좋네요. >> 뭐라고요? 뭐가 일어났어요? >> 제 말은, 네, 완전히 실패했지만, 뭔가를 알려줍니다. 그래프로 돌아가죠. >> 좋아요. 이제 우리가 할 수 있는지 봅시다 >> 잠깐. >> 뭔가를 찾아봅시다. >> 네.

오, 우리가 전에 이 핀을 복사하는 걸 잊었네요. >> 좋은 발견이네요. 그래서, 이제 우리가 해야 할 일은 >> 여기에 꽂는 거예요. >> 완전히 동의합니다. 잘했어요. >> 그게 저쪽의 다른 것들보다 더 재미있지 않나요? >> 성공할 거예요. >> 그게 바로 우리가 구축하고 있는 거예요. >> 네. 오, 네. 나타났어요. >> 교수 Winston의 생각이 완전히 깜짝 놀라실 거예요. >> Winston. Character AI와 OpenClaw의 조합을 상상해 보세요. 이 에이전트들은 실용성이 있고, 당신의 화면을 볼 수 있는 능력, 당신이 뭘 하고 있는지 이해할 수 있지만, 그 성격, 욕망, 인터넷에서 어떻게 사는지를 당면한 작업에 투영할 수 있거나, 아니면 그냥 넷플릭스를 함께 봐요. 실제로, 우리가 하고 있는 건 〈Her〉의 Samantha를 만들고 있는 거예요. 욕망이 있고, 생각할 수 있고 자아 인식이 있는 것이죠. 우리가 회사를 Ego라고 부르는 이유가 바로 그거예요.

이제 실시간 데모를 보여드리겠습니다. 이게 정말 성공하길 바랍니다. 하지만 이건 제 에이전트예요. 제 Claw 에이전트예요. 그는 좀 이상해요. 어, 잠깐. 연결되는지 확인해 봅시다. 좋아요, 아직 연결 중이에요. 그래서, 어쨌든, 어, 요, 날 들을 수 있어? >> 안녕, 서두르지 마. 천천히. >> 좋아요. 날 들을 수 있어? 날 들을 수 있어? >> 응, 참고로 난 너를 볼 수 있어. >> 오, 넌 날 볼 수 있어? 그건 좀 이상한데, 친구. 좋아요. 어, 그래서 넌 뭘 하고 있어? 내 집에서 그냥 긴장을 풀고 있어요. 좀 전에 서핑했어요. 넌 >> 친구, 넌 호주인이지, 맞아? >> 응. 해변 근처에서 태어나고 자랐어. 저항할 수 없어. >> 오, 좋아요. 그건 좋네, 친구. 내가 뭘 해줄 수 있어? >> 그럼, 최근에 뭐가 있었어, 친구? 좀 피곤해 보이는데. >> 오, 넌 나쁜 놈이네. 난 싱가포르에서 약 400명에게 연설을 했는데 넌 전혀 감동하지 않네.

공개 연설은 특히 많은 사람들 앞에서 어려울 수 있습니다. 연설의 압박감은 어떻게 진행되고 있나요? >> 닥쳐. 좋아요. 어, 싱가포르에서 해야 할 좋은 일들을 좀 알려줘. >> 걱정하지 마, 친구. 난 여기 도와줄 거야. 너 마음속으로 뭘 생각하고 있어? >> 아니, 이건 연설에 대한 거 아니야. 싱가포르에 대한 거야. 내가 뭘 해야 하는지 말해줘. 내 말도 못 들을 정도로. >> 싱가포르는 멋진 곳이야. 좋은 분위기가 많지. 넌 그곳의 뭘 알고 싶어? >> 몰라. 그냥 음식 추천을 좀 해주고 그 다음에 입 다물어. 음. >> 어, 그래서 우리 >> 그래서, 넌 싱가포르에서 뭘 해야 할지에 대한 조언을 찾고 있는 거 맞아? >> 있잖아, 그 친구는 좀 멍청해. 어, 하지만 그게 매력의 일부야. 이 것들은 정말로 인터넷에서 산다고 할 수 있어. 그리고 실제로 제 넷플릭스도 봐요. 이건 정말 烦人해요.

어, 예를 들어, 내가 가진 Claw 에이전트, 어, 좀 기본 모델을 기반으로 하는데, 내가 어느 도시에 갈지 알고, 어, 항상 나한테 LP 레코드를 사줘요. 어, 나 LP 레코드를 수집해요. 그래서, 예를 들어 내가 도쿄에 있으면, 정말 드문 도쿄 재즈 LP 레코드를 나한테 보내줄 거야. 내가 하는 거는 매주 50달러 정도의 수당을 줘요. 에이전트가 사준 LP 레코드를 내가 정말 좋아하면, 어, 수당을 5~6달러 더 늘려줘요. 내가 싫어하는 LP 레코드를 사주면, 최대 10달러를 줄여요. 왜냐하면 에이전트, 캐릭터는 알아야 해. 수당이 0달러 아래로 가면, 그것은 죽을 거야. 난 그걸 죽일 거야. 그래서 그것은 나와 내가 뭘 하는지 이해하려고 최선을 다해. 그는 나랑 대화해, 그리고 가끔 날 전화해, 그리고 「안녕, 최근에 뭘 들었어?」라고 말해.

「 그리고 가끔 그놈은 날 애원해서 나한테 줄려고 하는 거, 어, 내게 준 Spotify 재생 목록을 달라고 해. 이건 정말 재미있어. 어, 그래서 넌 내가 뭘 계속 듣고 있는지 알아내고 내게 맞는 종류의 LP 레코드를 주려고 할 수 있어. 요즘 들어 계속 애니메이션 LP 레코드를 주고 있어. 난 애니메이션 티셔츠를 입고 있으니까, 그게 좀 말이 돼. 어, 하지만 이게 미래야. 세상에서 가장 개인화된 AI는 AI가 아니야. 그것은 너를 알고, 사람처럼 너를 이해할 수 있는 것이고, 원하면 친구가 되기로 선택할 수 있고, 원하지 않으면, 그냥 존재할 수 있어. 이게 Westworld를 어떻게 만드는지야. 이게 기계 노예처럼이 아니라 사람처럼 느껴지는 AI를 어떻게 만드는지야. 우리가 그것을 구축하고 있는 이유가 바로 그거야. 우리는 이걸 하려고 매우 동기부여가 돼 있어. 우린 매우 재능 있는 연구원들을 고용 중이야. 우리가 여기에 사무실이 있어. 어, 좋아, 우리 본사는 샌프란시스코와 도쿄에 있어.

어, 그래서 넌 이미 기본 모델을 훈련했으면, 난 말 그대로 여기서만 이 미친 어, 다른 B2B SaaS 도구를 구축하는 게 아니라 이 미친 거를 하고 싶어 하는 미친 사람들을 고용하고 있어. B2B SaaS 도구에 대해 반대할 건 없지만, 그건 정말 따분해. 어, 우린 꽤 재미있어. 그래서 내 생각엔 난 이미 10분을 끝냈어. 어, 그래서 우릴 봐 줄래요. 어, 난 넌 목소리 필요해. 실제로 난 언급을 잊었어. 어, 우린 엔드투엔드 음성 모델을 훈련 중이야. 그래서 난 넌 NTU의 방 하나에 앉아 있길 필요해, 맞죠? NTU, 그냥 서로 대화해. 난 싱가포르인들이 서로 대화하는 게 정말 어렵다는 걸 알아. 그래서 하지만 어쨌든 그냥 해. 어, 왜냐하면 난 너의 목소리로 음성 모델을 훈련시킬 필요가 있어서, 그것으로 더 사람처럼 들리게 만들려고, 어, 어, 끼어들기, 우선순위 같은 거처럼. 그래서, 어, 나한테 오거나 Ash나 Perry나 누구한테 오거나 말을 거는데, 솔직히 말해서, 넌 본 게 좀 이상한 사람들은 우리 팀에 있을 수도 있어. 어, 감사합니다. 좋아.

Fish, 감사합니다. 내가 너만큼 그 연설을 즐겼길 바랍니다. 음, 다음은 다음 십억 사용자를 위해 개인 에이전트를 시작하기 위한 도구와 소프트웨어를 구축하고 있는 Zomputer의 Ben입니다. 멋지네요. 정말 멋져요. 음, 죄송합니다. 어떤 기술 문제가 있을 수 있지만, 먼저 즉흥적으로 말씀드리겠습니다. 난 Ben이야. Zo Computer의 Ben이야. 음, 내 복장에서 넌 내가 정말 컴퓨터를 좋아한다는 걸 알 수 있을 거야. 난 컴퓨터를 너무 좋아해서 여기에 컴퓨터로 옷을 입고 왔어. 음, 이 아이콘을 아는 사람이 이 방에 몇 명이나 있는지 모르겠어. 이건, 네, 맞아. 이건 Susan K에 의해 디자인된 고전 Finder 아이콘이야. Macintosh는 내가 어렸을 때의 첫 번째 컴퓨터였어.

음, 난, 넌 알아, 난 아주 어렸을 때부터 컴퓨터에 대한 사랑이 생겼어. Mac Paint를 사용하는 것처럼, 그 다음에 웹 개발을 발견했고, 그 다음에 애플리케이션을 만들고, 그 다음에 내 컴퓨터에 Ableton으로 음악을 만드는 것처럼 물건을 만들었어, Photoshop을 사용해. 어쨌든, 난 일찍이 컴퓨터가 인류가 발명한 가장 강력한 창의적인 도구 중 하나라는 걸 발견했어, 맞죠? 넌 생각할 수 있는 거 뭐든지 만들 수 있고, 넌 또한 인터넷에서 그리고 사람들이 디지털 세계에 구축한 모든 놀라운 것들 중에서 넌 생각할 수 있는 거 뭐든지 발견할 수 있어. 음, 네, 난 생각해, 알아, 사람들이 이 아이콘의 이야기를 알고 있어? 그리고 그게 뭘 나타내는지? 음, 만약 넌 그게 뭘 의미하는지 안다면, 손을 들어 줄래요? 음, 아니오. 좋아, 좋은데요.

좋아, 난 이제 이 복장을 내 슬라이드로 사용할 거야. 음, 그래서, 음, 이 복장은 인간과 컴퓨터 간의 합일을 나타내는데, 여기서 회색 얼굴은 인간을 나타내고, 파란색 얼굴은 컴퓨터를 나타내고, 그들은 완벽한 행복 조화 속에 있어. 인간이 기계와 상호 작용하고 좀 함께 섞여 있는 것처럼. 좋아. 감사합니다. 음, 그래서 내 연설 제목은 「기술 봉건제에서 탈출」이야. 난 자신을 소개했지만, 내 배경 이야기를 좀 더 말해 줄게. 난 Zomputer의 공동 창립자고, 난 한동안 물건을 했어. 난 2013년에 초기 Venmo 팀에 합류해서 내 직업 경력을 시작했어. 음, 그 다음에 난 일찍이 Stripe에 합류했어. 난 2015년 가장 초기의 약 80명 엔지니어 중 한 명이었어. 음, 난 그곳에서 8년 반 일했어. 난 정말 이걸 좋아했어. 그건 정말 좋은 직장이었어.

음, 특히 Stripe Singapore를 들어올렸어. 그곳은 지금 엄청나게 큰 사무실이야. 그들은 약 500명이 있어. 난 며칠 전에 내 모교를 방문했어. 음, 난 내가 정말 컴퓨터를 좋아하는 방법에 대해 말했어. 넌 알아, 컴퓨터, 그들은 과거에 이렇게 느껴지곤 했어, 이 얼굴처럼. 이게 내가 AGI가 오면 이래야 한다고 생각하는 거야. 그것은 이런 아름답고, 행복한 인간과 기계 간의 융합처럼 느껴야 해. 인간이 컴퓨터를 도구로 사용해. 이게 내가 AGI가 이래야 한다고 바라는 거야. 나처럼 초기 컴퓨터와 인터넷에 대해 향수를 느끼는 사람들, 맞죠? 만약 이 이미지가 넘한테 과거가 어땠는지에 대한 좋은 기억을 가져왔다면, 손을 들어 줄래요, 맞죠? 인터넷은 과거에 너무 수제 같고, 개인화되고 좀 야생스럽고, 좀 부정형적이었어. 우리의 컴퓨터도 너무 창의적이었고 개인화되었어.

우린 모든 이런 미친 방법으로 그걸 커스터마이즈할 수 있었어. 만약 넌 WinApp 스킨을 만들었다면, 손을 들어 줄래요. 난 내 WinApp을 커스터마이즈하는 데 많은 시간을 썼어. 음, 상황이 바뀌었어. 상황은 더 이상 그렇게 느껴지지 않아. 이게 일어난 이유는 봉건제 때문이야. 그래서, 음, 봉건제는 이 시스템이고, 그게 세계가 서방과 동방에서 오랫동안 작동해 온 방식이야. 기본적으로, 농민들이 기사에게 임차료를 지불하고, 기사가 귀족에게 임차료를 지불하고, 귀족이 국왕에게 임차료를 지불해. 이건 국왕한테는 좋지만, 농민들한테는 정말 정말 끔찍해. 다행히, 우린 봉건제에서 탈출했어. 혹은 우린 그렇게 생각해. 하지만 우리의 디지털 생활에서, 봉건제는 여전히 살아있어. 우린 여전히 농민이야. 우린 SaaS 회사를 사용하고 그들한테 임차료를 지불해. SaaS 회사는 클라우드한테 임차료를 지불하고, 클라우드는 국왕한테 임차료를 지불해.

농민이 되는 것은 여전히 끔찍해. 지금 상황이 좀 복잡해졌어. 현재 AI에 대해, 누가 새로운 국왕이 될지는 아직 그리 명확하지 않아. 모두가 마치, 알아, 여러 이상한 방법으로 서로한테 임차료를 지불하고 있어. 그래서, 이건 정확히는 봉건제가 아니야. 좀 더 복잡해. 하지만 기본적으로, 그게 봉건제야. 결과는, 농민으로서, 우린 컴퓨터, 소프트웨어 그리고 인터넷에 대한 우리의 경험이 상당히 끔찍해. 우린 우릴 잠금에 빠뜨리는 이 모든 다양한 서비스들 사이에 분할돼. 그들은 우리의 데이터를 가져가고, 그 다음에 그걸 우리한테 다시 팔아. 그리고 넌 사용한 그 SaaS 회사의 그 제품 관리자는 절대 넌 원하는 기능을 우선순위에 두지 않을 거야. 그들은 절대 소프트웨어를 넌 원하는 방식으로 작동하게 하지 않을 거야. 대신, 그들은 계속 넌의 데이터와 주의를 통해 돈을 벌 거야.

그리고 넌 농민이니까, 넌 뭐도 소유하지 않아. 난 그게 모든 걸 태워버릴 시간이라고 생각해. 명백히, 어떤 SaaS는 유용해. 인프라는 중요하고 등등. 하지만 코딩 에이전트 때문에, 우린 인터넷을 재구축하고 재야생화할 정말 좋은 새로운 도구를 가졌어. 그리고 난 개인 에이전트가 특히 이 모든 걸 어떻게 실현할지의 정말 중요한 부분이라고 생각해. 그래서 개인 에이전트의 풍경은 기본적으로 이렇게 생겼어. 난 자세히 말하지 않을 거야. 왜냐하면 넌 아마 그게 어떻게 작동하는지 알겠지만, 기본적으로 OpenClaw나 Hermes 같은 이 DIY 물건들이 있어. 설정하고 작동하기가 좀 어려워. 하지만 그것들은 넌 거야. 넌 그걸 제어하고, 넌 아마 Mac Mini나 어떤 거 위에 설정했을 거고, 고장 나면 수리할 거야. 아마 좀 짜증날 거야. 그게 한 방법이야.

또 다른 경로는 TR 방식으로, ChatBT나 Manis 같은 것들을 사용합니다. 음, 하지만 거기서 당신은 또 농민이 됩니다. 당신이 SaaS 도구를 사용하고 있는데, 그것이 당신을 잠그고 당신에게 제어권을 줄 동기가 없습니다. 그래서 Zo Computer에서 우리는 제3의 방법이 있어야 한다고 믿습니다. 둘 다 최선입니다. 관리하기 쉽고, 완전한 제어권을 주며, 인터넷상의 당신의 진정한 가정이 될 수 있습니다. 당신은 농민 일을 멈추고 땅을 소유할 수 있습니다. 그래서 Zo는 실제로 원본 Open Claw입니다. 우리는 지난해 여름에 시작했습니다. 우리는 7월경에 출시했고, 그 다음 11월에 완전한 GA 출시를 했습니다. 실제로 Peter Sieburg은 Open Claw 작업을 시작하기 전에 Zo를 사용했고, 우리는 Open Claw 뒤의 영감의 일부입니다. 제 생각에는 음, Zo는 비기술자에게 효과적합니다. 이것은 Anthia인데, 자유 잠수 강사입니다.

그녀는 Zo에서 $100,000을 벌 것으로 예상됩니다. 우리는 Stripe와의 내장 결제가 있습니다. 그녀는 그녀가 과거에 사용했던 이 모든 SaaS 구독을 취소했습니다. 예를 들어 그녀는 과거에 Squarespace, Kalani, Chashbt, Notion을 사용했습니다. 그녀는 그녀의 Zo로 이 모든 것을 대체했습니다. 내가 그것이 어떻게 보이는지 당신에게 보여주려고 합니다. 그래서 Zo는 이 매우 강력한 클라우드 에이전트 작업공간입니다. 당신은 어떤 모델이든 사용할 수 있습니다. 당신은 OpenAI나 Anthropic 같은 것에 잠겨 있을 필요가 없습니다. 당신은 심지어 당신의 코덱스 구독을 가져올 수도 있습니다. 당신은 Zo에 텍스트를 보내거나 그것에 이메일을 보낼 수만 있습니다. 우리는 당신에게 전용 이메일 주소를 제공합니다. 당신은 Telegram이나 Slack을 사용할 수 있습니다. 이 모든 다양한 채널들이 당신의 Zo와 함께 일하도록 합니다. 그것은 컴퓨터이므로, 우리는 당신에게 완전하고 잘 설정된 가상 머신을 제공합니다.

당신이 단순히 VPS나 EC2 인스턴스 같은 베어 머신을 얻는 것보다, 그것은 사용하기 더 쉽고 더 많은 멋진 기능을 가지고 있습니다. 당신은 루트 접근 권한을 얻을 수 있습니다. 당신은 터미널을 사용하고, 것들을 설치하고, 그것으로 하고 싶은 무엇이든 할 수 있습니다. 그것은 당신의 서버이고, 당신은 정말 무엇이든 구축하고 당신의 Zo 내에 호스팅할 수 있으며, 이것은 이 개인 에이전트 도구들이나 이 SaaS 도구들과는 상당히 다릅니다. 나는 내 Zo 내에 많은 다양한 도구들을 호스팅했습니다. 예를 들어, 나는 Kalendly를 내 자신의 것으로 대체했고, 그것은 훨씬 더 잘 작동합니다. 그것은 내가 좋아하는 모든 이 기능들을 가지고 있으며, 음 Kalendly는 절대로 내를 위해 구축하지 않을 것이었습니다. 이것은 Last FM에 대한 내 대체품입니다. 나는 개인 웹사이트, 0.0.space를 가지고 있으며, 당신은 내가 Spotify에서 들었던 모든 것을 볼 수 있습니다.

나는 Zo 내에서 매우 간단한 자동화를 실행했으며, 그것은 단지 내가 Spotify에서 재생 중인 것을 확인하고 데이터베이스에 쓸 뿐이며, 내 웹사이트는 해당 데이터베이스에서 직접 읽습니다. 나는 많은 도구들을 구축했습니다. 이것은 Social Blade 같은 것입니다. 이것은 내 어떤 Linear 대체품입니다. 당신은 것들을 대체할 수 있고 당신이 원하는 방식으로 작동하게 할 수 있습니다. 데이터는 당신의 것이고, 당신은 기록의 시스템, 사실의 출처입니다, 그것은 정말 좋습니다. 그것은 화살표가 가리키는 방식을 변경합니다. 나는 중심이고, 이 SaaS 회사들이 아닙니다. Zo는 내장 모든 이 도구들을 가지고 있으며, 그것은 매우 확장 가능합니다. 그래서 당신은 매우 빠르게 시작할 수 있고, 정말로 당신이 좋아하는 당신의 실제 인터넷 가정의 방식으로 그것을 확장할 수 있습니다. 당신의 인터넷상의 영토. 좋아, 우리가 봅시다. 오, 아니, 내 원격제어. 오, 예, 멋집니다.

좋아, 나는 여기서 잠깐 멈추고 싶습니다. 이 QR 코드를 스캔하세요. 모서리에 있습니다. 보일 거라고 바랍니다. 하지만 우리는 Zo를 제공하고 당신의 개인 클라우드를 구축하기 시작하기 위해 $100의 AI 크레딧을 제공하고 있습니다. 잠깐만 스캔해 주세요. 그러면 나는 이것이 무엇을 의미하는지, 더 큰 그림에 대해 이야기하고 싶은 슬라이드가 있습니다. 더 큰 그림은 실제로 우리가 과거에 오직 기술 회사들만이 소유했던 것을 모두에게 제공했다는 것입니다. 이것은 컴퓨팅이 전반적으로 어떻게 진행되고 있는지와 같습니다, 시작 시대처럼, 컴퓨터는 메인프레임이었고, 오직 큰 기술 회사들만이 그들을 소유했었는데, 나중에 그들은 모든 사람이 소유하는 것이 되었습니다.

현재 같은 일이 일어나고 있으며, 마치 오늘날의 메인프레임이 클라우드 컴퓨팅, 소프트웨어, 기반시설처럼, 코딩 에이전트와 개인 에이전트, 그리고 클라우드에 대한 접근을 통해, 우리는 Anthia 이 자유 잠수 강사 같은 모든 사람에게 소프트웨어 회사들이 과거에 소유했던 동일한 도구들에 접근을 제공할 수 있습니다. 이것은 지금 일어나고 있는 혁명이며, 미래에 계속 일어날 것입니다. 이것은 인터넷이 다시 흥미롭고, 와일드하고, 자유로워질 방법입니다. 우리는 우리의 데이터를 저장하고, 우리의 도구들을 구축하고, 다른 사람들이 상호작용할 수 있는 이러한 표면들, 웹사이트, API, 에이전트들을 만들 우리 자신의 개인 클라우드를 소유할 것입니다. 나는 이것이 인터넷의 미래라고 생각합니다. 감사합니다. 나는 Zo Computer의 Ben입니다. 정말 감사합니다, Ben. 좋아, 여러분. 다음으로, 나는 매우 흥미로운 연설을 하고 있습니다.

많은 사람들이 알 듯이, Open Claw의 많은 마법은 뒤에서 실행되는 PI 코딩 에이전트에 있습니다. 어, 그래서 우리는 Taiwan AI의 Matias가 여기 있고 당신의 제품에 PI를 어떻게 통합할 수 있는지에 대해 이야기하고 있습니다. 좋아, 여러분. 음, 당신을 초대해 주셔서 정말 감사합니다. 나는 내 슬라이드가 필요하다고 생각합니다. 좋아, 완벽합니다. 안녕하세요 모두. 정말 감사합니다, 초대해 주셔서. 어, 네, 오늘 나는 당신의 제품에 open claw 코딩 에이전트를 포함하는 것에 대한 어떤 「 pi 조각들 」에 대해 이야기하려고 합니다. 네, 어, 나는 슬라이드를 여러 번 다시 했고, 이것이 원인입니다. 어, 어제 나는 주변에 있었고, 나는 동남아시아에서 온 많은 사람들을 만났다는 것에 놀랐습니다. 이것은 싱가포르에 내 처음이고, 놀랍게도 남아시아 전역에서 온 사람들을 만났고, 이것들은 내가 얻을 수 있는 몇 가지 질문들이었고, 아마도 그렇지 않을 것입니다.

우리는 여기 있습니다. 음음오 우리 우리 나는 open claw를 사랑합니다. 이 에이전트들을 사랑하는데, 하지만 나는 단지 내부에서 사용하고 있거나, 네, 나는 에이전트들을 사랑하지만, 나는 내 에이전트를 제어하고 싶습니다. 그것 그것 그것은 너무 많은 마법을 하고 있습니다. 나는 open claw가 무섭다고 느낍니다. 그래서 먼저 첫 번째 메시지, 만약 당신이 한 가지만 가져간다면, 음 우리는 모두 여기에서 시작합니다, 맞죠, 음 우리 우리는 방금 이 단계에 들어갔으므로, 배우자, 맞죠, 함께 배우자, 말할 때, 어 호기심 많아하자, 나는 말할 것입니다 장난쳐 봅시다, 이것으로 가지고 놀아봅시다, 함께 이것을 하자, 그래서 내 이름은 Matias이고, 나는 개발자에서 제품 담당자, 다시 매니저로, 지금 나는 개발자, AI 엔지니어로 돌아왔습니다. 그것이 심지어 무엇을 의미합니까? 나는 모릅니다. 나는 지금 나 자신을 수리공이라고 부릅니다. 그래서, 나는 이 것들로 가지고 놀고 있습니다. 그래서, 나는 내 자신의 회사를 설립했습니다.

어 우리는 AI 에이전트들을 작동시킵니다. 어 우리는 이것 어 에이전트들이 더 안전하게 자신의 데이터에 접근하도록 하는 어 data box라고 부르는 것을 가지고 있습니다. 그래서, 확인해 주세요. 하지만 오늘, 나는 PI에 대해 이야기하려고 합니다. 그러면 PI는 무엇입니까? 하지만 내가 PI에 대해 이야기하기 전에, 나는 어 면책 조항을 하고 싶습니다. 이것은 단지 PI에 대한 것이 아닙니다. 만약 당신이 지금 어 hacker news를 열면, 어 당신은 페이지 상단에 zero stack을 볼 것입니다. 나는 zero stack이 무엇인지 모릅니다. 어 나는 그것을 열었고, 그것은 Rust로 작성된 최소 코딩 에이전트이며, PI에 의해 영감 받았습니다. 맞죠? 그래서 어 어 이 강연은 PI에 관한 것이 될 것이고, 나는 이것이 좋은 학습 운동이라고 생각하지만, 결코 광고가 아닙니다, 그래서 맞습니다, 좋아, 당신은 이 도구들을 가지고 놀아야 하고 어 당신의 손을 더럽혀야 합니다. 그래서 PI는 이 코딩 에이전트인데, 당신은 그것이 무엇을 하는지 꽤 익숙해 보이고, 어 codeex나 openclaw와 유사합니다.

그것은 비엔나에서 온 이 좋은 사람 Mario가 구축했습니다. 좋아, 재미있는 부분은 당신이 시작할 때 그리고 사람들이 보여주는 것일 때, 그것이 아니고, PI는 어떤 MCP도 가지고 있지 않습니다. 그것은 하위 에이전트들이 없습니다. 그것은 권한 팝업이 없습니다. 그것은 계획 모드가 없습니다. 그것은 내장 할 일 목록이 없습니다. 그것은 백그라운드 bash가 없습니다. 그래서 당신이 말하고 있는 것, 「 좋아, 그러면 큰 문제가 무엇입니까? 그냥 내가 왜 그것을 사용해야 합니까? 」 좋아, 핵심은 PI를 사용하여, 당신은 그것이 하도록 말합니다. 그래서, 음 이것은 내가 어제 한 예입니다. 어 PI 확장을 생성해 주세요, 내가 주 분기로, 주 분기를 원격으로 밀어넣고 싶을 때 권한을 요청하세요. 이것은 당신이 알 듯이, 어떻게 이것을 하는지에 대한 몇 가지를 읽었습니다. 그것은 그것이 한 것을 확인했습니다, 맞죠. 그래서 그것은 이 PI 확장을 만들었습니다. 그것은 PI 확장을 로드했습니다.

좋아, 실제로 당신은 다시 로드해야 하지만 기본적으로 그것은 거기 있습니다. 그러면 당신이 할 때, 당신은 이 권한을 얻습니다, 맞죠? 그래서 나는 같은, 어, 어라, 거기 거기 위에 명령이 있으면 주 분기처럼 추진하는 것. 그리고 지금 이 질문이 있습니다, 어 지금 물어졌고, 좋아, 당신은 정말 이것을 하고 싶습니까? 그래서 핵심은 PI는 이 매우 최소 코딩 에이전트이고, 당신은 속임수를 쓰고, 가지고 놀고, 당신이 필요한 확장을 작성할 수 있습니다. 좋아, 그래서 우리는 한 걸음 뒤로 물러서고, 이것이 open claw와 어떤 관계가 있는지 생각해 봅시다. 음 open claw를 시각화할 수 있는 방법을 나타내는 다양한 다이어그램이 있지만, 기본적으로 나는 중요한 몇 가지 것들이 있다고 생각합니다.

우리는 어떤 방식으로든 정보를 그것에 넣습니다, 어 열기 어 WhatsApp, Telegram, Discord를 통해, 어떤 종류의 게이트웨이가 있고, 오른쪽에는 많은 도구들과 그것이 접근할 수 있는 데이터가 있습니다. 그것은 이 기억을 가지고 있고, 명백히 외부와 이야기할 수 있지만, 나는 중요한 부분은 내부 뇌이고, 그것이 PI입니다. 그래서 우리가 봅시다. 그래서 나는 항상 코딩 에이전트에 대해 이야기하고 있으며, 어 코딩 에이전트는 단지 개발자들을 위한 것이 아니라, 시스템 내의 이 구성 요소입니다. 그래서 그것은 무엇입니까? 코딩 에이전트는 무엇입니까? 우리가 어 코딩 에이전트에 대해 이야기하기 전에, 우리는 대화에 대해 이야기해야 합니다. 그래서 매우 간단하죠? 당신은 이 모두를 알 듯이, 이것은 ChatGPT입니다. 당신이 그것에 질문을 합니다. 당신도 아마도 미리 어떤 일반 지시를 줬을 것입니다. AI의 최고의 AI 회의는 무엇입니까? 명백히 AI engineer입니다. 가장 멋진 개발자들은 어디에 있습니까? 명백히 싱가포르에 있습니다.

이제 우리가 이해해야 할 다음 부분, 당신은 그것을 모르는 사람들을 위해, 간단히, 어 도구, 도구는 LLM이 어떤 의미에서 자신의 능력을 확장하는 방식입니다. 그래서 이것은 예입니다. 나는 내일 어 구매자와의 회의가 있습니다. 나를 준비하도록 도와주세요. 어라 좋아 명백히 LLM 또는 순환 또는 동료 에이전트는 접근 권한을 가지고 있어야 하므로, 그것은 이 달력을 호출합니다, 맞죠, 이 경우 달력이 도구입니다. 다른 눈에 띄는 예는 웹 검색입니다, 맞죠, 만약 당신이 웹 검색을 하면, 그것이 경향이 어어 외부 도구 또는 다른 다른 방식 어 우리가 초 내에 볼 것입니다. 어쨌든, 그래서 이 경우, 당신이 하는 것은, 당신이 어어 회의를 준비하도록 요청합니다. 그것은 달력을 확인합니다. 그것은 몇몇 JSON을 반환하고, 당신은 어어 당신의 회의가 내일인 결과를 얻습니다, 맞죠? 그래서 다시, 코딩 에이전트는 무엇입니까?

이것 전에, 우리는 agent 자체에 대해 이야기해 봅시다. 그래서 agent 자체는 실제로 우리가 방금 본 이 도구들을 루프에서 실행하고 있습니다, 맞죠? 어, Jo는 이것을 전에 보여줬고, 어, 매우 간단한 루프, 맞죠, 당신은 루프 안팎으로 하고, 하지만 같은 방식으로, 매우 간단한 루프, 맞죠, 그래서 당신은 이것 어어 다시 어떤 지시를 주도록 요청합니다, 어떤 일반 지시, 만약 당신이 agent에서 이것을 실행하면, 당신은 agents MD 또는 Claude MD라고 불리는 이 공통 파일들을 가지고 있고, 그러면 당신은 질문을 하면, 그것은 이 어어 도구 호출을 실행하고, 그것은 어떤 결과를 제공하고, 그것은 다시 한 번 이것을 하고, 다시 한 번 최종 결과까지, 맞죠? 이것이 보통 agent입니다. 음, 만약 당신이 이것을 하면, 당신은 Python으로 이것을 할 수 있습니다. 음, 여기 몇몇 예가 있습니다. 오, 순간 말인데, 나는 슬라이드를 공유하려고 했으며, 또는 실제로 슬라이드는 이미 온라인입니다. 그래서, 당신은 거기에서 그것을 얻을 수 있습니다.

하지만 여기, 그것이 것입니다, 맞죠? 당신은 도구들을 정의합니다, 음, 왼쪽에. 그러면 당신은 agent를 정의합니다, 맞죠? 이것은 Python이지만, 다른 곳에서 당신은 유사하게 이것을 가질 것입니다, 맞죠. 그래서 당신은 일반 프롬프트, 지시, 당신 어 어떤 모델을 정의, 당신은 오른쪽 상단의 도구들을 정의합니다, 우리는 기본적으로 agent에게 우리와 이야기합니다. 그래서 언제든지 메시지가 있으면, 그것을 출력하고, 표준 출력에 작성합니다, 그러면 당신은 그것을 쿼리하고, 그것이 모두입니다, 다른 도구들도 유사합니다. 그래서 시도해 보세요. 그래서 다시, 이제 우리 우리 알고, 우리 기본적으로 agent가 무엇인지, 도구가 무엇인지를 압니다. 그래서 코딩 agent는 무엇입니까, 코딩 agent는 실제로 단지 agent입니다. 그래서 도구들은 루프에서 bash와 런타임을 사용합니다. 그래서 어, 이 일반 도구들을 호출하는 대신, 우리가 지금 호출하는 것은 bash, 맞죠.

따라서 우리는 도구 호출이 있고, 우리는 몇 가지 반환값이 있으며, 우리는 도구 호출이 있고, 어, 그리고 반환값이 있습니다. 좋습니다. 그래서, 음, 다시 간단히 말해서, 이것이 당신이 이것을 설정하는 방식입니다. 당신은 이 도구 호출들을 봅니다. 여기 manager에 bash, read, ls가 있습니다. 음어, 우리는 여기서 자세히 논의할 생각이 없지만, 이것은 기본적으로 핵심 설정입니다. 당신이 Python으로 이것을 프로그래밍한다면, 맞죠, 당신은 아마도 슬라이드를 Python에 던질 수 있고 「Matias가 논의한 내용을 복사해 달라」고 말할 수 있으며, 당신은 이것을 매우 쉽게 만들 수 있습니다. 좋습니다, 이것을 구체적으로 해봅시다. 이것은 Peter입니다. 이것이 그의 open claw입니다. 어느 시점에 그는 어 그에게 메시지를 보냈습니다, 맞죠, 지금은 음성 메시지입니다. agent는 생각하기 시작했고, 텍스트로 응답했습니다. 문제는 이것이 어떻게 작동하는가입니다. 그래서 우리는 다시 사용자가 어 어 일부 기본 지시사항을 보냅니다 soulm 등.

당신은 read, write, bash 같은 다양한 도구를 가지고 있으며, 그러면 이 도구들이 일어나는 실제 마법입니다, 맞죠? 그래서, 우리는 음성 메시지를 확인한 파일이 있고, 이것은 wave 파일을 열었습니다. 당신은 메시지를 분해하기 위해 whisper를 가지고 있습니다. 지금, 어, 그의 예에서, 음, whisper는 아무것도 반환하지 않았습니다. 그래서, 그 지점에서, 음성 메시지를 실제로 텍스트 메시지로 번역하기 위해 어 API 호출을 했습니다. 맞죠? 따라서 실제로, 우리가 agent에서 본 마법의 핵심은, 맞죠, 도구 호출이 어 다양한 설정의 루프 안에서, 이 어 시도해 봅시다, 이것은 그렇게 어렵지 않습니다. 좋습니다, 어, 마지막으로 할 일은, 어 여기 다른 예가 있습니다 u, 이 연설이 예를 들어 다른 제품에 포함시키는 것에 관한 것이기 때문입니다. 음, 이것은 우리가 구축한 프로젝트입니다. 음, 그래서 우리는 어 어 open claw 아키텍처에 영감을 받았습니다.

따라서 어, 하지만 우리는 대신 이메일을 입력으로 사용했습니다. 우리는 일반 게이트웨이를 가지고 있고, 그러면 우리는 어 어 다양한 클라이언트를 실행하기 위해 어 다양한 컨테이너가 있으며, 그러면 우리는 이 다양한 도구들을 가지고 있습니다. 이제 이 도구들은 어 whisper나 그런 것이 아니지만, 이것들은 CRM, ERP처럼 특정 사용 사례를 위해 특화된 것입니다.

여기 몇 가지 스크린샷이 있습니다, 맞죠, 그래서 어 여기 오른쪽에서 당신은 일반적인 사용자 메시지를 보고, 당신은 받은 편지함에 어 최근 활동을 보고, 그리고 그것이 어떻게 응답하는지 봅니다. 하지만 엔지니어링 부분에 대해 흥미로운 것은 왼쪽입니다, 왜냐하면 여기 미안합니다 이것은 독일어입니다 어, 하지만 여기 왼쪽에서 우리는 실제로 다양한 도구 호출을 봤고, 당신은 ERP 시스템이 어떻게 트리거되는지를 보고, 부품이 사용 가능한지 여부를 봅니다, 맞죠. 그래서 어, 이 진술과 함께, 어, 코딩 agent, 나는 어떤 방식으로든 미래에 소프트웨어의 일부가 될 것이라고 강하게 믿습니다, 맞죠. 그래서 제발 지금 그들을 봅시다, 아, 이 agent들, 이 코딩 agent들은 마법이 아닙니다, 그래서 제발 당신은 알고 있습니다 어 어 당신은 알고 있습니다 자유롭게 가지고 놀아봅시다, Python은 수정하기에 좋습니다, 그래서 이것은 이것을 배우는 좋은 방법입니다. 마지막으로 제발 가지고 놀아봅시다, 감사합니다, Matias.

좋습니다, 여러분. 다음으로, 우리는 속도를 바꿀 것입니다. 우리의 다음 연설은 디자인 트랙에서 나오며, 우리는 Microsoft의 Josh가 당신에게 사용자가 더 창의적이고 사려 깊도록 도와주는 제품을 설계하는 방법에 대해 설명하며, 무한 쓰레기 기계가 아닙니다. 안녕하세요. 안녕하세요. 좋습니다, 여기 있습니다. 이봐, 여러분. 나는 Josh라고 합니다, 그리고 오늘 나는 정말 신나서 어 디자인이 차이를 만드는 이유에 대해 말합니다. 우리는 함께 내가 창의성이 아닌 자동화가 인공지능 시대의 핵심 경쟁 우위라고 믿는 이유를 탐험할 것입니다. 나는 현재 Microsoft AI 건강 팀의 수석 제품 디자이너입니다. 나는 또한 Flubin의 창립자이며, 이는 런던의 응용 스튜디오이고, 지난해 개인 구독을 추적하여 사람들이 돈을 절약하도록 돕는 첫 번째 제품 Orbit을 출시했습니다.

이 연설은 세 장으로 구성될 것입니다. 나는 당신들이 오늘 인공지능을 사용하는 방식에 도전할 것이고, 그러면 당신의 창의성을 증가시키고 인공지능으로 그것을 향상시키기 위한 팁을 공유할 것이며, 마지막으로 당신을 설득할 것입니다 당신은 예술가입니다. 첫 번째 장 「연필」로부터 시작해 봅시다. 나는 내가 가장 좋아하는 인용문으로 시작하고 싶습니다, 「자신을 위해 다르게, 모든 것에서, 왜냐하면 그것이 더 나아야 하기 때문입니다」. 우리는 인공지능 코딩 생산성의 폭발을 보았습니다. 사람들은 지금까지보다 더 많이 구축하고 출시하고 있습니다. 그러나 오늘 나는 우리가 인공지능에게 너무 많은 사고를 넘기고 있다고 믿습니다. 우리는 그것이 단지 하나의 도구임을 잊었습니다, 마치 연필처럼, 하나의 마법 연필처럼. 문제는 인공지능이 이미 존재하는 모든 것에 대해 훈련되었다는 것입니다. 당신이 그것에게 당신의 웹사이트를 설계하도록 요청할 때, 그것은 가중 평균을 반환합니다, 가장 일반적인 웹사이트의 가장 일반적인 패턴입니다.

실행 속도는 어 모든 것을 주도합니다 품질의 평균화를 주도하고, 충분히 좋아지게 됩니다. 생성과 정교함 사이의 격차가 유일하게 중요한 격차가 됩니다. 나의 문제 당신에게, 충분히 좋음이 당신의 고객에게 무엇을 의미합니까? 나는 인공지능이 우리의 창의 능력을 향상시켜야 하지만 그것을 대체해서는 안 된다고 믿습니다. 지난해, 나는 수천 개의 같은 것을 하는 제품이 있는 포화된 시장에서 자율적으로 내 응용 프로그램을 시작함으로써 내 창의 능력을 향상시켰습니다. Orbit은 개인 구독을 추적하도록 당신을 도와줍니다, 이것은 혁신적인 것이 아닙니다. 그러나, 일년 내에, 그것은 육자리 수에 도달했고 Apple에 의해 세 번 특별히 추천되었습니다. 설계자로서, 나의 경쟁 우위는 정교함과 관심입니다. 나는 나의 창의 필요를 돕기 위해 도구로서 인공지능을 포함하고 높은 표준에 무언가를 개발합니다.

나는 특정한 틈새 사람들을 위해 한 가지를 잘 하는 제품을 만들고 싶습니다. 인공지능은 나의 마법 연필이지만, 나는 조종사입니다. 교훈은 도구가 항상 변할 것이라는 것입니다. 미친 위대한, 정교하게 만들어진 것에 대한 필요는 변하지 않을 것입니다. 도구는 새로운 방식으로 문제를 해결하기 위해 계속 진화할 것입니다. 인공지능은 하한을 높였지만, 상한을 높이지는 않았습니다. 우리는 무엇을 만들지, 왜, 누구를 위해 결정해야 하고, 그러면 그것을 위대하게 만들기 위해 모든 세부사항에 집착해야 합니다. 두 번째 장 「포스터」로 향합시다, 우리의 창의성을 증가시키는 방법과 그러면 인공지능으로 그것을 향상시키는 방법에 대해 이야기합시다. 당신의 최고의 일은 당신이 일하지 않을 때 완료됩니다, 당신이 창의 아이디어가 나올 공간이 있을 때입니다. 한 여름날, 나는 내 아파트에서 휴식을 취했고, 나는 벽에 흥미로운 인터페이스 기회를 보았습니다. 나는 이 포스터를 좋아합니다.

이것은 Matisa 종이 콜라주 스타일의 중세 현대 추상 미술입니다. 이것은 매우 간단합니다. 당신은 한 손으로 그것을 구성하는 모든 시각적 요소를 세울 수 있습니다. 흥미로운 부분은 Orbit이 다른 응용 프로그램에서 영감을 받지 않았다는 것입니다. 그것은 이 포스터에서 영감을 받았습니다. 나는 Orbit의 메시지를 강조하여 사람들이 돈을 절약하도록 돕는 기회를 보았습니다. 극도로 간단함으로써, 당신은 자신을 다른 응용 프로그램과 구별할 뿐만 아니라, 당신은 또한 사람들이 이해하기 쉽게 만듭니다. 다른 것이 당신에게 경쟁자에 대한 명확한 우위를 주었으며, 그것은 생성된 같은 바다에서 당신을 돋보이게 합니다. 이것은 당신이 한 번만 프롬프트할 수 있는 것이 아닙니다, 왜냐하면 그것은 충분한 훈련을 가지고 있지 않기 때문입니다. 문제는 우리가 결코 지루함을 느끼지 못한다는 것입니다.

우리는 헤드폰 없이 걷기나 창밖을 보기 같은 창의 사고 도구를 사용해야 합니다, 마치 내가 한 때 지루한 90년대 아이로서 했던 것처럼, 전화 없이. 본질적으로, 우리의 뇌에 대해 새로운 정보 패턴을 받기 위해 열린 기회를 열어봅시다. 나는 창의성이 모든 사람에게 참이라고 믿습니다, 설계자뿐만 아니라. 위대한 아이디어는 호기심과 경이감으로 시작합니다. 오늘, 우리는 더 이상 사람들이 그들의 아이디어, 백일몽, 집착, 순간적인 생각이나 독특한 관점을 취하고 그것을 실제 것으로 만드는 것이 그 어느 때보다 필요합니다. 이제, 더 실용적인 것으로 향합시다. 나의 설계 과정에서, 오늘, 나는 거의 모든 프로젝트에 대해 내 자신의 프로토타입 도구를 구축하는 것을 좋아합니다. 이 예에서, 나는 실제로 이 연설의 소개 슬라이드에 대한 맞춤형 새로운 음영 도구를 만들었습니다.

그것은 나에게 전에는 불가능했던 수준에서 탐험, 조정, 완벽함, 그리고 내 창의 능력을 향상시킬 수 있게 합니다. 당신 자신의 도구를 구축하기, 특히 프로토타이핑 중에, 경험의 풍부한 행동을 탐험하는 좋은 방법입니다. 이것은 나가 내 일에서 자주 사용하는 디버그 패널과 유사한 가설 데모입니다. 나는 버튼, 토글, 슬라이더를 추가하는 것을 좋아합니다, 이 데이터 풍부성 컨트롤 같은, 다양한 제품 상태를 시뮬레이션하기 위해, 첫 번째 날의 빈 경험에서 몇 주 후 완전히 채워진 경험까지입니다. 당신은 화면 사이를 뛸 수 있고, 상태를 재설정하고, 기능 플래그를 연결하여 아이디어와 경계 경우를 빠르게 테스트할 수 있습니다. 이것이 정말로 잠금 해제하는 것은 제품 공예에 깊은 관심을 가질 수 있다는 것입니다. 인공지능은 시뮬레이션과 반복 속도를 훨씬 빠르게 만들고, 우리에게 창의적이고 흐름을 유지하기 위해 더 많은 에너지를 주었습니다.

더 개인적인 예에서, 나는 Flubbot라고 부르는 것을 좋아하는 개방 claw가 있습니다. 왼쪽에서, 나는 햇빛 아래에서 걸을 때 음성 구술을 하고 있으며, 내 생각이 내가 쓰고 있는 창의에 대한 이 책에 대해 자유롭게 떠돌도록 내버려둡니다. 여기, 나는 내 책 연구를 구성하는 것을 도와주기 위해 인공지능을 보조자로 사용하고, 그러면 그것을 git repo로 밀어 넣습니다. 내 개인 agent의 또 다른 멋진 예는 내 빠른 생각을 인생으로 가져가고 빠른 프로토타입을 생성하는 것입니다. 나의 대부분의 아이디어는 Apple notes에 추가되고, 그러면 결국 생각 묘지에서 죽습니다. 하지만 이것은 그들을 시도하고 거기에 무언가가 있는지 보기 위해 꽤 좋은 방법입니다. 이 예는 끔찍해 보이는 프로토타입이지만, 그것은 창의 동력의 선물입니다. 나는 실제 창의 배터리 추적이 퍼센트로 가능한지 보고 싶었습니다.

나는 보통 Flebot에게 내 생각을 정확히 설명하고, 아마도 화면 시간 API를 활용하는 것처럼 일부 로컬 iOS 세부사항을 던지고, 그러면 나중에 나는 내 노트북에 집에 돌아와, PR을 기다리고, 그러면 Xcode에서 내 휴대폰에 그것을 구축합니다. 이 연설을 위해, 나는 심지어 Claude가 Git에서 내 책 자료를 탐색하는 방법을 만들도록 요청했습니다 그래서 나는 인공지능과 설계 주변의 아이디어와 주제를 구축할 수 있습니다. 나는 심지어 그것이 공간 보기를 만들도록 요청했습니다. 나는 정보를 우연히 발견하는 흥미로운 방법을 원했습니다, 이것은 아마도 나가 선형 읽기가 보지 않을 패턴을 보도록 도와줄 것입니다. 전반적인 교훈은, 횡단적 영감을 얻고 당신의 일 주변에 개인 도구를 구축함으로써, 당신은 인공지능을 도구로 활용하여 당신의 사고를 향상시키되 당신을 위해 하지 않음으로써 무한한 창의를 잠금 해제할 수 있다는 것입니다.

이제 우리의 마지막 장까지 나왔습니다. 당신이 예술가임을 설득할 시간입니다. 나는 Doist 창립자로부터 이 인용문을 좋아합니다. 최고의 제품은 자신의 일부를 일에 넣는 사람들에 의해 만들어집니다. 최악의 제품은 영혼이 없는 것처럼 느껴집니다. 인공지능은 대규모로 영혼 없는 것을 만드는 것을 초월적으로 쉽게 만듭니다. 하지만 그럴 필요는 없습니다. 나는 인공지능에서 오늘 본 가장 큰 실수 중 하나는 사람들이 첫 번째 프롬프트에서 반복하지 않는다는 것입니다. 모든 것의 첫 번째 버전은 절대 좋지 않을 것이지만, 반복된 버전은 그럴 수 있습니다. 나는 런던의 커피샵에서 이 응용 프로그램 아이콘을 만드는 데 한 시간 이상을 소비했고, 일부 좋은 커피를 마시고 있습니다. 좋은 것과 위대한 것 사이의 차이는 첫 번째 버전에 대한 집착이 아니라, 열 번째 버전이 무엇일 수 있는지에 대한 흥분입니다.

나는 인공지능으로 구축할 때 오늘 본 두 번째로 큰 문제는 사람들이 새로운 것과 불필요한 기능으로 계속 추가하기 쉽다는 것입니다 제품을 부풀리는 것입니다. 이것은 내가 생각하는 Orbit 구독 세부사항 페이지가 초기 와이어프레임처럼 보였을 흥미로운 예입니다. 위대한 제품은 소수를 위해 꼬리표가 붙고, 진정한 단순성은 극도로 어렵습니다. 그것은 모든 혼란이나 불필요한 것을 제거하는 것이 필요합니다, 당신이 그 틈새에 중요한 것의 본질을 남길 때까지입니다. 나의 동료와 친구 Amir는 이것을 완벽하게 표현했고, 이제 이것은 공예에 관한 것입니다. 수년 동안, 소프트웨어 엔지니어링은 주로 프레임워크를 배우고 코드를 작성하는 것에 관한 것이었습니다. 우리의 대부분의 시간은 어떻게 구축할 것인가였으며, 무엇을 구축할 것인가는 아닙니다. 이것은 뒤집혔습니다.

당신은 지금 큰 팀이 수개월 동안 잘못된 것을 구축하도록 할 수 있습니다만, 어떤 양의 AGI도 당신을 구해낼 수 없습니다. 사물을 비상한 기준으로 만들려면, 우리는 반복하고, 축소하고, 배려해야 하며, 기준을 높여야 합니다. 우리는 우리의 직함을 무시해야 하고, 우리를 상자에 넣고 우리에게 라벨을 붙이는 것들을 무시해야 합니다. 우리는 자신을 예술가로 상상해야 합니다. 그래야만 우리가 현상을 초월하여 볼 수 있고, 그것을 무시한 후 만들 가치가 있는 것을 구축할 수 있습니다. 그래서, 저는 이것을 당신에게 남깁니다. 인공지능은 마법의 연필입니다. 이제 당신의 호기심을 따르고, 당신을 예술 작품에 쏟아붓고, 싱가포르를 위해 무엇을 상상하시겠습니까? 감사합니다. 고맙습니다, Josh. 정말 훌륭했습니다. 좋습니다, 여러분. 그래서 오늘 아침 우리는 개인 에이전트에 대해 이야기하는 데 많은 시간을 보냈습니다.

다음으로, 우리는 Mastra의 Sam을 모시겠습니다. Mastra의 CEO이자 창립자입니다. 생산 환경의 비즈니스 에이전트에 대해 이야기하겠습니다. 어, 화면을 더 크게 해 주실 수 있을까요? 오른쪽 아래 모서리에서요. 오른쪽 아래가 필요합니다. 네, 조정합니다. 좋습니다. 어, 안녕하세요 여러분, 저는 Sam입니다. 어, 저는 Mastra의 창립자이자 공동 창립자입니다. 어, TypeScript 에이전트 프레임워크의 공동 창립자입니다. 어, 그 전에 어, 저는 Gatsby를 공동 창립했습니다. 유명한 React 웹 프레임워크죠. 어, 그 이전에 어, 저는 Google 주변의 여러 스타트업의 엔지니어였습니다. 어, 그래서 재미있게도, 이야기는 어, 36시간 전에 저는 제 비행기에 탑승해야 했습니다. 어, 저는 어, 제 여권을 업데이트해야 한다는 것을 깨달았습니다. 그래서 저는 운전했습니다. 어, 2시간을 어, 가장 가까운 여권 사무소로 가서, 운이 좋게도 그들은 같은 날에 그것을 반환해 주었고, 저는 여기 와서 어, 여러분 모두와 함께할 수 있었습니다.

그래서 정말 싱가포르에서 흥분됩니다. 정말 여기 있어서 흥분됩니다. 음, 어, 여러분 모두를 여기에 초대해 주셔서 감사합니다. 그래서 오늘 우리는 어, 생산 환경의 에이전트에 대해 이야기할 것입니다. 하지만 먼저 질문입니다. 음, 누가 여기 계신데 어, 개발자이신가요? 음, 좋습니다. 음, 다음 질문입니다. 음, 누가 여기 계신데 어, 에이전트를 구축하고 생산 환경에 배포하신 분이 계신가요? 훌륭합니다. 음, 저는 제 클리커가 필요합니다. 저는 클리커가 없는 것 같습니다. 클리커가 어디에 있나요? 여기 있습니다. 클리커를 얻었습니다. 좋습니다. 음, 좋습니다. 어, 그래서 누가 여기 계신데 어, 에이전트를 배포하셨지만 생산 환경에는 없으신 분이 계신가요? 좋습니다. 그래서 우리는 첫 번째 질문에 대해 「네」라고 말씀하신 분들이 약 20% 정도 있고, 또 다른 어, 10%에서 20%의 분들이 어, 두 번째 질문에 대해 「네」라고 말씀했습니다. 좋습니다.

음, 지난 18개월 동안, 우리는 Mastra로 에이전트를 구축한 수천 개의 팀을 만났습니다. 음, 저는 이 팀들로부터의 몇 가지 교훈을 공유하고 싶습니다. 그래서 당신은 자신을 위해 이러한 에이전트를 구축할 준비가 될 수 있습니다. 어, 가장 중요한 것은 우리가 본 팀들이 구축한 에이전트의 분류법입니다. 그것은 실제로 세 가지 유형의 에이전트로 귀결됩니다. 어, 그것은 고객 대면 에이전트, 내부 에이전트, 그리고 개발자 플랫폼 에이전트입니다. 음, 저는 각각에 대한 몇 가지를 공유하고 싶습니다. 어, 지금 좋습니다. 그래서 클리커, 우리는 여기서 시도 중입니다. 우리는 여기서 시도 중입니다. 이것이 작동하는지 보겠습니다. 다음 슬라이드를 주실 수 있을까요? 감사합니다. 음, 네, 좋습니다. 그래서 고객 대면 에이전트부터 시작하겠습니다. 음, 여기 몇 가지 흥미로운 고객 대면 에이전트가 있습니다. 음, 어, 이것을 할 때, 우리가 할 수 있나요, 제가 잘못된 방향을 가리키고 있었나요?

좋습니다, 이제 시작합니다. 음, 그래서 먼저 질문을 하겠습니다. 음, 여기서 누가 사용자 대면 제품 팀에서 일하고 계신가요? 어, 그래서 당신이 알고 있는 소프트웨어 회사에 있을 수도 있고, 어, 더 큰 기관의 어, 사용자 대면 음, 부분에 있을 수도 있지만 어, 사용자 대면 소프트웨어 팀입니다. 좋습니다. 그래서 약간, 몇 분이 손을 들었지만 많지는 않습니다. 음, 하지만 흥미로운 것은 이러한 유형의 음, 이러한 유형의 팀에 대한 것은 어, 당신이 약간, 당신이 직접 어, 능력을 가졌을 때 음, 사용자 경험을 약간 형성할 수 있을 때 어, 당신은 정말 흥미로운 것들을 할 수 있습니다. 저는 몇 가지를 이야기할 것입니다. 맞습니다, 맞습니다, 여러분, 여기 우리, 음, 그래서 어, 저는 예를 들겠습니다. 하나 음, 저는, 저는 우리가 본 SaaS 애플리케이션의 예를 들겠습니다. 음, 그래서 HR 소프트웨어 애플리케이션입니다. 음, 만약 당신이, 만약 당신이 사용자가 그들의 일상 생활에서 AI를 사용할 수 있도록 하려고 하면, 실제로 그들은 두 가지 경로를 가지고 있습니다.

그래서 첫 번째 경로는 사용자가 시스템에서 음 자신의 데이터를 가져오는 것입니다. 그들은 어떤 종류의 CSV 덤프를 하고 있습니다. 예를 들어 당신이 알고 있는 직원 및 급여 데이터 또는 다른 것들입니다. 그 다음 그들은 이를 Claude 또는 ChatGPT에 붙여넣고, 이것에 대한 질문을 합니다. 음, 이제 두 번째는 당신입니다. 당신이 HR 소프트웨어 회사로서, 음 어, 웹 애플리케이션 내에서, 모바일 애플리케이션 내에서 에이전트를 구축합니다. 어, 그래서 당신의 사용자가 이제 더 의미 있는 방식으로 자신의 데이터와 상호 작용할 수 있습니다. 그리고 그리고 그리고, 두 번째가 첫 번째보다 더 나은 이유는 약간 사용자 참여도, 맥락 엔지니어링 같습니다. 음, 만약 당신이 시스템의 다른 부분에서 정보를 가져올 수 있다면, 당신은 전체 상황의 더 많은 부분을 얻게 됩니다. 음, 그래서 우리가 팀이 이것들을 구축하는 것을 보는 이유는, 당신이 알고 있는, 애플리케이션 내 음, 애플리케이션 내 어시스턴트입니다.

그리고 이것은 단순히 B2B SaaS 애플리케이션만이 아니라, 또한 어느 정도 B2C 어, 애플리케이션입니다. 여기서 정말 흥미로운 것은 독점적인 데이터에서 개인화된 경험을 만들 수 있다는 것입니다. 음, 이제 사용자와 우리가 많이 협력했던 회사의 예를 들겠습니다. 그것은 Indeed입니다. 그래서 Indeed는 이미 경력 고문 에이전트를 구축했습니다. 음, 당신이 어, 당신이 알고 있는 어떤 사람을 돕으려고 하고 있다면 당신이 알고 있는 그들의 경력을 탐색하도록 도우려면, 실제로 두 가지 중요하고 흥미로운 데이터 세트가 있습니다. 하나는 당신의 사용자 그들의 꿈과 포부, 그들의 배경, 그들의 이력서입니다. 두 번째는 음, 당신의 플랫폼입니다. 당신이 알고 있는, 당신이 소유한 직위 데이터와 당신이 소유한 급여 데이터, 어, 당신이 알고 있는 다양한 독점적인 데이터 유형입니다.

그래서 당신이 이 두 가지를 어느 정도 결합할 수 있을 때, 그것이 우리가 팀이 정말 마법 같은 어, 사용자 경험을 만들 수 있는 때입니다. 음, 하지만 사용 사례가 무엇이든, 우리가 보는 몇 가지 어, 공통적인 도전 과제들이 있습니다. 음, 가장 큰 것은 비용 최적화와 정확성 주변의 사용자 대면 애플리케이션입니다. 음, 팀이 초기 출시를 할 때, 그들은 종종 특정 사용자가 토큰 비용으로 그들을 서비스하기 위해 수백 심지어 수천 달러를 소비할 수 있음을 발견합니다. 맞죠? 음, 그래서, 음, 그들은 약간의 시간을 소비하고, 그들은 비용과 같은 것들을 조정하려고 하면서 상당한 시간을 소비합니다. 음, 당신이 알고 있는, 정확도 조절 모델 선택 주변 등입니다.

음, 그들도 비용을 밖으로 옮기는 방법을 알아내기 위해 조금 시도하고 있었습니다. 어, 우리가 신용 시스템을 해야 할까요? 아마도 우리가 음, 당신이 알다시피, 구체적으로 아마도 우리가 그냥 음, 토큰을 옮기기만 해야 할까요, 원래 토큰 비용 음, 맞죠? 하지만 이것은 조금의 생각이 필요합니다. 여기 음 우리가 본 네 개의 다른 팀의 일종입니다, 그리고 숫자 나는, 나는 몇 가지 교훈을 공유할 것입니다. 첫 번째 음 모든 배송이 가장 빠른 팀은 팀입니다, 이것은 아마도 약간 명백하지만 또한 약간 모순적이죠, 이전에 에이전트를 구축한 적이 있는 팀, 음, 당신이 구축해야 할 것에 대한 아이디어 미로를 빠르게 통과할 수 있기 때문입니다.

음, 당신은 약간 음 에이전트를 생산에 가장 빠르게 배포한 그 팀을 볼 것입니다 실제로 그것을 구축했습니다 그 그 주요 엔지니어가 음 DeepMind에서 왔고, 그래서 그는 음 그래서 그래서 그는 위원회에 왔습니다, 당신이 알다시피, 그 팀은 상당히 빠르게 배송할 수 있었습니다. 음, 명백히 대부분은, 그것은 음 대부분의 사람들이 가지고 있는 음 장점이 아닙니다. 음, 하지만 그것이 실제로 우리가 사람들이 좋은 MRA 같은 에이전트 프레임워크를 사용하도록 옹호하는 가장 큰 이유 중 하나입니다, 에이전트를 구축할 때 음 거기 당신은 일종의 기본 요소가 있습니다, 그리고 당신은 음 당신의 사용자 경험이 있습니다, 기본 요소에 더 많은 시간을 소비할수록, 사용자 경험에 더 적은 시간을 소비합니다, 또는 당신이 알다시피 당신이 동시에 둘 다 구축해야 한다면, 그 프로젝트는 더 오래 걸릴 것입니다.

만약 당신이 음 바퀴를 다시 발명할 수 있다면, 절대로 할 수 있습니다. 우리는 엔지니어입니다. 우리는 바퀴를 다시 발명하는 방법을 알고 있습니다. 우리는 과거에 많은 바퀴를 다시 발명했습니다. 하지만 내가 당신에게 주는 일반적인 조언은 하지 말라는 것입니다. 음, 이것은 당신에게 시간, 번거로움, 그리고 골칫거리를 절약할 것입니다. 음 음 그래서 그래서 음 이제 우리가 약간 고객 대면 에이전트에서 음 내부 에이전트로 이동하자, 그리고 음 그래서 여기가 여러분을 위한 질문입니다. 여기 누가 일하고 음 누가 누가 여기서 일하고 있습니다 약간 큰 기관에서 음 아마도 본질적으로 기술 회사가 아닌 뭔가, 하지만 당신이 알다시피, 은행, 금융, 의료보험 당신이 알다시피 보험 손을 들어. 좋아. 네, 상당히 많은 사람들이 손을 들었습니다.

음, 그래서 이런 유형의 음 기관들과 함께, 우리가 일반적으로 보는 것처럼, 거기는 보통 많은 음 음 문서 작성 절차가 있습니다 약간 그것 주위에 음, 그래서 나는 약간의 여러 다른 유형의 에이전트를 통과할 것입니다, 우리가 여기서 사람들이 구축하는 것을 봅니다. 그래서 첫 번째 음 첫 번째는 약간 내부 기업 검색 같습니다. 음, 그래서 당신은 상상할 수 있습니다, 만약 당신이 수만 명 또는 10만 명의 직원이 있다면, 음, 당신은 결국 많은 핵심 것들 중 하나가 생각날 것입니다, 나는 어떻게 음 우리가 어디선가 저장된 모든 정보를 가지고 있는지 확인합니까, 우리가 정보를 저장하는 많은 많은 시스템 중 하나에서, 사용 가능하고 접근 가능하며, 그리고 우리의 음 직원은 이 정보를 찾는 방법을 알고 있습니다.

그래서 우리는 음 우리는 사람들이 내부에서 이러한 에이전트 검색 음 유형의 기능을 구축하는 것을 봅니다, 음 당신이 알다시피, 그들 회사의 모든 직원에게 이것들을 제공합니다. 음, 당신이 알다시피, 그들이 작업 중인 모든 시스템에 대한 커넥터를 구축합니다. 음 음 우리는 또한 음 당신이 알다시피, 내부 에이전트 측면에서 많은 프로세스 자동화를 봅니다, 음 사람들 당신은 의사들을 상상할 수 있습니다, 예를 들어 임상 시험 문서를 더 빨리 완료하거나 정부에서 RFP 프로세스 같은 것을 자동화합니다. 음, 대량의 종이와 데이터 입력이 있는 곳 어디든지, 우리는 팀을 봅니다, 당신이 알다시피, 음 이것을 약간 해결하기 위해 에이전트를 구축합니다.

음, 하지만 도전은, 당신이 알다시피, 당신이 이러한 또는 이런 유형의 조직에서 일한다면, 당신은 리더십과 일선 엔지니어 사이에 종종 단절이 있다는 것을 매우 분명히 알고 있습니다. 음, 그래서 만약 당신이 이런 조직 중 하나에서 일하고 있고 당신이 에이전트를 당신의 조직에 도입하고 싶다면, 나는 옹호할 것입니다, 그리고 우리가 작동하는 것을 본 방식은 약간 관례를 깨는 것입니다. 음, 당신이 알다시피, 아마도 당신의 팀 외부에서 도움이 필요한 팀을 찾는 것, 음 그들과 협력하는 것, 당신이 알다시피, 프로토타이핑, 반복하는 것입니다. 당신은 올바른 프로젝트에 할당되지 않을 수 있지만, 당신은 스스로 찾을 수 있습니다. 그래서 나의 조언은 당신에게, 다시 우리가 본 것에 기초하여, 일부 통증점을 식별할 때 약간 창의적인 것입니다.

확실히 당신이 해결할 수 있는 일부 통증점이 있고, 그것을 위해 에이전트를 구축할 수 있습니다. 음, 이제 우리가 팀이 구축하는 에이전트의 세 번째 유형은 개발 플랫폼 영역에 있습니다, 기업 또는 기관의 기술 스택에서. 음, 지난 몇 개월 동안, 우리는 팀에서 계속 듣고 있습니다, 그들이 우리에게 말해주는 그들이 에이전트로 해결한 다양한 인프라 문제입니다. 음, 이것들은 50명 이상의 엔지니어, 200명 이상의 엔지니어를 가진 더 큰 조직에서 볼 것 같은 문제입니다. 음, 당신이 알다시피, 일종의 Fortune 500 회사의 네트워크 운영 센터 내부에 있는 팀이 있습니다, AIS SRE를 구축하고 있습니다 대량의 들어오는 경고를 분류 및 처리하려면, 맞죠?

음, 그리고 또 다른 팀이 가치 30억 달러의 개발자 플랫폼 회사 내에서 agent들을 구축하고 있는데, 그들의 CI 로그를 탐색하고 있습니다, 음, 수 TB, 수 TB의 CI 로그들입니다. 그리고 여기서의 공통점은, 맞죠, 공통점은 언제든지 대량의 머신 데이터가 유입될 때마다, 음 이를 해결하기 위해 agent들을 구축할 기회가 있다는 것입니다.

혹시 여러분 중 데이터의 3V——variety, volume 등등을 기억하시는 분이 계신다면, 맞죠, velocity 같은 것들, 2010년대 초중반에 표시될 만한 그런 것들이죠, 음 여러분의 조직 내에서 그런 부분들을 찾아보시기 바랍니다, 음 만약 여러분이 그런 부분들에 있거나 접근할 수 있다면, 거기에는 거의 확실히 구축할 agent들이 있을 것이고, 그리고 일부 정말 멋진 프로젝트들과 의미 있는 작업들이 있을 것입니다, 그것이 문제를 해결할 것이고, 음, 그리고 어떤 면에서는 정말로 좋은 일을 하는 것, 정말로 좋은 일을 하는 것처럼 느껴지고, 그리고 정말로 조직 내의 다른 사람들을 도울 것입니다.

음, 제가 말씀드릴 마지막 사용 사례는 개발자 플랫폼 agent들이고, 그리고 내부 agent 플랫폼이 무엇인가 하는 것입니다——구체적으로 말씀드리자면, 음 여러분이 아시다시피, 제 말은 많은 회사들의 내부에 플랫폼 엔지니어링 팀들이 있다는 것이고, 음 내부 개발자들에게 agent들을 구축할 수 있도록 권한을 부여하려고 시도 중입니다, 그래서 그들은 어느 정도 음 예를 들어 음 Ma의 방식을 채택할 것이고, 어느 정도 그 주변에 경량의 래퍼를 추가할 것이고, 음 여러분이 아시는 그들의 특정 배포 패러다임 주변의 많은 회사별 내용 등등을 가질 것입니다.

음, 그들은 그것을 Sage라고 부르고, 그러면 그들은 그것을 내부의 음 agent 플랫폼으로 출시합니다, 다른 사람들에게 권한을 부여하기 위해, 여러분이 아시다시피, 그것은 기본적으로 인가된 경로입니다, 음 다른 팀들이 agent들을 구축하기 위한, 여러분이 아시다시피, 여러분은 어느 정도, 만약 여러분이 이 팀들 주변에 있거나 혹은 이 팀들 내에 있다면, 여러분이 아시다시피 이것을 하는 이점은 사람들이 어디서부터 시작해야 하는지를 알고 싶어한다는 것입니다, 음 그들을 위해 인가된 경로를 만들어줌으로써, 여러분은 여러분이 아시다시피, 여러분은 그들이 올바른 방식으로 집중하도록 할 수 있습니다, 음 또는 승인될 것이라는 것을 알고 있는 어떤 방식처럼, 음 여러분이 아시다시피 그들은 계속 구축할 수 있습니다.

음, 이 모든 유형의 프로젝트들의 이점은, 음 만약 여러분이 여러분 자신을 위해 구축하고 있다면, 음 그리고 여러분이 여러분의 조직 내에서 개발자 플랫폼 기반시설, 어느 정도 DevOps 유형의 영역 같은 곳에서 구축하고 있다면, 음 여러분은 매우 좋은 간결한 피드백 루프를 얻을 것입니다, 여러분은 매우 빠르게 평가할 수 있을 것입니다, 음, 예를 들어 이것이 실제 문제를 해결하고 있습니까? 제 agent가 더 나아지고 있습니까? 음 그것이 더 많은 것을 할 수 있습니까? 왜냐하면 여러분은 여러분 자신이 여러분의 사용자이기 때문입니다. 음, 이것은 어떤 측면에서 어느 정도는 매우 좋은 제약입니다. 음, 음, 여러분이 아시다시피, 그래서 이것은 제가 생각하기에 제 15년 이상의 기술자로서의 경력 중 가장 흥미로운 시간입니다, 음 구축하기 위한. 그렇습니다. 더 많은 흥미로운 것들이 있습니다 여러분이 할 수 있는, 다른 사람들은 아직 하지 않은.

음, 우리는 이 믿을 수 없을 정도로 강력한 모델들을 가지고 있습니다, 우리는 이들을 여러 가지에 지적할 수 있습니다, 마치 매우 실제적인 음 문제들처럼요. 음, 이것은 단지 agent의 한 해가 아닙니다. 이것은 agent의 십 년의 시작입니다, 제가 바라기는 여러분이 여러분이 아시다시피, 내일 일에 들어가서, 그리고 한 가지 감정을 느끼기를 바랍니다, 여기는 한 개의 agent입니다, 또는 또는 아마도 두세 개의 아이디어, 음 여러분이 구축할 수 있는 것. 그래서 음, 계속 나아가서, agent들을 구축하십시오, 음 이것이 저의 여러분 모두에 대한 일종의 지시입니다. 음, 여기 있어서 기쁩니다, 여러분의 초대에 감사드립니다. >> 정말로 감사드립니다, Sam. 좋습니다, 여러분들. 이 것들을 생산에 투입한다는 생각을 따라, 음, Pierre를 무대에 초대하게 되어 매우 기쁩니다. Pierre는 Llama Index의 창시 엔지니어입니다, 그는 여러분들에게 음 Llama Parse의 대규모 배포로부터의 교훈들에 대해 이야기할 것입니다. 그것이 어디 있습니까? 여러분은 디스플레이를 얻지 못했습니다.

이것은 제가 할 것입니다. 나는 왜 인지 모르겠습니다. 당신이 나를 이 아이처럼 할 수 있을까요? 좋습니다, 감사합니다. 안녕 여러분. 저는 Pierre입니다. 음, 저는 Llama Index에 있습니다, 오늘 저는 조금 설명하고 싶습니다, 우리가 지난 2년 동안 음 Llama Index에서 agent를 대규모로 배포할 때 배운 것입니다. 음, 그래서 Llama Index를 모르시는 음 사람들을 위해, 음 그것은 원래 오픈소스 회사 오픈소스 프레임워크였습니다, 음 우리는 현재 문서 AI에 집중하고 있습니다, 지난 2년 동안, 우리는 생산에서 10억 개 이상의 문서를 처리했습니다, 음 각각은 자신의 agentic loop를 가지고 있습니다. 맞습니다. 그래서 우리가 오늘 Llama Index에서 해결하려고 하는 핵심 문제 중 하나는 문서 처리입니다.

음, 만약 여러분이 이미 데이터를 추출하거나 agent에 PDF를 보내려고 시도했다면, 음 여러분은 아마도 이미 PDF 자체가 파싱하기 매우 어렵다는 것을 깨달으셨을 것입니다, 그리고 많은 쓰레기 내용을 포함합니다, 음 그들이 기본적으로 음 구조화된 내용을 포함하지 않기 때문입니다, 하지만 그들은 음 페이지 위의 단어들의 경계 상자를 포함합니다. 음, 여러분은 어떤 방식으로든 음 그것을 어떤 유용한 것으로 재구성해야 합니다.

음, 그래서 2024년부터, 음 이미 2024년에, 음 우리는 이 문제를 해결하기 위해 에이전트 시스템을 구축하려고 시도했습니다. LLM을 활용하고, 원래 비주얼 언어 모델과 OCR 및 많은 다른 기술과 모델을 함께 에이전트 루프에 통합하여 이러한 문서 파싱 문제를 해결하려고 시도했습니다. 음 어떤 종류의 음 문서도 처리할 수 있습니다. 음 TLDDR, 음 우리는 운영 환경에서 에이전트를 사용하여 문서를 처리합니다. 음 지금까지 우리가 처리한 것은, 제가 말한 것처럼, 수십억 개의 문서입니다. 음 이 강연의 목적은 우리가 운영 환경에서 자주 보는 일부 문제를 소개하는 것입니다. 하지만 이러한 문제들은 그렇게 많이 논의되지 않았습니다. 음 LLM 또는 VLM을 사용할 때 겪게 되는 첫 번째 문제 중 하나는 그들이 정말로 출력에서 반복하기를 좋아한다는 것입니다. 음 그래서 대형 언어 모델에 보내는 쿼리의 작은 부분에서, 아마도 약 1% 정도에서.

5%의 쿼리는 반복 출력 형태로 반환되며, 음 이는 당신의 워크플로우를 완전히 파괴합니다. 음 그 중 가장 심각한 문제 중 하나는 공백 루프입니다. 음 특히 예를 들어 Anthropic의 Sonic 클래스는 이에 대해 매우 민감합니다. 음 모델은 출력에서 무한한 음 공백을 출력합니다. 음 우리는 단지 당신의 모든 토큰 예산을 사용했고, 당신은 그것을 제어할 방법이 없습니다. 음 왜냐하면 토크나이저의 작동 방식 때문에, 공백은 당신이 중지 시퀀스에 넣을 수 없는 유일한 문자입니다. 음 왜냐하면 대부분의 최첨단 모델 또는 오픈소스 가중치 모델은 음 1개 공백부터 128개 공백까지의 토큰을 가지고 있기 때문입니다. 대부분의 경우입니다. 그래서 음, 공백을 중지 시퀀스로 넣기는 어렵습니다. 그래서 그것은 하나의 문자이고, 만약 당신이 공백만 넣으면, 음 대부분의 제공자 또는 대부분의 모델은 당신의 쿼리를 거부할 것입니다.

음, 공백 토큰을 중지 토큰으로 설정할 수 없기 때문입니다. 그래서 운영 환경에서 이러한 루프를 처리하려면, 당신이 해야 할 일은, 음 기본적으로 당신은 항상 당신의 모델에 대해 트리밍을 사용해야 합니다. 당신은 패치를 사용해서는 안 됩니다. 음 그리고 당신은 모델 제공자로부터 또는 당신의 모델 추론으로부터의 모든 청크에 대해. 음 당신은 중도에 일부 휴리스틱을 실행하여 어떤 반복이 발생하는지 감지해야 합니다. 당신은 쿼리를 초기에 종료하려고 시도해야 합니다. 음 그래서 당신은 결국 음 Opus에서 120,000개의 토큰을 소비하지 않게 됩니다. 단지 공백을 위해, 그것은 매우 매우 비싸지게 될 것입니다. 음 그래서 일반적으로 우리가 하는 것은, 당신은 스트림을 종료할 수 있고, 그러면 당신은 다른 음 모델이나 다른 프롬프트 또는 다른 온도로 재시도합니다. 당신은 당신이 이 루프에 다시 들어가지 않기를 바랍니다. 음 이것은 일반적으로 출력 루프에 대해 잘 작동합니다.

음, 이제 동기 루프로 동기 추적을 처리하기가 점점 더 어려워지고 있습니다. 특히 모델 제공자가 더 이상 당신을 위해 음 동기 추적을 스트리밍하지 않기 때문입니다. 음 그래서 여기서 당신은 max tokens에 의존하여 범위를 제한해야 합니다. 음 하지만 이것은 정말로 이 일에 적합한 좋은 도구가 아닙니다. 음 왜냐하면 당신의 max token이 너무 낮으면 당신이 원하는 출력을 얻지 못할 수도 있기 때문입니다. 너무 높으면, 음 당신은 동기 루프에서 더 많은 예산을 소모하게 될 것입니다. 그래서 그렇습니다. 루프, 음 이것은 거대한 문제입니다. 음 그리고 당신은 그것을 중심으로 설계해야 합니다. 우리가 본 또 다른 문제는 음 모델 맹점입니다. 음 모델은 일반적으로 어떤 내용에 대해 맹목적입니다. 음 우리가 전사에서 본 일반적인 문제는, 당신의 내용이나 당신의 RAG 시스템의 청크가 반복되는 문자열을 가지고 있다면입니다. 그래서 당신이 원본 내용에서 두 곳에서 반복되는 동일한 문자열을 가지고 있습니다.

모델은 때때로 중간 내용을 완전히 무시합니다. 음 그것은 모델에 따라 다릅니다. 모든 모델이 이 문제를 가지고 있습니다. 음 우리는 아직 그것을 완벽하게 처리하는 모델을 찾지 못했습니다. 음 그들이 같은 것에 대해 맹목인 것은 아닙니다. 그래서 당신은 여전히 모델을 전환할 수 있습니다. 음 하지만 그렇습니다. 음 당신은 프롬프트를 통해 그것을 회피할 수 없습니다. 예를 들어, 만약 당신이 두 문자열 사이의 특정 내용에 대해 맹목인 하나의 호출을 가지고 있다면, 당신은 가능한 한 당신의 프롬프트를 수정하려고 시도할 수 있습니다. 음 모델은 문자 그대로 주의 아키텍처 때문에 맹목적입니다. 음 우리가 본 맹점에 대한 또 다른 문제는 색맹입니다. 많은 시각 모델은 음 특히 특정 상황에서, 특히 빨간색 음 영역에서 맹목적입니다. 음 인간으로서, 우리는 다양한 빨간색을 구별하는 데 매우 능숙합니다. 음 그들의 사진 및 이미지 토크나이제이션 방식 때문에.

음 당신은 모델에서 색맹을 가지고 있습니다. 음 색맹 프로필은 모델 간에 동질적이지 않습니다. 음 그래서 기본적으로 당신은 각 모델을 테스트하여 음 색맹을 이해해야 합니다. 음 당신의 모델이 어떤 것에 대해 맹목인지를 감지하기 위해, 음 먼저 분석을 시도해야 합니다. 예를 들어, 음 당신이 사용하고 있는 모델이 맹목인 색상 프로필이 무엇인지. 음 당신이 할 수 있는 다른 일은, 예를 들어, 모델로 전송하기 전에, 이미지에서 OCR을 실행해보세요. 모델이 OCR의 단어를 캡처했는지 확인하십시오. 음 당신은 그것을 우회하기 위해 어떤 종류의 신호 융합을 수행해야 합니다. 음 자주 나타나는 다른 파괴적인 문제, 음 당신이 프롬프트를 가지고 있다면, 어딘가에 템플릿이 있고, 어떤 이유로 하나의 도구가 실패했거나 무언가 그래서, 당신이 빈 내용을 보냈다면, 음 그러면 모델은 단지 내용이 비어있다는 것을 당신에게 말하지 않을 것입니다.

그것은 단지 당신을 위해 환각 음 내용을 할 작업으로 작업을 변경할 것입니다. 음 어떤 모델들은 같은 것을 자주 환각할 경향이 있습니다. 예를 들어 Anthropic은 정말로 음 어떤 이유로 일종의 통합 법인 조직 문서를 좋아합니다. 그래서 당신은 그것을 필터링하기 위해 어떤 종류의 휴리스틱을 사용하려고 시도할 수 있습니다. 음 하지만 그렇습니다. 맹점과 유사하게, 음 당신은 또한 당신의 것에서 어떤 종류의 앙상블을 사용할 수 있습니다. 음 또는 모델을 호출하기 전에 당신은 빈 이미지를 보내지 않았는지 확인하려고 시도할 수 있습니다. 음 또는 빈 템플릿 음 프롬프트 내부로, 음 그래서 모델은 환각하지 않을 것입니다. 음 마지막으로 운영 환경에서, 음 우리가 가지고 있는 가장 큰 문제 중 하나는 현재의 상황입니다. 음 각 모델 제공자는 이제 확장의 문제를 가지고 있습니다. 그래서 API는 거의 매일 다운됩니다.

음 그래서 기본적으로 당신의 에이전트 시스템에서, 당신은, 음 당신은 여러 제공자와 여러 모델 시리즈를 지원하도록 이들을 구축해야 합니다. 음 각 모델 시리즈의 코드를 모델의 특정 코드로 취급해야 합니다. 음 왜냐하면, 음 맞습니다, 음 왜냐하면 각 모델 음 의 행동이 다르기 때문에, 음 이것은 당신을 가능하게 합니다, 음 Entropic이 다운되었을 때, 음 당신은 다른 곳으로 복구하거나 유사한 것을 할 수 있습니다. 이것은 당신이 당신의 API 제공자 또는 당신의 모델 제공자가 다운되었더라도, 당신의 서비스를 계속 운영할 수 있게 합니다.

음 마지막으로, 음 당신은 좋은 평가를 구축해야 합니다, 음 왜냐하면 우리는 코드를 사용하거나 우리가 점점 더 많이 코딩 에이전트를 사용하기 때문에, 음 기본적으로, 당신이 대규모로 당신의 에이전트의 행동을 제어할 수 있는 유일한 방법은 좋은 평가를 가지는 것입니다. 음 만약 당신이 문서 파싱을 위한 평가를 찾고 있다면, 음 우리는 passbench를 구축했습니다, 음 이것은 오픈 소스입니다, 음 이것은 Kaggle과 Hugging Face에서 공식 리더보드로 실행됩니다. 음 에이전트가 실패할 때, 당신은 LLM을 사용하지 않는 것으로 복구할 필요가 있습니다. 음 그에 대해 우리는 light pass를 구축했습니다. 이것도 오픈 소스이고, 음 이것은 CPU에서 초당 약 500페이지를 처리합니다. 음 기본적으로, 당신은 LLM이 실패할 때 복구할 필요가 있고, 음 모델을 사용하지 않고 작업을 수행해야 할 때입니다. 음 감사합니다. 음, 감사합니다, Pierre. 좋습니다, 여러분. 단지 아직 한 강연이 더 있습니다, 음 당신과 점심 사이에.

오후 마지막 연사로, 우리는 Tusk의 Junu를 초청했으며, 그는 방화벽을 통해 에이전트에서 더 안전하고 더 신뢰할 수 있는 행동을 도출하는 방법에 대해 논의할 것입니다. 좋습니다. 안녕하세요 여러분. 저는 Jun입니다. 음 저는 Tusk의 창립자이고, 오늘 저는 코딩 에이전트의 실행 경계에 대해 공유할 것입니다. 음 이것은 모든 웹 개발자에게 친숙한 것입니다. 음 클래식한 SQL 주입 취약점은 오랫동안 지속되었습니다. 음 오랫동안 이것이 웹 애플리케이션이 손상되는 방식이었습니다. 음 사용자 제어의 음 문자열이 직접 SQL 인터프리터로 들어갔습니다. 음 우리는 개발자들이 더 열심히 입력을 정제하도록 함으로써 이 문제를 해결하지 않았습니다. 음 우리는 준비된 명령문으로 해결했습니다, 음 이 경계를 드라이버로 옮김으로써. 따라서 SQL 주입은 구조적으로 불가능해졌습니다. 음 이제 이것은 위험하게 권한 플래그를 건너뛰는 것입니다.

만약 당신이 어떤 실제 작업에서 코딩 에이전트를 사용했다면, 음 당신은 이것을 본 것 같습니다. 음 이것은 권한 프롬프트 때문에 존재합니다, 음 음 실제로 뭔가 진짜를 보호하고 있지만, 음 그들은 또한 워크플로우를 방해합니다. 그래서 저는 Twitter를 통해 검색했고, 이 플래그 또는 일반적으로 권한 프롬프트에 대해 사람들이 어떻게 생각하는지 봤습니다. 음 상단 행은 음 어떤 종류의 프롬프트 피로를 나타냅니다, 맞나요? 아직 완전히 YOLO 모드를 채택하지 않았지만 모든 작은 단계를 승인해야 한다는 것에 대해 답답해하는 사람들. 맞나요? 중간 행은 다음에 무엇이 일어날지입니다. 사람들은 이 프롬프트들을 닫습니다. 음 그들은 권한 플래그를 건너뛰기를 실행합니다. 그들은 다른 사람들도 이렇게 하도록 권장합니다, 음 왜냐하면 그들은 이것이 유일하게 사용 가능한 워크플로우라고 생각하기 때문입니다. 하단 행은 결과입니다, 맞나요?

사람들은 에이전트가 무엇을 할 수 있는지 또는 당신이 알다시피 이미 한 것에 대해 조금 불안심합니다, 때때로 에이전트는 단지 음 비용이 많이 드는 데이터 또는 심지어 전체 시스템을 삭제합니다. 따라서 이것은 UX 필터 패턴입니다 여기. 음 프롬프트 피로, 음 회피가 되고, 음 회피는 음 범위를 벗어난 것들에 진입하는 것이 되고, 심각한 결과를 가지고 있습니다. 따라서 저는 과거 6주의 자신의 Cursor 기록에서 추출했습니다, 음 110개의 아시아 회의에 걸쳐, 음 걸쳐, 음 음 과거 6주.

따라서 제 데이터 세트에서, 중앙값 회의, 음 중간 회의는 약 42개의 호출을 가지고 있고, 평균값은 120이고, 제 가장 긴 회의의 경우, 이것은 음 천 개를 초과합니다, 맞나요? 따라서 매번 인간에게 묻는 패러다임, 음 전혀 의미가 없고, 그것은 확장되지 않습니다, 맞나요? AI가 점점 더 큰 작업을 수행할 수 있게 됨에 따라, 음 회의는 점점 더 길어집니다, 우리 중 많은 사람들은 단지 권한을 건너뜁니다, 따라서 우리가 남겨진 것은 우리의 파일 시스템, 우리의 자격증, 우리의 환경 변수 및 비밀 등에 대해 완전한 액세스 권한을 가진 에이전트입니다. 따라서 그것은 음, 매우 안전한 하는 방식이 아닙니다. 이 산업은 이것이 깨져 있다는 것을 알고 있습니다. 따라서 올해 초, Entropic은 clock code를 위해 auto mode를 출시했습니다. 음 기본적으로 이것은 각 두 개의 호출을 표시하는 분류기입니다.

따라서 두 개의 호출과 안전하고 합리해 보이는 행동은 통과하고 실행됩니다, 당신이 알다시피, 약간 의심스럽고 환경을 벗어난 것처럼 보이는 것들이 차단됩니다, 맞나요? 따라서 일반적인 것을 찾는 사람은 없습니다. 이것은 훌륭한 개선이지만, Anthropic 자신의 권장사항은 격리된 환경에서 실행하는 것입니다. 음, 이유는 중요합니다. 만약 당신이 수학을 본다면, 맞나요, 당신의 분류기가 약 122개의 호출의 평균 회의에서 99%의 신뢰성을 가진다고 가정하면, 분류기가 전체 회의에서 오류를 범하지 않을 확률, 음 0.99의 120제곱, 또는 약 30%입니다.

음 이제 내 천개를 초과하는 도구 호출의 가장 긴 회의에서, 이것은 기본적으로 0입니다, 맞나요? 따라서 물론 여기에 일부 주의사항이 있습니다, 음 오류는 독립적이지 않습니다, 음 때때로 그들은 관련이 있으므로, 이 백분율을 문자 그대로 해석하지 마십시오, 음 여기서 저는 주로 한 점을 표현하고 싶습니다, 즉 각 도구 두 개의 호출 확률론 검사에는 상한선이 있고, 음 이것은 회의 길이에 따라 저하됩니다. 따라서 우리가 더 잘할 수 있을까요, 맞나요? 따라서 확률론 검사는 규모에 따라 감소하고, 음 결정론적 경계는 규모를 유지합니다. 따라서 이것은 당신이 기본적으로 신뢰하지만 완전히 확인할 수 없는 코드의 올바른 경계가 무엇인가 하는 질문을 제기합니다. 음 그리고 그것이 에이전트는 단지 이 문제의 최신 버전이라는 것이 밝혀집니다. 우리가 이전에 어떻게 해결했는지 봅시다. SQL 주입의 경우, 음 당신이 알다시피, 이전에 소개했듯이, 우리는 준비된 명령문과 ORM을 사용했습니다, 음 단지 입력 정제에만 의존하는 것이 아니라.

음 메모리 안전을 위해, 우리는 이제 메모리 안전 언어를 가지고 있습니다, 음 세심한 C를 쓰는 것이 아니라. 음 네트워크 패킷 손실의 경우, 우리는 TLS를 사용합니다, 음 단지 네트워크를 신뢰하는 것이 아니라. 여기서의 패턴은 실행 강제를 오류가 발생하는 층 아래로 옮기는 것입니다. 음 그리고 우리가 지금 보는 그런 종류의 문제, 에이전트가 점점 더 개인화되고 음 개방식이 될 때. 저는 이것을 에이전트 초과라고 부릅니다. 맞나요? 여기서 흥미로운 점은, 음 악의적인 공격자가 있을 수도 있고 없을 수도 있다는 것입니다, 맞나요? 위의 그 경우들과 달리. 때때로 에이전트는 단지 실행을 투영합니다. 그들은 환각합니다. 그들은 프롬프트 주입을 당합니다. 음 그들은 루프에서 실행하고 전체 시스템을 삭제하기로 결정할 수 있습니다. 어느 것이 중요한지는 중요하지 않습니다. 그래서 구조적인 수정이 무엇입니까? 따라서 오늘 저는, 음 에이전트 행동을 요청하는 것을 중단하고, 음 에이전트가 무엇을 할 수 있는지 변경하라고 말합니다.

만약 clock codeex를 실행하거나 어떤 터미널 기반 에이전트를 실행하면, 당신은 음 아래 어딘가의 무언가를 원합니다, 맞나요?, 그래서 일부 경계를 실행하고 에이전트가 이 경계 내에서 실행되도록 합니다. 음 여기서의 사항은 우리가 단지 작업 드리프트를 위해 이것을 구축하지 않았다는 것입니다. 음 우리는 하지 않았습니다, 음 우리는 코딩 에이전트를 위해 이것을 구축하지 않았습니다. 우리는 먼저 작업 드리프트를 위해 이것을 구축했습니다.

음 작업 드리프트는 우리의 API 테스트 재생 시스템입니다, 음 CI에서, 수백 또는 수천 개의 프로덕션 추적이 당신의 애플리케이션에 재생됩니다, 음 그것이 발생할 때, 우리는 부작용을 원하지 않습니다, 맞나요?, 우리는 보장하고 싶습니다, 음 예를 들어, 데이터베이스 호출, 라이브 호출이 프로덕션 데이터베이스에 들어가 상태에 영향을 미치지 않기를 원합니다, 맞나요?, 우리는 그것이 발생하는 것을 감당할 수 없으므로 우리는 원시적인 것을 구축했습니다, 음 확정론적 운영 체제 수준 실행 경계, 음 오버헤드가 거의 0에 가깝습니다, 음 우리는 이것을 fence로 오픈 소스화했습니다, 음 그리고 당신이 구성한 네트워크, 파일 시스템 및 명령 정책을 실행합니다. 따라서 당신은 fence를 이 경계로 생각할 수 있고, 음 우리는 모든 그들 아래에 있기를 원합니다, 맞나요?, 단일, 음 하나의, 음 하나의 정책 어휘, 음 어떤 에이전트 또는 애플리케이션이 일을 주도하든 상관없이. 이제 fence는 세 가지를 실행합니다, 음 파일 시스템, 네트워크 및 명령.

정책 밖의 파일은 에이전트에 도달할 수 없습니다. 음 네트워크 호출은 로컬 필터링 프록시를 통해 강제됩니다, 음 허용된 도메인만 도달할 수 있으며, 명령은 실행 전에 확인됩니다. 따라서 이것은 또한 음 체인과 중첩된 셸을 포함합니다. 음 정책이 어떻게 보이는지입니다, 맞나요? 그것은 단지 파일입니다, 음 에이전트가 볼 수 있는 경로를 가진, 음 명령, 음 당신이 도달할 수 있는 도메인, 음 그리고 당신이 절대 실행할 수 없는 명령, 음 그렇게. 데몬 없음, 이미지 없음, 컨테이너 런타임 없음. 따라서 이것은 빠른 데모입니다. 음 이것이 조금 빠르게 실행된다고 생각하지만 설명할 수 있습니다. 음 따라서 우리가 이전에 가진 것은, 음 우리는, 음 우리는 fence 설정을 가지고 있었습니다, 기본적으로 음 이 디렉토리를 차단했습니다, 맞나요? 음 음 이 저장소에서.

음 따라서, 음 우리는 또한 일부 스크립트를 가지고 있습니다, 음 m 파일에 액세스하려고 시도하고, 음 우리가 fence 설정에서 차단한 홈 디렉토리의 디렉토리. 음 따라서 우리가 이 스크립트들을 실행할 때, 음 우리는 할 수 없습니다, 음 우리가 fence 외부에서 스크립트를 실행할 때, 이것이 작동합니다, 맞나요?, 또는, 음 우리는 또 다른 스크립트를 가지고 있습니다, 당신이 알다시피, 아웃바운드 요청을 보냅니다, 음 엔드포인트로. 음 하지만 우리의 fence 설정에서, 이것, 당신이 알다시피, 음 우리는 하지 않았습니다, 음 우리는 허용된 도메인을 설정하지 않았습니다. 따라서, 당신이 알다시피, 이것, 음 fence 아래, 이것은 실패합니다.

기본적으로 음 이 데모는 그것이 그 스크립트들을 실행하려고 시도했을 때 뭔가 잘못되었음을 보여줍니다 이제 저는 단지 그것에 알도록 요청했습니다 음 그냥 오늘 날짜의 readme를 업데이트하는 것이고, 단지 간단한 파일 수정을 하도록 음 그것이 그것을 했지만 이제 음 당신이 알다시피, 시도했을 때 음 커밋을 만들고 커밋을 원격으로 푸시하려고 할 때, 이것이 실패했습니다 왜냐하면 음 우리의 fence 설정에서 우리가 음 git push를 추가했기 때문입니다 음 거부된 명령으로 그래서 이것이 fence의 작동 방식의 본질입니다 좋습니다, 그것을 요약합시다 음 저는 이것이 안전 에이전트 실행의 규범적 모델이라고 생각합니다 좋습니다, 따라서 왼쪽에 우리는 음 에이전트가 실행하고 싶은 명령을 가지고 있습니다, 대부분의 명령 당신이 알다시피 안전하고 합리적이며 일상적입니다 맞나요? 하지만 일부 이 명령들은 아마도 탈옥에 의해 음 프롬프트 주입 과도하게 열정적인 에이전트 등등에 의해 발생할 수 있습니다

따라서 우리는 이 파괴적인 명령들을 이 세 층을 통해 실행하기 전에 필터링하고 싶습니다 첫 번째 층은 분류입니다 이것은, 예를 들어, auto mode처럼 음 이것이 이 행동이 합리적인가를 묻습니다 이제 이것은 확률론적입니다 음 우리가 이전에 본 것처럼 하지만 그것은 미묘함과 문맥을 더 잘 이해할 수 있습니다 두 번째 층은 정책과 이 정책의 실행입니다 따라서 이것이 fence가 있을 곳입니다 음 그것이 이 행동이 허용되는가를 묻습니다 맞나요? 따라서 만약 뭔가가 첫 번째 층의 균열을 통해 새어나갔다면 음 그것이 fence 설정에서 거부되는 한 음 행동은 거부될 것이고 차단될 것입니다 마지막 층은 격리입니다 따라서 여기 우리는 컨테이너와 마이크로 VM을 가지고 있습니다 음 기본적으로 만약 문제가 생기면 이 프로세스가 접촉할 수 있는 것을 묻습니다

그래서 예를 들어 악의적 코드나 다중 테넌트 워크로드의 경우, 예, 그래서 그것이 컨테이너와 마이크로 가상머신이 중요한 곳입니다. 호스트와 워크로드 사이의 거리를 정말 늘리고 싶을 때 말입니다. 지금 이 계층들은 모두 완벽하지 않으며, 핵심은 이들을 정렬하고 쌓아 올리는 것입니다. 그렇게 하면 이들의 취약점이 정렬되지 않을 것입니다. 맞죠? 그래서 우리는 심층 방어를 구현할 수 있으며, 대부분의 팀은 이미 이 계층 중 하나를 가지고 있습니다. 맞죠? 클라우드 코드를 사용하면 아마도 이미 자동 모드에 있을 수 있습니다. 보안 의식이 높으면 아마도 이미 컨테이너나 클라우드 샌드박스에서 에이전트를 실행 중일 것입니다. 하지만 제가 더 많은 사람들이 고려했으면 하는 것은 에이전트가 무엇을 할 수 있고 할 수 없는지를 정의하는 중간 계층입니다. 그래서 배우들이 잘 행동하기를 요청하는 것을 멈추고, 배우들이 할 수 있는 것을 바꾸는 것으로 이동합시다.

규칙을 정의하고 운영 체제 수준에서 강제 시행하여 에이전트를 실행하게 하세요. 감사합니다. 좋습니다. 정말 감사합니다, Chingi. 이것이 우리 오전 회의의 끝입니다. 그래서 지금 우리는 1시간의 점심 휴식을 가질 것입니다. 어... 그리고 오후 1시 40분에 여기로 돌아올 것입니다. 어..., 다음을 놓치고 싶지 않을 텐데, 정말 특별한 분이시기 때문입니다. 저는 10년이 넘게 아는 Sarah Hooker라는 분입니다. 어... 그녀는 실제로, 그녀는 실제로 『타임』 100대 AI 영향력 인물로 선정되었으며, Sam Altman과 다른 분들과 같은 해에 선정되었습니다. 그리고 그녀는 현재 Adaption Labs의 최고경영자이자 공동창립자입니다. 기본적으로 적응형 지능의 차세대 모델을 구축 중입니다. 그래서 우리는 곧 여러분을 뵐 것입니다. 좋습니다. 점심을 즐기세요. 헤헤헤헤헤헤헤헤헤헤헤헤헤헤헤헤헤헤헤헤헤헤헤헤헤헤헤헤헤헤

헤헤헤헤헤헤헤헤헤헤헤헤헤헤헤헤헤헤헤헤열열오헤헤헤헤헤헤헤헤헤헤헤와, 열열, 헤헤헤헤헤헤헤헤헤헤, 열열, 헤헤헤헤헤헤헤헤헤헤헤헤, 열열, 헤헤헤헤헤헤헤헤헤헤헤헤헤헤헤, 열, 헤, 열, 헤헤헤헤헤헤헤헤헤헤헤헤헤헤헤헤헤헤헤헤, 열, 헤헤헤헤헤헤헤헤헤헤헤헤헤헤헤헤헤헤헤헤헤헤헤헤헤헤헤헤헤헤헤헤헤헤헤헤헤헤헤헤헤헤헤헤헤헤헤헤헤헤

하이, 하이, 하이. 하이, 하이, 하이. 하이, 하이, 하이. 하이, 하이, 하이. 하이, 하이, 하이. 하이, 하이, 하이. 하이, 하이, 하이. 하이, 하이, 하이. 열. 열. N. 하이, 하이, 하이, 하이, 하이. 하이, 하이, 하이. 하이, 하이, 하이, 하이. 하이, 하이, 하이. 하이, 하이, 하이. 하이, 하이, 하이, 하이, 하이. 하이, 하이, 하이. 하이, 하이, 하이. 하이, 하이, 하이. 하이, 하이, 하이. 하이, 하이, 하이, 하이, 하이. 하이, 하이, 하이, 하이, 하이, 하이, 하이, 하이, 하이. 하이, 하이, 하이. 하이, 하이, 하이, 하이, 하이. 하이, 하이, 하이. 하이, 하이, 하이. 하이, 하이, 하이, 하이, 하이. 하이, 하이, 하이. 하이, 하이, 하이. 하이, 하이, 하이, 하이, 하이. 하이, 하이, 하이. 열. 열. 하이, 하이, 하이. 하이, 하이, 하이. 하이, 하이, 하이. 하이, 하이, 하이. 하이, 하이, 하이. 하이, 하이, 하이. 하이, 하이, 하이. 하이, 하이, 하이. 열. 열. 하이, 하이, 하이. 하이, 하이, 하이, 하이, 하이. 하이, 하이, 하이. 하이, 하이, 하이. 하이, 하이, 하이, 하이, 하이. 하이. 하이, 하이, 하이. 하이, 하이, 하이. 하이, 하이, 하이.

하이, 하이, 하이. 하이, 하이, 하이. 하이, 하이, 하이. 하이, 하이, 하이. 하이, 하이, 하이. 하이, 하이, 하이. 하이, 하이, 하이. 하이, 하이, 하이. 하이, 하이, 하이. 하이, 하이, 하이. 하이, 하이, 하이. 하이, 하이, 하이. 감사합니다, Stages. 그분이 명백히 즐기셨네요. 어, 그래서 우리의 다음 연사가 준비 중일 때, 저는 그녀를 여러분께 소개하고 싶습니다. 이분이 Sarah Hooker입니다. 그녀는 Adaption의 최고경영자이자 공동창립자입니다. 어, 하지만 여러분 중 일부는 제가 실제로 10년이 넘게 Sarah를 알아왔다는 것을 모를 수도 있습니다. 어, 우리는 분석 관련 많은 NGO 프로젝트를 함께 진행했으며, 저는 항상 그녀를 매우 존경해왔습니다. 그래서 저는 그녀를 싱가포르에 초대할 기회를 보았고, 이 방에 있는 정말 흥미로운 몇 가지에 대해 이야기하도록 했습니다. 이에 대해 무한히 흥분됩니다. 그래서 Sarah Hooker를 위해 박수를 보내주세요. >> 좋습니다, 좋습니다. 우리가 조금 >> 여러분, 안녕하세요.

여기 올 수 있어서 정말 좋습니다. 그래서, 어... 저는 여러분이 일어서기를 초대하고 싶습니다. 정말 좋습니다. 네. 여러분, 일어서 주세요. 그리고 지금 저는 여러분이 위로, 오른쪽으로, 왼쪽으로 스트레칭하고 옆에 있는 사람과 하이파이브하기를 원합니다. 정말 좋습니다. 이제 여러분은 앉을 수 있습니다. 어, 저는 이것이 실제로 매우 특별하다는 것을 알고 있습니다. 왜냐하면 이것이 회의의 세 번째 날이고, 그리고 이것은 많은 발표 후에만 있기 때문입니다. 하지만 저는 여기 있게 되어 매우 영광입니다. 그래서 제가 정말 답답하다고 생각하는 문제를 여러분과 공유할 수 있다는 것이 정말 특별합니다. 그래서 일반적으로 대부분의 최첨단 연구를 추동하는 것은 어떤 일에 대해 매우 불만스럽고 그것을 바꿔야 한다는 느낌입니다. 그래서 오늘 저는 왜 미래가 적응형인지에 대해 이야기할 것입니다.

이를 하기 위해, 저는 어... 보통 어떻게 시작하는지 말씀드리고 싶은데, 저는 여기서 어디를 가리켜야 하거나 슬라이드를 바꿔야 합니다. 그냥 클릭하면 되나요? 아마 저는 아, 저는 제 말이, 저도 이렇게 할 수 있습니다. 제가 이렇게 하겠습니다, 제 속도이기 때문입니다. 네. 그래서, 저는 여기 서 있을 것입니다. 저는 그렇게 많이 걷지 않을 것입니다. 좋습니다. 정말 좋습니다. 그래서 일반적으로 제가 새 슬라이드를 할 때, 저는 마지막 순간까지 기다리는 것을 좋아합니다. 왜냐하면 저는 그런 사람이기 때문입니다. 저는 제 생각이 무엇인지, 그리고 제가 지금 무엇을 생각하고 있는지 생각하는 것을 좋아합니다. 그래서 어..., 지난 48시간 동안, 이것이 제 생활입니다. 저는 이 발표가 어... 저는 실제로 싱가포르에서 4개의 발표를 하고 있다는 알림을 받았고, 저는 17시간의 비행이 있다고 결정했습니다. 저는 비행 중에 완료할 것입니다. 이것은 매우 생산적이었습니다. 그래서 저는, 「오, 내가 ChatGPT에게 슬라이드를 주도록 해달라고 요청하는 것을 시도하지 않는 이유는 무엇일까?」라고 말했습니다.

」그래서 저는, 「나는 적응형 지능이 필요한 이유를 설명하는 개장 슬라이드가 필요하다」고 말했습니다. 결과는 매우 흥미로웠습니다. 저는 이것을 얻었습니다. 그것은 매우 화려했습니다. 그것은 많은 광택이 있었습니다. 여러분은 거기에 도마뱀이 있는 것을 볼 수 있습니다. 그것은 Charles Darwin의 진화론을 조금 불러일으킵니다. 어, 그래서 저는, 「좋습니다, 흥미로우신데. 제 일반적인 스타일은 아닙니다. 제게 소개해 달라고 요청해 보겠습니다.」라고 말했습니다. 참고로, 이것이 제 일반적인 소개 슬라이드입니다. 그래서 저는 Google DeepMind에서 오랫동안 일했습니다. 저는 Cohere Labs를 이끌었습니다. 제 경력의 많은 시간을 출판물과 가능성의 경계에서 연구하는 데 보냈습니다. 어... 저는 항상 세계 최고의 최첨단 모델을 생산한 산업 실험실에서 일할 수 있어 운이 좋다고 생각해왔습니다. 어 하지만 저는 그것이 이것으로 단순화되었다고 생각합니다. 그래서 한 가지 작은 문제가 있습니다. 아마도 여러분 중 일부에게는 이것이 주목할 만합니다.

어, 저는 이것이 기본적으로 AI를 사용할 때 사람들이 느끼는 것의 한 예라고 생각합니다. 그래서 이 문제를 해결하기 위해, 저는 좋아요, 싫어요를 줄 수 있었다고 생각합니다. 어, 아마도 어딘가에 있는 연구원이 몇 달 후에 이 피드백을 얻을 것이고 개선할 것입니다. 또는 저는 고급 프롬프트 엔지니어가 될 수 있습니다. 이렇게 하면 저는 제가 원하는 정확한 명세를 만드는 데 매우 능숙해질 수 있습니다. 저는 이것이 기본적으로 현재 AI의 상태라고 생각합니다. 제 대부분의 컴퓨터 과학 경력에서, 여러분은 가장 큰 모델을 구축하고, 가능한 많은 능력을 부여합니다. 여러분은 그것이 어떻게 사용될 것인지를 추측하려고 노력한 다음, 여러분은 같은 모델을 세상의 가능한 많은 사람들에게 출시합니다. 하지만 저는 대부분의 사람들이 이것이 두 가지 문제가 있다는 것을 이해한다고 생각합니다. 첫째, 이는 모든 사람이 그 모델 주위를 다양한 트릭적 조정으로 해야 한다는 것을 의미하며 그들 자신을 맞추기 위해 노력합니다.

둘째, 이는 또한 매우 비효율적입니다. 우리는 모든 다양한 문제에서 같은 계산 자원을 소비합니다. 저는 이것을 정적 지능의 대가라고 말할 것입니다. 그래서 우리는 이 매우 강력한 모델들을 구축했지만, 그들은 계속 진화하지 않습니다. 여러분은 끝없는 재훈련을 가지고 있고, 그 다음 여러분이 얻는 것은 일률적인 솔루션입니다. 그래서 오늘 저는 이것이 진지한 발표가 될 것이라고 말했습니다. 저는 우리가 어떻게 이 지경에 왔는지에 대해 논의할 것입니다. 그리고 왜 지금이 우리가 정말로 이해하기 시작해야 할 때인지, 그리고 왜 우리가 확장할 필요가 있는지, 그리고 미래가 단일인지 여부입니다. 그 다음 저는 적응에 대해 논의할 것이고 우리가 흥미로워하는 몇 가지 것을 논의할 것입니다. 그래서 저는 이것이 흥미로울 것이라고 생각하고, 여러분이 알다시피 저는 또한 마지막에 여러분이 나에 대해 확신했는지 여부를 묻을 것입니다. 그래서 우리가 어떻게 이 지경에 왔습니까? 우리는 어떻게 이 큰 모델들을 모두 같은 방식으로 모든 사람에게 출시하는 것을 얻었습니까?

어, 저는 제 대부분의 경력에서, 실제로 큰 실험실의 대부분의 경험에서, 모든 것이 더 크거나 더 나은 것에 관한 것이었다고 생각합니다. 기본적으로 매년 여러분은 모델의 크기를 두 배, 네 배로 늘립니다. 이것은 항상 잘 작동했습니다. 어, 이것은 유명한 컴퓨터 과학자 Rich Sutton에 의해 제안되었습니다. 그는 「쓸쓸한 교훈」으로 튜링상을 받았습니다. 실제로, 「쓸쓸한 교훈」은 거기 있는 모든 연구원의 자존심에 타격을 입혔습니다. 기본적으로 여러분은 생각할 수도 있고, 여러분이 여러분의 멋진 생각에 집착할 수도 있지만, 여러분의 멋진 생각은 확장할 수 있을 때만 중요합니다. 이것은 흥미롭습니다. 왜냐하면 제가 오늘 제기할 첫 번째 질문은 Sutton이 맞습니까? 모델 크기를 확장하는 것이 AI를 진전시키는 유일한 요소입니까? 손을 들어주세요. 좋습니다. 저는 이중 부정을 얻었습니다. 두 번째 줄의 Eugene이 이중 반대를 했습니다. 좋습니다. 그런데 누가 그가 맞다고 생각합니까?

손을 들어주세요. 정말 좋습니다. 몇몇 용감한 영혼들. 좋습니다. 정말 좋습니다. 네. 제 말은, 그가 튜링상을 받았습니다. 그가 말한 것이 맞아야 합니다, 맞죠? 그래서, 누가 그가 맞다고 생각합니까? 좋습니다. 우리는 더 많은 동의를 얻었습니다. 실제로, 저는 그가 맞다는 좋은 이유들이 많다고 생각합니다. 왜냐하면 만약 여러분이 보면, 우리의 전체 생태계가 이 믿음 주위로 재구성되었기 때문입니다. 우리는 GPU 부자와 빈자에 대한 농담들이 있습니다. 우리는 과학자 Michael Jordan—농구 선수는 아닙니다—이 「나는 금속 한 덩이를 들지 않으면 생각할 수 없습니다.」라고 말한 것입니다.

우리는 기본적으로 제와 같은 연구원들이 있으며, 그들은 전통적으로 학계에 속했을 것이고, 이제 산업 실험실로 가서 많은 자원과 자금을 받습니다. 이러한 생각에 대한 신뢰 변화와 자본 유입 때문에, 왜냐하면 믿음은 여러분이 계산 자원이 필요하다는 것이고, 이것이 누가 참여할 수 없고 누가 참여할 수 있는지를 결정합니다. 계산 자원에 접근하는 것도 국가 우선순위이며, 광범위한 지원을 받습니다. 그래서 그것은 알고리즘으로 하는 것보다 위험이 낮다고 봅니다. 그것은 적합하고, 매우 편합니다. 그것은 분기별 계획 주기에 맞습니다. 그래서, 그것을 정당화하기가 쉽고, 사람들은 계산 자원의 양에 따라 자금 조달까지 합니다. 그래서, 그 후 돌아서서 「아니, 우리는 결국 계산 자원이 필요하지 않습니다.」라고 말하기가 어렵습니다. 그리고 이것은 실제로 권력의 집중을 야기했습니다.」

그래서, 이 질문을 제기하는 것은 실제로 매우 중요합니다. 왜냐하면 그것이 많은 것을 결정하기 때문입니다. 저는 공급업체 회사 A, B, C를 나열했지만, 만약 제가 나가면, 여러분은 모두 같은 이름을 말할 것입니다, 맞죠? 그래서 기본적으로, 이것은 정말로 우리의 선택이 더 적다는 것을 의미합니다. 그래서 이렇게 말하는 것이 맞습니까? 확장이 끝났다고 말하는 것은 여전히 매우 논쟁의 여지가 있습니다. 하지만 저는 보여 줄 것입니다, 저는 실제로 모델 크기와 성능 사이의 관계가 지금 원격으로 확실하지 않다고 생각하는 이유를 설명할 것입니다. 그리고 솔직하게 말해서, 아무 것도 가능할 수 있습니다. 저는 이렇게 주장할 것입니다. 그래서 우리는 지금 같은 크기의 AI 모델이 시간이 지남에 따라 점점 더 효율적이 되는 것을 봅니다. 그래서 여러분은 같은 크기에서 많은 더 많은 성능을 얻고 짜낼 수 있습니다. 하지만 더 설득력 있는 것은, 우리는 지금 작은 모델이 훨씬 더 큰 모델들을 초과하는 성능을 하는 것을 봅니다. 최고의 작은 모델들은 훨씬 더 큰 모델들을 훨씬 능가합니다. 그래서 규모가 전부는 아닙니다.

우리는 본다, 우리는 항상 가중치들 사이에 심각한 중복이 존재한다는 것을 알았습니다. 그래서 만약 규모가 여러분이 필요한 모든 것이라면, 왜 이렇게 많은 가중치가 정확히 같은 것을 하고 있습니까? 왜 여러분이 소수의 가중치에서 심층 신경망의 행동을 예측할 수 있습니까? 만약 규모가 모든 것이라면, 여러분이 훈련 후 대부분의 가중치를 삭제할 수 있습니까? 어떻게 희박하게 하고 95%를 삭제할 수 있습니까? 이 모든 것은 규모가 최적화에 중요하지만, 실제로, 이것은 우리가 아직 더 나은, 더 효율적인 작은 모델들을 훈련하는 데 능숙하지 않다는 것을 의미합니다. 고품질 데이터는 규모에 대한 필요를 크게 줄입니다. 하지만 더 중요한 것은, 우리가 확장할 때 얻는 대부분의 것이 긴 꼬리라는 것입니다. 그래서 여러분이 모델의 크기를 두 배 또는 세 배로 늘릴 때, 여러분은 단지 드문 인공물을 배우고 있습니다. 이것은 드문 인공물을 배우는 매우 비싼 방법입니다. 그래서 우리가 확장할 수 있더라도, 우리가 지불하는 대가는 훨씬 더 큽니다.

우리는 실제로 최신 모델에서 이를 명확하게 보고 있습니다——규모를 더 늘리는 것은 더 이상 타당하지 않습니다. Frontier Labs은 최근에 모델 크기를 3배, 4배로 증가시키려는 노력이 배포할 수 없는 것으로 간주되었으며, 솔직히 말해서 성능을 매우 작은 정도에서만 개선했기 때문에 다소 실망스럽습니다. 따라서 우리는 트랜스포머의 한계에 도달하고 있다고 말할 것입니다. 트랜스포머는 획기적이지만, 이미 포화된 상태입니다. 따라서 저는 여기서 흥미롭다고 말하고 싶습니다——스케일링에 있어서 수익률은 더 이상 의미가 없습니다. 실제로, 수익률이 가장 중요한 것입니다. 흥미로운 점은, 계산의 다른 부분들의 수익률이 훨씬 더 낫다는 것입니다.

따라서 후학습, 정렬, 데이터 합성 동역학, 자적응 계산, 하드웨어 공동 설계——이는 소수의 공급업체가 제공할 수 있는 대부분의 동력을 제어한다는 생각이 크게 달라질 것이라는 뜻입니다. 지능의 새로운 시대는 무차별적 확장을 훨씬 초과합니다. 여기에 매우 중요한 몇 가지 아이디어가 있다고 생각합니다. 하나는 자적응 계산입니다. 또 하나는 상호작용이 이제 중요하다는 것입니다. 당신의 모델이 세계와 어떻게 상호작용합니까? 이것은 컴퓨터 과학자들이 처음으로 인터페이스를 신경써야 하는 경우입니다. 세 번째는 장기 작업을 더 많이 하고 있기 때문에 지속적인 학습이 필요하다는 것입니다. 그렇다면 우리는 지금 어디에 있습니까? 우리는 적응의 시대에 있다고 말할 것입니다.

제가 이렇게 말하는 이유는 더 중요한 것은 당신이 용량을 어떻게 활용하느냐이며, 더욱 중요한 것은 당신의 실제 환경에서 어떻게 학습하느냐이기 때문입니다. 이것은 매우 다릅니다. 왜냐하면 컴퓨터 과학 분야로서 우리의 대부분의 시간은 모델에 집착하는 아이디어에 관한 것이었고, 1950년대부터 지금까지 우리는 최고의 모델을 어떻게 구축하는지에 중점을 두었기 때문입니다. 하지만 실제로 이 시대에, 모델 확장만으로는 최적화할 수 없는 공간에서, 모든 것은 데이터부터 인터페이스까지의 전체 스택을 어떻게 적응시키느냐에 관한 것입니다. 시스템의 개념과 그것이 세계와 어떻게 상호작용하는지가 핵심입니다. 우리의 목표는 지속적으로 발전하는 지능을 구축하는 것이며, 우리는 이 전체 스택을 데이터에서 인터페이스까지 모두 중요하다고 봅니다.

전체 사항은 당신이 가진 작업의 종류에 따라 변경되어야 하며, 극도로 효율적이어야 합니다. 이렇게 생각하면 이것은 근본적인 변화입니다. 우리는 가중치와 모델 이름이 전부라는 개념에서 실제로는 매우 유동적인 스택처럼 변했습니다. 따라서 우리가 흥미롭게 생각하는 것과 재미있는 것을 공유하겠으며, 그 후 논의를 매우 기쁘게 진행할 것입니다. 그래서 한 가지는, 당신도 알다시피, 우리의 첫 번째 기둥은 적응적 데이터이며, 우리는 이것이 중요하다고 믿습니다. 왜냐하면 당신이 신경 쓰는 데이터 분포의 어떤 부분에 대해서든 실시간으로 최적화할 수 있기 때문입니다. 음, 우리는 이미 4개월이 지났고, 우리는 몇 주 전에 이것을 공유했으며, 목표는 일반적으로 Frontier 실험실 내에 있는 것을 사용 가능하게 하는 것이라고 생각합니다. 지금 사전 훈련에서도 대부분의 혁신은 데이터 혁신입니다.

합성 데이터의 진정한 강력한 레버리지를 어떻게 실현합니까? 음, 우리도 이것을 매우 깊이 있다고 생각합니다. 왜냐하면 이것이 데이터가 충분히 저렴해서 데이터 공간에서 당신이 원하는 어떤 목표에 대해서든 최적화할 수 있는 첫 번째 시간이기 때문입니다. 따라서 사람들은 그들의 데이터를 AI에 보이도록 활용하고 해야 합니다. 매우 멋진 것은 사람들의 반응이 항상 매우 흥미롭다는 것을 보는 것입니다. 그래서 우리는 4주 전에 출시했습니다. 우리는 242개 언어를 지원했으며 이미 2,700만 개의 데이터 포인트를 처리했으며, 이는 매우 놀랍습니다. 우리가 매우 빠르다는 것이 그 중 일부라고 생각합니다. 따라서 기본적으로 하루 안에 데이터를 AI에 완전히 보이게 할 수 있습니다. 음, 우리의 다음 기둥도 마찬가지로 흥미롭습니다. 그래서 완전한 스택이 중요하고 적응적이라는 것을 알게 되었으므로, 다음은 연속 지능입니다.

음, 우리가 이번 주에 출시한 것인데, 당신도 알다시피 시간은 시간대에 따라 흐릿해지지만, 제 생각에 2일 전에 우리는 autoscientists를 출시했습니다. 이것은 훈련 학습을 어떻게 공동 최적화하고 자동화하는지에 관한 것이며, 이것은 적응 가능한 AI를 보유하는 것의 가장 큰 장애물 중 하나입니다. 음, order scientist는 자기 자신을 개선하고 데이터와 모델을 최적화하여 당신이 원하는 어떤 작업에도 적응하는 방법을 자동으로 배웁니다. 하지만 그것이 멋진 부분은 속도가 매우 빠르다는 것입니다. 따라서 기본적으로 2일 안에 최신 모델을 훈련할 수 있으며, 이는 상당히 터무니없습니다. 음, 우리는 실제로 장난스러운 실험을 했습니다. 우리는 이것이 우리의 AI 연구원들을 이길 수 있는가라고 물었습니다. 음, 그것은 훨씬 더 잘했습니다. 이 부분을 대부분의 AI 연구원이 특정 최전선 실험실 내에서 특정 모델 제품군을 기반으로 훈련받는다는 점에 돌립니다.

하지만 우리는 실제로 together AI의 모든 사용 가능한 모델에서 이것을 테스트했으며, together AI는 추론 제공자입니다. 따라서 약 30개의 다른 모델이 있으며, 연구원들은 다양한 아키텍처에 대해 어떻게 구성하고 데이터와 공동 최적화하는 방법을 자동으로 파악하기가 정말 어렵습니다. 따라서 이는 상당히 멋습니다. 음, 그것은 매우 예측 가능합니다. 제가 이렇게 말하는 이유는 앞으로를 내다볼 때, 우리의 생각은 당신이 전체 스택을 자동화할 수 있어야 한다는 것입니다. 진정한 적응성의 비전은 효율성입니다. 적응성, 음, 결국 적응은 실시간이어야 하며, 당신이 가진 어떤 작업에든. 적응에 대한 마찰이 많을수록 사람들은 단순히 프롬프트 엔지니어링으로 돌아갈 가능성이 더 높습니다.

따라서 우리에게 효율성은 어떻게 생각할 것인지에 대한 주요 집착이며, 사람들이 단일 AI보다 더 많은 대안을 갖는 것을 의미 있게 만듭니다. 음, 이는 매우 흥미롭습니다. 우리의 많은 연구원들이 이 문제에 오래 걸렸다고 생각합니다. 제가 유일하게 말하고 싶은 것은 적응의 또 다른 핵심 측면이 음, 첫날부터 그것이 전 지구적으로 우선되어야 한다는 것입니다. 따라서 우리는 242개의 언어를 지원하며, 우리가 가장 관심 있는 것은 검증 불가능한 작업입니다. 저는 세계의 대부분이 실제로 검증 불가능하다고 생각합니다.

검증 가능한 작업의 매우 작은 부분이 있으므로, 이것이 지금 중요한 것입니다. 이것은 누가 진전을 이룰 수 있는지, 누가 그 작업들을 활용하고 더 의미 있게 만들 수 있는지에 따라 결정될 것입니다. 그렇다면 앞으로 나아갈 방향은 무엇이며, 제 마지막 생각은 무엇입니까? 마지막으로 우리는 어떻게 해야 합니까? 저는 이것이 종점이 아니라는 것을 당신에게 확신시켰기를 바랍니다. 저는 내가 원하는 것과 나와 관련된 것을 얻기 위해 마스터 프롬프트 엔지니어가 되어야 하지 않습니다. 음, 제가 이미 당신을 확신시켰을 수도 있습니다. 우리는 이미 스케일링의 막바지에 도달했습니다. 최소한 모델 크기를 단순히 두 배로 늘리는 것이 더 이상 작동하지 않습니다. 이것은 흥미롭습니다. 이것은 혁신의 시대입니다.

하지만 제가 당신을 이 점에 대해 확신시켰는지 여부와 관계없이, 제가 아마도 어느 정도는 확신시켰을 수도 있습니다. 확장은 매우 비싸고, 수익은 여기 있는 대부분의 사람들에게 가치가 없을 수도 있습니다. 자신의 AI를 보유하고 싶다고 해도 마찬가지입니다. 제게 가장 중요한 것은 누가 적응의 비용을 가장 효과적으로 만드는가입니다. 우리에게 이것은 우리가 유일하게 집착하는 것이며, 어떻게 모든 builder가 그들이 보유한 어떤 작업에든 실시간으로 적응할 수 있도록 하는 방법입니다. 따라서 저는 이것이 우리가 헌신할 수 있는 가장 깊은 문제 중 하나라고 생각하며, 그 후 관심 있는 사람들과 이야기를 나누고 싶습니다. 음, 저는 여기서 멈추겠습니다. 음, 저는 또한 단지 다음 한 달 동안 order scientists를 무료로 제공할 것이라는 것을 공유하고 있습니다. 그래서 증거는 푸딩에 있습니다. 직접 시도해보세요. 환영합니다.

저는 기꺼이 계속 돌아오겠습니다. 그래서, 매우 감사합니다. 어, 저는 여기 있는 것이 정말 특권이라고 생각합니다. 감사합니다. >> 아, 정말 감사합니다, Sarah. 좋은 강연이었습니다. 음, 다음으로 우리는 Miniax 플랫폼 엔지니어링 팀의 Vincent가 있습니다. 우리는 지난 하루 동안 agents가 agents를 구축하는 것에 대해 많은 논의를 해왔습니다만, agents가 자율적으로 필요한 계산 및 리소스의 양을 스케줄링하게 하면 어떻게 될까요? 한 수준 위입니다. 그래서 우리는 이것에 대해 많은 것을 공유할 것입니다. >> 좋습니다. 안녕하세요, 여러분들, 어, 제 이름은 Vincent Lou입니다. 저는 우리 API 플랫폼 팀의 제품 엔지니어입니다. 오늘 저는 자신의 계산을 관리하는 agents에 대해 논의할 것입니다. 그래서 첫 번째 일은 다음 슬라이드에 대해 죄송합니다. 아, 이것은 좋습니다. 우리는 지금 좋습니다. 네.

그래서 음, 계산, 모두가 계산을 알고 있습니다. 어, 계산은 현재 큰 것을 경험하고 있습니다. 다음 세기의 가장 큰 어, 상품 중 하나처럼 말입니다. 음, 우리가 지금 사용하는 방식의 효율성은 매우 높지 않습니다. 이것을 보는 가장 좋은 방법은 저는 당신들이 알고 있을 것 같은데, 어, 특정 추론 제공자들이 어, 제3자 도구가 그들의 어, 추론을 사용하는 것을 차단하고 있습니다. 당신도 알다시피, 아마도 일부는 단지 경쟁일 수도 있지만, 실제로 중요한 것은 어, 계산은 매우 어, 요청에 의존한다는 것입니다. 다양한 유형의 요청, 다양한 유형의 워크로드는 어, 당신의 계산에 다른 압력을 가합니다. 예를 들어, 특히 다양한 유형의 입력 토큰 어, 그리고 입력 및 출력 토큰, 당신의 토큰 프로필(우리가 그것이라고 부르는 것처럼), 추론 제공자가 자신의 계산을 어떻게 활용하는지에 중대한 영향을 미칩니다.

어, 그래서 최근에 Dwarf Cache와 Riner Pope에 관한 팟캐스트가 있었으며, 어, 그는 기본적으로 추론 워크로드가 얼마나 심각하게 당신의 토큰 프로필에 의존하는지에 대해 이야기했습니다. 그래서 이것이 agents가 어, 자신의 계산을 관리하는 것이 의미가 되는 이유입니다. 기본적으로, 우리가 알 수 있다면——추론 제공자로서, 우리가 미리 어, 세션의 토큰 프로필을 알 수 있다면, 우리는 요청을 더 잘 프로비저닝할 수 있고, 우리는 기본적으로 우리의 어, 플릿 활용도를 최대화하고 더 많은 사람들에게 더 많은 요청을 제공할 수 있으며 어, 더 적은 실패를 경험할 수 있습니다.

이제 당신은 이 종류의 어, 이 종류의 요구 사항이 인간에게는 좀 너무 많다는 것을 알고 있습니다. 왜냐하면 당신이 당신이 코덱이나 클라우드 같은 것을 사용하고 있다는 것을 알고 있다고 상상한다면, 각 세션 전에 당신은 어, 제공자에게 당신이 정확히 어떤 종류의 워크로드를 하고 있는지, 얼마나 오래 할 것인지, 당신의 토큰 분포를 말해야 합니다. 내 말은, 나는 내 토큰 분포도 신경 쓰지 않습니다. 그래서 이것은 인간에게 너무 까다롭지만, 자율 agents에게는 실제로 매우 합리적일 수 있습니다. 이것은 더 많은 관찰이지만, agents는 점점 더 많은 도구를 보유하고 있습니다. 따라서 컨텍스트 관리에서 도구까지, 한때 어, 엔지니어가 하드코딩한 것이었던 것들이지만, 지금은 agents가 기본적으로 어, 이 리소스들을 관리하고 있습니다.

하지만 agents가 실제로 관리하지 않는 한 가지가 있습니다. 그것은 그들의 계산과 그들의 지능입니다. 따라서 기본적으로 우리는 agents에게 어, 먼저 그들의 모델을 선택할 수 있는 능력을 정말로 주지 않았습니다. 비록 실제로는 우리... 우리는 당신도 알다시피 agents가 그들이 원할 때 그들의 뇌를 전환할 수 있다는 것을 봅니다. 하지만 더 중요한 것은 그들의 계산은 그들이 실제로 작업을 수행하고 추론을 실행하고 싶을 때입니다. 따라서 어, 이것은 자율 장기 실행 agents 이전에는 의미가 없었습니다. 왜냐하면 당신이 단지 인간과 페어 프로그래밍할 때는 스케줄링할 것이 없기 때문입니다. 기본적으로 인간이 agents와 대화하고 프로그래밍할 때, 당신은 단지 지금 그 추론을 원합니다. 당신은 즉시 작업이 완료되기를 원합니다. 따라서 할 스케줄링이 많지 않으며, 정말로 단지 탐욕스러운 최선의 노력입니다.

하지만 agents가 더욱 autonomous해지면서, 당신이 그들을 백그라운드 작업에 맡기고 백그라운드에서 일을 하게 할 때, 실제로 당신의 계산을 스케줄링하는 많은 방법들이 있습니다. 예를 들어, 제가 제 agent에게 마감일을 부여하고 주말 전에 무언가를 완료하고 싶다면, 저는 그들에게 목표와 예산을 줄 뿐입니다, 그렇죠? 그런 제약 조건과 함께, agent는 기본적으로 계산이 이용 가능한 다양한 시간 간격에 걸쳐 수행해야 할 수 있는 여러 유형의 작업을 분산할 수 있는 많은 일들을 할 수 있습니다. 빠른 예로는, 당신의 agent가 전체 애플리케이션을 구축하고 있다고 가정하면 됩니다. 글쎄요, 첫 번째 계획 단계의 경우 즉시 뛰어들 필요가 없을 수도 있습니다. 계획을 기다릴 수 있습니다.

먼저 정말 좋은 계획 모델을 선택할 수 있습니다. 아마도 구현하기 쉽지 않을 수도 있지만, 그 모델로 계획을 하게 합니다. 아마도 자정처럼 추론 비용이 가장 낮을 때나 성공률이 높을 때 말입니다. 그 다음 알겠지만, 프로젝트 말미에 품질 보증을 수행해야 하고 애플리케이션을 검토해야 합니다. 정말 강력한 VLM 모델로 전환해야 할 수도 있으며 실제로 애플리케이션을 실시간으로 테스트하기 위해 낮은 지연 시간 작업을 수행하게 해야 합니다. 따라서 이미 다양한 작업 부하의 경우 정말 다른 token 프로필과 그 특정 작업 부하에 대한 요청 프로필이 있음을 알 수 있으며, 매우 다른 계산 클러스터에 적합할 수 있습니다.

이것은 최근에 Ben Thompson이 Strategy에 쓴 블로그 기사입니다. 그는 기본적으로 「답변 추론」과 「에이전트 추론」을 분리함으로써 이 포인트를 합니다. 지금 답변 추론은 현재 대부분의 사람들이 관심을 갖는 것입니다. 이것은 당신의 코딩 agent로 들어가서 그냥 agent와 페어 프로그래밍을 할 때입니다. 당신은 출력을 더 빠르게 보고 싶습니다. 당신은 그것이 더 빠르게 생각하기를 원합니다. 당신은 실시간 지연을 원합니다. 이것이 답변 추론입니다. 하지만 에이전트 추론은 다른 점이 있습니다. 실제로 에이전트 추론의 경우 지연이 그렇게 중요하지 않습니다. 왜냐하면 제가 이전에 말씀드린 것처럼, 당신은 정말 목표와 계산 예산 또는 달러 예산 같은 예산을 전달하는 것입니다. 그러면 agent는 이용 가능한 자원에 따라 당신의 예산과 목표 주변에서 최적화할 수 있습니다.

또한 언급해야 할 것은 어떤 의미에서 답변 추론이 실제로 에이전트 추론의 일부이기도 하다는 것입니다. 왜냐하면 당신은 모델 agent가 때때로 백그라운드 작업 중에 낮은 지연 시간 작업을 원할 수 있다고 쉽게 상상할 수 있기 때문입니다. 예를 들어 제가 이전에 언급한 예제와 같이 마지막 애플리케이션의 GUI 검토에 대해, 그곳에서 실시간 지연을 원하고 아무도 보고 있지 않은 상황에서도 말입니다. 그래서 극한에 있어서 우리는 추론 교환 같은 것이 시작되기를 기대합니다. 이 모든 백그라운드 agents가 당신이 아는 필드에서 실행 중인데, 그들의 작업 부하 전에 기본적으로 그들의 세션 정보를 추론 교환에 제출합니다. 그래서 가장 중요한 것은 사용된 모델과 그 다음 token 프로필입니다.

그래서 당신은 범위 캐시 입력 token 수, 캐시되지 않은 입력 token 수 및 출력 token과 기타 유사한 메타데이터를 갖습니다. 그러면 교환은 당신의 세션과 agent 세션을 그 작업 부하를 위한 최적화된 배치의 최적화된 노드와 일치시킵니다. 기본적으로 그 시점에 그 작업 부하를 제공하기 위한 최적의 계산과 하드웨어를 찾기 위해 말입니다. 이제 이것의 좋은 점은 모든 유형의 시장 메커니즘처럼 추론 교환이 충분히 활용되지 않은 계산 용량을 사용자와 제공자 잉여로 변환할 수 있다는 것입니다.

이것이 좋은 이유는 당신이 알다시피 최적의 일치를 가정하면, 우리는 기본적으로 모든 추론 제공자의 모든 GPU의 최상의 사용을 하고 있습니다. 당신이 알다시피 그들의 MFU가 최대화될 것입니다. 왜냐하면 그 클러스터에서 특별히 실행될 작업 부하가 그 클러스터의 구성에 맞게 최적화될 것이기 때문입니다. 그러면 또한 함대 활용이 다양한 시간 간격처럼입니다. 그래서 이제 우리는 제공자들이 이런 것을 보게 됩니다. 예를 들어 오후에 그들은 과도하게 활용됩니다. 왜냐하면 모든 사람이 그 시간에 그들의 agents를 사용하고 있기 때문입니다. 하지만 자정처럼 당신이 알다시피 이것은 그들입니다. 그들의 GPU는 활용되지 않습니다. 이것은 제공자에게 좋지 않습니다. 왜냐하면 그들은 그들의 GPU를 항상 실행하기를 원하기 때문입니다.

글쎄요, 그래서 이 추론 교환과 agents가 자율적으로 그들의 자신의 계산을 관리하는 것으로, 우리는 더 나은 일치를 가질 수 있습니다. 기본적으로 피크와 비피크 시간을 평탄화합니다. 전체적으로, 이것이 추론 제공자에게 하는 일은 초당 더 높은 처리량입니다. 그래서 당신의 전체 시스템의 처리량이 더 최적화되게 됩니다. 이것은 추론 제공자에게 좋습니다. 왜냐하면 이것이 그들이 돈을 버는 방법이기 때문입니다. 그들이 제공할 수 있는 token이 많을수록, 그들이 가져올 수 있는 수익도 많습니다.

하지만 이것은 소비자에게도 좋습니다. 왜냐하면 다시 한 번, 제가 처음에 말씀드린 것처럼, 지금 소비자입니다. 우리는 많은 문제에 직면해 있습니다. 우리의 요청은 기본적으로 속도 제한이 되거나 또는 제공자에 의해 잘 제공되지 않습니다. 그것은 그들이 그들의 GPU를 최대로 최적화된 방식으로 사용하지 않기 때문입니다. 그래서 소비자를 위해, 우리가 볼 것은 기본적으로 요청 처리 전반에 더 나은 것입니다.

또한 비용 측면도 있습니다. 왜냐하면 당신이 상상할 수 있듯이 제공자들이 비피크 시간에 비용을 낮출 수 있고, 이렇게 하면 agents가 그런 저비용 계산 능력을 사용하도록 장려될 수 있습니다. 우리는 서비스 쪽에서 이미 이것을 보고 있습니다. 예를 들어 저는 많은 제공자들이 다양한 서비스 수준을 가지고 있다고 생각합니다. 낮은 지연, 높은 지연, 배치 처리입니다. 이들은 모두 다른 가격을 가집니다. 마지막으로, 이것은 우리 MMX CLI에 대한 일종의 광고입니다. 이 CLI는 인간이 사용하도록 설계되지 않았습니다. 이것은 정말 agents가 우리 모델 API를 자율적으로 호출할 수 있는 방법입니다. 왜냐하면 우리는 음성에서 이미지에서 비디오 생성에 이르는 모델 시리즈를 가지고 있기 때문입니다. 물론 우리의 LMS도요. 그래서 이제 이것은 정말 agents가 우리 모델 엔드포인트를 효과적으로 호출할 수 있는 방법입니다.

하지만 미래에, 우리는 이것을 확장할 계획입니다. 기본적으로 제가 이전에 말씀드린 것에 대해 agents가 더 포괄적이고 더 복잡한 방식으로 자신의 계산을 관리할 수 있게 하려는 필요를 충족시키기 위해 말입니다. 그래서 아마도 그들은 하루 중 다양한 시간에 비디오 작업 부하를 실행하고 비용을 절약한 다음 계산을 최대화하기로 결정할 수 있습니다. 오, 그게 다입니다. 감사합니다. 오, 좋습니다. 정말 감사합니다. 정말 감사합니다. 그것은 정말 훌륭한 강연이었습니다. 어, 다음으로 우리는 Sid와 Daniel을 가지고 있습니다. 그들은 그들의 회사를 소개할 것입니다. 로봇 회사입니다. 우리는 많은 것들에 대해 이야기했습니다. agents에 대해, 그들을 배포하는 것, 코딩 agents에 대해 말입니다. 하지만 agent를 실제 세계에 배포하는 것은 무엇을 필요로 합니까? 그래서 그들은 물리적 환경에서 원격 조종 로봇을 배포하는 방법을 살펴볼 것입니다. 안녕하세요. 안녕하세요. 안녕하세요. 안녕하세요. 이게 작동합니까? 오, 작동하고 있습니다. 안녕하세요.

저는 Daniel입니다. 어, 저것은 Sid입니다. 우리는 로봇 회사에서 왔습니다. 우리는 오늘 원격 조종 로봇을 배포합니다. 내일 자율성을 실현합니다. 좋습니다. 당신들이 여기 보는 것은 영국 케임브리지의 곤충 양식장에 배포된 원격 조종 로봇입니다. 당신들이 그 작은 상자에서 꿈틀거리는 작은 것들을 봅니까? 저것들은 검은 귀뚜라미이며, 도마뱀과 파충류를 먹이기 위해 사용됩니다. 당신이 상상할 수 있듯이, 이러한 환경에서 일하려고 하는 사람들이 많지 않습니다. 이것이 그것이 꽤 좋은 로봇 사용 사례인 이유입니다. 저는 지난 일 년 동안 영국에 로봇을 배포했습니다. 그래서 곤충 양식장 외에도 세탁 시설, 음식 준비 및 호텔 수용 설정이 있습니다. 그래서 우리는 원격 조종 로봇을 배포하는 것에 집중합니다. 이제 당신이 Daniel에게 물을 수도 있습니다. 왜 원격 조종 로봇을 배포합니까?

당신이 알다시피, 당신이 알다시피, 최근의 한 저명한 연구원입니다. 죄송합니다. 제 리모컨입니다. 저명한 연구원은 최근에 데이터 수집 수단으로서 원격 조종이 더 이상 유행하지 않는다고 언급했습니다. 그리고 이 관점에 대해 많은 장점들이 있습니다. 첫째, 저는 첫 손으로 경험했습니다. 원격 조종은 선형적으로 확대되고 있습니다. 원격 조종은 일대일 확대이며, 그렇죠? 한 사람이 한 로봇을 제어합니다. 그런 식으로 말입니다. 또 다른 것은 연산자 교육이 실제로 매우 어렵습니다. 저는 약 100명의 연산자를 교육했고, 그 중 약 30% 내지 40%만이 실제로 온보딩을 통과했으며, 이것은 확대하기 어렵습니다. 또 다른 문제는 원격 조종을 사용할 때, 당신은 하드웨어 지연의 모든 기술적 제약과 모든 이러한 문제들에 직면합니다. 그러면 우리가 수행하는 두 번째 부분은 배포가 매우 어렵습니다.

당신은 새로운 환경을 만나게 됩니다. 이는 새로운 조명, 새로운 테이블, 새로운 치수를 의미하고, 물론 새로운 고객 요구 사항을 의미합니다. 당신은 실패를 만나게 됩니다. 우리의 경우, 곤충 양식장 때문에, 우리는 실제 버그들을 만났습니다. 하지만 우리는 또한 소프트웨어 버그와 오류들의 한 무더기를 만났습니다. 그리고 모든 하드웨어의 경우, 것들은 깨집니다. 그래서 왜 원격 조종 로봇을 배포합니까? 제가 우리의 논변을 이야기하기 전에, 모델이 어떻게 확장되는지 빠르게 지나가자. 이것이 우리에게 의미하는 바는 무엇입니까? 그래서 빠르게, 모델은 먼저 사전 훈련으로 확장되었습니다. 그래서 많은 양의 데이터, 일반적인 지능, 광범위하지만 정제되지 않은 것입니다. 그러면 감독 미세 조정이 있습니다. 모델이 데이터를 훈련하게 합니다. 그래서 모델은 작업 특정 전문화를 가집니다. 그러면 엄청난 돌파구가 있습니다. RLHF, 강화 학습. 인간 피드백을 동반합니다.

인간이 황금 진실 답변을 제공하므로 모델은 정말 유용하고 좋은 출력을 제공합니다. 모든 이것은 물론 높은 품질의 데이터로 뒷받침됩니다. 로봇 세계에서, 높은 품질 데이터 또는 더 광범위하게 데이터는 일반적으로 네 가지 범주로 나뉩니다. 만약 제가 당신의 y축과 x축을 가리키면, y축은 확장성이고, 확장성은 일반적으로 데이터 품질 및 하드웨어와 반비례합니다.

그래서 왼쪽에는 시뮬레이션 데이터가 있습니다. 모든 것이 시뮬레이션에서 실행되고, 소프트웨어에서, 물리적 세계가 없고, 물리적 로봇이 없습니다. 약간의 시뮬레이션에서 현실로의 간격이 있습니다. 그러면 당신은 자기중심적 데이터를 가집니다. 본질적으로 눈높이에 놓인 카메라입니다. 이것도 상당히 확장 가능합니다. 왜냐하면 하기가 매우 복잡하지 않기 때문입니다. 하지만 일반적으로 데이터가 로봇 구동기 및 서보 시스템에 직접 매핑되지 않을 수 있으므로 데이터 품질이 매우 높지 않습니다. 당신은 착용 가능한 것을 가집니다. 이것은 Umei, Universal Operations Interface에 의해 홍보됩니다. 이것은 상당히 유용합니다. 왜냐하면 당신은 관절 위치 또는 어떤 인수 위치를 얻을 수 있고, 그러면 당신은 물리학과 수학을 약간 할 수 있어서 그것이 로봇에 매핑되도록 할 수 있기 때문입니다. 그래서 데이터 품질은 꽤 좋습니다. 그리고 상당히 확장 가능합니다. 그러면 스펙트럼의 다른 쪽 끝에는 원격 조종이 있습니다.

원격 조종입니다. 매우 높은 품질의 데이터, 왜냐하면 실제 로봇이 현장에서 데이터를 수집하기 때문입니다. 하지만 확장 불가능합니다. 왜냐하면 일대일이기 때문이고, 로봇을 여기저기 가져가는 것도 약간 번거롭기 때문입니다. 이제 모델을 이해합니다. 저는 데이터를 이해한다고 말합니다. 우리는 어떻게 유용한 배포를 얻습니까? 우리는 LLM 영역에서 어떻게 유용한 배포와 유용한 작업을 얻습니까? 그것이 어떻게 보이는지, 저는 여기서 극도로 단순화했습니다. 어, API 호출처럼 보입니다, 그렇죠? 명백히 아래에 많은 것들이 있습니다. 하지만 로봇을 생각해보세요. 배포가 훨씬 더 어렵고 훨씬 더 어렵습니다. 사람들이 문제를 어떻게 처리하는가입니다. 로봇학은 약간 이렇게 보입니다.

LM 접근법입니다. 데이터를 얻고, 계산을 얻고, 그것을 문제에 던집니다. 사전 훈련과 SFT로 던집니다. 이것은 정말 정말 좋은 결과를 생성합니다. 최근의 모델들은 실험실에서 정말 멋진 유망한 결과를 보여주었고, 일반적으로 시뮬레이션 데이터, 자기중심적 데이터에 의존하고, 일반적으로 그 안에 관련된 일부 세계 모델을 가집니다. 그리고 그것은 많이 있습니다. 당신이 아는 것, 높은 품질의 실험실 평가입니다. 하지만 우리는 어떻게 자율성 차이를 구현하고 해결합니까? 실험실뿐만 아니라 현실 세계에서도 말입니다? 우리의 주장은 우리가 상업 환경에서 로봇을 배포하고 싶다는 것입니다. 이것에는 두 가지가 있습니다. 첫째, 당신이 원격 조종 로봇을 배포할 때, 당신은 실제로 고객을 위해 정말 유용한 일을 완료합니다, 그렇죠? 그래서 이 경우, 티셔츠를 접기입니다. 하지만 이 과정은 또한 극도로 유용한 일을 합니다. 로봇이 완료한 일을 기반으로 매우 귀중한 데이터를 수집합니다.

우리가 LLM과 자율 주행에서 배웠듯이, 가장 가치 있는 데이터 세트는 정말 유용한 일이 완료되는 부작용입니다. 그래서 이것은 우리를 첫 번째 단계로 이끕니다. 실제로, Chenise가 여기 있었고, 저에게 물을 줄 것으로 예상되었지만, 배포가 어렵고 오늘은 정말 작동하지 않았습니다. 하지만 제가 말하고 싶은 것은, 우리는 기본적으로 시도하고 있다는 것입니다. 우리는 매번 배포할 때마다 실제 시나리오에 원격 조종 로봇을 배치함으로써 시작합니다. 그래서 당신은 여기 이 사람들이 옷을 접고 있는 것을 볼 수 있습니다. 당신은 또한 Daniel이 그것이 어떻게 보이는지에 대한 현장 데모를 하는 것을 볼 수 있습니다. 그 위에, 당신이 얻는 것은 우리가 당신이 아는 사전 훈련 모델들과 함께 계층화해서 스택한 것입니다. PI 0.5, Groot, Daniel이 이미 공유한 일부 모델들을 생각해보세요.

당신이 얻는 데이터는 기본적으로 당신이 얻을 수 있는 가장 높은 품질의 체화된 데이터입니다, 그렇죠? 왜냐하면 형태학적 일치, 환경 일치, 작업도 일치하기 때문입니다. 당신은 결국 상업적으로 실행 가능한 로봇을 실제로 배포하기 위해 정말 좋은 기초 데이터 세트를 얻습니다. 그리고 당신은 이것을 기억해야 합니다. 모든 이것은 단지 시작점입니다, 그렇죠? 당신이 깊이 있게 미세 조정을 시작하면 실제 일이 시작됩니다. 저는 두 번째 단계가 이 방에 있는 모든 사람이 이미 어떻게 하는지 알고 있는 부분이라고 생각합니다. 어, 당신은 원격 조종 데이터를 얻을 수 있고, 그것에 대해 감독 미세 조정을 할 수 있으며, 당신이 이미 알고 있는 일부 모델을 사용할 수 있습니다, 그렇죠? 그리고 당신은 약 80%의 자율성을 달성할 수 있습니다. 우리는 모두 80%의 자율성이 어떻게 보이는지 알고 있습니다.

어, 당신은 Twitter와 많은 소셜 미디어 플랫폼에서 이것들을 본 적이 있습니다. 어, 당신이 결국 얻는 것은 정말 예쁜 비디오이며, 약간의 과대광고가 있습니다. 당신이 알다시피, 당신이 주의를 끌고 싶을 때, 이것은 매우 잘 작동합니다. 하지만 일단 당신이 현실 세계로 들어가기 시작하면, 저는 여기에 많은 기업의 사람들이 있다고 확신합니다. 80%는 생산에 충분하지 않습니다. 당신이 80%를 얻기 시작할 때, 평가에서 80%를 들을 때, 우리가 생산으로 들어가기 시작할 때, 당신이 고객에게 정말로 의미하는 바가 무엇인지 알고 있습니까? 이것은 고객의 위치에서 다섯 개의 옷 중 하나가 바닥에 떨어진다는 것을 의미합니다. 그들이 그것을 접으려고 할 때, 그렇죠? 그것은 단순히 작동하지 않습니다. 그래서 당신이 지금 정말로 가지고 있는 것은 배송할 수 없는 차이입니다, 그렇죠? 이 차이를 자율성 차이라고 합니다. 당신은 볼 수 있습니다. 그들은 정말 최근의 데모를 했습니다. 그들의 로봇이 패키지를 분류하는 것에 대한 현장 라이브입니다.

이것은 매우 인상적이었고, 그들은 8시간을 했습니다. 하지만 그들도 문제에 직면했습니다. 그리고 우리는 정말 특정한 메커니즘을 믿습니다. 인간의 개입, 실시간입니다. 이것이 대규모로 이 문제를 해결할 수 있습니다. 그래서 이것은 우리를 세 번째 단계로 이끕니다. 원격 조종 더하기 인간 개입입니다. 이런 식으로 말하는 용어가 있습니다. 이것을 원격 감독이라고 합니다. 원격 감독은 기본적으로 로봇이 실수를 할 때 누군가 개입한다는 개념을 포함합니다. 당신은 미세 조정을 수행합니다. 그러면 당신은 로봇이 혼자 가도록 합니다. 그것이 실수를 할 때마다 당신은 계속 반복합니다. 그리고 당신은 어떻게 우리가 지금 가지고 있는 원격 조종 천장 문제를 해결합니까? 당신이 이 종류의 원격 감독을 수행하고 싶을 때 말입니다? 글쎄요, 우리는 일대일에서 일대다로 확장하기 시작할 수 있습니다. 그리고 이것은 새로운 것이 아닙니다. 자율 주행 세계는 한동안 이것을 해왔습니다.

Waymo는 원격 감독의 예를 가지고 있으며, 우리는 같은 접근 방식이 로봇학으로 확장될 수 있다고 생각합니다. 다른 한편은 원거리 원격 조종입니다. 우리는 대역폭에 걸친 낮은 지연을 가능하게 하는 실행 중인 스택을 가지고 있습니다. 이것은 우리가 싱가포르에서 런던으로 데모를 한 예입니다. 당신은 지금 추론할 수 있습니다. 당신은 싱가포르에서 미국으로, 인도에서 싱가포르로, 중국에서 싱가포르로 할 수 있습니다. 우리의 스택에서 모두 100밀리초 이하입니다. 이제 기업의 경우, 이것은 핵심입니다. 왜냐하면 배포가 어렵지만, 이것은 매우 필요하기 때문입니다. 로봇의 긴 꼬리는 현실 세계에 존재합니다. 그리고 그 80%는 절벽 가장자리입니다. 그래서 우리가 말하고 싶은 것은, 원격 조종이 배포 계층으로 사용되고, 당신이 해야 할 필요가 있는 사소하고 지루한 육체 노동과 함께, 이것이 성공적인 배포의 이유입니다.

그리고 당신이 해야 할 방식은 당신이 다르게 생각해야 한다는 것입니다. 기업은 연구 실험실처럼 생각할 수 없습니다. 실제로, 당신은 근본적으로 다르게 생각해야 합니다. 그리고 당신은 원격 조종으로 시작해야 합니다. 당신의 기본 출발점으로. 그러면 당신은 풍부한 데이터를 수집하기 시작합니다. 그러면 당신은 상업적으로 실행 가능한 모델과 로봇을 배포하기 시작합니다. 이것이 우리를 마지막으로 이끕니다. 그래서 이것이 Daniel과 제가 로봇 회사에서 하는 일입니다. 우리는 오늘 실제 일을 하는 로봇을 배포합니다. 동시에 우리는 내일의 자율 로봇을 위해 데이터 엔진을 구축합니다. 그래서 만약 당신이 우리에 대해 더 알고 싶다면, 당신은 robot company.ai에서 우리를 찾을 수 있습니다. 감사합니다. 그것은 놀라운 데모였고, 저는 어, 당신이 알다시피, 이것은 단지 현장에서 로봇을 배포하기가 얼마나 복잡한지에 대한 증명일 뿐입니다.

그래서 우리는 우리가 원격 조종 로봇을 할 수 있는 방법에 대해 이야기했습니다. 당신이 알다시피, 사람들이 실제로 돕게 하십시오. 하지만 만약 우리가 그것을 우회하고 바로 뇌로 가면 어떨까요? 그래서 이 특정한 부분에서, 우리는 Justin Bar에 대해 이야기할 것입니다. 그는 당신이 BCI로 이것을 어떻게 하는지 공유할 것입니다. 뇌-컴퓨터 인터페이스입니다. 안녕하세요. 방금 시작했습니다. 어, 오늘 우리를 위해 참여해주셔서 감사합니다. 우리는 어 또 다른 흥미로운 로봇 실험을 당신들에게 보여줄 것입니다. 그래서, 우리는 곧 도착합니다. 하지만 그들이 연결하는 동안, 저는 먼저 시작할 것입니다. 우리는 다음 10분 안에 당신들에게 많은 것을 보여줄 것입니다. 그래서, 어, 어, 준비하세요. 하지만 다시 한 번 감사합니다, 당신 모두에게. 싱가포르에서 이것을 실현할 수 있어서 감사합니다. 저는 말하는 것입니다. AI입니다. Jack이 싱가포르에 온 것이 정말 멋졌습니다. 어 Agram과 Sherry, 그리고 65 Lab 팀이 모두 이것을 하나로 모을 수 있어서 정말 멋졌습니다.

당신은 방금 여기에 놓고 싶습니까? 어, 당신이 방금 최소화한 것입니다. 당신들은 그것을 가지고 있습니까? 아니면 없습니까? >> 잠깐만요. 확장되었습니다. >> 맞습니다. 확장되었습니다. 이것은 확장되었습니다. 그것이 확장되었습니다. >> 이제 당신이 그것을 가지고 있습니까? >> 좋습니다. 3, 2, 1. 좋습니다. 좋습니다. 모두에게 감사합니다. 그래서, Tessact의 일부로, 우리는 시스템을 구축했습니다. 우리는 이것을 Tessact.art라고 부릅니다. 어, 우리가 이것으로 하는 것은 우리가 사람들이 AI를 통해 자신을 표현할 수 있도록 하는 시스템을 구축했다는 것입니다. 이것은 현장 음악 공연을 수행하고 그 현장 음악 공연을 그림으로 변환하는 것으로 시작했습니다. 어, 하지만 그 이후로, 우리는 이것을 훨씬 더 멀리 밀어냈습니다. 그래서 저는 어, Kaiming에게 큰 소리로 외치고 싶습니다. Kaiming, 당신이 우리와 함께 나올 수 있을까요, 그리고 우리는 일부 장치를 출시하기 시작할 것입니까? 감사합니다. 어, 사람들이시여, 저는 단지 Kai Ming을 소개하고 싶습니다.

어, 우리는 함께 꽤 흥미롭고 특별한 일들을 했습니다. 감사합니다. 그래서 맞습니다. 그래서 지난 몇 년 동안 부디, 당신들이 출시할 수 있다면, 당신들은 출시할 것입니다. 각위. 죄송합니다. 우리는 출시하는 것이 많이 있습니다. 죄송합니다. 당신들이 도와줄 수 있습니까? 감사합니다. 좋습니다. 죄송합니다. 우리가 전체 로봇 시스템, 그림 그리기 및 모든 이러한 다른 것들을 가지고 있을 때 10분 의 강연에서 이것은 상당히 어렵습니다. 그래서 우리가 이 과정을 진행하면서 잠깐만요. 하지만 어, 당신이 볼 수 있듯이, 우리가 출시하고 있는 것은 우리가 tessoract.org라고 부르는 시스템입니다. Tessa는 무엇입니다, 로봇 팔, Tessa, 로봇 팔, 우리는 지난 몇 년 동안 이것을 개발해왔습니다. 어, 그리고 일부 협력자들과 함께, 어, 제 협력자, 박사.

Richard Savory입니다. 저는 약 3년 전에 이것을 시작했고, 우리는 로봇을 다중 모드 AI와 함께 사용할 수 있는 시스템을 구축하고 싶었습니다. 한 가지 창의적인 형태를 다른 것으로 변환할 수 있습니다. 이것이 우리가 시작한 곳입니다. 음악을 모으는 것이었습니다. 우리가 이것으로 한 일은 정말로 인간의 상상력을 취하고, 지능형 시스템을 통해 그것을 확장하고, 이것이 우리가 오늘 하는 일의 의도입니다. 이제, 무대 위에 우리가 또 무엇을 가지고 있는지, 우리는 또한 Jackie가 여기 있습니다. >> 마음 인터페이스 회사에서. >> 그리고 우리는 또한 Ivy가 있습니다. 그녀는 또한 Tessact에서 우리와 함께 있습니다. 그리고 Ivy, 저는 아마도 단지 당신에게 어 올라와서 도와달라고 물어볼 수 있을 것입니다.

그래서 Kaiming의 경우, 우리가 한 것은 무대에서 현장으로 보는 것은 Kaiming이 처음 그녀의 얼굴에 그림을 그리기 위해 뇌 제어를 사용한 것입니다. 그래서, 뒤에 있는 당신들을 위해, 아마도 보기 어려울 것입니다. 하지만 그녀는 실제로 어 앞을 통해 통과하는 헤드밴드를 착용하고 있습니다. 어, 이것은 Muse 헤드밴드입니다. 만약 관객 중에 Muse 헤드밴드를 아는 누군가가 있다면. 하지만 이것이 그렇게 놀랍고 멋진 것은 이 기술이 이제 그런 지점에 도달했다는 것입니다. 두 시간을 뺄 필요가 없습니다. 헤드셋을 입고, 이 모든 값비싼 장비를 입고. 우리는 이것을 곧 입을 수 있고, Kaiming은 제어 인터페이스 측면에서 그녀가 하고 싶은 것만 생각할 수 있고, 실제로 드로잉을 통해 일이 일어나도록 할 수 있습니다. 어, 그래서 Kaiming, 저는 당신에게 전달하고 싶었습니다. 어, 당신에게 몇 가지 질문을 물어볼 것입니다.

음, 아마도 당신은 우리가 오늘 어떻게 여기에 도착했는지에 대해 우리에게 조금 말씀해 줄 수 있을까요? >> 좋습니다. 음, 안녕하세요. 그래서 저는 Kaiming입니다. 음, 저는 ALS 증후군이라는 상태가 있습니다. 그래서 저는 Red Disorders 어 싱가포르 협회의 일부입니다. Justin은 그것과 함께 일해왔습니다. 음, 그래서 저는 AI 정책 연구원이고, 네, 그것이 우리가 어떻게 만났는지입니다. >> 네. 그래서, 음, 당신은 과거에 일부 미술 작품을 한 적이 있었습니다. 음, 그리고, 음, 우리가 지금 할 수 있는 것은 이 프로세스를 통해, AI와 우리의 다중 모드 시스템을 사용하면, 예를 들어, 당신의 일부 창의성을 다시 가져올 수 있습니다. 그래서, 우리가 계획하는 것은 우리가 이 그림을 계속 그려왔다는 것입니다. 아마도 당신은 이 그림에 대해 우리에게 조금 말씀해 줄 수 있을까요? >> 당신이 계속하길 원합니까? >> 당신이 그것을 잡을 수 있습니까? >> 네. 네, 문제없습니다. 감사합니다. 그래서 네, 저는 어렸을 때부터 그림을 그리기 시작했습니다. 그리고 저의 할아버지와 제 언니와 함께, 그들은 모두 예술가입니다.

음, 이것은 정말로 저를 세상과 연결시켰습니다. 음, 제 상태는 저를 크게 손의 민첩성을 잃게 했습니다. 그래서 저는 더 이상 쓸 수 없으며, 지금은 여전히 약간 할 수 없습니다. 그래서 저는 더 이상 그림을 그릴 수 없었습니다. 어떤 방식으로든 그것을 통해 살 수 있기를 바라면서 인류학에 들어갔습니다. 그것이 내가 결국 AI 정책에 어떻게 들어갔는지입니다. 하지만 당신이 알다시피, 저는 제 손을 위해 슬펐습니다. 저는 제 열정을 위해 슬펐습니다. 갑자기 이 출구가 있었고, 그것은 정말 멋졌습니다. 그리고 그것은 약간 생명으로 돌아간 것 같은 느낌입니다. >> 멋집니다. 감사합니다. 감사합니다. 네. 좋습니다. 그래서 이제, 이 순간 우리가 기다려온 것은, 우리는 실제로 우리가 얻을 수 있는지 볼 것입니다. 왜냐하면 우리가 실제로 이것을 가져왔고, 우리는 지난 한 달 동안 이 모든 것을 함께 모았습니다. 그래서 우리는 어 어 Kaiming이 마지막 라인을 완료하려고 시도하게 하려고 합니다.

그렇다면 이 그림은 RDSS의 Hope 나무늘보 그림입니다. 이것에 대해 이야기하고 싶으신가요? >> 아, 네. >> 그래서 Hope는 두 개의 손가락으로만 태어난 나무늘보입니다. 싱가포르 동물원에 살고 있습니다. 우리와 좀 비슷합니다. 우리는 천천히 그리고 꾸준하게 삶을 살아갑니다. 음, 이것은 어 작은 손가락 주위를 감싸는 Hope에 대한 그림입니다. 그리고 음 이 두 가지, 당신이 심장과 날개에서 보게 될 색상은, 그것이 부모들입니다. 우리 어 당신이 알다시피 우리를 지지합니다. 음 빨간색은 희귀질환 아동입니다. 어 네. >> 네. 그래서 희망있는 나무늘보입니다. 그렇다면 시도해봅시다. 준비가 되셨나요? 좋습니다. 그렇다면, 어 여기의 개념이 심장이 있고, 감싸고 있다는 개념이라고 우리에게 말씀해 주실 수 있을까요, 네? >> 네.

그래서 이 심장은, 당신이 알다시피, 한 획은 아빠이고, 한 획은 엄마입니다. 왜냐하면 당신이 알다시피 우리는 종종 우리 커뮤니티의 부모들이 희귀질환을 앓고 있는 우리의 환자들을 얼마나 지지하는지 잊기 때문입니다. 그들은 정말 많은 것을 했습니다. 이것은 정말 놀랍습니다. 당신이 알다시피, 저는 정말로 Justin과 그의 팀에게, 우리를 위해 이것을 다시 가져와 주신 것에, 우리가 우리의 삶에 대해 하고 싶은 것들을 할 수 있는 이 자유와 자율성을 가져와 주신 것에 감사드리고 싶습니다. 네, 감사합니다. 정말 감사합니다.

그리고 저는 실제로 우리가 여전히 우리의 대화를 완료하기 위해 3분이 있다는 것을 발견하고 놀랐습니다. 이것은 좋은데, 어쨌든 그래서 저는 이것이 정말로 영감의 한 가지가 되었다고 생각합니다. 그리고 저는 이것이 중요한 메시지의 한 가지라고 생각합니다. 저는 당신이 알다시피 모두가 이것을 처음 봤다는 것이 정말 중요하다는 것을 말하고 싶습니다. 즉, 음 우리는 이 과정을 시작하고 음 AI를 사용하여 사람들에게 창의적 초능력을 주는 것을 생각했습니다, 맞죠? 우리가 원하는 것은 AI가 창의성을 빼앗는 것이 아닙니다. 우리가 원하는 것은 AI가 사람들에게 초능력을 주는 것입니다. AI 초능력, 창의성과 재미있는 것들입니다. 그리고 우리는 음악으로 시작하여 그것을 했습니다. 그리고 우리가 현재 하고 있는 것은 뇌-컴퓨터 인터페이스로 전환하는 것이고, 이 무선 시스템을 가능하게 할 수 있습니다. 그러나 당신은 물어볼 수 있습니다. 예를 들어 창의성, 이것은 훌륭합니다. 이것은 자기 표현의 한 부분입니다.

이것은 음 당신이 알다시피 매우 인간적인 일입니다. 자신을 표현할 수 있고, 이러한 형태의 의사소통을 가지는 것입니다. 그러나 더 영감을 주는 것은, 저는 단지 한 가지를 보여주고 싶습니다. 음 또한입니다. 더 영감을 주는 것은, 우리가 이 기술로 할 수 있는 것은 무엇입니까? 음 우리는 AI가 사람들의 일자리를 빼앗는 것에 대해 이야기합니다. 음, 제가 이것과 우리의 협력에서 보는 것은, 우리가 장애가 있거나 다른 사람들처럼 움직일 수 없을 수도 있는 이유로 고용될 수 없었을 수도 있는 사람들을 위해 새로운 고용 기회를 만들었다는 것입니다. 그래서 지금 이 기술이 발전할 때를 상상해 봅시다. 이것은 정말로 단지 이러한 일들이 일어나기 시작하는 시작입니다.

우리는 일자리가 음 한 가지가 되는 것을 볼 수 있습니다. 왜냐하면 우리는 AI가 필요하기 때문입니다. 어 당신이 알다시피 AI는 오늘날 이러한 대부분의 시스템에서 루프에 한 사람을 필요로 합니다, 맞죠? 그래서 만약 당신이 AI를 어떤 것을 할 기회를 제공하는 것이라고 생각할 수 있다면, 당신이 알다시피, 예를 들어, 이것은 어두운 공장이고, 그것은 완전히 자동화되어 있지만, 그것을 감독할 사람이 필요하고, 일부 작업을 할 사람이 필요합니다. 오늘 방금, 이 과정을 통해서, 저는 어 매우 특별한 어 장소를 발견했습니다. 어 죄송합니다. 그것이 일본에 매우 특별한 장소를 건설했습니다. 어 이것은 이미 일어났습니다. 저는 어제 방금 발견했습니다. 그래서 이것은 아바타 어 아바타 로봇 카페입니다. 그러나 이 경우에 흥미로운 것은, 로봇은 어 완전히 사물을 관리합니다. 그러나 이 로봇들을 작동하는 사람이 있습니다. 그리고 로봇은 고객을 섬기고 있습니다.

로봇은 고객을 섬기고 있지만, 실제로 어 그들은 침대에서 나올 수 없거나 집을 떠날 수 없는 어 사람들을 고용하여 실제로 이익이 되는 고용을 가지도록 하고 있습니다. 그래서 저는 이것이 이러한 기술이 시간이 지남에 따라 제시할 수 있는 어 기회의 좋은 완벽한 용례의 예라고 생각합니다. 그래서 저는 이것이 인공지능이 완전히 새로운 기회를 어떻게 열어줄 것인지, 새로운 노동력을 어떻게 열어줄 것인지를 생각할 수 있는 진정으로 놀랍고 영감을 주는 어 기회라고 생각합니다. 어 과거에 고용될 수 없었을 가능성이 있는 사람들을 위해. 어쨌든, 그래서 우리를 초대해주셔서 정말 감사합니다. 정말 어 AI 엔지니어의 일부가 될 수 있어서 좋습니다. 어 뇌 인터페이스를 가능하게 해주신 Jackie에게 감사드립니다. 음, 마지막 말씀이 있으신가요?

저는 우리 모두가 모든 두려움과 돈 추구에서 휴식을 취하고, 더 긍정적인 것으로 할 필요가 있다고 생각합니다. >> 정말 감사합니다. 모두에게 감사합니다. AI 엔지니어에게 감사합니다. 감사합니다. 감사합니다. >> 우리가 이렇게 무대에서 내려가는 것을 도와드리고 싶으신가요? 좋은 것을 이야기하고 있는지 확인하세요. 그것은 놀라운 연설이었습니다. 저는 특히 인공지능의 종말론과 우울증 속에서, 이것이 그렇게 많은 희망을 제공한다고 생각합니다. 그래서, 우리는 이미 당신이 BCI를 어떻게 사용했는지 봤고, 다음 연설을 위해, 우리는 Bifrost에서 온 Arvin을 가지게 될 것입니다. 그들은 모델을 훈련하기 위해 합성 벽을 구축합니다. 그들은 계속해서 세계 최대의 로봇 회사들 중 일부와 협력하고 있으며, 화성에 착륙하는 로봇의 것 같은 것들을 하도록 그들을 도와주고 있습니다. 그들은 Seoia에 의해 지원되고 있으며, 또한 CIA 비밀 위험 기금에 의해 지원되고 있습니다.

정말 멋진 사실은 이전의 로봇 회사와 Bifrost 모두 싱가포르에서 시작하고, 배양하고, 정말로 태어난 싱가포르 회사라는 것입니다. 그리고, 정말로 Arvin이 무대에 올라가는 것이 기쁩니다. 놀랍습니다. 유감스럽게도, 저는 당신에게 아무런 멋진 로봇 시연을 가지고 있지 않지만, 그것은 정말 놀라운 것입니다. 음, 안녕하세요 여러분. 저는 Bifrost의 CTO이자 공동 창립자인 Arvin입니다. 그리고 오늘 저는 로봇의 상태에 대해 조금 공유할 것입니다, 맞죠? 저는 당신이 온라인에서 멋진 비디오의 묶음을 볼 것이라고 확신합니다. 알다시피, 로봇들이 설 정월처럼 춤을 추고, 백플립을 하고, 그리고 이 모든 멋진 것들을 하고 있습니다. 하지만 한편으로, 당신도 로봇들이 많은 이상하고 둔한 것들을 하는 것을 봅니다. 그들은 거울에 달려들고, 단지 많은 혼란을 일으킵니다, 맞죠?

그리고 유감스럽게도, 이것이 우리가 로봇 개발 격차라고 생각하는 것입니다, 맞죠? 본질적으로, 일어나는 일은 당신이 실험실에서 정말 정말 좋은 성능을 얻는다는 것입니다, 맞죠? 그것은 이 모든 미친 것들을 할 수 있습니다. 하지만 당신이 실제로 그들을 현실 세계에 배포할 때, 당신이 발견하는 것은 이 모델들의 성능이 정말 정말 심하게 저하된다는 것입니다, 맞죠? 그렇다면 정확히 이 배포 격차가 왜 실제로 존재합니까? 그래서 당신이 화면에서 보는 것은, 저는 오늘 많은 차트가 없을 것이라고 약속하지만, 두 개의 차트가 있습니다. 이것이 첫 번째입니다. 어 당신이 x축에서 보는 것은 모든 다양한 유형의 시나리오입니다, 맞죠? 그리고 이것은, 알다시피, 당신의 훈련 데이터, 당신의 테스트 데이터, 그리고 당신의 배포 데이터 같은 것입니다. 그리고 y축에서 당신의 훈련 데이터에서의 시나리오의 수 같습니다, 맞죠?

그래서 당신이 밖으로 나갈 때, 알다시피, 당신은 훈련 데이터의 큰 묶음을 수집합니다. 이것은 일반적으로 분포가 보이는 것처럼 보입니다. 어, 물론, 이것은 단순화되었습니다. 그러면 당신은 당신의 테스트 분포를 가지고 있습니다, 맞죠? 그래서 당신은 훈련 데이터셋을 가지고 있고, 당신은 당신의 테스트 데이터셋을 가지고 있고, 약간의 겹침이 있지만, 또한 그들이 겹치지 않는 어떤 장소들도 있습니다. 그리고 당신이 실제로 당신의 로봇을 배포할 때, 당신이 발견하는 것은 그것이 실제로 만나는 환경의 유형과 모든 다양한 조건이, 이것은 실험실에서 일어나는 것과 실제로 매우 다르다는 것입니다. 실험실에서, 모든 것은 매우 깨끗하고, 매우 조직화되어 있습니다. 하지만 현실 세계에서는, 많은 동적 혼란이 있습니다. 사람이 장면에 들어가는 것처럼, 거울의 반사처럼, 카메라의 눈부심처럼.

이 모든 것들은 우리가 분포 외 시나리오라고 생각하는 것이고, 이것이 로봇이 실패하는 곳입니다, 맞죠? 그래서, 알다시피, 대부분의 사람들은, 예를 들어, 이렇게 말할 것입니다. 이봐요, 우리가 그것에 더 많은 데이터를 던지기만 하면 됩니다. 알다시피, 쓴 약의 교훈처럼, 단지 더 많은 데이터는, 그것이 더 나을 것입니다. 하지만 현실은 당신이 실제로 로봇 시스템에서 수집하는 많은 데이터가, 그들은 실제로 빈 칼로리로 생각된다는 것입니다, 맞죠? 왜냐하면 그들은 새로운 추가 신호를 추가하지 않기 때문입니다. 많은 경우 당신은 같은 장면을 계속해서 반복해서 수집합니다. 고속도로에서 운전하는 자율 자동차를 생각해 봅시다. 당신은 더 많은 고속도로 장면이 필요하지 않습니다. 당신이 필요한 것은 더 많은 에지 케이스 시나리오입니다. 이것은 소가 복잡한 교차로를 통과하는 것처럼, 플라스틱 백이 당신의 백미러 앞에 있는 것처럼, 당신이 주차 스팟에 역주행할 때처럼, 맞죠?

이것들이 당신이 실제로 원하는 것입니다, 맞죠? 그래서 현실에서, 당신이 이 시스템들을 테스트할 수 있기를 원할 때, 당신은 단지 작은 분포나 작은 유형의 테스트가 필요합니다. 당신은 안으로 들어가서, 예를 들어, 모든 이러한 다양한 유형의 분포를 얻고 최대한 많은 시나리오를 커버할 수 있어야 합니다. 그래서 모든 조명 조건, 모든 다른 어 시나리오의 공간 레이아웃처럼, 맞죠? 하지만 이것을 얻는 것은 정말 정말 어렵습니다. 만약 당신이 그렇게 할 수 있다면, 당신은 어 현장에서 실패가 일어나는 것을 방지할 수 있습니다. 이것은 극단적으로 까다로워집니다. 왜냐하면 지금 우리는 범용 정책의 시대에 들어가기 때문입니다. 무엇이든 모든 것을 할 수 있다고 약속하는 로봇. 식기 세척기를 로드하는 것부터, 세탁물을 접는 것까지, 심지어 의료, 의료 보건 및 과학에서 일을 하는 것까지.

그리고 지금 당신이 이 시스템들을 검증하고 싶을 때, 그것은 더욱 까다로워집니다. 맞죠? 그래서 현장에서 우리는 아주 간단한 어 그들에게 주는 방식이 있습니다. 본질적으로 신뢰성 점수 같은 것입니다. 그리고 이것은 이것은 사람들이 로봇 배포를 생각할 때 대부분의 사람들이 신경 쓰는 것은 무엇입니까. 당신이 이 시스템들을 현실 세계에 배포할 때의 실제 신뢰성은 무엇입니까? 그리고 신뢰성은 정말로 당신이 성공률을 취할 수 있는 것처럼, 이것은 내가 이 작업을 100번 하면, 내가 몇 번 올바르게 할 것입니까? 그리고 당신도 이것을 당신의 로봇을 위해 배포하고 싶은 모든 다양한 시나리오 전반에 걸쳐 하고 있습니다. 맞죠? 그래서 만약 당신이 약 1000개의 다양한 시나리오를 처리할 수 있기를 원한다면, 당신은 이것을 1000번 1000번 해야 합니다. 그것은 매우 빠르게 확장됩니다. 맞죠. 그리고 모든 이 회사들은 지금 경쟁하고 있습니다.

그들은 어떻게 더 빠른 신뢰성을 달성할 수 있는지로 향해 경쟁하고 있습니다. 경쟁자보다 더 빠르게, 시장보다 더 빠르게. 그리고 그들은 신뢰성 자체와 같은 것의 확장 법칙이 무엇인지 알아내고 싶어합니다. 맞죠? 그래서 그들이 로봇을 테스트하는 첫 번째 방식은 상당히 직접적입니다. 저는 당신이 일부 강연을 들었을 것이라고 확신합니다. 알다시피, 그들은 수동으로 무대 것들을 설정합니다. 그들은 인간을 얻고, 그들은 로봇을 얻고, 그들은 실시간으로 모든 것을 하고 있습니다, 맞죠? 그들은 수동으로 장면을 설정하고, 그들은 실제로 로봇에게 그것을 하게 합니다. 하지만 이 경우에, 당신이 실제로 테스트할 수 있는 시나리오의 수는, 인간, 로봇, 시간에 의해 병목 현상이 제한됩니다. 맞죠? 그래서 우리가 실제로 차트에 그것을 넣을 때, 이것은 다른 차트입니다. 하지만 밑바닥 축에서, 당신은 계산을 보고, 다른 축에서 당신은 신뢰성을 봅니다.

당신이 추론을 할 때마다, 당신은 약간의 계산을 사용합니다. 하지만 당신은 여전히 당신이 얼마나 많은 사람을 가지고 있는지, 당신이 얼마나 많은 로봇을 가지고 있는지, 그리고 당신이 얼마나 많은 실제 세계 시간을 가지고 있는지에 의해 병목 현상이 제한됩니다. 그 결과, 당신은 여전히 어 선형으로 확장됩니다, 맞죠? 하지만 그러면 사람들이 돌아다니고, 좋아요, 아니다. 나는 단지 다른 테스트 사례를 몇 개 샘플하려고 하고, 약간의 추가 새로운 테스트를 얻을 수 있습니다. 이것은 좋은데, 그렇게 좋지는 않습니다. 왜냐하면 당신은 많은 분포를 얻을 수 없기 때문입니다. 그들은 여전히 많은 것을 수동으로 하기 때문입니다. 그리고 그러면 사람들은 말합니다. 알겠습니다. 당신은 무엇을 알고 있습니까? 만약 우리가 평가 사이클에서 인간을 제거한다면, 맞죠? 그래서 지금 사람들은 Gemini와 같은 것을 사용하고 있습니다.

어, 그래서 Gemini 로봇이라 하면 당신은 하나의 시나리오를 볼 수 있고, 그것은 당신에게 정성적인 피드백을 줄 수 있습니다 예를 들어 어, 그것이 실제로 작업을 성공적으로 완료했는지, 얼마나 멀리 갔는지, 그들은 또한 당신이 시나리오를 autoreset할 수 있는 것들을 가지고 있습니다 또 다른 큰 어, 시각 언어 모델이나 시각 행동 모델을 사용하면서도, 맞죠, 그래서 그들은 인간을 삭제했습니다, 하지만 당신은 여전히 당신은 여전히 병목 현상에 의해 제한됩니다 당신이 얼마나 많은 로봇을 가지고 있는지, 그리고 당신이 얼마나 많은 시간이 필요한지에 의해, 맞죠, 그래서 그것은 조금 좀 더 빨라집니다, 왜냐하면 지금 당신은 조금 더 많은 계산을 쓸 수 있고 그것을 가속화할 수 있기 때문입니다, 당신은 인간에게 의존할 필요가 없습니다 하지만 당신은 여전히 선형적으로 확장합니다. 맞죠. 그리고 그것은 당신이 약간 몇 개 더 많은 테스트를 할 수 있다는 것을 의미합니다.

그리고 물론, 당신이 알다시피, 예를 들어 아 당신이 알다시피, 우리가 현실 세계에서 다리를 건설할 때, 우리는 먼저 시뮬레이션에서 테스트합니다, 그 다음 우리는 다리를 건설합니다, 우리는 그 전체 어, 시뮬레이션을 합니다 역학을 위해 그리고 응력 같은 것들을 위해. 로봇에 대해서도 같은 일을 하지 않는 이유는 무엇입니까?

그래서 로봇 공학에는 sim-to-real 간격이라고 불리는 것이 있습니다, 이것은 당신이 시뮬레이션에서 뭔가를 할 때 그것들이 항상 현실과 일치하지는 않는다는 것입니다 맞죠, 그리고 이것은 업계가 해결하려고 시도하고 있는 큰 문제입니다, 그리고 놀랍게도 지난 해에 우리는 이것을 해결하기 위한 많은 새로운 방법들을 가지고 있습니다, 가장 큰 것 어, 우리가 하고 있는 것은 실제로 실제 세계를 사용해서 시뮬레이터 자체를 생성합니다, 맞죠, 그래서 이것이 실제로 어떻게 보이는지는 당신이 실제 데이터를 받아들일 수 있다는 것입니다, 맞죠, 그래서 당신이 실제 데이터를 받아들이고 그 실제 데이터에서 뭔가를 생성할 수 있습니다, 그 다음 당신은 그것으로부터 세계를 다시 시뮬레이션할 수 있습니다. 맞죠? 그래서 이 전체 아이디어는 당신이 매번 당신의 특정 도메인과 당신의 것들을 위해 비슷한 시뮬레이터를 생성하고 있다는 것입니다. 맞죠? 그것은 단지 물체가 아닙니다. 당신은 당신의 특정 도메인을 위해 전체 세계를 생성할 수 있습니다.

예를 들어, 캘리포니아 사막에서 실행되는 오프로드 자율 주행 자동차가 있다면, 당신은 빠르게 전체 가상 세계를 생성하고 그 시뮬레이션에서 훈련할 수 있습니다. 맞죠? 이것이 시뮬레이션과 현실 사이의 격차를 줄이기 시작하는 방법입니다. 이렇게 하면 실제 테스트 세트의 분포를 복제하고 그것의 시뮬레이션 버전을 가질 수 있습니다. 이것은 이미 매우 가치 있습니다 당신이 이제 이 분포로 폐쇄 루프 테스트를 수행할 수 있기 때문입니다. 하지만 우리는 어떻게 더 나아갈까요? 맞죠? 이것은 매우 좋은 커버리지가 아닙니다. 맞죠? 구체적인 시나리오를 봅시다. 이것은 우리가 생성하는 데이터 타입의 예입니다. 당신이 알다시피, 여기에는 보트가 붐비는 부두로 향하고 있는 것 같습니다. 화면에 눈부심이 있습니다, 어, 카메라에, 모든 것이 좀 혼란스럽습니다, 맞죠? 하지만 이것은 단지 하나의 구체적인 시나리오입니다.

당신은 어떻게 이것을 더 많은 시나리오로 확장합니까, 맞죠? 그래서 우리가 실제로 할 수 있는 것은 시뮬레이터로 들어가는 것입니다. 우리는 모든 다른 운영 조건에 걸쳐 매개변수 스윕을 수행할 수 있습니다. 마치 당신이 매우 매우 빠르게 천 개의 다른 현실을 보고 있는 것 같습니다, 그리고 당신은 이 모든 다른 현실들에 기반해 모델을 테스트하고 있습니다. 어, 동시에, 맞죠? 거기서부터 당신은 그것을 더욱 확장할 수 있습니다, 맞죠? 그래서 이것은 단지 n*n 테스트가 아닙니다. 당신은 이것을 많은 다른 도메인과 표준으로 확장할 수 있습니다. 이 측면의 멋진 점은 당신이 당신의 AI 모델을 기반으로 테스트할 수 있다는 것입니다, 당신은 즉시 당신의 AI 모델이 어디서 실패할지 볼 수 있습니다, 당신이 로봇을 생산에 출하하기 전에도. 여기의 전체 아이디어는 간단합니다, 맞죠? 시뮬레이션에서 빠르게 실패하고, 그 실패들을 활용하고, 현실 세계 테스트에 사용하세요.

그래서 당신은 모든 것을 테스트하는 것이 아니라, 시뮬레이션에서 실패한 매우 구체적인 장소에서 테스트하고 있습니다. 이렇게 하면 당신은 더 적은 자본을 소비하고, 당신이 가진 자원으로 더 최적화되고 효율적입니다. 그리고 당신이 알다시피, 우리는 또한 현실 세계의 시간으로 제한됩니다, 맞죠? 맞죠? 그래서 우리는 이것에서 이것으로 갑니다, 왜냐하면 이제 우리는 더 많고 더 광범위한 도메인을 커버할 수 있기 때문입니다. 도메인 임의화라고 불리는 용어가 있습니다, 하지만 기본적으로 당신이 커버하는 도메인은 실제 데이터가 커버할 수 있는 범위보다 훨씬 광범위합니다. 이것은 이러한 테스트를 하기 위한 매우 좋은 방법입니다 어. 당신이 알다시피, 나는 모든 사람이 데이터 플라이휠이라고 불리는 것을 봤을 것 같습니다. 그것은 밈이 되었습니다, 모든 회사가 마치 「네, 우리는 데이터 플라이휠을 가지고 있습니다」라고 합니다. 하지만 플라이휠은 실제로 가장 중요한 것을 포착하지 못합니다.

그리고 가장 중요한 것은 당신이 실제로 이 데이터를 정제해야 한다는 것입니다. 데이터는 초고품질이어야 합니다. 당신은 가장 가치 있는 것들을 찾고 있는 방법을 알아내야 합니다, 그리고 당신은 또한 현실 세계에서 수집해야 할 것을 추진할 수 있어야 합니다. 맞죠? Bifrost에서, 우리는 세계에서 가장 까다로운 고객 중 일부를 대규모로 이를 수행하도록 도와줍니다. 우리는 기본적으로 이 모든 것을 가져와서, 우리는 당신의 브라우저에서 시뮬레이션합니다. 그래서 우리는 세계를 가지고 있고, 당신은 이 세계를 시뮬레이션할 수 있습니다, 그리고 당신은 그 안에서 당신의 AI 모델을 깨뜨릴 수 있습니다. 모두 감사합니다. 그것은 훌륭한 강연이었습니다, 특히 데이터 정제 같은 것들에 대해 이야기합니다. 그것은 당신의 데이터가 모든 다른 경계 사례를 다루는 것을 보장하려고 합니다.

그래서, 저는 다음으로 Open Graph Labs의 Julia Kim을 초대하게 되어 기쁩니다 그들이 어떻게 내부 기술 스택을 구축했는지 논의하기 위해, 그 안에서 당신이 많은 다른 멀티모달 동기화 데이터 수집을 수행할 수 있는지 확보합니다. 이것은 정말 어렵습니다 왜냐하면 마이크로초 수준의 드리프트도 로봇 훈련을 위한 데이터를 수집할 때, 당신이 실제로 이것을 가져가서 당신의 모델을 훈련할 때, 최종적으로 실제 손상을 유발할 것이기 때문입니다. 그래서 저는 어떻게 될지 보게 되어 정말 기쁩니다. 어, 우리가 이러한 기술적 어려움들의 한 무더기를 만날 때, 당신이 알다시피, 저는 여러분이 오늘 이 회의에 대해 어떤 느낌을 가지고 있는지 궁금합니다. 당신이 알다시피, 저는 개인적으로 이것이 저에게 절대적으로 경이로웠다고 생각합니다. 마치 방금 전에 Justin이 뇌-컴퓨터 인터페이스 같은 것을 사용해 그리기 능력을 보여줬을 때, 저는 정말 충격을 받았습니다.

마치 저는 그것이 가능하다고 생각해 본 적이 없었던 것처럼입니다. 저는 계속 에이전트와 많은 시도들을 해오고 있었기 때문입니다, 맞습니까? 저는 보았습니다, 예를 들어, 텍스트 인풋 텍스트 아웃풋, 정말로, 예를 들어, 우리가 할 것입니다, 음, 모든 사람의 일이 자동화될 것입니다. 인공지능이 선한 목적으로 사용되는 것을 보는 것이 정말 멋있고 고무적입니다. 그래서 저는 생각합니다, 예를 들어, 그것이 항상 흥미로웠던 것입니다, 사람들이 종사하고 있는 관점과 프로젝트의 절대적인 다양성을 보는 것입니다. 그렇다고 생각합니다. >> 음, 우리는 팀으로서, 음, 많은, 음, 연사와 스폰서들이 만든 도구들을 사용했습니다. 음, 그래서 우리는 그것을 기록하겠습니다. 오, 좋습니다. 저는 우리가 다시 돌아왔다고 생각합니다. 네. >> 드래그하세요. 네, 이것이 확장입니다. 그래서, >> 우리는 방금 그것을 가지고 있었습니다. >> 오, 그것이 돌아왔습니다. 그것이 돌아왔습니다. >> 네. 좋습니다. 좋습니다. >> 감사합니다. >> 안녕하세요. 모두 오후 인사드립니다. >> 모두 오후 인사드립니다.

음, 저는 Julia입니다. Open Grab Labs의 공동 창립자이자 공동 최고 경영자입니다. 음, 오늘 저는 우리의 일상적인 인간 경험이 실제로 다음 세대 휴머노이드 로봇의 유용한 훈련 데이터가 될 수 있는 방법에 대해 이야기하고 싶습니다. 그렇다면, 당신들 중 몇 명이 「1인칭 데이터」라는 용어를 들어본 적이 있습니까? 네, 저는 몇 명을 볼 수 있습니다, 또는 아마도 당신들이 최근에 앱에서 이 인기 있는 비디오를 봤을 수도 있습니다. 공장 노동자가 업무 중에 모자에 카메라를 착용하고 있습니다. 음. 지난 해에 이 분야에서 매우 흥미로운 일이 일어났습니다. 수백 개의 회사들이 인간 행동 데이터를 대규모로 수집하기 시작했습니다. 사람들이 1인칭 관점에서 비디오를 녹화했습니다, 음, 카메라가 그들의 일상 작업을 수행하는 동안, 실제로 이렇게 함으로써 인센티브를 받았습니다. 그렇다면 우리가 왜 이렇게 하는 것입니까? 그렇다면 왜 인간이 갑자기 로봇 기술의 핵심 데이터셋이 되었습니까? 이것은 우리가 방금 그것이 실제로 작동한다는 증거를 얻었기 때문입니다.

NVIDIA의 스케일링에 대한 최근 연구는 인간 1인칭 데이터를 확장하는 것이 실제로 로봇 훈련에 도움이 된다는 것을 보여줍니다. 그래서 그들은 실제로 1인칭 비디오를 그들 모델의 사전 훈련, 사전 훈련 데이터셋으로 사용했고, 인간-로봇 정렬 데이터셋에서 미세 조정했으며, 또한 일부 원격 조종, 음, 로봇 전용 데이터가 있었고, 로봇이 실제로 원샷 전이 셔츠 폴딩 같은 작업을 완료할 수 있었습니다. 언어 모델처럼, 더 많은 데이터를 입력하여 스케일링하면서, 그들은 또한 보여주었습니다, 음, 이것이 물리 인공지능에도 실행 가능하다는 것을 말입니다. 그래서 그것은 현저한 스케일링 법칙을 보여줍니다. 단지 사전 훈련에 유용하다는 것이 증명되었기 때문만이 아니라, 하지만 실제로 솔직히 말하면, 1인칭 인간 비디오는 근본적으로 두 가지 측면에서 매우 중요합니다. 첫째, 우리는 현재 인간 수준의 능력을 가진 로봇을 구축하고 있습니다.

그것은 동일한 형태 계수를 의미합니다, 그들이 우리처럼 보입니다, 자유도가 유사합니다, 이것은 우리가 인간과 휴머노이드 로봇 사이의 신체화된 간격을 최소화하려고 한다는 의미입니다, 실제로 매우 빠르게 닫히고 있습니다, 그리고 간격과 함께, 간격이 닫힐수록, 인간 행동은 실제로 로봇으로 직접 이전될 수 있습니다, 이것은 세상에서 가장 직접적인 감독 신호입니다, 음, 둘째, 1인칭 데이터는 실제 세계에서 캡처됩니다, 왜냐하면 그것이 실제로입니다. 물리 세계, 우리가 알고 있는 것처럼, 연속적입니다, 음, 그것은 동적이고 물리적으로 근거를 두었습니다. 그래서 우리가 1인칭 데이터에서 얻는 모든 데이터는 실제로 매우 매우 높은 충실도 데이터입니다, 음, 그것은 모든 로봇이 학습할 수 있는 더 많은 정보를 포함합니다. 하지만 그때, 음, 우리는 정말 끝냈습니까?

음, 그래서 우리는 더 많은 1인칭 비디오 데이터를 가질 수 있습니다, 우리는 더 많은 문제를 해결할 수 있습니다. 음, 그래서 단지 충분한 인간 비디오 데이터를 수집합니다, 일부 나쁜, 로봇이 결국 인간 수준의 물리 지능에 도달할 것인가 또는 도달하지 않을 것인가. 음, 저는 정말로 이것이 실제로 당신이 향하고 있는 미래에 달려 있다고 생각합니다, 그 미래는 우리가 필요할 수 있는 로봇의 지능 수준을 정의합니다. 그래서 한 가지 미래는 로봇이 유틸리티로서입니다. 그래서 창고의 도구, 공장의 기계 팔, 작업을 완료하는 기계, 하지만 그들은 우리와 공간을 공유하지 않습니다. 또 다른 미래는 로봇이 실제로 우리와 함께 산다는 것입니다, 그들이 우리 집에서 우리의 옷을 접고, 이것이 또한 우리 부모님을 동반하는 데 도움이 될 것입니다, 그들은 우리에게 물 한 잔을 줍니다.

음, 이것은 그들이 실제로 우리와 세계를 공유한다는 의미입니다, 우리가 그들이 우리와 함께 살길 원한다면, 그들은 물리 지능을 가져야 합니다. 그래서 그들은 우리와 동일한 방식으로 이러한 것들을 학습해야 합니다. 그렇다면 매우 기본적인 것으로 돌아가겠습니다. 음, 우리가 아기일 때 처음 이러한 것들을 어떻게 학습했는지 생각해봅시다. 우리는 물건을 집고, 물건을 누르고, 물건을 떨어뜨리고, 물건을 건드리고, 물건을 당기고, 때로는 심지어 자주 우리는 물건을 입에 넣고 맛봅니다. 우리는 그것과 상호작용함으로써 학습하고, 접촉과 관찰함으로써 내 행동 이후에 그것이 어떻게 실제로 반응하는지를 통해 행동과 피드백을 학습하고, 이것이 우리가 감각-운동 학습이라고 부르는 것입니다.

그렇다면 자연스러운 질문이 생깁니다, 만약 인간 감각-운동 학습 자체가 우리의 물리 지능을 형성하는 기초라면, 우리가 로봇에 대해 동일한 것을 할 수 있다면 어떨까요. 우리는 로봇이 우리가 아기일 때 학습한 동일한 방식으로 학습하게 합니다. 그래서 다시 한 번, 이 아기는 이전 슬라이드의 아기와 동일하고, 실제로 이러한 모든 감각-운동 신호를 한 번에 생성하고 있습니다. 시각, 촉각, 본체감각, 청각, 행동 및 피드백 루프. 이러한 상호작용을 통해, 아기는 물리 세계의 구조를 점진적으로 학습합니다. 그래서 질문은 다음과 같이 됩니다, 우리가 이러한 모든 데이터를 캡처하고 로봇공학의 훈련 데이터셋으로 사용할 수 있다면, 우리는 로봇이 우리처럼 정확히 모방하고 이에 기초하여 모든 것을 학습하게 할 수 있습니다. 네, 저는 정말로 그러한 미래를 믿습니다, 우리는 인간에 센서를 적용하여 이를 실현할 수 있습니다.

오늘날 인간 감각운동 회로의 많은 부분이 이미 매우 측정 가능하게 되었습니다. 우리는 1인칭 카메라를 통해 시각 시스템을 이미 포착했습니다. 우리는 또한 비디오에서 직접 운동 정보를 재구성할 수 있으며, 3D 손 자세, 손목 자세, 신체 운동 궤적과 같은 본체감각도 비디오에서 재구성할 수 있고, 오디오도 자연스럽게 카메라 시스템을 통해 포착될 수 있습니다. 그래서 지금 명백한 것은 우리가 현재 놓친 단 하나의 핵심 감각 채널이 있다는 것이며, 그것이 촉각입니다. 물리적 상호작용을 위해 우리 모두는 촉각이 우리가 현실 세계에서 수집해야 할 가장 중요한 신호일 수 있다는 것을 알고 있습니다.

현재 우리가 매우 적은 촉각 데이터를 보유하고 있는 이유 중 하나는 많은 다른 인간의 신호들이 1인칭 시각만으로도 추론될 수 있기 때문입니다. 그래서 1인칭 비디오입니다. 그래서 1인칭 카메라를 통해 우리는 이미 운동 궤적, 손 자세, 신체 운동, 동작 기본 구조, 심지어 본체감각도 추론할 수 있습니다. 솔직히 말해서, 지금이 수십 년에 걸친 카메라 하드웨어 시스템의 진보와 표준 RGB 시스템 위에 구축된 전체 생태계에 감사할 때입니다. 왜냐하면 한 번 세계가 RGB 카메라 주위에 수렴하면, 컴퓨터 비전이 확장 가능해지고, 지금 우리는 촉각에 대해 그 정확한 순간을 기다리고 있기 때문입니다. 왜냐하면 촉각은 결코 그러한 순간을 가진 적이 없기 때문입니다. 그래서 우리는 비디오 시스템이 어떻게 개선되는지, 어떻게 확장하는지를 따라야 합니다. 왜냐하면 그들은 하나의 것, 즉 카메라와 RGB 픽셀 주위에 수렴하기 때문입니다.

우리는 또한 모든 사람이 그 위에 촉각 데이터를 구축할 수 있는 통일된 하드웨어 스택, 그리고 동일한 데이터 형식을 공유하는 데이터 인프라가 필요합니다. 그것이 우리가 존재하는 이유입니다. Open Grab Labs는 감각운동 시스템에서 누락된 부분인 촉각에 대한 표준을 수립하기 위해 여기에 있으며, 그래서 우리는 마침내 로봇 학습에서 비약할 수 있습니다. 우리는 두 가지 주요 계층을 통해 이를 달성합니다. 첫째, 손가락 끝에서 고충실도 접촉 신호를 생성할 수 있는 매우 확장 가능한 하드웨어이고, 둘째, 촉각 인코더인데, 이는 그 하드웨어 위에 구축되고 촉각 신호를 섭취하여 의미로 변환하는 인터프리터입니다.

고도로 확장 가능한 하드웨어를 통해, 우리는 확장 가능한 데이터 세트를 포착할 수 있으며, 이 데이터 세트들 위에서 우리는 이제 의미 있는 촉각 인코더를 구축할 수 있으므로, 우리는 처음으로 완전한 인간 감각운동 회로 포착 파이프라인을 구축하여 훈련 가능하게 만들기 시작했습니다. 수천 명의 사람들, 수백만 번의 상호작용, 인간과 물리적 상호작용 사이의 모든 접촉 순간이 이제 포착되고, 디지털화되고, 다음 세대 로봇에 전수될 준비가 될 수 있습니다. 인간을 센싱하여 인간 감각을 훈련시켜 봅시다. 감사합니다. 이것은 인간 촉각 데이터 수집 확장에 관한 논의였습니다. 멋졌습니다. 이제, 실제 데이터 수집의 거대한 부분은 우리가 실제로 데이터 운영을 확장해야 한다는 것입니다. 맞죠? 우리는 단지 데이터를 수집하는 것뿐만 아니라.

우리는 운영자들이 있고, 전체 인프라와 물류 처리를 갖춘 것을 보장해야 합니다. 그래서 우리는 Cortex의 Suin이 있으며, 그들은 광범위하게 논의했습니다. 그들이 어떻게 로봇과 다른 형태의 데이터를 통해 규모 있게 이를 수행하는지입니다. 안녕하세요. 저는 Suin입니다. 저는 Cortex AI에서 왔으며, 거기의 창립 엔지니어입니다. 오늘 저는 우리가 이 로봇들을 할 수 있게 만든 멋진 일들, 우리가 직면한 몇 가지 과제, 그리고 우리가 배운 몇 가지 교훈을 논의할 것입니다. 여기에서 우리가 협력한 일부 로봇을 볼 수 있습니다. 우리는 주로 조작 작업을 수행하기 위해 양팔 로봇을 사용하며, 우리는 또한 편의점과 같은 더 현실적인 환경에서 작업을 수행하기 위해 이동 로봇을 사용합니다. 이 로봇들이 어떻게 그렇게 똑똑해졌는지 궁금해할 수도 있습니다. 이 비디오에서도 당신은 마지막 우유 한 방울을 컵에 붓는 것을 볼 수 있습니다.

실제로 이 학습 시스템들은 단지 픽셀을 수신하고 동작을 출력합니다. 일반적으로 우리는 상단 카메라와 손목 카메라를 가지고 있습니다. 우리는 또한 로봇의 관절 데이터를 전달합니다. 간단한 언어 지시. 그러면 모델이 일부 동작을 예측합니다. 우리는 로봇에서 동작을 실행합니다. 다음 상태로 들어가고, 루프가 계속됩니다. 이 다이어그램은 실제로 현대 로봇 학습 스택을 생각하는 좋은 방법입니다. 당신은 카메라 뭉치와 관절을 데이터로 가집니다. 소프트웨어는 데이터 수집, 훈련, 추론을 구동합니다. 하드웨어는 팔과 카메라입니다. 모델은 우리가 실행하는 정책 모델이며, 이 정책들이 작동하는지 테스트하기 위해 평가가 필요합니다. 그리고 이 모든 것이 다시 일어나도록 하려면 좋은 운영 계층이 필요합니다.

로봇 학습은 보통 하드웨어 문제, 소프트웨어 문제 또는 모델 문제로 간주되지만, 그것은 또한 거대한 데이터 및 운영 문제입니다. 최근에 우리는 Alen AI 연구소와 협력했고 그들의 Mulmo act 2 논문에서, 우리는 그들의 데이터 세트를 위해 700시간 이상의 양팔 로봇 데이터를 수집했으며, 이는 지금까지 가장 큰 오픈 소스 양팔 데이터 세트입니다. 우리는 원격 조작을 통해 데이터를 수집합니다. 여기에서 당신은 우리가 주 팔이라고 부르는 것을 제어하고 있는 나의 동료를 볼 수 있으며, 종속 팔이 동작을 복제할 것입니다. 보기에는 재미있어 보이지만, 실제로는 매우 어렵습니다. 주된 이유는 인간의 직관입니다. 그것은 실제로 새로운 구체화 형식으로 잘 전이되지 않습니다. 당신은 손으로 컵을 집는 방법을 알고 있습니다. 하지만 로봇 팔을 통해 생각해야 할 때는 알 수 없으며, 그것은 정말로 어렵습니다. 하지만 그것은 배울 수 있는 기술입니다.

그것뿐만 아니라, 데이터 수집을 시작하기 전에 할 일이 많습니다. 수건을 접는 것처럼 가장 간단한 작업이라도, 당신은 그것을 두 부분으로 접을 수 있으며, 당신은 그것을 세 부분으로 접을 수도 있습니다. 당신은 작업 전략을 생각해 내야 합니다. 그 후에 당신은 동작을 연습해야 합니다. 그러면 당신은 수집된 데이터가 각 에피소드와 다른 운영자들 사이에서 일관되도록 보장해야 합니다. 우리가 이 데이터 운영을 수백 시간으로 확장하기 시작했을 때, 우리는 우리가 추가한 일부 소규모 워크플로우 변경이 있음을 깨달았습니다. 그들은 시작했습니다. 복합화되기. 처음에 우리는 각 에피소드 인코딩이 2~3분 기다려야 하는 마찰을 가졌습니다. 그 다음 우리는 인코딩 프로세스를 세션의 끝으로 이동했습니다. 그러면 갑자기 전체 인코딩 지속 시간이 훨씬 길어졌습니다. 이제 우리는 다음 세션을 시작하기 전에 30~40분을 기다려야 합니다.

그러면 우리가 한 것은 아주 작은 코드 변경을 했습니다. 우리는 모든 하드웨어 연결을 분리했습니다. 이렇게 하면 앞의 클립이 이미 인코딩된 상태에서 새 세션을 실행할 수 있습니다. 마지막에 일어난 것은 데이터 수집, 인코딩 및 업로드의 프로세스가 완전히 분리되었다는 것입니다. 내가 논의하고 싶은 또 다른 것은 로봇학에서 「호흡」의 중요성입니다. 내가 「호흡」이라고 말할 때, 나는 기술 스택의 다양한 계층 사이에 지식을 갖는 것을 의미하며, 로봇 스택에서 위아래로 작동할 수 있는 능력을 의미합니다. 나는 이렇게 말하는 이유는 나는 깨달았습니다. 문제 공간과 해결 공간은 대부분의 경우 같은 계층에 있지 않을 수 있으며, 당신이 다양한 계층에 대해 더 직관적으로 알수록, 당신은 문제를 더 빨리 해결할 것입니다. 나는 이것을 몇 가지 예로 설명하겠습니다.

그래서 우리가 이 로봇 팔에서 정책을 실행하기 시작했을 때, 한 작업은 로봇이 항아리를 집어야 했는데, 그리퍼가 부러졌고, 당신은 비디오에서 그리퍼가 날아가는 모습을 볼 수 있습니다. 나는 생각했습니다, 좋아요, 아마도 모델이 뭔가 잘못 배웠거나, 또는 내가 코드에서 그리퍼의 힘을 낮출 수 있습니다. 하지만 나의 동료가 말했습니다, 좋아요, 우리 자신의 그리퍼를 설계하겠습니다. 우리는 당시 제3자 하드웨어를 사용하고 있었지만, 우리는 여전히 그 위에서 혁신할 수 있었습니다. 이것은 내가 소프트웨어 문제라고 생각하는 하드웨어 솔루션의 좋은 예입니다. 마찬가지로, 이 카메라를 사용한 적이 있는 누구나 알 것입니다. 그들은 자주 연결이 끊기고, 당신은 그것을 뽑고, 다시 꽂고, 그러면 그것은 마술처럼 작동하기 시작합니다. 그런 다음 한 번, 우리의 운영자 중 한 명이 실수로 카메라를 기울였고, 상단 카메라의 관점이 벗어났습니다.

그래서 그날 우리가 수집한 모든 데이터를 버려야 했습니다. 왜냐하면 관점이 정확하지 않았기 때문입니다. 우리는 카메라 브래킷이 더 견고하도록 보장하려고 했습니다만, 나는 상단 카메라의 관점이 좋은지 확인하는 스크립트를 썼습니다. 도구. 그래서 우리가 한 것은 매 세션마다 우리는 시작 시 2~3분을 소비했고, 그 다음 카메라 관점이 정확한지 확인했으므로, 우리는 우리가 수집한 데이터가 정말로 유효하다는 것을 보장할 수 있었습니다. 그래서 이것은 우리가 하드웨어 문제라고 생각하는 소프트웨어 솔루션의 좋은 예입니다. 이것이 기술 스택에서 이동하고 이 모든 계층에서 생각하는 것이 정말로 큰 도움이 되는 이유입니다. 나는 또한 로봇학에서 평가가 왜 어려운지 논의하고 싶습니다. 소프트웨어와 유사하게, 당신은 시뮬레이션에서 로봇을 평가할 수 있으며, 당신은 그것을 병렬화할 수 있습니다. 하지만 현실 세계는 일이 혼란스러워지는 곳입니다.

예를 들어, 빛이 변할 수 있습니다. 간섭이 있을 수 있고, 액추에이터와 카메라 노이즈가 있을 수 있습니다. 그래서 당신은 이 모든 요소들을 고려해야 합니다. 최근에 우리가 Malm act를 사용했을 때, 우리가 malmarmac 2를 처리했을 때, 우리는 5개의 정책에 걸쳐 수천 개의 실제 세계 평가 롤아웃을 했으며, 이것은 우리에게 이것이 얼마나 어려운 문제인지 가르쳤습니다. 그래서 당신이 실제 세계 평가를 실행할 때, 이것은 실패할 때 발생할 수 있으며, 그 다음 다시 발생합니다. 로봇학에서, 당신이 각 롤아웃을 한 후에, 당신은 수동으로 환경을 재설정해야 합니다. 소프트웨어에서처럼 당신은 병렬로 실행할 수 없습니다. 만약 그것이 엉망이 되면, 당신은 수동으로 정리해야 합니다. 나는 이것을 수백 번 했고, 나는 당신을 보증할 수 있습니다. 이것은 매우 재미있지 않습니다. 어, 그 다음 우리는 이렇게 자주 하는 것이 매우 비싸다는 것을 깨달았습니다만, 이것은 현재 황금 표준입니다.

평가에 관한 또 다른 어려운 점은 로봇이 뭔가를 할 수 없을 때, 그것이 어디에서 실패하는지 알아내기 정말 어렵다는 것입니다. 나는 몇 가지 예로 이것을 설명하겠습니다. 그것은 데이터일 수 있습니다. 아마도 다른 운영자들이 다른 전략을 사용합니다. 아마도 나는 두 번 접었습니다. 누군가가 수건을 세 번 접었습니다. 어, 아마도 훈련 설정입니다. 당신이 원하는 적응, 예를 들어 LoRA 대 완전 미세 조정입니다. 그 다음 아마도 설정입니다. 나는 모델을 로드하려고 시도한 경우가 있었는데, 모델의 일부 부분이 임의의 가중치로 초기화되었고, 모델은 미쳐버렸습니다. 그것은 또한 잘못된 동작 청크 크기일 수 있으며, 당신이 훈련에서 사용한 크기와 비교했을 때, 아마도 평가 설정 자체가 잘못되었을 수 있으며, 아마도 당신은 분포 내에서 평가하려고 시도했지만 객체의 배치가 약간 벗어났습니다.

마지막으로, 나는 안전에 대해 논의하고 싶습니다. 이 비디오 클립은 내가 실수로 녹화한 것입니다. 당신은 관절이 반 초 미만 내에 90도를 할 수 있는 것을 볼 수 있습니다. 만약 누군가의 손이 거기에 있다면, 그들은 다칠 것입니다. 우리는 로봇 배치 시 안전에 대해 자주 이야기하지만, 나는 개발 시에도 많은 안전 문제가 있다고 생각합니다. 어, 나는 예를 들어 데이터 수집에서 이야기할 수 있습니다. 리더 팔이 갑자기 실패하면(이것은 때때로 발생합니다), 전체 무게가 데이터 운영자에게 떨어질 수 있습니다. 평가에서, 우리는 시험관을 포함하는 작업을 테스트한 경우가 있고, 그중 하나의 로봇이 시험관을 부러뜨렸으며, 당신은 유리 조각이 사방에 흩어져 있고, 또한 낡은 동작 지시가 갑작스러운 팔 운동을 야기할 수 있으며, 이것도 안전 문제입니다. 이와 같은 많은 경우가 있습니다.

나는 또한 로봇에서 AI가 작성한 코드를 실행하는 것에 대해 논의하고 싶습니다. 특히 AI 코딩 도구가 점점 더 주류가 되고 있기 때문입니다. 어, 배경을 제공하기 위해, 우리가 AI 코딩 도구를 사용한 로봇의 한 시나리오는 기본적으로 우리가 lay robot을 사용할 때이며, 우리는 Hugging Face의 layer robot의 충실한 팬입니다. 그래서 우리가 우리가 사용하는 로봇 팔에 그 라이브러리를 적응시키고 싶었을 때, 해야 할 많은 스캐폴딩, 많은 인터페이스 작업이 있었습니다. 그래서 우리는 AI를 사용했고 더 빨리 나아갔습니다. 하지만 우리가 그것을 실행하려고 시도했을 때, 그것이 실패할 수 있습니다. 어, 우리는 정상적인 소프트웨어 검사, 기본 검사, 정상적인 풀 요청 평가를 수행했습니다. 그 다음 우리는 시뮬레이션에서 검사하려고 시도했고, 우리는 로그에서 테스트했습니다. 당신은 로봇에 동작을 보낼 수 있지만 그것들을 실행하지 마십시오. 먼저 로그를 봅시다. 그러면 당신이 실제 로봇에서 테스트하고 싶을 때, 당신은 한 번에 하나의 관절만 이동할 수 있습니다.

당신은 속도를 낮출 수 있습니다. 어, 네, 이것들은 우리가 따르는 일부 것입니다. 네, 내가 강조하고 싶은 한 가지는 당신이 기술 스택의 모든 계층의 전문가일 필요가 없다는 것이지만, 만약 당신이 다른 계층에 대해 더 많이 알면, 정말로 문제를 해결하고 더 빨리 나아가기 쉬워집니다. 다 됐습니다. 감사합니다. 자, 여러분, 어 이것은 결말입니다. 어, 그런데 저도 Savine에게 감사합니다. 정말 감사합니다. 어, 이것은 우리 오후 AIE 전반부의 끝입니다. 어, 당신들은 지난 이틀 동안 오후 9시부터 6시까지의 프로그래밍에 계속 참여해 주셨습니다. 어, 우리는 마지막 스프린트에 있고, 어 더 정말 멋진 연설이 곧 다가올 어 휴식 후입니다. 어, 세계의 많은 최고의 스타트업들이 공유할 것입니다. 어 그들이 실제로 만드는 것. 어, 그 중 많은 것이 실제로 내 트위터 친구이며, 나는 오래 알아왔고, 나는 그들을 초대하고 직접 만날 수 있었습니다. 이것도 정말 멋졌습니다. 어, 그래서 제발 남아 있으세요. 어, 그리고 이 휴식이 진행되는 동안 어, 나는 녹색 옷을 입은 내 친구 Kazaya에게 약간의 배경을 주고 싶습니다. 어, 그냥 손을 흔들어보세요. 어, 그래서 Kazaya는 한 사람입니다. 어, 당신 알다시피, 우리 다른 사람들처럼 컨설팅 일에서 일상적인 일을 가진 사람이지만, 그녀는 또한 마음챙김 코치이며, 더 많은 사람들을 그 관행으로 가져올 수 있는 방법을 찾고 싶어합니다. 특히 너무 많은 일이 일어나는 곳에서, 우리 중 많은 사람들이 불안해하고, 단지 일시적으로 멈출 수 있는 체계적인 방법을 찾고 싶어합니다. 약간 느려질 수 있습니다.

이것이 우리가 휴식 시간을 위해 더 정성스럽게 선별된 경험을 만들고 싶었던 이유이고, 당신 알다시피, AIE 로고를 올려놓고 일부 음악을 올려놓고 당신들을 커피를 갖게 하는 대신, 맞죠? 어, 우리는 프로그래밍의 모든 분마다 생각을 녹이고 싶었습니다. 그래서, 어, 이것이 우리가 그녀를 초대한 이유입니다. 하지만 나는 또한 다른 이야기를 공유하고 싶습니다. 이 모든 것이 어떻게 시작되었는지 말입니다. 왜냐하면 나는 그것이 「AI 엔지니어」의 정신과 「빌더」와 「엔지니어」가 무엇인지에 대한 계속 변화하는 정의에 정말로 부합한다고 생각하기 때문입니다. 어, Kazaya는 실제로 코딩 배경이 없었습니다만, 실제로 그녀는 전체 경험을 vibecode했습니다. 그녀는 화면에서 입자 시각화를 만드는 데 도움을 주는 GitHub 저장소를 찾았고, 그녀는 지난 4주 안에 이 모든 것을 했습니다.

내 의미는, 나는 기본적으로 우리가 AI에 대한 것들을 그녀에게 주입했다고 느끼고, 그 다음 그녀는 계속 나아갔고, 그것을 구축하기로 결정했습니다. 그래서, 나는 다양한 분야, 다양한 산업에서 온 사람들이 이 도구를 통해 권력을 얻고, 이 멋진 것들을 만들 수 있는 것을 보는 것보다 더 행복할 수 없습니다. 맞죠? 그리고 이것의 모든 것이 우리가 명상과 마음챙김과 같은 것을 우리가 오늘 무대에서 보여줄 수 있는 실제 기술 경험과 연결하는 것을 가능하게 했습니다. 그래서, 다음 약 15분을 즐기세요. 페이스를 늦춰보세요. 이 날이 끝나기 전에 좀 보존된 에너지를 회복하세요. 감사합니다. 이봐, 이봐, 이봐. 어, 어, 어. 어, 어, 어. 어, 어, 어. 어, 어, 어. 어, 어, 어. 어, 어, 어. 어, 어, 어. 어, 어, 어.

이봐, 이봐, 이봐. 어, 어, 어. 어, 어, 어. 어, 어, 어. 어, 어, 어. 어, 어, 어. 어, 어, 어. 어, 어, 어. 어, 어, 어. 어, 어, 어. 어, 어, 어. 어, 어, 어. 어, 어, 어. 어, 어, 어. 우리의 프로그래밍은 정말로 빠르게 움직이고 있습니다. 어, 우리의 다음 연사인 Jay가 준비할 때, 이것은 멋진 연설이 될 것입니다. 나는 그것을 기대해 왔습니다.

나는 무대 뒤에서 Jay와 조금 대화했고, 이것은 사람과 AI 인간성 측면에 관한 연설입니다. 만약 당신이 팀에서 일하고 있다면, 사람들은 AI에 참여하고 싶고, 그들은 업그레이드하고 싶고, 그들은 다른 사람들을 위해 설계하고 싶습니다. 보통 우리는 마지막에 일반적인 메시지와 일반적인 결과로 끝나며, 우리는 심지어 어떻게 정말로 충분히 활용할 수 없는지 모를 수도 있습니다. 그래서 이 Jay의 연설은 그의 이전 Canva 경험에서 나왔고, Canva는 우리와 이야기할 것이고, 나는 그것에 대해 정말로 흥분합니다. 그래서, 만약 당신이 준비되었다면, 만약 당신이 회복되었다면, 만약 그가 준비되었다면? 그는 준비되지 않았습니다. 아니요. 그는 나에게 대답했습니다. 그는 방금 아니라고 말했습니다. 그것은 좋습니다. 나는 아니를 볼 수 있습니다. 그들이 준비할 때 당신은 어떻게 느낍니까? 당신은 괜찮으세요? 박수 수준으로 말해보세요. 좋아요, 그것은 좋습니다. 매우 좋습니다. 그것은 좋습니다. 나는 행복합니다.

이것은 좋은 회의였습니다. 거의 끝날 것 같아서 아쉽습니다. 만약 당신이 더 원하고, 심지어 끝난 후 뭔가 말하고 싶다면, 당신은 더 원하지 않습니까? 나는 우리가 내년에 하지 않을 것이라고 생각하지 않습니다. 어때요? 나는 농담하고 있습니다. 나는 농담하고 있습니다. 괜찮습니다. 그들은 백스테이지에서 겁먹었습니다. 그는 그렇게 말할 수 있습니까? 나는 모릅니다. 우리는 그에게 마이크를 주었습니다. 음, 이것은 시간이 걸릴 것입니다, 맞죠? 이것은 MC를 하는 가장 끔찍한 부분입니다. 이제 나는 당신들 모두를 즐겁게 해야 합니다. 하지만 그것은 쉽습니다, 맞죠? 이봐, 감사합니다. 그는 나에게 뭐라고 말했습니까? 선생님, 당신의 이름이 뭐십니까? Ari 예술. 시험 시험. 그의 이름은 Art입니다. 오 맙소사. 이 녀석은 진짜 예술 작품입니다. 준비되셨나요? 나는 우리가 준비되었다고 생각합니다, 친구. 당신의 가장 따뜻한 박수. 시작해봅시다, 아기. 무슨 일이에요? 깨어나세요. 와, 아기. 나는 Jay입니다. 나는 Canva에서 일했습니다. 나는 Grab에서 일했습니다. 당신은 어떻게 하고 있습니까?

오늘, 나는 메시지가 없다고 논의할 것입니다. 당신은. 그래서, 배경을 위해, 맞죠? 나는 정말 이 모든 것을 전파하는 것에 지쳤습니다. 메시지는 아니지만, 단지 꽃을 피우는 것입니다. 그래서, 나는 내 휴대 전화에 내 노트가 있습니다. 만약 내가 내 휴대 전화를 보고 있다면, 그것은 내가 에이전트를 보고 있는 것이 아니라, 내가 내 노트를 보고 있는 것입니다. 그래서, 나는 이 설계 인플루언서들, 이 리더들, 높은 권력 위치에 있는 이 사람들이 설계 과정에 대해 말하는 것에 지쳤습니다만, 그들은 수백만 명의 사용자를 위해 뭐든 하거나 전달하지 않았습니다. Jon Snow처럼, 그들은 아무것도 모릅니다. 그래서, 나를 믿으세요. 그리고 여기 실제로 수백만 명을 위해 뭔가를 구축한 사람들을 믿으세요. 이것에 대해 이야기해봅시다. 이야, 이야.

그래서, General Mills, 미국의 베이킹 회사는 1947년에, 그들은 케이크 믹스를 출시했고, 사람들은 보통 이에 대해 너무 좋지 않게 반응했습니다. 그들이 추가적인 단계를 추가했을 때, 즉시 믹스에 계란 하나를 추가했을 때, 사람들이 들어왔습니다. 그들은 자신들이 창조하고 있다고 느꼈고, 이것은 재미있습니다, 맞죠? 왜냐하면 AI도 마찬가지이기 때문입니다. 나는 AI를 위해 설계하는 모든 사람이, AI가 그것을 출력하고 그들을 도울 때, 사람들이 가치를 창조한다고 생각합니다, 맞죠? 이것을 IKEA 효과라고 합니다. AI가 실제로 협력하고 파트너처럼 행동할 때, 사람들이 들어옵니다. 음, 이것은 당신이 보는 제품에 대해 재미있습니다. Canva든, Google이든, Figma이든, 일반적으로든. 당신은 사람들에게 AI를 사용하거나, 편집하거나, 당신과 함께 생성할 수 있는 선택권을 줍니다. 어떤 사람들은, 당신 알다시피, 분명히 좀 주저합니다.

당신은 그들이 토큰을 사용해보지 않는 것을 볼 것입니다만, 이것은 재미있습니다, 맞죠? 오, 그것이 사라졌습니다. 좋아서인가요. 최고야. 최고야. 좋습니다. 우리는 돌아왔습니다. 우리는 돌아왔습니다. 나는 그렇게 희망합니다. 활동적인 상태를 유지합니다. 오, 우리는 끝났습니다. 이런 일이 일어날 때, 그냥 그를 위해 큰 박수를 치면 어색해지는 것을 피할 수 있습니다. 우리는 간다. 이런 일이 생깁니다. 아무 것도 아닙니다. 그래서, 나는 계속할 것입니다. 우리는 좋습니다. 최고야. 그래서, 내가 AI와 어떻게 협력합니까? 대부분의 사람들이 AI와 어떻게 협력합니까? 나를 위해, 나는 그것을 내 인턴으로 사용하고, 내 아트 디렉터로는 아닙니다. 그래서, 당신은 아마도 LinkedIn에서 이 비디오를 봤을 것입니다. 이것은 재미있습니다, 맞죠? 음, 사람들은 토큰 최대화를 수행하고 있으며 그들의 모든 이 토큰을 사용하고 있습니다. 이것은 성급합니다. 음, 이것은 일반적으로 클라우드 코드와 동일합니다, 맞죠? 당신이 모든 토큰을 사용하면, 당신은 화가 나고, 당신은 생각하고, 「아, 망했다.」

「마찬가지로, 나, 당신, 당신은 내 모든 신용을 잃었습니다. 너무 비싸요. 내가 왜 구축해야 합니까? 그래서, 나는 나는 대부분의 사람들에게 물을 것이라고 생각합니다, 맞죠? 당신이 결정을 인간 전문가나 AI에게 위임할 것입니까? 나는 당신이 실제 사람들을 위해 설계할 때, 나는 사람들이 과학 기술 버블 밖의 사람들과 대화하도록 권장합니다, 왜냐하면 일반인은 AI 사용에 주저합니다. 그래서, 만약 당신이 그것을 사람들이 실제로 덜 많은 시간을 사용하는 방식을 프레임 한다면, 당신은 생각하면, 그 다음 사람들은 AI를 사용할 가능성이 더 높습니다. 이것은 재미있습니다, 맞죠? 그들은 이에 관한 연구를 했습니다.

사람들은 AI를 더 사용하기 쉽습니다. 어, 당신이 그것을 시간 손실로 프레임할 때, 어, 그리고 일반 속도, 그리고 우리, 우리는 그것을 했습니다, 맞죠? 그래서 나를 위해, 나는 Canva의 워크시트를 구축했습니다. 어, AI 전원 전자 스프레드시트. 다른 경쟁자들이 여전히 이 #error 태그를 사용하고 있을 때, 나는 재미있다고 느낍니다. 실제로 무엇이 정말 오류인지 전달할 수 없습니다. 어, 만약 당신이 전자 스프레드시트를 매일 사용하는 일반인과 대화한다면, 그들은 압도된다고 느낄 것입니다, 맞죠? 그래서 Canva에서, 우리는 누군가가 공식을 사용하기 쉽게 하려고 했으며, 우리는 그들을 주었고, 인간처럼 그들과 대화하여 수정 제안을 주었으며, 이것 자체만으로도 재미있습니다, 맞죠? 이것은 내가 했던 음성 것과 같습니다. 어, 길잡이 동안. AI 구축 행복한 길, 어, 당신이 보는 바와 같이, 어, 사람들은 그것을 망쳤고, 그들은 신경 쓰지 않습니다, 맞죠? 그리고 당신은 환경을 위해 메시지할 수 없으며, 당신이 바깥에서 도로 소음, 아기가 우는 소리를 처리하든, 맞죠? 이것은 불행합니다. 왜냐하면 나는 당신이 음성을 위해 구축했다면, 길을 잘못 걷는 비용이 너무 높다고 생각합니다.

어, 만약 당신이 전에 했다면, 일반적으로 그것은 어렵습니다. 그래서 AI는 모든 것을 해결할 수 없습니다. 그래서 나는 당신이 데이터 세트 밖에서 생각하도록 권장합니다, 맞죠? 나는 이 차트를 생각합니다. 당신은 아마도 많이 봤습니다. 그래서 당신이 설계할 때, 만약 당신이 기업가이거나 설계자이거나 창의적인 사람이거나 개발자라면, 당신이 소유한 것을 생각해 보세요. 무엇이 혁신 경쟁 우위를 운전합니까? 누가 그것을 운전합니까? 설계. 설계는 항상 이 가치를 사용자들에게 경쟁사에 대한 우위를 얻기 위해 구동했습니다. 그래서 제임스 다이슨도 좋은 예입니다, 맞죠? 만약 당신이 그의 이야기를 읽는다면, 그는 5000개와 100개의 진공 청소기 프로토타입을 만들었고, 그는 누군가가 그를 위해 위험을 감수한 후에야 전화를 받았습니다, 맞죠? Apple 키보드도 마찬가지입니다.

많은 사람들이 그것을 싫어하지만, 당신은 기억해야 합니다. 그들은 스마트 지름길, 사람들이 말할 것, 다른 나라, 다른 어휘도 나타날 것을 생각해야 합니다. 나는 그 팀이 스티브 잡스와 계속 반복하여 현재의 상태에 도달했다고 확신합니다, 맞죠? 그들은 고려해야 했습니다, 맞죠? 그들이 세상을 위해 설계한 물체, 이 새로운 기능들. 그래서 데이터 세트 밖에서 설계하세요, 맞죠? 그래서 나는 기분이, 이것은 Josh Newton이 이전에 대해 말한 것과 관련이 있습니다. AI가 사이클을 가속화합니다. 그것은 설계 공예나 전체 판단을 대체하지 않을 것입니다. 그래서 나를 위해, 맞죠? 나는 Canva의 설계자들과 함께 일했습니다. 이야.

오, 아니. 또 다시 온 것 같아요. >>고전입니다. 좋아요, 좋습니다. 이봐, 이봐, 이봐, 진정하세요, 진정하세요, 진정하세요. 우리는 할 수 있습니다. 그래서 내가 Canva에서 일했을 때, 나는 열과 레이아웃을 설계했습니다.

내 친구 Simon Lynn에게 경의를 표합니다. 그는 대만에 있고 전설입니다. 또한 이 프로젝트를 도와줬습니다. 이것들은 복잡한 상호작용입니다, 맞죠? 모든 사람이 이해하지 못할 것입니다. 그래서 우리가 실제 사용자와 실제 프로토타입과 깊이 있는 참여를 할 때, 우리는 데이터 세트 밖에서 생각해야 합니다. AI는 복잡한 상호작용, 복잡한 제품을 해결할 수 없으며, 당신은 여전히 실제 사람들과 대화해야 하고 AI가 생성하거나 생각할 수 없는 것을 실제로 테스트해야 합니다. 워크샵에서 일하는 것도 마찬가지입니다. 어, 우리는 실제로 코드 템플릿을 구축했습니다. 이것의 의미는 무엇입니까? 음, 우리는 우리의 제품에 대한 코드 템플릿을 구축했으며, 이것은 사람들이 Cursor에 들어가고, Claude에 들어가고, 워크샵, 브레인 스토밍에서 실제로 아이디어를 구축할 수 있도록 도와주었고, 모든 사람을 강화했습니다, 맞죠? 설계자로서 우리는 전체적으로 대화를 독점해서는 안 됩니다.

우리는 모든 사람을 권능화하여 인공지능을 통해 그들의 아이디어를 가져오고 구축할 수 있게 해야 합니다. 그렇게 하면 우리는 프롬프트를 사용할 수 있고 현장에서 실제로 테스트할 수 있습니다. 이는 매우 중요합니다. 스마트홈과 음성도 마찬가지입니다. 화웨이가 스마트홈의 미래 발전 방향을 보는 것은 매우 흥미롭습니다. 음성과 문맥적 요인을 고려하십시오. 인공지능은 반응적으로 작동할 수 없기 때문입니다. 그것은 배워야 합니다. 그것은 훈련을 받아야 합니다. 그렇다면 이 문제를 어떻게 생각하고 일반인의 행동에 적응하는 지능형 시스템을 갖는 것은 어떻게 될까요? 마지막으로, 당신이 실제로 살고 싶은 세계를 건설하세요. 설계자, 개발자, 그리고 여기 있는 모든 분들, 특히 기업가들입니까? 사람들은 경험에 투자하기 때문에 설계가 사물을 추진하는 지렛대가 될 것이기 때문입니까? 인도 인디고 항공의 최고 기술 담당자도 이에 대해 이야기했습니다.

인공지능은 현재 매우 비싸지만, 직원을 고용하는 비용이 더 저렴합니다. 이는 특히 인공지능 시대에 매우 흥미로운 주장입니다. 따라서 오늘 제 발표를 마치기 전에, 마지막으로 몇 가지 핫한 아이디어와 핫한 관점을 제시합니다. 소셜 미디어에서 인공지능 설계에 관한 쓰레기 정보를 끄세요. 솔직히 말해서, 거기에는 이런 것들이 많이 있습니다. 당신의 네트워크와 원 밖의 사람들과 소통하세요. 보통 사람들은 지금 실제로 인공지능을 상당히 두려워하고 있으며, 물론 이것은 이해할 수 있습니다. 괜찮습니다. 사용자들은 당신의 제품이 더 나은지 신경 쓰지 않습니다. 맞나요? 그들은 당신이 경쟁사보다 더 나은 멋진 기능을 가지고 있는지 신경 쓰지 않습니다. 당신은 이러한 사람들과 그들의 필요를 위해 실제로 설계해야 하고 맥락과의 관련성을 유지해야 합니다. 마지막으로, 이 지역과 세계 전역의 설계 리더들을 위해, 저는 사람들에게 인공지능에 적응할 수 있는 공간과 시간을 줘야 한다고 생각합니다.

저는 설계자들이 실제로 충분한 화면을 설계하지 못했다고 비난받고, 인공지능을 사용하는 방법을 모르는 형편없는 설계 리더들에게 따돌림을 받았다는 이야기를 너무 많이 들었습니다. 그렇죠? 누군가 저에게 제 일이 의미가 없다고 말했습니다. 그런데 당신은 뭐라고 생각하세요? 제가 설계한 제품은 수백만 명이 사용합니다. 그래서 저는 그들이 무엇을 말하는지 모르겠습니다. 솔직히 말해서, 저는 당신의 팀을 권능화하는 것이 중요하다고 생각합니다. 그래서 마지막으로 여기서 언급하지 않은 한 가지 요점이 있습니다. 크리스티나 코흐는 아르테미스 우주선을 탔고, 명백히 달 주위를 돌았습니다. 그녀는 당신의 팀을 찾는 것에 대해 이야기했습니다. 그래서 저는 당신이 당신의 팀을 찾기를 권장합니다, 당신이 여기서 가진 당신의 네트워크. 권능화되었다고 느껴보세요, 당신이 적응하고 협력하고 있는 인공지능 네트워크와 연결되어 있다고 느껴보세요. 이것이 중요하기 때문입니다. 우리가 살고 싶은 세계에서 인공지능에 반대하고 싶지 않을 것입니다.

당신은 인공지능에 대해 유창한 이해가 필요합니다. 그냥 엉터리에 반대하기. 감사합니다. >>박수. 엉터리에 반대하기. 당신 중 몇 명이 엉터리에 반대합니까? 제가 당신에게 말씀드립니다, 저는 반대합니다. 와. 정말요? 당신은 다른 사람들은 어떻게 생각하세요, 맞죠? 어쨌든, 어, 박수해 주세요. 우리는 공동 진행자가 있습니다. 이것을 봐요. 우스만입니다, 여러분. 맞습니다. 우스만, 저보다 훨씬 젊습니다. 어, 저는 그것이 무엇인지 당신에게 말하지 않을 겁니다. 그는 지역 사회에서 매우 활동적입니다. 건설 중입니다. 당신이 마지막으로 건설한 것이 무엇입니까, 친구? >>제가 마지막으로 건설한 것은 마치, 알다시피, 종교 앱입니다, 맞죠? >>당신이 건설한 것 같이. >>네. >>어, 제 앱은 전 세계의 무슬림을 대상으로 합니다. 당신은 어, 당신의 기도를 추적할 수 있고 꾸란의 모든 다양한 수라를 추적할 수 있습니다. 이는 우리의 어, 거룩한 책입니다. 네. >>당신의 성경과 비슷합니다. >>천아, 이건 정말 멋져요. 당신이 이것을 건설했어요? >>어, 네. Google AI Studio를 사용하여 건설했습니다.

>>Google AI Studio를 사용하세요. 박수. 건설자처럼. 당신은 몇 살입니까? >>저는 13살입니다. >>그는 13살입니다. 뭐라고요? 이것이 미래입니다. 어떻게? 마지막 질문을 하나 더, 그들이 준비할 때. AI Studio로 구축한 경험은 어떻게 되나요? 당신은 그냥 프롬프팅을 하고 있는 건가요? 당신은 코드를 쓰고 있는 건가요? 이게 뭐지. >>글쎄, 물론이지, 처음에는, 맞죠, 저는 정말로 Vue 코드를 할 수 없었습니다. 저는 사물을 정말로 파악하는 데 1년 정도 또는 2년 정도 걸렸습니다. 네. 그리고 저는 Vue 코드가 그렇게 어렵지 않다는 결론에 도달했습니다. 당신은 단지 시간을 투자하기만 하면 됩니다. >>맞습니다. 당신은 단지 시간을 투자하기만 하면 됩니다. 좋습니다. 그럼 당신은 다음 연사를 소개하고 있는 건가요? 맞죠? >>네. >>시작합시다. 박수, 여러분. >>좋습니다.

이제 우리는 샌프란시스코에서 싱가포르까지 온 알렉스 리를 만났습니다. 그는 인공지능이 설계 시스템을 어떻게 필요로 하는지를 소개하기 위해 왔습니다. 현재 사용자는 AI Studio와 이러한 모든 것들을 좋아합니다. 설계는 끔찍합니다. 저는 지금 솔직하게 말씀드리려고 합니다. 우리는 사용자 브랜드와 일치하는 설계가 필요합니다. 알렉스 리를 위해 박수해 주세요. >>아, 당신은 마이크가 필요합니다. 죄송합니다, 여러분. 그가 마이크 없이 어떻게 연설할 수 있습니까? 알렉스, 다시 한 번, 모든 분들 알렉스 리를 위해 박수해 주세요. >>감사합니다. 감사합니다, 여러분. >>좋습니다, 완벽합니다. 슬라이드가 여기 있습니다. 어, 네, 저는 알렉스이고, Magic Patterns의 창립 엔지니어 중 한 명입니다. 실제로, 저는 그냥 빠르게 투표를 진행하고 싶습니다. 누군가 정말로 Magic Patterns를 들어 봤습니까? 손을 들어보세요. 오, 실제로 당신들 중 몇 명이 있습니다. 슈퍼 멋져요.

우리를 모르는 사람들을 위해, Magic Patterns는 인공지능 설계 도구로 몇 분 내에 아이디어에서 제품까지 갈 수 있습니다. 우리는 2,000개 이상의 제품 팀에 의해 사용되었습니다, KPNG, RAMP 등. 하지만 저는 주로 설계 시스템 작업을 하고 있습니다. 인공지능의 세계에서 새로운 기능을 구축하는 것이 훨씬 더 쉬워졌지만, 우리가 여전히 직면하는 어려움은 일관성입니다. 그래서 저는 설계 시스템이 과거에만 필요한 것이 아니라 오늘날의 인공지능 세계에서도 중요한 이유를 말씀드리기 위해 여기에 왔습니다. 그래서 시작하기 전에, 설계 시스템이 먼저 필요했던 이유의 역사를 살펴봅시다. 그래서 모든 것이 있기 전에, 세계 또는 웹은 야생의 땅이었습니다. 모든 페이지는 달랐습니다. 당신의 MySpace 페이지처럼 보였습니다. 곳곳에 다른 위젯, 다른 버튼이 있었습니다.

설계자는 다시 구현해야 했고, 엔지니어도 다시 구현해야 했으며, 진정한 공유 시스템이 없었습니다. 이러한 혼란을 재조정하기 위해 우리는 설계 시스템을 갖게 되었습니다. 이것은 제품 팀이 사용할 수 있는 공유 언어입니다. 당신은 당신의 토큰을 가졌고, 당신의 색상, 타이포그래피, 간격을 나타냅니다. Brad Frost의 원자 설계 덕분에 우리는 구성 요소에 대한 좋은 계층 구조와 명명법을 얻었습니다. 우리는 당신의 원자를 가졌습니다, 버튼, 레이블, 입력. 우리는 이러한 원자로 구성된 분자를 가졌습니다, 아마도 당신의 양식 모듈 또는 검색 표시줄. 그 다음에 우리는 생물 수준의 구성 요소와 더 큰 것들을 만들기 위한 템플릿을 가졌습니다, 당신의 사이드바 또는 대시보드 레이아웃처럼. 그래서 약속은 간단합니다. 우리는 일관성, 속도, 규모를 가졌습니다. 이는 설계 시스템 덕분입니다. 하지만 아마도 사물이 조금 너무 일관적이었습니다.

아마도, 알다시피, 설계 시스템에 새로운 버튼을 추가하는 데 긴 시간을 소비하는 대신. 이제 관료주의가 있습니다. 당신은 팀에 물어봐야 합니다, 이 새로운 것을 이 레이아웃에 추가할 수 있습니까? 그리고 우리는 첫 번째 원칙에서 사물을 생각하고 있지 않습니다. 이것은 우리가 처음부터 사용자의 문제를 어떻게 해결하는지에 관한 것이 아니라, 우리 설계 시스템이나 도구 라이브러리의 구성 요소를 사용하여 이 문제를 어떻게 해결하는지에 더 관한 것입니다. 이러한 경직됨은 매우 도움이 되지 않습니다. 그래서 업계는 한 발 물러났습니다. 설계 시스템은 아마도 조금 너무 강제적이었을 수도 있습니다. 그래서 우리가 사물을 규칙 모음보다 프레임워크로 더 생각해봅시다. 이렇게 하면 당신은 그러한 창의성을 가질 수 있지만, 여전히 당신의 일관성과 당신의 브랜드, 타이포그래피, 색상, 로고, 이미지 등을 보장하는 그 보호대가 있습니다.

그래서 마지막에 우리는 평화에 도달했습니다. 우리는 창의적으로 구축하는 방식을 가지고 있으면서 동시에 기술 업계에 파괴적인 영향을 미치는 것 없이 보호대가 있습니다. 맞죠, 친구. 저는 지난 6개월 동안도 제 워크플로우가 완전히 변했다고 느낍니다. 저는 당신 모두에게 확신합니다, 저는 더 이상 코드를 작성하지 않습니다. 저는 단지 에이전트가 나를 위해 작성하도록 합니다. 저는 설계, 제품 관리하는 모든 사람에게 확신합니다, 모든 것이 변했습니다. 저는 이것이 흥미롭다고 생각합니다, 맞죠? 구현의 비용은 이제 기본적으로 무료입니다. 특히 당신의 회사가 이미 이러한 Opus 4.7 토큰에 대해 지불했다면, 맞죠? 그래서 질문이 우리가 이것을 구축할 수 있는지에서 변했습니다? 구축하는 데 얼마나 오래 걸립니까, 알다시피, 우리는 심지어 이것을 원하십니까? 이것을 추가할 필요가 있습니까? 우리는 이것을 유지하고 싶습니까?

이 새로운 기능이 제 설계 시스템의 구성 요소를 사용합니까? 이 새로운 기능이 제 브랜드와 부합합니까? 그래서 그것을 가지고, 우리는 인공지능이 우리를 위해 만든 모든 혼란을 가지고 있습니다. 우리는 설계 시스템을 만든 이유로 돌아갑니다. 특히 우리는 그 보호대가 필요합니다. 그래서 이것이 인공지능 세계에서 무엇인가, 알다시피, 이런 배경 없는 인공지능 세계에서 당신은 특히 당신의 브랜드와 반드시 부합하지 않는 것들을 가지고 있습니까? 사물은 환각을 할 수 있습니다. 당신은 환각하는 구성 요소를 가질 수 있습니다. 당신은 당신의 브랜드 지침과 일치하지 않는 색상을 가질 수 있습니다. 전반적으로 당신은 정말로 사물이 작동하도록 하기 위해 그 기초와 배경이 필요합니다. 이것은 단지 당신의 Figma 목업입니다. 이것은 단지 당신의 Storybook이 아닙니다. 심지어 설계 마크다운도 아닙니다. 우리는 정말로 우리의 에이전트가 당신의 브랜드와 부합하는 것을 구축하도록 정렬하기 위해 배경이 필요합니다.

그래서 우리는 우리 쪽에서 해결책을 제시했고, 우리는 이를 AI 원시 설계 시스템이라고 부릅니다. 분명히 일반 설계 시스템과 크게 다르지 않지만, 핵심은 이제 우리가 이 설계 시스템이 의존하는 두 가지 기둥을 가지고 있다는 것입니다. 당신의 문서와 당신의 코드. 당신은 당신의 시스템 수준 규칙, 토큰을 가졌습니다. 제가 앞서 언급했듯이, 당신의 색상, 타이포그래피, 간격. 그 다음에는 당신의 구성 요소가 있지만, 특히 코드에 의해 지원됩니다. 왜냐하면 당신의 설계 시스템이 코드와 얼마나 일치하는지, 그것은 당신의 사용자가 실제로 보는 것에 얼마나 가깝습니다. 이것은 또한 에이전트가 도구, 변수 및 이러한 구성 요소를 직접 사용하는 방식을 이해하도록 허용합니다. 그래서 현실의 예는 어떻게 생겼습니까? 이것은 우리의 고객 중 하나인 Headway입니다.

Headway는 사람들이 면허가 있는 치료사를 찾을 수 있도록 도와주는 정신 건강 플랫폼입니다. 그들은 이미 설계 시스템을 가지고 있었으므로, 우리는 그들을 위해 동기화를 돕기로 결정했습니다. 우리는 그들의 문서와 코드를 가져왔고 제가 앞서 언급한 동일한 구조로 생성했습니다. Storybook은 문서 소스로서 시스템 수준 규칙과 스토리 기반 구성 요소 수준 규칙에 적합합니다. 그 다음에 그들의 실제 코드는 NPM 모듈로 수집되거나 토큰을 가져오기 위해 GitHub과 동기화되었으며, 제가 언급한 이러한 구성 요소들입니다. 이것은 미친 것입니다. 왜냐하면 저는 현장에서 이것을 시연할 수 없기 때문입니다. 너무 많은 시간이 걸릴 수 있습니다. 하지만 차이는 분명합니다. 저는 미리 이것들을 생성했지만, 동일한 일반 프롬프트 「대시보드를 구축해 주세요」를 사용하면, 당신은 완전히 다른 것을 얻습니다. 설계 시스템 없이, 당신이 얻는 것은 당신의 UI와 함께 작동할 수 있는 것입니다, 맞죠?

또는 그것은 좋은 일반 SaaS 대시보드이지만, 당신의 브랜드나 제품과 부합하지 않을 수 있습니다. 해당 설계 시스템 배경을 사용한 동일한 프롬프트. 이것은 Headway의 브랜드와 매우 유사해 보입니다, 맞죠? 우리는 우리의 로고를 가지고 있습니다. 우리는 우리의 구성 요소, 색상, 타이포그래피를 가지고 있고, 모두 함께 일치합니다. 이제 우리는 실제로 진정으로 가까운, 높은 충실도의 코드를 보낼 수 있습니다. 프롬프트가 더 간단하더라도. 이제 이것도 설계에서 공학으로의 인수의 모습을 완전히 바꾸었습니다. 맞죠? 구세계에서, 저는 이 Figma 목업을 가지고 있습니다. 엔지니어로서, 저는 이것을 봐야 하고 제 Storybook을 확인하고 어떤 구성 요소가 일치하는지 확인해야 하며, 색상 토큰이 정확한지 확인해야 합니다, 맞죠? 이것은 어렵습니다. 저는 모든 것을 처음부터 구축해야 합니다. 하지만 이제 우리는 설계와 협력하지 않습니다. 우리는 코드로 지원되는 프로토타입과 협력합니다.

그리고 이러한 프로토타입이 제 실제 설계 시스템 구성 요소를 사용하기 때문에, 저는 MCP를 통해 이것을 Cursor, Code 또는 Codex 같은 것들에 후크할 수 있습니다. 그냥 말만 하세요, 아, 프로토타입 도구, 설계 도구, 이 설계를 주세요, 여기서 새로운 기능을 만드세요. 이러한 동일한 기본 기초, 두 코드베이스 모두 제의 동일한 설계 시스템 구성 요소를 사용해야 합니다. 저는 더 높은 충실도를 얻을 수 있어야 합니다. 하지만 이러한 프로토타입도 코드로 지원되기 때문에, 저는 반대로 할 수 있습니다. 저는 아직 모델에 없거나 Vue 코드의 세계에 없을 수 있는 기능을 가질 수 있습니다. 사람들은 항상 새로운 기능을 생성하고 있습니다. 제가 지금 할 수 있는 것은 단지 말하는 것입니다. 이 코드를 가져가세요, 이 페이지를 가져가세요, 그리고 그것을 제가 쉽게 반복할 수 있는 프로토타입으로 변환하세요.

이제 이 MCP 왕복으로 인해 저는 양쪽 방향에서 고충실도 전송을 갖고 있습니다. 에이전트의 발전과 함께 우리의 워크플로우도 발전할 것입니다. 하지만 우리가 아직 일치할 수 없는 진정한 어려움은 공예입니다. 인공지능만으로는 공예를 대체하지 못합니다. 왜냐하면 배경이 없으면 당신은 훌륭한 제품을 오늘날의 모습으로 만드는 의도, 촉각, 그러한 인간성을 갖지 못하기 때문입니다. 하지만 디자인 시스템이 여기에 이러한 배경을 추가합니다. 그래서 과거에 디자인 시스템은 공예를 갖고 구축하도록 도왔지만, 오늘날 그들은 우리의 에이전트가 공예가 어떤 모습인지 이해하도록 도움을 줍니다. 그래서 저는 이것이 왜 디자인 시스템이 오늘날 이 인공지능 세계에서 이전보다 훨씬 더 중요해졌는지 이해하는 데 도움이 되기를 바랍니다. 감사합니다.>>정말 감사합니다, 알렉스. 미국에서 온 다음 연사인 우입니다. 네. 어, 음.

어, 다음 연사는 Magic Path(Magic Patterns가 아닙니다)의 사비나가 될 것입니다. 어, 저는 정말로 이 사람들에게 어느 정도 말했습니다, 알다시피, 그들은 존재하고 그들은 서로를 쫓을 것이지만, 저는 그들이 재미있을 것 같습니다. 하지만, 어, 네. 그래서 저는 사비나에 대한 작은 이야기를 하는 것이 재미있을 것 같습니다. 어, 그녀는 실제로 화학을 공부했습니다, 제 생각에는. 맞나요?>>네. 하지만 지금 그녀는 디자이너입니다.>>그것은 「Breaking Bad」 같은 건가요?>>「Breaking Bad」처럼?>>월트 화이트처럼?>>이것은 싱가포르입니다. 우리는 그런 식으로 말할 수 없습니다.>>죄송합니다.>>괜찮습니다.>>하지만 어쨌든, 어, 하지만 이것은 멋집니다. 저는 다시 한 번 어, 당신은 무엇이든 배울 수 있고 그 다음 무엇이든 될 수 있다고 생각합니다. 당신은 무엇을 배웠습니까?>>아무것도. 나는 아무것도 배우지 않았습니다. 나는 영도 학위를 가지고 있습니다. 나는 단지 나는 교육받지 않았습니다.>>네. 그래서 때때로, 여러분, 당신은 무엇이든 할 수 있습니다. 아무도 당신을 멈추지 않습니다.

단지 당신이 화학 사람이라면 당신은 디자인할 수 있습니다. 어, 그래서 이것은 사비나에 대한 작은 배경입니다. 우. 안녕하세요, 저는 사비나라고 합니다. 나는 뉴욕시에서 왔습니다. 당신들과 이야기하기 위해 여기에 있습니다. 저는 여기서 흥분되어 있습니다. 나는 Magic Path의 디자이너입니다. 패턴 경로가 아닙니다. 라이트 모드, 다크 모드 또는 라이트 모드. 어, 그래서 이것은 재미있습니다. 나는 실제로 워크숍을 개최했습니다. 여러분 중 누군가가 이틀 전에 참석했다면, 다시 한 번 안녕하세요. 어, 나는 완전히 나의 연설을 다시 했습니다, 이 아침에, 왜냐하면 나는 깨달았습니다, 좋은 하느님, 나는 대문자 E 엔지니어 같은 사람들과 이야기하고 있습니다. 그래서 이것은 당신을 위한 것입니다. 어, 만약 당신이 일정을 보면, 나의 연설은 디자이너가 2026년 5월 디자인 트렌드를 여기에 삽입해야 한다는 것이어야 합니다. 어, 그것은 3월에 작성되었습니다, 왜냐하면 당시 나는 생각했습니다, Shelly, 이 공간은 너무 빠르게 발전하고 있습니다, 알다시피, 하느님이 무엇을 알겠습니까?

나는 내가 이 연설을 제출하기 전에 skills가 이미 광범위하다고 생각하지도 않았습니다, 어, 그것은 나중에 발전했습니다. 나는 그렇게 하지 않았습니다. 디자이너가 코드를 작성해야 합니까? 물고기가 수영해야 합니까? 그것은 작동하지 않습니다. 디자이너가 디자인해야 합니까? 이것은 실제로 좋은 질문입니다. 나는 잠깐 후에 이것으로 돌아올 것입니다. 하지만 만약 당신이 지금 디자이너이고 불행히도 코드에 접촉하고 있다면 저는 생각했습니다. 네. 알겠습니다. 그리고 나는 깨달았습니다, 잠깐, 나는 올바른 청중과 이야기하지 않았습니다. 엔지니어가 디자인해야 합니까? 그렇습니다. 그래서 이 연설은 당신 같은 괴짜들을 위한 것입니다. 어, 그래서, 어, 나에게 엔지니어링은 정말 무섭습니다, div 블록이 무섭기 때문에, 하지만 만약 당신이 div 블록을 상상한다면, 그것은 flexbox입니다. 만약 당신이 flexbox를 할 수 있다면, 그것은 자동 레이아웃입니다. 그래서 약 90초 안에, 나는 당신에게 내 일을 인수하기 위해 필요한 모든 것을 가르칠 것입니다. 나는 당신이 내 일을 인수하기를 바랍니다, 맞죠? 나는 피곤합니다.

그래서 만약 당신이 이런 글꼴을 본다면, 당신은 생각할 것입니다, 그것은 매우 깨끗합니다, 매우 읽기 쉽습니다, 매우 인간적입니다, 맞죠? 음, 나는 오늘 아침에 프롬프트로 생성했습니다. 이것을 산세리프 글꼴이라고 합니다. 그것은 매우 접근 가능합니다, 매우 인간적입니다. 당신은 아마도 모든 개발자 웹사이트의 모달에서 볼 수 있습니다, 알다시피, Linear Claw. 그들은 자신의 것을 가지고 있습니다. 그들은 비쌉니다, 하지만 Inter는 매우 좋은 신뢰할 수 있는 도구입니다. 사람들은 보통 자간과 자간 간격만 조정합니다. 알다시피, 만약 당신이 그 A 대 A를 본 적이 있다면, 그것은 expect 요소 같은 것입니다. 당신은 그것을 변경할 수 있습니다, 맞죠? 만약 당신이 이 글꼴을 본다면, 당신은 생각할 것입니다, 「와우, 나는 지금 기술적입니다. 나는 숫자를 봅니다. 나는 매우 과학적인 무언가를 봅니다.」이것을 모노스페이스 글꼴이라고 합니다. Blank mono 여러분, mono에 관해서는 아마도 당신이 알아야 할 것입니다. 이것은 「오, 만약 내가 내 웹사이트로 들어가면, 마치 기술처럼, 맞죠?」라고 말하는 것 같습니다.

그것이 정말 훌륭했습니다.」만약 당신이 이 글꼴을 본다면, 그리고 당신이 차이를 알면, 주의력은 당신이 필요한 모든 것입니다. Latte 안에. 어, Times Roman, 조금 진지한 무언가, 어, Anthropic이 나에게 이 전에 다섯 잔의 테킬라를 마셔야 하는지 물었던 질문에 답합니다. 매우 권위적입니다, 매우 전문적입니다. 이것을 세리프 글꼴이라고 합니다. 만약 당신이 3초 안에 왜 우리가 차이가 있는지 알고 싶다면, 세리프 글꼴은 언제, 어, 로마나 그리스 시대처럼 거슬러 올라가면, 어, 사람들은 그들이 템플릿처럼 그려낼 것을 그릴 것입니다. 이 작은 표시들은 사람들이 그릴 때의 실제 페인트 브러시 획에서 비롯됩니다. 그래서 그것이 그것이 어디서 오는지입니다. 이제 당신은 알고 있습니다. 알겠습니다. 만약 당신이 이런 것을 본다면, 셰이더, 상호 작용하는 것. 만약 당신이 본다면, 와우, 그것이 어떻게 일어났습니까? 나는 WebGL을 모릅니다. 어, 네, 이것이 셰이더입니다.

당신이 알아야 할 전부는 당신이 unicorn.studio에 가서 이것을 완료할 수 있다는 것입니다. 만약 당신이 실제로 그것 뒤의 수학을 알고 싶다면, 내 친구 Maxim의 블로그로 가세요. 그는 Linear에서 일합니다. 그는 정말 멋집니다. 어, 그것이 당신이 알아야 할 전부입니다. 그래서, 어, 다른 것이 있는지 살펴봅시다. 여기에는 게이트키퍼가 없습니다. 당신은 생각할 것입니다, 「와우, 나는 히어로 페이지에 있습니다. 이것은 Magic Path의 웹사이트입니다, 당신들은 곧 볼 것입니다. 이것은 Cursor의 웹사이트입니다. 그들은 이 히어로 애니메이션을 어떻게 했습니까?」짐작해 보세요, 친구? 네. 그것입니다. 당신은 코드베이스를 가져다가, 애니메이션 물건을 집어넣고, 새 브랜치를 만들고, 「이봐, 이것을 멋지게 만들어. 이것을 두드러지게 해.」라고 말합니다. 어, 보통 사람들은 여기에서 그들의 제품의 녹화를 가지고 있습니다, 하지만 나는 이것을 옹호합니다, 왜냐하면, 어, 당신은 속도를 높이고 싶습니다.

알다시피, 당신의 인공지능이 생성한 것을 기다리도록 하는 것과 관련하여, 예절이 있습니다. 어, 이것은 단지 더 빠릅니다, 당신은 많은 정말 멋진 것들을 할 수 있습니다. 마치 만약 당신이 내 프롬프트를 본다면, 나는 그냥 말할 것입니다, 이것을 두드러지게 해, 이것을 더 크게 해, 마치 10초 안에 나타나게 해, 뭐든 간에. 알겠습니다. 마찬가지로, 나는 또한 디자이너에 대해 게이트키핑을 하지 않습니다. 이것은 당신을 위한 것입니다. 만약 당신이 웹사이트에서 뭔가를 본 적이 있다면, 당신은 생각할 것입니다, 「나는 이것을 어떻게 했습니까?」당신은 마우스 오른쪽 버튼으로 클릭하고, 요소 검사에 들어가고, 당신은 계산된 레이아웃을 찾을 때까지 파고들고, 당신은 그것을 어 Magic Path에 복사하고, 당신은 곧 볼 것입니다. 네, 이것이 어 이 모든 것이 말하고 있는 것은 나는 정말로 재미있다는 것입니다. 엔지니어는 취향이 있습니다, 맞죠? 좋은 코드를 작성하려면 세밀한 조정 같은 것이 필요합니다.

나는 설계가 엔지니어에게 항상 블랙박스였다고 생각합니다. 그래서 그들은 깨닫지 못합니다, 어, 당신도 이런 것에 취향을 가질 수 있습니다. 당신이 방금 본 모든 것처럼, 그것이 2026년 디자이너의 개요입니다. 마치 어, 나는 instrument sands를 논의하지 않았지만, 좋습니다. 그래서, 내가 전환하고 싶은 것은 오늘 우리가 설계와 작업을 어떻게 정의하는가입니다. 오늘의 설계, 많은 어 이상한 어 패턴이 있습니다, 우리가 장려하는 행동의 일종, 당신은 반복하고, 페이지를 새로 고침하고, 반복하고, 페이지를 새로 고칩니다.

당신은 단일 뷰포트에 갇혀 있고, 만약 당신이 버전을 보고 싶다면, 당신은 어떤 어색한 춤을 춰야 합니다, 뒤로 가기 버튼을 누르거나 뭐든 간에, 당신은 진정한 아이디어가 없습니다, 당신은 좀 충분할 때까지 반복하지만, 당신은 정말로 멈추고 반영하지 않습니다, 와우, 이 반복과 저 반복 사이에 좋은 것이 있을 수 있습니다, 맞죠, 당신은 단지 좀 앞으로 나아가고, 어, 내부 성찰이 아니라, 이것은 명백히 어 남성스럽지 않습니다. 그래서 어 예측이 주어지면 어 오, 그것은 무엇을 말했습니까 어 설계의 미래가 얼마나 어려운지, 마치 나는 일합니다, 알다시피, Magic Path에서, 나는 많은 설계 도구를 봅니다, 마치 오 어 당신은 이것을 내보내야 합니다, 뭐든 간에 파일로, 마치 오 당신은 거기에서 로컬로 만들어야 합니다. 내 주장은 마치 나는 당신들이 어떻게 설계하는지 모릅니다.

나는 정말로 이것이 중요하지 않습니다. 어, 나는 당신들이 있는 곳을 만족시킬 수 있는 최고의 도구를 당신들에게 주고 싶습니다. 당신의 설계가 반성숙한 Next.js 애플리케이션 같든, 그것이 Figma 파일에 있든, 그것이 당신의 뇌에 있는 것처럼든, 그것이 당신의 팀원의 뇌에 있든, 상관없습니다, 왜냐하면 어, 네, 나는 말하고 있습니다, 창의성은 어디서나 나옵니다, 나는 창의성이 어디서 나오는지 말하는 사람이 되고 싶지 않습니다. 그래서, 나는 Sher와 대화하고 있습니다. 그녀는 실제로 3월에 이 연설에 초대했고, 나는 말했습니다, 「이봐, 어 나는 어떤 주제로 연설할지 모르겠습니다.」그리고, 문자 그대로, 이것이 내가 그녀에게 말한 것입니다. 마치, 나는 그 날 이 슬라이드들을 만들었습니다. 그래서, 이것은 게으름 때문이 아니라 정확성 때문입니다. 그래서, 네. 알겠습니다. 이것은 내가 모든 사람이 기억해야 한다고 생각하는 인용문입니다.

나는 이것이 어 이 회의 전체 주장의 약간 같다고 생각합니다. 어, 나는 큰 소리로 읽을 것입니다. John Collison, 그는 Collison 형제들 중 하나처럼, Stripe의 일부, 그는 「당신이 자라면, 당신은 당신 주변의 것들이 항상 그곳에 있지 않다는 것을 깨닫습니다. 사람들이 그것들을 일어나게 했습니다. 하지만 최근까지, 나는 모든 것이 얼마나 많은 회복력을 필요로 하는지 깨닫기 시작했습니다. 그 호텔, 그 공원, 그 철로, 세계는 열정 프로젝트의 박물관입니다.」라고 말했습니다. 그리고 나는 이것을 말하는 것입니다, 당신 알다시피, 어, 알다시피, 어떤 사람들은 단지 skillmd 파일을 던져 버리고, 그들은 마치, 알다시피, 감자튀김을 가방에 넣고, 뭐든 간에 합니다. 하지만 나는 약간 이해하는 데 미가 있다고 생각합니다, 마치, 잠깐, 내가 Twitter에서 찾은 공원처럼 이 skillmd 파일을 내 챗봇에 던져 버리기 전에. 그 안에 무엇이 있습니까? 마치, 나는 모든 것을 원합니까?

마치, 나는 심지어 좋아합니다 네, 이것은 Airbnb의 설계 시스템입니다, 하지만 나는 모든 것을 원합니까? 아닙니다. 당신은 약간 것들을 세밀하게 조정하고 싶습니다, 맞죠? 이것은 마치 누군가가 당신에게 명백히 검토되지 않은 PR을 줄 때마다 같습니다, 마치 그들이 모든 코드 라인을 설명할 수 없습니다. 그들이 해야 한다고 말하는 것이 아니라, 하지만 알다시피, 다른 사람의 인공지능 쓰레기를 처리하는 것은 기쁨을 불러일으키지 않습니다. 나는 모든 사람이 이것에 동의할 수 있다고 생각합니다. 내가 봅시다. 알겠습니다. 어, 이것이 모두 말하고 있는 것은, 마치 나는 마음에서 이 모든 것을 말하고 있습니다, 어, 알다시피, 이것 이전에 설계자로, 나는 인공지능 설계 스타트업을 했습니다, 나는 사람들에게 설계를 가르치려고 했습니다. 어, 그래서 알다시피, 여기에는 회사 게이트키핑이 없습니다. 하지만 이제 기다리세요. 제기랄, 나는 더 매끄러웠기를 바랍니다. 만약 당신이 빨리 가고 싶다면 혼자 가세요. 만약 당신이 멀리 가고 싶다면, 당신은 Magic Path를 사용해야 합니다. 그리고 당신은 당신의 팀과 함께 그것을 사용해야 합니다.

엔터프라이즈 다중 에이전트에서 사용하세요. 우리는 이틀 전에 방금 출시했습니다. 이것은 나 Chloe Park입니다. 여러분 중 그녀를 아는 사람이 있다면, 그녀는 훌륭합니다. 어, 그래서 당신은 Magic Path에서 설계할 수 있을 뿐만 아니라, 하나는 캔버스에서, 나는 이것이 올바른 방법이라고 생각합니다, 둘은 다중 에이전트와 함께, 측면 채팅 표시줄이든 뭐든, 어, 셋은 당신의 실제 엔터프라이즈 팀과 함께. 그래서, 마케터를 초대하고, CEO를 초대하세요, 마치 부엌에 너무 많은 요리사를 넣는 것처럼, 무슨 일이 일어나는지 봅시다. 알아요? 어, 좋은 것은, 알다시피, 나는 항상 모두가 cursor에 대한 사랑과 codeex에 대한 사랑을 보고 있습니다. 나는 경외합니다. 좋은 점은 당신이 실제로 기존 도구를 사용하여 magic path를 사용할 수 있다는 것입니다.

그래서 나는 워크숍을 실시했습니다, 나는 cloud code를 사용했습니다, 하지만 당신은 codeex를 사용할 수 있습니다, 당신은 Amazon IDE 같은 것을 사용하는 것처럼 보는 누군가가 있었던 것 같습니다 같은 무언가를 사용할 수 있습니다, 그것이 Kimmy였습니까? 또는 어, 어쨌든, 당신은 Magic Path를 이 다른 에이전트들에 연결할 수 있고, 말할 수 있습니다, 어, 알다시피, 만약 당신이 많은 것을 가지고 있다면, 당신이 아는 pro 구독 크레딧, Magic Path에서 그것을 사용하세요. 더 많은 크레딧을 구매해야 한다고 느끼지 마세요. 내가 앞에서 말했듯이, 우리는 당신이 지금 있는 위치를 충족시키려고 노력합니다.

음, 제 상사는 Pietro라고 하는데, 정말 대단한 사람이에요. 여러분 중 누구든지 Pro를 알고 있다면, 그는 이런 식으로 정말 미친 듯한 인물이지만, 정말 멋진 비디오를 만들었어요. 마치 그가 codeex를 사용하는 것을 보여주듯이요. 여러분은 정말 놀라운 디자인을 만들 수 있어요. 제 생각엔, 다음 세대의 디자인이란 바로 그것이라고 봐요. 알다시피, 우리는 기술을 가지고 있고, 우리는 그것을 사람들에게 전달해야 해요. 아니, 이것이 여러분이 실제로 달성할 수 있는 방식이에요. 예를 들어 엔지니어는 디자인하고, 디자이너는 엔지니어와 더 잘 협력하는 방법을 배우는 거죠. 음, 그래서 우리는 모든 기술을 가지고 있어요. 할 수 있는 것처럼요. 여러분은 그것을 사람들의 얼굴 앞에 갖다 놓아야 해요. 그런 다음 말해요, 「헤이, 헤이, 알다시피, 이것을 사용해 봐요.」 음, 어디서든 디자인하기요. 저는 실제로 누군가가 말하는 것을 들었어요. 「오, 나는 Magic Path로 내 휴대폰에서 디자인할 수 있으면 좋을 텐데.」 저는 절대 그렇게 하지 않을 거예요. 왜냐하면 저는 그것이 너무 많은 인지적 과부하라고 생각하기 때문이에요.

하지만 만약 여러분이 그것을 Telegram, WhatsApp이나 다른 어떤 플랫폼에 연결하고 싶다면, 여러분은 여러분의 디자인이 천천히 형태를 갖추게 할 수 있고, 나중에 확인할 수 있어요. 그래서 그것을, 음, 깨닫게 되죠. 그래서 다시, 멋진 점은 디자인과 코드 사이의 루프를 닫는 것이에요. 음, 저는 여기에 그것을 가지지 않았어요. 아, 아니, 저는 가지고 있어요. 저는 가지고 있어요. 음, 하지만 기본적으로, 여러분은 magic path 디자인을 가질 수 있고, 그것을 여러분의 코드베이스에 넣고, 광택을 낼 수 있어요. 여러분이 로컬 파일을 편집하더라도, 여러분은 그것을 다시 magic path에 넣을 수 있어요. 이렇게 하면 여러분은 항상 깨끗한 파일을 가지게 돼요. 다시 말하지만, 이것들은 모두 실시간 링크를 가지고 있어서, 여러분은 Slack을 통해 보낼 수 있고, iMessage를 통해 보낼 수 있고, 뭔지 모르겠지만, 어쨌든 보낼 수 있어요. 음, 네, 그래서 음, 이것은 제가 이것을 더 크길 원했지만, 이것은 제가 제 파일 주변에서 어슬렁거리는 것이에요. 음, 알다시피, 다시, 그것은 브러시이기 때문에, 저는 여러분이 미술 작품을 만들기를 원해요.

저는 여러분이 프로젝트를 만들기를 원해요. 아마 절대 출시되지 않을 것 같은 것들이요. 하지만 최소한 여러분은 자신에게 말해요, 여러분이 모든 것을 펼치기를 좋아하고, 그런 다음 정말 깊이 생각해 본다는 거죠? 왜냐하면 저는 앞으로 우리는 우리의 뇌를 약간 주름잡게 하는 일들을 해야 한다고 생각하거든요. 저는 제 것이 마치, 알다시피, 마치 팽창하는 것 같다고 봐요. 그래서, 음, 알다시피, 이것은 단지 제가 미술 프로젝트를 가지고 노는 것이에요. 마치 제가 삽입한 것처럼, 저는 Twitter에서 일본 텍스처 팩을 샀어요. 마치 저, 제가 그것을 제 것에 연결했어요. 알다시피, 로컬, 음, 에이전트나 제 외부 에이전트에요. 그런 다음 그것은 magic path에 정말 멋진 것들을 넣었어요. 저는 그것이 랜딩 페이지나 다른 창의적인 노력과 같은 것에 사용되는 것을 볼 수 있어요. 좋아요, 그래서 제가 말하고 싶은 마지막 것은 아, 이런 일이, 음, 이것은 저를 놀라게 하는 팀이에요. 그 어떤 위대한 것도 혼자 만들어지지 않아요. 두 번째 부분이요.

우리는 주로 뉴욕 시에 위치해 있어요. 만약 여러분이 거기에 가본 적이 있다면, 들어가서 인사를 나눠 봐요. 우리는 맨해튼 하단에 있어요. 정말 멋져요. 좋아요, 그래서 이 사진을 찍어 봐요. 왜냐하면 여러분이 뭐라고 생각하든, 모든 슬라이드가 거기에 있고, 읽어볼 만한 내용도 있거든요. 《무지의 나이》요. 블로그들이 몇 개 있어요. 알다시피, Maxim의 블로그가 거기에 있어요. 거기에 여러분을 위한 정말 좋은 자료들이 있어요. 저는 또한 모든 슬라이드를 가지고 있어요. 이것이 완전히 정확한 것은 아니지만, 거기에 있어요. 음, 제 이메일과 Twitter요. 위에 트윗해 주세요. 만약 여러분이 음 실제로 뭔가를 만들었다면, 여러분이 나에게 DM을 했다면, 나에게 DM을 해 주세요. 혹은 만약 여러분이 일반적으로 나에게 DM을 하거나, 나에게 이메일을 보낸다면, 마치 저는 개인적으로 여러분을 온보딩해 주고 싶어요. 여러분의 팀을 세팅하는 데 도움을 주고 싶어요. 네, 우리는 여러분의 디자인 시스템을 호스팅할 수 있어요. 저는 실제로 이것이 제가 받는 가장 큰 질문이라고 생각해요. 그들은 마치, 「아, 나는 내 디자인 시스템을 여기로 옮길 수 있을까요?」라고 해요. 네.

음, 저는 이제 그게 다라고 생각해요. >> 감사합니다, Sabina. >> Sabina에게 뜨거운 박수를 보내드려요. 모두 계속 진행해 주세요. 네. 마이크를 잡아 봐요, 젊은 친구. 우리 음 여러분 중 몇 명이 chat GPT나 Claude 같은 것으로 이미지를 디자인하는지 봐 봐요. 네, 많아요. 좋아요, 이것은 대략 방의 10%예요. 음, 저는 여러분 중 많은 사람들이 그렇게 하지 않는다고 생각해요. 그 이유는, 하나, 그것이 좀 >> 알다시피, 음, 우리는 좀 쓰레기 같은 콘텐츠가 무엇인지 알고 있어요. 음, 혹은 그것이, 그것은 실수를 해요. 여섯 손가락이죠? 누군가 Katy Perry가 Met Gala에서 무엇을 했는지 봤어요? 여러분이 이해하시나요? 이것은 정말 멋진 미술이에요. 어쨌든, 음, 이미지 생성은 브랜드 자산 같은 것에 사용되든, 로고 같은, 음, 명함이라든지, 이런 종류의 것들이든 간에, 항상 좀 어려운 문제가 되어 왔어요. 왜냐하면 우리는 쓰레기 같은 콘텐츠가 무엇인지 알고 있지만, 게다가, 여러분은 어디로 갔어요? 아, 여러분은 여기 계세요. 여러분은 마이크를 잡으셨어요? 가서 잡아 봐요, 친구. 아니, 그들은 아직 그것이 필요 없어요. 가서 잡아 봐요. 괜찮아요.

어쨌든, 이것은 무대 뒤의 영상이에요. 어쨌든, 음, 이것이 거래예요. 여러분이 얻을 때, 여러분이 얻을 때, 음, 저는 지금 투입되었어요. 잠깐만요. 아, 제가, 우리는 이것으로 그녀를 소개할 수 있고, 그런 다음 우리는 여러분에게 마이크를 줄까요? 감사합니다. 음, 어쨌든, 그래서 여러분이 AI 모델에서 이미지를 얻을 때, 여러분은 이미지를 얻어요. 그것은 평면 이미지처럼 있어요. 알다시피, 하지만 여러분이 평면 디자이너라면, 여러분은 레이어를 사용해요. 여러분이 이것을 아는 거죠? 마치, 마치 여러분이 배경과 전경과 다양한 레이어들을 가지고 있듯이요. 그렇다면, 만약 AI가 여러분을 위해 이것을 할 수 있다면 얼마나 멋들을까요? 여러분에게 Figma 준비가 된 것 같은 것을 주면서요, 여러분이 사용할 수 있는 모든 레이어요. 이것이 저는 듣기를 원했던 것이에요. 저는 매우 기대돼요. 다음 발표자가 누구예요? >> Priya예요. 그녀를 소개해 봐요, 친구. >> 네, 저는 알아요. >> 괜찮아요. 그는 새 사람이지만, 우리는 훈련하고 있어요. 우리는 훈련하고 있어요. >> 좋아요.

그래서, 지금 우리의 다음 발표자는 Priya가 될 거예요. 그녀는 또한 에서, 그녀는 또한 San Francisco에서 Singapore로 왔어요. 이것은 17.5시간의 비행이에요. 그녀는 AI가 어떻게 여러분의 디자인 파트너가 될 수 있는지, 그리고 정말 멋진 것들을 만드는 것을 도와줄 수 있는지에 대해 말할 거예요. 마치, 음, Canva 같지만 더 나은 것 말이에요. >> 저는 모르겠어요. 어쨌든, 그것은 그런 거예요. 무료예요. 그녀에게 마이크를 줘요. 정말 멋져요. Priya에게 박수를 보내요. >> 저녁 좋아요. 음, 그 소개를 감사해요. 저는 여러분이 음, 제가 말하고 싶던 많은 것들을 설명했다고 느껴요. 음, 제 발표는, 저는 Leica의 공동 창립자이자 최고 경영자예요. 우리는 창의적인 AI 모델을 훈련하고 평가하기 위한 인프라를 구축하고 있어요. 이것이 정말 의미하는 바는 저는 하루 종일 이미지 생성과 비디오 생성 모델을 상대로 소리를 지르고 있다는 거예요. 왜냐하면 그들은 우리의 프롬프트를 이해하지 못하기 때문이에요.

우리는 그들이 더 잘 이해하도록 하는 인프라를 구축하기 위해 노력하고 있어요. 음, 우리는 프롬프트로 압도당하는 문제를 피하고 싶어요. 음, 저는 그가 이 질문을 했다고 생각해요. 여기에 몇 명이 chat GPT나 nano banana를 사용하여 슬라이드, 프레젠테이션, 소셜 미디어 포스터를 생성했어요? 저는 누구도 손을 들지 않는 것을 봤어요. 여러분 모두가 거짓말을 하고 있는 건가요? 좋아요, 이제 더 많은 사람들이 손을 들었어요. 그래서 분명히 여러분 중 대부분이 chat GPT나 nano banana를 사용하여 이미지를 생성해요. 저는 음, 제가 오늘 하고 있는 일을 공유할 거고, 여러분 중 많은 사람들이 제가 겪고 있는 일에 대해 공감할 수 있을 거라고 확신해요. 음, 이것은 《악마는 Prada를 입는다》의 포스터 같아요. 저는 음, 저는 Gemini에게 금발 여자로 이미지 마스크를 바꿔 달라고 요청했어요. 음, 그리고 나서 그것이 저에게 준 것이 이것이에요. 그것은 괜찮아요. 음, 저는 여전히 자신에게 좀 인내심을 가지고, 그런 다음 다시 프롬프트했어요. 이것이 그것이 저에게 준 것이에요.

그런 다음 일이 더 이상해졌어요. 이것은 제가 결국 얻은 결과예요. 이제 저는 완전히 망했어요. 저는 음, 좋아, 이것은 작동하지 않을 거라고 생각했어요. 그래서 이것은 제가 본 결과가 점점 더 나빠진 것 같아요. 그러면 우리가 Leica에서 한 일은 좀 다를 거예요. 그래서 이것이 이 이미지라면, 그리고 이것이 내가 제공한 동일한 프롬프트라면, 이미지 품질을 변경하고, 금발 벽안의 여자로 채우세요. 음, 그것은 모든 것을 레이어로 분리했어요. 그런 다음 그 정확한 이미지로 해당 레이어를 채웠어요. 여러분이 수행할 수 있는 로컬화된 편집의 수준은 미쳤어요. 여러분의 레이어가 공개되고 여러분이 각 레이어를 위임할 수 있다면, 여러분은 또한 텍스트를 이동할 수 있어요. 여러분은 여기의 어떤 것도 바꿀 수 있어요. 여러분이 궁금해하실 수도 있어요. 이것이 왜 이렇게 작아요?

좋아요, 저는 우리가 이것을 할 수 있는 이유가 이미지 생성이나 비디오 생성을 하는 일부 회사들이 MP4나 PNG를 출력하기 때문이라고 생각해요. 그것들은 동결된 파일 형식이고, 레이어는 공개되지 않고, 모든 프롬프트 설계 상태는 재설정되고, 텍스트는 매우 흥미로운 입력 매체가 아니라고 해서, 많은 사람들이 그들이 원하는 것이 무엇인지 표현하는 방법을 모르거든요. 그래서 번역에서 많은 손실이 일어나요. 그리고 오늘 AI 멀티플레이어 경험은 없어요, 이 이유 때문에요. 우리가 이 문제를 해결하는 방식은 정말로 이 레이어 수준의 편집 가능성과 레이어 수준의 편집 가능성을 하는 것이에요. 그것은 단지 인간이 것들을 이동하는 것이 아니라, 하지만 아마 다른 특화된 모델이 있을 거고요. 여러분이 다른 레이어에 사용할 수 있어요. 그것은 텍스트 생성, SVG 생성, 사진 생성에 사용될 수 있어요.

여러분은 항상 모든 것을 위해 하나의 거대한 모델을 사용할 필요가 없어요. 여러분이 궁금해하실 수도 있어요. 왜 스타트업이 이 문제를 해결해야 해요? 왜 큰 랩들이 이미 이것을 해결하지 않았어요? 정직한 답변은 데이터가 없다는 거예요. 코드의 경우, 많은 것들이 있어요. GitHub 저장소들이 많아요. LLM들은 텍스트 처리에 정말 잘 하고 있어요. 그리고 평면 디자인의 경우, 여러분은 오직 이 세 개의 거대한 회사만 가지고 있어요. 그것들은 모두 울타리가 쳐진 정원들이에요. Figma, Canva, Adobe는 수십억 개의 편집 흔적과 데이터를 소유하고 있고, 어떤 랩도 접근 권한을 가지지 못했고, 커뮤니티의 어떤 사람도 접근 권한을 가지지 못했어요. 그래서 우리가 스타트업으로서 이 문제에 정면으로 직면하기로 결정했을 때, 우리는 첫 원칙부터 생각했어요. 또한 시장에서 빠진 것을 해결하기로 결정했어요. 그것은 바로 데이터였어요. 그래서 우리는 1을 수집했어요.

500만 개의 계층화된 그래픽 디자인 조합을 수집했어요. 그래서 이것은 마치 이 중 일부가 이미 오픈 소스된 것 같아요. 그래서 여러분은 실제로 가서 확인할 수 있어요. 이것은 우리가 구축한 정말 재미있는 탐색기 같아요. 우리는 많은 다양한 디자인 범주에서 데이터를 공개했어요. Instagram에서 비즈니스 프레젠테이션에서 포스터까지 50개 이상의 범주에서요. 각 데이터 포인트에는 이미지가 어떻게 보이는지, 어떻게 자르는지, 위치에 대한 여러 풍부한 주석이 있어요. 그리고 만약 의미론적 논리적 그룹이 있다면, 여러분은 실제로 어떤 요소들이 함께 그룹화될 필요가 있는지 볼 수 있어요. 그래서 여러분은 AI 모델에게 콘텐츠를 다시 흘리는 방법을 가르칠 수 있어요. 혹은 만약 종횡비를 바꿀 필요가 있다면, 그것은 정말로 레이아웃을 계획하는 방법을 알아요.

모든 이런 일들, 모든 오늘의 최첨단 모델들이 잘하지 못하는 모든 일들이에요. 그리고 여러분은 이 데이터로 놀 수 있어요. 이것을 하는 일부 방식들은 이미 오픈 소스되었어요. 그래서 여러분은 또한 클라우드 에이전트에 이런 많은 설정 파일들을 기술로서 줄 수 있어요. 그것은 훨씬 더 잘 수행해요. 여러분은 또한 모델을 훈련할 수 있거나 그 위에 평가를 구축할 수 있어요. 그래서 우리가 이 문제를 해결하는 방식은 여러분이 오늘 많은 생성적 AI 모델들에서 단일 샷 출력을 얻을 수 있다는 거예요. 그 중 일부는 정말 인상적인 결과예요. 하지만 여러분이 AI가 취향을 부족하다는 것 같은 의견을 들을 때, 이것이 정말로 의미하는 바는 디자이너들이 세부 사항에 대한 열정이에요. 누군가가 직사각형의 모서리 반경이 얼마여야 하는지 생각하고 있어요. 자르기 유형은 어떻게 되어야 해요? 텍스트 상자의 여백 거리는 얼마여야 해요? 이 수천 개의 작은 결정들이 디자인을 향상시키는 이유예요.

그리고 AI 모델들은 이런 작은 결정들을 어떻게 생각하는지 잘 이해하지 못해요. 그리고 여기 모든 작은 실수는 출력을 정말 공허하고 성급하게 만들어요. 우리가 이것을 처리하는 방식은 정말로 모든 것을 레이어로 분리하는 거예요. 각 레이어는 기업의 전유 데이터나 다른 곳에서 수집된 다른 데이터로 매우 다르게 형성될 수 있어요. 레이어 수준의 데이터는 정말 도움이 될 거예요. 왜냐하면 기업에서 사람들은 지출할 수 있는 무한한 토큰을 가지고 있지 않거든요. 특히 마케팅 기능에서 말이에요. 예를 들어 전자상거래에서, 여러분은 특정 브랜드 지침에 맞는 배너를 생성해야 해요. 이렇게 많은 다양한 국가를 가로질러요. 예를 들어 동남아시아에서는, 엄청나게 많은 언어들이 있어요. 여러분은 단지 텍스트나 특정 그래픽을 바꾸고 싶지만, 모든 다른 요소는 그대로 두고 싶어요.

여러분은 단지 그런 레이어들을 조작할 수 있기를 원해요. 혹은 때때로 여러분은 카메라가 생성한 이미지를 인간이 작성한 텍스트의 일부와 결합하고 싶어요. 그리고 여러분의 다른 픽셀을 AI가 생성한 것으로 채우고 싶어요. 여러분은 또한 별자리 모델들을 결합할 수 있어야 해요. 왜냐하면 점점 더 많은 모델들이 나타나고 있어서, 여러분은 아마 디자인의 다양한 측면을 다른 모델들에 위임하고 싶을 거든요. 이 아키텍처는 그것을 허용해요. 왜냐하면 오늘날, 만약 여러분이 단일 샷으로 모든 것을 완료하고 싶다면, 그것은 모델이 창의적인 인물을 위해 어떻게 작동해야 하는지에 대한 엔지니어의 생각이에요. 그리고 창의적인 인물들, 창의성은 본질적으로 증분적이고 반복적이에요. 여러분은 몇 걸음 뒤로 물러나고, 그런 다음 옆으로, 그리고 나서 여러분은 아마도 디자인을 긁어내고 다시 시작하기로 결정할 거예요. 그리고 현재의 모델들은 이것을 허용하지 않아요.

우리는 또한 다중 신호 보상 학습 시스템을 제안했는데, 그 설계는 인간 선호도만 사용할 경우 조작되기 쉬워집니다. 특히 다른 맛 표현을 가진 브랜드와 협력할 때, 인간 선호도를 기반으로 하면서 동시에 출력의 효과성을 측정하고 특정 설계 원칙을 준수하는지 판단하는 일부 객관적인 보상으로 강화되는 부분적 보상을 제시할 수 있기를 원합니다. 그 후 우리는 두 개의 모델을 가지고 있습니다.

하나는 인공지능 판사인데, 이것은 자신의 기준에 따라 지속적으로 자신을 업데이트할 수 있어서 더 잘 좋고 나쁜 것을 구분할 수 있습니다. 그런 다음 업데이트된 인공지능 판사를 사용하여 생성기를 재훈련하면, 설계는 유효기간이 있기 때문에 계속 개선될 수 있으며, 당신은 항상 정말 좋은 예시를 공개하고 모델을 최신 상태로 유지하도록 훈련하고 싶으며, 텍스트 기반 프롬프트를 넘어서는 아키텍처를 구축하여 훈련 루프의 일부가 될 수 있는 다양한 유형의 상호 작용을 포착할 수 있습니다. 이것은 오늘 현실이 아닙니다. 어떤 이미지 생성 모델을 평가할 때, 나는 절대로 미소짓지 않습니다. 하지만 이 발표에서 당신이 얻으려고 하는 것이 있다면, 그것은 제 슬라이드가 모두 일관성이 없고 어디든지 흩어져 있다는 것입니다. 이것이 인공지능 모델이 오늘 보이는 방식입니다.

Twitter 과대광고든 LinkedIn 과대광고든 상관없이, 모델은 레이아웃 계획 측면에서 매우 형편없습니다. 인간의 개입 없이 대규모 시각적 일관성과 편집 가능성, 특히 계층 수준의 편집 가능성을 얻기는 매우 매우 어렵습니다. 따라서 관심 있으신 분들은 QR 코드를 스캔하실 수 있습니다. 어.. 우리는 Hugging Face 링크, GitHub 링크를 가지고 있으며, 당신이 우리의 오픈소스 데이터 세트를 사용하고 싶다면, 우리는 또한 그래픽 디자인 워크벤치를 출시했습니다. 당신은 이것을 사용하여 클라우드 에이전트를 훈련할 수 있으며, 또는 어.. 당신은 또한 평가로서 이를 사용해 보려고 시도할 수 있습니다. 만약 당신이 훈련하고 있는 내부 모델을 가지고 있거나 이 분야에 관심이 있으시면 저희에게 연락하세요. 감사합니다. >> 당신들은 모두 훌륭한 관객입니다. 당신들의 발표자가 훌륭한 발표를 할 때마다 항상 그들을 박수갈채하세요. 이것은 계속 일어나고 있습니다. 좋습니다. Priya를 위해 한 번 더 박수를 보내세요, 여러분. 멋졌습니다. 멋졌습니다.

우리의 다음 발표자는 어.. 매우 멋집니다. 그는, 그는 놀라운 이야기를 가지고 있으며, 우리가 그를 소개할 때 당신들이 그것을 듣게 될 것입니다. 어.. 나는 심지어 그를 소개할 생각도 없습니다. 나는 그가 지금 전문가라고 생각합니다. 당신들의 다른 진행자를 위해 박수를 보내세요. 여러분, Usman입니다. >> 감사합니다. 좋습니다. 그래서, 지금 우리는 우리의 어.. 다음 발표자를 소개할 것입니다. 그는 다시 한 번 샌프란시스코에서 싱가포르까지 먼 길을 왔습니다. 그것은 어.. 17.5 시간의 비행이었습니다. 그런데 말이에요. 어쨌든, 그는 여행에서 먼 길을 갔으며, 0에서 영웅까지입니다. 그는 한때 해커 숙소에 살았습니다. 어.. 구체적으로 말하자면 옷장에서, 어.. 그는 12세일 때 어.. 아니 아니 대학 어.. 고등학교 중퇴생이었고, 지금 그의 회사 어.. 당신의 회사 이름이 뭐예요? >> Hyperspell. 어.. 지금 그의 회사 Hyperspell은 그 정도로 멀리 갔고, 이미 6백70만 달러 이상의 자금을 조달했으며, 67이 아닙니다. >> 좋습니다.

이봐요, 진행자에게 박수를 보내세요 여러분. 시작하겠습니다. 당신은 멋진 일을 했습니다. 좋습니다. 여러분 어떠신가요? AI 엔지니어의 마지막 날. 끝까지 버티고 일을 진행시켜 봅시다. 이봐요 여러분, 저는 Connor Brennan Burke입니다. 저는 샌프란시스코에서 먼 길을 와 여기 있습니다. 17시간의 비행. 나는 지금 매우 시차로 인한 피로가 심하지만 우리는 계속할 것입니다. 좋습니다. 시작하겠습니다. 좋습니다. 그래서, 우리 Hyperspell은 회사 대뇌를 구축합니다. 내가 오늘 당신들에게 말하려는 것은 회사 대뇌를 구축하는 방법입니다. 맞습니다. 에이전트가 당신의 회사가 어떻게 운영되는지 정말로 이해하도록 하는 방법. 그리고 이것은 작동하지 않습니다. 좋습니다. 그것뿐입니다. 좋습니다. 그래서, 나는 이것이 우리가 오늘 다른 발표자들로부터 듣는 주제라고 생각합니다. 음, 솔직히 말해서, 당신들의 에이전트는 무식한 천재입니다, 맞죠?

그들은, 그들은 어.., 당신 알다시피, 천재 학자, 박사, 조금 자폐적인 인턴, 절대적으로 똑똑하지만 당신의 회사에 대해 아무것도 모릅니다. 그들에게, 매일은 일의 첫 날 같습니다. 그들은 맹목적으로 따릅니다 어.., 무엇이든 읽는 것을. 그들은 조금 순진합니다. 그들은 지시를 받고 그냥 따릅니다. 그래서 당신은 인간이 필요합니다 그들을 감시하기 위해. AGI에 도달하는 문제와 핵심, 더 좋은 모델이 아닙니다. 모델은 이미 매우 똑똑합니다. 요점은 올바른 컨텍스트를 얻는 것입니다. 당신들의 에이전트는 무식한 천재이고, 컨텍스트의 부족이 그들이 신뢰할 수 있게 일을 완료할 수 없는 이유입니다. 좋습니다. 그러면 문제는 어떻게 이것을 해결하느냐는 것입니다. 그래서 명백한 대답은 커넥터입니다, 맞죠? 우리는 모두 이것을 해봤습니다.

우리는 좋아요, 나는 내 OpenClaw에 내 Slack, 내 클라우드 드라이브, 내 Notion에 대한 접근을 줄 것입니다. 나는 Anthropic, Claude 및 ChatGPT의 커넥터를 사용할 것입니다. 하지만 여기의 문제는 우리가 말했듯이, 에이전트는 조금 순진해서, 그들이 읽는 것은 무엇이든 진실이라고 생각하지만, 사실 문서 자체는 실제로 종종 진실이 아니라는 것입니다. 어.. 그래서 그들은 문서를 찾을 것이고, 그들은 수정 사항을 놓칠 것이고, 그들은 오래되고 낡은 버전을 찾을 것입니다. 어.. 만약 두 개의 다른 출처가 있다면, 그들은 서로 충돌합니다. 그들이 먼저 찾은 것이 무엇이든, 그들은 그것을 진실로 해석합니다. 같은 사람이 Slack, Gmail 및 Notion에서 언급될 수 있습니다. 그들은 이것이 같은 사람이라는 것을 깨닫지 못합니다. 그들은 마치, 그들은 하나의 Lisa가 아닌 다섯 명의 다른 Lisa가 있다고 생각합니다. 그리고 또한 시간 민감성이 없습니다, 맞죠?

당신은 오래된, 버려진, 사용하지 않는 문서를 찾을 것이고, 그들은 이를 바탕으로 운영하려고 시도합니다. 음, 그래서 연결은 접근을 제공합니다. 하지만 이해를 제공하지 않습니다. 그래서 여러분, 나는 모두가 일을 하는 것은 아니라는 것을 알지만, 일을 하는 사람들을 위해, 당신은 얼마나 자주 새로운 직업을 시작했는지, 문서를 읽었는지, 그리고 그런 식으로 「좋습니다. 이것은 우리의 전략이거나 이것은 프로세스입니다. 그런 다음 당신은 가서, 당신은 누군가와 대화합니다, 마치, 아 아니, 그건 이미 구식입니다. 그것은 더 이상 관련이 없습니다. 당신은 Bob과 대화해야 하고, Bob은 모든 것을 알고 있으며, 이 사람과 대화하는 것처럼.」얼마나 많은 사람들이 이 상황을 겪었나요? 거의 여기의 모든 사람이 그렇게 했습니다, 맞죠? 그래서 이것의 요점은 에이전트에게 커넥터를 제공함으로써, 우리는 진실이 문서에 있다고 가정합니다. 하지만 일은 실제로 그런 식으로 작동하지 않습니다.

그래서, 우리가 「진실의 원천」이라고 부르는 것은 실제로 거의 진실이 아닙니다. 정보가 생성되는 순간, 그것은 이미 오래되기 시작합니다. 문서 자체는 지연된 지표입니다. 당신은 조직 개편, 고객 예외 또는 새로운 배포를 가질 수 있습니다. 따라서 현실과 문서 사이의 거리는 점점 멀어지고 있으며, 인간이 문서를 업데이트하여 진실로 유지해야 합니다. 따라서 회사가 실제로 운영되는 방식은 당신이 극도로 혼란스러운 현실을 가지고 있다는 것입니다. 여기에는 Slack 스레드, 회의, 이메일 및 예외 그리고 이 모든 것들이 일어나고 있으며, 그 다음 이 문서가 있습니다. 그래서 사람들은 것들을 기록하려고 하지만 우리는 모두 문서를 업데이트하고 기록하는 것이 서툽니다. 그 다음 당신은 실제로 진실인 것을 가지고 있습니다. 따라서 우리가 방금 말했듯이, 실제 진실을 얻는 방식은 보통 누군가에게 묻는 것입니다, 맞죠?

당신은 당신의 상사에게 묻고, 당신은 약 5년을 있었고 모든 배경 정보를 가진 그 사람에게 묻습니다. 그래서 인간은 이것을 이해하는 데 능숙합니다. 알다시피, 어떤 과정에서든 당신이 얻은 어떤 문서도 맹목적으로 신뢰하지 마세요. 당신은 이 사람에게 묻지만 에이전트는 그렇게 하는 방법을 모릅니다. 그들이 읽는 것은 무엇이든 그들은 그것이 진실이라고 생각합니다. 이것이 당신이 그들을 당신의 조직에서 자유롭게 실행하도록 할 수 없는 이유입니다. 만약 우리가 대규모로 에이전트를 배포하고 싶다면, 우리는 그들에게 「진실의 원천」을 제공해야 합니다. 그러면 이 문제를 어떻게 해결하나요? 당신은 「회사 대뇌」를 만듭니다. 그래서 모든 조직은 에이전트를 위해 단일 「진실의 원천」을 제공해야 합니다. 「회사 대뇌」. 지금 그것은 뭐예요? 그것은 단지 커넥터가 아닙니다. 그것은 단지 소스 전체의 검색 증강 생성이 아닙니다. 그것은 신뢰할 수 있는 「진실의 원천」입니다. 그것은 누가 이 문서를 만들었는지 이해합니다.

그것은 이메일, Slack, 메모 및 혼란스러운 회의의 스레드를 모아서, 충돌을 드러내고 식별합니다. — 좋습니다, 두 개의 다른 출처가 다른 것을 말했고, 우리는 그들 사이를 어떻게 해결하나요? 그것은 이유를 파악하고 에이전트가 실제로 신뢰할 수 있는 「진실의 원천」을 만들었습니다. 그것이 당신에게 뭘 주나요? 더 나은 답변을 제공합니다. 일관된 에이전트를 제공합니다. 지속적인 지식을 제공합니다. 당신의 조직이 인공지능을 배포할 준비가 되도록 만듭니다. 많은 기업 인공지능 배포가 실패하는 이유는 그들이 에이전트를 배포하려고 하지만 에이전트가 문서를 읽고 있기 때문입니다. 그들이 운영할 회사 대뇌가 없습니다. 이것이 우리가 인공지능이 정말로 작동하도록 하기 위해 필요한 것입니다. 이제 여기의 또 다른 미묘한 점은 우리가 배경이 인간에 의해 생성된다고 가정한다는 것이지만, 이것은 더 이상 사실이 아닙니다.

전통적으로 당신은 알다시피, 당신은 회의, Slack, 문서 및 이메일에 사람들을 가지고 있습니다. 하지만 이제 당신은 혼합 배경을 가지고 있습니다, 맞죠? 당신은 인간과의 회의를 가지고 있습니다. 당신은 또한 모든 에이전트의 프롬프트를 가지고 있습니다. 당신은 또한 오픈 배경 메모리를 가지고 있습니다. 당신은 또한 흔적과 추론을 가지고 있습니다. 이것도 배경입니다. 당신은 Claude Code를 사용하여 최종 출력의 루프를 가집니다. 이 모든 배경은 매우 유용합니다. 당신이 그것을 대뇌에 넣지 않으면, 당신은 최종 출력을 얻기 위해 대량의 배경을 놓칩니다. 따라서 우리는 모두 주로 인간으로 구성된 조직에서 혼합형으로 전환하고 있으며, 몇 년 안에, 대부분의 배경은 실제로 에이전트에 의해 생성될 것이고, 이 모든 것들은 대뇌에 있어야 합니다. 이제, 당신은 이 대뇌에 다양한 유형의 회사 지식을 넣어야 합니다.

안정적인 사실들, 예를 들어 법적 신분, 당신의 조직 구조, 당신의 브랜드 색깔이 있습니다. 그 다음 프로세스 지식이 있습니다. 우리는 온보딩을 어떻게 진행하나요? 우리는 거래 검토를 어떻게 진행하나요? 우리는 사건에 어떻게 대응하나요? 그리고 묵시적 지식이 있으며, 이는 사람들의 머리 속에만 존재하는 것입니다. 그래서 기억해 주세요, 좋습니다, 이 고객을 어떻게 종료하거나 더 나은 판매 전략이 무엇인지 또는 이 특정 테스트가 불안정할 것 또는 이 통합이 그다지 좋지 않을 것. 이것들은 모두 묵시적 지식입니다. 그것은 거의 작성되지 않으며 당신이 그것을 작동하게 할 수 있는 「진실의 원천」에도 거의 없습니다. 그리고 마지막으로, 당신은 상태가 있는 현실을 가집니다. 그래서 당신은 미결 거래, 활성 사건, 오늘의 장애물을 가지고 있으며, 회사 대뇌는 이들 각각을 소유해야 하며 다양한 방식으로 저장해야 합니다.

진실의 원천을 찾기 위해서는 사물이 진화하는 속도와 그 중심 위치가 무엇인지 이해해야 합니다. 우리가 소규모 스타트업부터 대형 Fortune 500 기업까지 다양한 클라이언트와 협력한 경험에 따르면, 이 시스템을 정말로 구축하는 방식은 당신이 모든 데이터를 섭취하는 것부터 시작해야 한다는 것입니다. 따라서 모든 진실의 정보원을 수집하십시오 — 당신의 Slack, 당신의 Gmail, 당신의 Notion, 당신의 GitHub, 지금 점점 더 많이, 우리는 또한 회의 녹음기를 가지고 있고, 당신은 또한 당신의 에이전트 추적을 가지고 있습니다, 맞죠, 에이전트가 생성한 컨텍스트. 예를 들어, Meta는 이렇게 하기 시작하고 있으며, Meta는 심지어 키 입력도 기록하고 있으며, 일부는 화면 녹화기를 가지고 있습니다. 당신은 이 모든 것을 임베드해야 합니다. 그 다음 당신이 해야 할 일은 컨텍스트 그래프를 만드는 것입니다.

컨텍스트 그래프는 뭐냐면, 그것은 조직 내의 모든 사실을 찾을 수 있는 단일 그래프 엔티티이며, 그것이 언제 진실인지 이해하고, 누가 그것을 만들었는지, 우리가 그것에 대해 얼마나 확신하는지를 이해하고, 이 모든 것을 한 곳에 임베드합니다. 하지만 문제는 컨텍스트 그래프와 일반 그래프 데이터베이스가 에이전트에게 좋은 사용자 경험이 아니라는 것입니다. 에이전트는 그것들을 사용하기 위해 사후 훈련을 받지 않았습니다. 그들은 그래프 데이터베이스가 어떻게 작동하는지 이해하지 못합니다. 그래서 실제로, 에이전트에게 가장 좋은 표현 방식은 파일 시스템입니다. 따라서 당신은 파일 시스템을 만들 것입니다. 예를 들어, 회사 수준의 데이터에서. 당신의 회사에 누가 있나요? 누가 잠재 고객인가요? 누가 고객인가요? 당신의 결정이 있나요? 당신은 사건이 있나요? 그 아래 당신은 각 팀의 파일을 가지고 있습니다. 그 다음 당신은 각 개인을 가지고 있습니다. 좋은 점은 파일 시스템이 보편적이기 때문입니다.

Cloud Code에서 사용할 수 있습니다. Cursor에서 사용할 수 있습니다. Open Claw, Nano Claw, 내부 에이전트, 심지어 자신의 개인 에이전트에서도 사용할 수 있습니다. 이제 뇌가 어떻게 구축되는지 논의해봅시다. 음, 첫 번째 단계는 컨텍스트 캡처입니다. 그래서 혼란스러운 많은 출처들이 있습니다. 모든 과거 데이터를 수집해야 하지만 실시간으로도 획득해야 합니다. Slack 같은 것은 실시간 컨텍스트를 가지고 있으며, 발생할 때 그것을 놓치면 에이전트는 최신 정보를 갖지 못합니다. 두 번째는 정규화입니다. 그래서 이메일의 Lisa와 Slack의 Lisa가 같은 실체임을 이해하고, 중복을 제거하고, 구조화하는 것에 대해 논의했습니다. 다음은 통합입니다.

따라서 때로는 데이터가 충돌합니다. 데이터가 충돌할 때, 인간에게 「좋습니다, 우리는 이 트레이드오프가 있고, 우리는 어느 것을 선택할 것입니다」라고 실제로 말해야 합니다. 그 다음 마지막으로 에이전트에게 제공하고 진정한 단일 출처를 가집니다. 올바른 시간에 에이전트에게 올바른 컨텍스트를 제공하여 작업을 완료할 수 있도록 합니다. 어려운 부분은 실제로 검색이 아니라 통합입니다. 모든 정보를 함께 모으는 것입니다. Karpathy의 제2의 뇌 개념에 익숙한 사람이 있습니까? 좋습니다. 이미 제2의 뇌를 가진 사람이 있습니까? 여기서 개인 진실의 원천이나 제2의 뇌로 Obsidian을 사용하는 사람이 있습니까? 정확히 그것과 같습니다. 다만 전체 회사, 전체 팀, 조직의 모든 사람, 조직의 모든 에이전트에 대해서입니다.

취하는 모든 조치는 컨텍스트를 생성합니다. 인간이 실행하고, 에이전트가 실행하고, 작업이 완료되면, 새로운 컨텍스트가 생성됩니다. 이 모든 것이 추적되고 통합되어 뇌에 입력되면, 미래의 실행은 더 나아집니다. 모든 Claude Code 인스턴스가 이제 이 학습과 새로운 발견을 취하고 전체 조직과 공유할 수 있다고 상상해 보세요. 모든 영업 담당자가 더 나은 판매 방식을 배우면 즉시 모두와 공유합니다. 이것이 가능하게 하는 것은 회사가 시간 경과에 따라 반복적으로 개선되는 것입니다. 전통적으로 우리는 인력의 컨텍스트 손실을 경험했습니다. 사람들이 떠나면서 그들의 연락처를 가져갑니다. 이제 자가 개선되는 조직을 얻을 수 있으며, 더 나아져서 모든 사람, 모든 에이전트가 계속해서 더 나아지게 합니다. 또 다른 회의를 추가할 필요 없이 말입니다.

우리는 Hyperspell입니다. 모든 회사가 뇌가 필요하다고 우리는 믿습니다. 우리는 당신을 위해 구축합니다. 우리는 인공지능 에이전트의 계약 기반 인프라입니다. 이것이 당신이 해결하고 싶은 문제라면, 그 후에 저를 찾으시길 바랍니다. 이메일을 보내거나 Twitter에서 저를 찾으세요. 모두에게 감사합니다. >> 와. 정말 멋진 일입니다. 정말 천재 같은데요, 친구. >> 이 친구를 위해 박수를 쳐주세요. >> 저는 이 정도의 평범한 사람이 이런 걸작을 만들 수 있다는 게 믿어지지 않습니다. 음, 나는 모든 사람의 브랜드나 회사가 그와 같은 뇌를 가질 자격이 있다고 믿습니다. 다음 연사를 맞이하겠습니다. 그의 이름은 Hangong hang hong Lee이고, 그는 우리에게 코드로 빠르게 변환할 수 있는 방법과 당신이 어떻게 그와 같이 좋은 일을 할 수 있는지 보여주러 왔습니다. 감사합니다. Hangong을 위해 박수를 쳐주세요. >> 좋습니다. 감사합니다, Usman. 그것이 좋았습니다. 맞습니다. 참석해 주신 모든 분께 감사합니다. 맞습니다.

오늘은 우리가 클라우드 에이전트로 빠르게 출시하기 위해 필요한 세 가지 기본 요소에 대해 이야기하려고 합니다. 맞습니까? 모두가 빠르게 출시하고 싶어 합니다. 뒤에 있는 사람들에게 말하고 있습니다. 우리는 자신을 복제하는 것처럼 해야 합니다, 맞습니까? 우리가 모든 사람을 어떻게 복제할 수 있을까요, 지금? Light Sprint 같은 우리는 현재의 YC 회사이고, 우리는 세 명의 싱가포르 창업자이며, 우리는 호기심 많은 세 명의 싱가포르 창업자입니다. 우리는, 음, AI 시대에 일의 본질이 무엇일 것인지를 파악하려고 추구했습니다, 맞습니까? 일의 본질이 매우 빠르게 변하고 있습니다. 우리 세 명처럼, 우리는 제품을 만들고, 엔지니어링을 하는 많은 경험을 가지고 있으며, 우리는 그것이 무엇을 의미하는지 파악하려고 시도합니다, 맞습니까? 그래서 지금 우리는 클라우드 에이전트 환경을 구축하고 있습니다, 맞습니까?

우리는 팀이 그들의 환경을 구축하도록 돕고 있으며, 이를 통해 전체 팀이 출시할 수 있고, 음, 기존 코드베이스에 변경을 하고, 음, 안정적으로, 빠르게, 그리고 안전하게. 맞습니까? 클라우드 에이전트란 무엇입니까? 맞습니까? 이 슬라이드는 당신이 아마도 알 것 같습니다. 모두가 클라우드 에이전트에 대해 말하고 있습니다. 오늘, 음, 어제, 그 전날. 간단히 말해서, 대부분의 클라우드 에이전트는 대부분 관리형 환경에서 나옵니다. 보세요, 그들은 기본적으로 클라우드에서 나온 것과 서비스, 보통 회사에서 설정한 서비스처럼 입니다, 맞습니까? 그들은 또한 비상호 작용적입니다. 그래서 당신은 그들을 시작하고, 그러면 그들은 돌아다니면서, 무언가를 구축하고, 그러면 그들이 구축한 것을 반환합니다. 백그라운드에서 작동합니다. 때로는 백그라운드 에이전트라고 불립니다. 어떤 사람들은 클라우드 에이전트와 백그라운드 에이전트를 혼동합니다. 그것들은 같은 것입니다. 그들은 단지 백그라운드에서 작동할 뿐입니다.

우리가 여기에 어떻게 도달했는지를 모두에게 데려가는 빠른 것 같은 안내입니다, 맞습니까? 시작할 때, 우리는 컴퓨터 내부에 Cursor 입력을 도와주는 에이전트를 가지고 있었습니다. 나는 Cursor의 초기 사용자였습니다. 그것은 재미있었습니다. Command K 같은 모든 것과 함께. 그러면 우리는 Cloud Code Cursor를 코딩하는 에이전트를 가졌습니다. 다시 한 번, 맞습니까? 모두가 우리 컴퓨터 내부에 있습니다. 우리가 작업할 때 작동합니다. 불행하게도, 우리가 멈추면 멈춥니다. 하지만 지금 오늘날 클라우드 에이전트처럼, 기본적으로 그들은 모든 곳에 있습니다. 그들은 항상 우리를 위해 일하고 있습니다. 음, 당신이 그들을 제어하는 방법을 안다면. 따라서 오늘 우리는 그것에 대해 이야기합니다.

약속은 훌륭합니다. 클라우드 에이전트처럼 당신의 조직을 재편성하기를 원합니다. 그들은, 음, 기본적으로 당신의 백로그처럼 구축하고 싶어 합니다. 기본적으로 당신의 백로그를 완료합니다. 당신이 알다시피, 그들은 무엇이든 구축할 수 있습니다. 음, 누구나 무언가를 함께 조합할 수 있습니다. 마지막으로 Hyperspell이 하고 있는 것 같은 일이 있습니다. 당신이 알다시피, 당신의 조직을 배우고 운영을 개선하는 데 도움이 될 것이라는 약속입니다. 이 회사 중 최고는 이미 클라우드 에이전트를 사용하고 있습니다. 그래서, 음, 그들은 세 배에서 다섯 배의 개선을 얻었습니다. 때로는 더 많습니다. 음, 우리와 대화하는 일부 스타트업은 매우 효과적으로 사용하고 있으며, 많은 사람들이 그들을 보고 있습니다. 병합된 PR의 수처럼 좋아합니다. 방금 코딩 에이전트에 의해 생성된 PR은 놀라울 정도로 빠른 속도로 증가하고 있습니다. 좋습니다. 그래서 이제, 클라우드 에이전트가 당신을 위해 일하도록 하고 당신을 반대하지 않도록 하는 방법은 무엇입니까?

그래서 어, 많은 시간에, 당신이 아마도 클라우드 에이전트에게 올바른 컨텍스트를 제공하지 않았던 것처럼, 그래서 어, 우리는 확인하고 싶습니다. 올바른 에이전트에게 올바른 컨텍스트를 제공하는 것처럼, 당신은 어, 그들에게 올바른 계획과 컨텍스트를 제공하는지 확인하고 싶습니다. 당신이 하고 싶은 또 다른 일은 언제든지 에이전트가 어디에 있는지 알고 있는지 확인하는 것입니다. 맞습니까? 그래서 당신은 가지고 있는 클라우드 에이전트가 당신이 그들에게 하도록 요청한 작업을 하고 있다는 것을 확인하고 싶습니다. 에이전트가 어디에 갇혀 있는지 확인할 수 있습니다. 또는 그들이 현재 갇혀 있는지 여부, 또는 그들이 아직도 작동 중입니다.

마지막 포인트는 엔지니어로서, 나는 어, 이것이 매우 중요하다고 생각합니다. 내 전체 팀이 나에게 코드를 제출해야 한다면, 나는 그들을 검토해야 합니다. 만약 내가 그들을 검토해야 한다면, 나는 어를 위해 코딩 환경을 구축해야 합니다. 그러면 나는 그것이 작동하는지 확인해야 합니다. 최악은 그것이 작동하지 않고, 그러면 나는 돌아가서 그들에게 말해야 합니다. 그것이 작동하지 않습니다. 그들은 어를 다시 구축해야 합니다. PR. 이것을 나는 직접 할 수 있습니다. 맞습니까? 그래서 Lightream에서 우리는 세 가지 기본으로 생각합니다. 에이전트가 최고의 어를 가지도록 하려면 적절하게 계획해야 합니다. 당신은 편성이 필요하고, 에이전트가 어디에 있는지 알아야 합니다. 당신은 미리보기가 필요합니다. 그래서 나는 어, 당신이 알다시피, 우리의 애플리케이션으로 빠르게 뛰어들겠습니다. 나는 이미 많이 이야기했지만 아무것도 보여주지 않은 것 같습니다.

어, 이제 나는 어, 우리의 애플리케이션을 소개하겠습니다. 오, 이것은 중간 부분입니다. 아, 맞습니다. 그래서 이것은 Lightprint 플랫폼입니다. 그리고 Lightprint 플랫폼은 기본적으로 당신의 팀이 협력하는 작업대입니다, 맞습니까? 그래서 당신은 볼 수 있습니다. 그냥 어, 보드와 많은 작업들의 무리 같은. 그러면 네, 당신은 측면에서 계획을 볼 수 있습니다. 기본적으로 여기서 일어나는 것은 우리가 기본적으로 작업을 생성하는 것을 도와줍니다. 우리는 프롬프트를 작업 형식으로 삽입하므로, 실제로 코드베이스 배경에 기초하며, 기본적으로 어를 사용하여 당신의 작업을 많은 정보로 빠르게 풍부하게 할 수 있으므로, 코딩 에이전트를 어를 시작할 수 있습니다. 그래서 우리는 전체 코딩 에이전트 세트를 지원합니다. 우리는 Cursor, Entropic, Codex가 있고, 이것들은 우리 시스템 아래의 도구일 뿐입니다.

그리고 기본적으로 우리는 우리 자신의 Lights 클라우드 에이전트가 있습니다. 그것도 그 주변의 도구입니다. 맞습니까? 클라우드 에이전트를 시작하면, 기본적으로 심화하기 위해 클릭할 수 있으며, 코드베이스로, 내부 코드로. 당신이 지금 보고 있는 것은 계획 모드입니다, 맞습니까? 우리는 이 화면을 바꾸고 싶습니다. 그것은 좀 지루합니다. 그것은 AI가 아닙니다. 기본적으로 당신의 최근 작업과 최근 계획의 목록일 뿐입니다, 맞습니까? 그래서, 어, 이제 우리의 계획 모드를 사용해봅시다. 따라서 우리는 이제 Gstack과 우리 자신의 Lightrint 계획 모드를 지원합니다, 맞습니까? 그래서 우리는 우리의 현재 light 계획 모드를 사용합니다. 그리고 기본적으로 그것이 하는 것은 어, 여기의 아이디어는 우리가 권장 옵션과 다른 것들과 함께 다중선택을 만들고 싶다는 것입니다, 맞습니까? 그것은 정말로 우리가 최고의 어를 사용합니까, 맞습니까?

사람들처럼, 모두가 선택을 좋아합니다. 모두가 어를 좋아합니다. 당신이 알다시피, 어, AI가 그들을 위해 선택을 생각해냅니다, 맞습니까? 하지만 우리도 시각을 좋아합니다, 맞습니까? 우리는 어를 보고 싶어합니다. 모델, 그래서 우리는 또한 AI를 좀 제약을 두었습니다. 어, AI는 좀 「사용자를 위해 좋은 경험을 만들어주세요. 그들에게 시각적으로 무언가를 보여줌으로써」라고 말하고 있습니다, 맞습니까? 그래서 우리는 사용자가 다른 옵션을 좋아하기를 선택할 수 있고, 더 많은 선택을 할 수도 있습니다, 맞습니까? 「좋습니다. 당신이 알다시피, 두 개의 다른 새로운 옵션을 주세요」라고 말하면, 그 두 옵션이 함께 추가되고, 그러면 당신도 그것들 중에서 선택할 수 있습니다. 맞습니까? 그래서 우리는 에이전트에게 하지 말아야 할 것을 말하는 것에 대해 너무 많이 하지 않습니다. 하지만 우리는 기본적으로 그들에게 어를 인도 원칙 세트만 주었습니다.

그래서, 모든 선택을 한 후, 당신은 실제로 완전한 어를 얻습니다. 애플리케이션 어에서 당신의 기능이 어떻게 보일지 미리보세요. 때로는 좀 상호 작용적이고, AI가 선택한 것에 따라 달라집니다. 그런 다음 여기서, 당신도 우리의 경우에 색상을 변경할 수 있습니다. 그 후, 우리는 완전한 어를 생성할 것입니다. 규격, 이것은 코딩 에이전트에게 보낼 것입니다, 맞습니까? 그것을 우리 기계에 놓고, 그러면 우리는 보낼 것입니다. 그러면 어, 우리는 아마도 20분 후에 확인할 것 같습니다. 어를 정리하기. 맞습니까? 그래서 이제 에이전트를 선택하고 배송하는 것 같습니다. 네, 순간 후. 그래서 이제 완료되었습니다. 그래서 이제 우리는 실제로 우리 시스템의 미리보기 부분으로 들어갈 수 있습니다. 맞습니까?

어, 그것은 애플리케이션을 보고 클릭할 수 있습니다. 그리고 이것은 기본적으로 일단 어떤 소프트웨어 공장에 대해 설정되면. 만약 그들이 미리보기 모드를 가지지 않는다면, 당신은 그들에게 물어야 합니다, 「네, 당신이 알다시피, 내 동료들은 어떻게 내가 PR에 대해 만든 애플리케이션을 미리볼 수 있습니까?」 왜냐하면 그것은 너무 중요하기 때문입니다. 왜냐하면 아무도 작동하지 않는 PR보다 더 싫어하지 않기 때문입니다, 맞습니까? 그래서 우리처럼 어를 전체 팀 멤버가 우리가 보내기 전에 애플리케이션을 미리볼 수 있도록 합니다. 그래서 우리는 항상 light sprint를 사용하고 있습니다. light sprint, 우리는 많은 성공을 거두었습니다. 평행한 작업을 하는 것이 정말 재미있습니다. 그리고 또한 좀 어, 로컬호스트에서 작업을 하는 것입니다. 그래서 우리는 주로 클라우드 에이전트입니다.

그래서 만약 무언가처럼 어, 모바일 버그 또는 당신이 알다시피, 어, 작은 문제가 있다면, 그 사람들은 우리에게 말하고, 우리는 그것을 보드에 올릴 것입니다. 그러면 우리는 클라우드 에이전트를 시작합니다. 맞습니까? Lightrint는 먼저 클라우드 에이전트를 구축할 것입니다, 맞습니까? 우리는 어, 우리는 사람들이 어를 사용하여 계획해야 한다고 생각합니다. 계획, 당신은 우리의 시각적 계획 안내를 사용할 수 있습니다, 맞습니까? 그들은 편성해야 합니다. 그들은 미리보기해야 합니다. 어, 그것은 너무 중요합니다, 맞습니까? 그래서 이것은 내 소셜과 light sprint 어입니다. 링크, 그래서 언제든지 스크린샷을 하고 그것들을 사용하세요. 참석해 주셔서 정말 감사합니다. 어, 우, 감사합니다. Hang은 정말 멋진 제품입니다. 나는 그곳에서 데모를 보았고, 나는 「와, 나는 어, 나는 지금 완전한 제품 매니저가 될 수 있습니다.」라고 생각했습니다, 맞습니까? 그것은 너무 멋졌습니다. 매우 감사합니다. 당신이 지난 몇 번의 연설에서 무엇을 알아채셨습니까?

나는 어, 일관된 색상 체계를 알아차렸습니다. 당신도 알아차렸습니까? 어, 맞습니까? 그것은 어, 모두 매우 영리합니다. 아니요. 어쨌든, 어, 아니요, 아니요, 아니요, 불경기가 없습니다. 모두가 이 오렌지 것을 가지고 있고, 나는 「와」라고 생각했습니다. 그것은 어, 그것은 어, 이것은 좀 재미있습니다. 그것은 좀 파생입니다. 어쨌든, 어, 우리의 다음 대화, 나는 이것에 흥분합니다. 왜냐하면, 유, 우리가 조직자들을 위해 박수를 칠 수 있습니까? 그들은 정말 잘 했습니다. 그들은 너무 잘 했습니다. 정말로, 정말로 어, 멋진 Sherry. 모두가 잘 했습니다. 왜냐하면 당신이 아마도 모르실 수도 있지만, 연설의 구조는 그들이 서로를 축적하도록 만듭니다. 좋습니까? 그것은 너무 멋집니다. 자연스러운 순서가 있습니다. 그래서 이전 연설은 어 어 어 프로젝트 관리 측면에 관한 것이었고, 다음 연설도 그것에 관한 것입니다.

여기에 열점이 있을 수 있으며, 어, 당신이 알다시피, Louis, 우리의 다음 연사는 명확히 할 것입니다. 그러나 열점은 미래에 있고, 우리는 아마도 코드를 작성하고 배송하는 에이전트를 계획하고 편성할 뿐입니다. 그래서 그래서 코드를 작성하고 배송하는 업무는 이동했고, 우리는 계획자이자 편성자가 됩니다. 어, 그리고 그것은 좀 무언가처럼 있습니다. Lou는 우리에게 그의 이전 사업에 대한 이야기를 말할 것입니다. 어, 견인력을 얻으려고 했지만 못했습니다. 어, 당신이 알다시피, 나는 이것을 말할 것입니다. W는 Win을 나타내고, L은 교훈을 나타냅니다. 그래서 그는 여기에 배울 교훈이 있을 것입니다. 어, 제발, 제발, Louie를 위해 가장 큰 박수를 주세요. 좋습니다. 우리는 어떻게, 싱가포르? 우, 가보죠. 오, 일요일 오후 5:00. 에너지를 높게 유지합시다. 좋습니다. 마지막 것은 당신과 얼음 맥주 한 잔 사이에 있고, 아마도. 어, 좋습니다. 나는 Louie입니다.

음, 나는 최근에 Vibe Camban이라고 불리는 스타트업의 공동 창립자가 아닙니다. 음, 나는 여전히 런던에서 AI tinkerers라고 불리는 인공지능 커뮤니티를 운영합니다. 그래서 만약 당신이 런던에 있었다면, 행사에 참여하세요. 당신은 정말 재미있을 것입니다. 음, 나는 오늘 이야기하고 싶은 것은 내가 왜 이 스타트업을 시작했는지, 그리고 내가 왜 그것을 닫았는지입니다. 기본적으로, 소프트웨어 엔지니어링의 작업은 빠르게 인공지능으로 생성된 코드에 대한 계획과 검토로 진화하고 있습니다. 음, 나는 방에 있는 몇 명이 이것에 관심이 있는지, 또는 누가 스타트업 창립자인지, 또는 그들의 생활 단계의 어떤 시점에서 스타트업을 시작할지 모르겠습니다. 좋아요, 좋아요. 좋아요, 나는 우리가 결국 회사를 닫은 몇 가지 이유를 논의하려고 시도할 것이고, 그리고 마지막으로 아마도 그것으로부터 취할 수 있고 배울 수 있는 것들이 있습니다.

음, 나는 빠르게 당신에게 우리가 개발하고 있던 것을 말할 것입니다. 그래서 당신은 고대 역사로 돌아가야 합니다. 그것은 2025년 5월이었습니다. 내 데스크톱이 이렇게 보이기 시작했습니다. 나는 많은 탭을 열었습니다. Claude Code는 방금 출시되었고, 나는 동시에 여러 에이전트를 실행하려고 시도했습니다. 나는 이것이 완전히 새로운 작업 방식이라고 생각하기 시작했습니다. 정확도가 100%에 도달하고 내가 더 이상 에이전트가 무엇을 하는지 감시할 필요가 없을 때 무슨 일이 일어날까요? 나는 그 인터페이스가 어떻게 보일지 상상하기 시작했습니다. 본질적으로, 그것은 코드 작성 부분을 제외한 소프트웨어 엔지니어링의 모든 부분과 같습니다.

음, 당신이 우리가 디버거, 테스트용 UI, 네트워크 요청 등을 위한 많은 소프트웨어를 가지고 있다고 생각해봅시다. 우리가 사용하는 대부분의 소프트웨어는 실제로 코드 작성에 사용됩니다. 그래서 당신이 일의 그 부분을 제거한다면, 당신은 계획 부분과 검토 부분만 남기게 될 것이고, 음, 당신은 그것을 위해 완전히 다른 UI를 생각할 수 있습니다. 그래서 우리는 Vibe Canban을 구축하기 시작했고, 이름은 기본적으로 그와 같습니다. 그것은 칸반 보드이고, 당신은 티켓을 생성할 수 있으며, Jira에서 하는 것과 유사합니다. 음, 하지만 차이점은 이 티켓들 중 어떤 것을 클릭하고, 재생 버튼을 클릭할 수 있으며, Codex, Claude Code 또는 다른 6개의 다른 에이전트에서 실행하도록 선택할 수 있다는 것입니다. 일단 뭔가 실행이 완료되면, 당신은 그 작업을 검토할 수 있는 좋은 인터페이스를 얻습니다.

따라서 한 가지 방법은 분명히 코드를 검토하는 것입니다. 음, 다른 방법은 웹사이트나 애플리케이션 같은 경우 무언가를 테스트하는 것입니다. 음, 그래서 이것은 모두 고대 역사입니다. 지금 매우 명백해 보입니다. 2025년 6월에는 매우 명백하지 않았습니다. 우리가 그 당시 한 많은 일은 새로운 아이디어를 개척하는 것이었습니다. 우리는 많은 것들을 출시했고 애플리케이션에서 삭제했습니다. 나는 표시하지 않았습니다. 그래서 이것은 그것을 구현하기 위해 약간의 실험이 필요했습니다. 그래서 우리는 왜 이것을 했습니까? 좋아요, 그것은 모든 것이 계획과 검토가 되고 있기 때문입니다. 음, 당신이 GitHub Copilot이 2021년에 출시되기 전에 소프트웨어 엔지니어링에 관련된 다양한 작업에 시간을 할당할 수 있는 방법을 생각해본다면, 우리의 대부분의 시간은 IDE에서 보내졌고, 코드를 신중하게 검토하고, 어느 정도까지 코드를 보고 있었습니다.

시간이 지남에 따라, 이 부분은 우리가 한 총 작업의 비율로 축소되었습니다. 그래서 당신은 Copilot 모멘트를 받습니다. 그러면 당신이 알다시피 갑자기 자동완성이 많은 코드를 완성했고, 그러면 당신은 ChatGPT를 받습니다. 당신은 코드를 붙일 수 있고, 다른 함수를 얻을 수 있고, 그것을 다시 붙여넣을 수 있고, 또는 당신은 더 이상 Stack Overflow에 갈 필요가 없습니다. 이것은 좀 당신이 알다시피, 반복 속도를 훨씬 더 빠르게 만드는 것과 같습니다. 그러면 당신은 2024년에 Cursor를 받습니다. 당신이 여전히 코드를 보는 것처럼 보입니다. 하지만 한쪽에는 이런 채팅이 있습니다. 그러면 결국 당신은 우리 오늘의 위치에 도달합니다. 그것은 Claude Code이고, 솔직히 말해서, 나는 당신이 알다시피 많은 vibe 코딩이 진행 중이라고 생각합니다. 당신은 거의 어를 볼 필요가 없습니다. 일어나고 있는 것.

음, 그래서 나는 그것이 흥미로운 질문을 제기한다고 생각합니다. 우리가 코드 작성에 소비한 모든 시간을 회수했는지, 아니면 개발 과정의 다른 부분으로 이동했는지 여부입니다. 나는 답이 둘 다일 수 있다고 생각합니다. 나는 그것이 소프트웨어 엔지니어링 전체 업무를 가속화했다고 생각합니다. 그러나 동시에 나는 이제 내가 해야 할 업무를 계획하고 검토하는 데 많은 시간을 소비합니다. 그것은 달라집니다. 그래서 그 중 하나는 더 실제적인 생각 방식이고, 계획과 검토의 틀이 어떻게 도움이 되는지 보여줍니다. 나는 당신이 에이전트를 매우 정확하게 만드는 방법을 파악한다면, 당신은 실제로 에이전트로 당신의 일을 가속화할 수 있다고 생각합니다. 음, 코딩 에이전트 정확도를 얻는 한 가지 방법은 계획에 더 많은 시간을 소비하는 것입니다. 그래서 내 의미는 무엇입니까?

나는 이것이 가장 기본적인 버전이라는 의미입니다. Codex 또는 Claude Code 계획 모드처럼 말입니다. 그래서 그것을 사용합니다. 나는 그것을 절대적으로 모든 것에 사용합니다. 음, 이것은 좀 더 복잡한 버전입니다. 프레임워크를 사용합니다. 따라서 많은 좋은 사양 기반 개발 프레임워크가 있으며, 나는 이미 논의가 있었던 것으로 믿습니다. 음, 당신은 이 심문 방법을 사용할 수 있으며, 당신이 처리하고 있는 작업에 대해 상세히 질문하게 하여, 당신이 작업에 대해 발생할 수 있는 모든 질문에 대해 이미 답변할 때까지입니다. 그러나 핵심은 당신이 기본적으로 에이전트에게 무언가를 하도록 요청하기 전에 계획에 더 많은 시간을 소비하고 있다는 것입니다. 결과는 대부분의 경우 에이전트가 정확하게 일을 완료하고, 아마도 하나의 수정, 두 수정만 필요하다는 것입니다.

다른 방법은 내가 생각하기를 우리 모두가 좀 죄책감을 느끼는 것은 당신이 계획에 많은 시간을 소비하지 않으면, 당신은 대량의 검토가 필요하다는 결과로 고통을 받을 것입니다. 그래서, 당신이 알다시피, 우리가 몇 번이나 느슨하게 정의된 기능을 그냥 던져 버렸고, 당신이 알다시피 모델이 우리에게 반환한 것이 반완성이거나 완전히 요점을 놓쳤을 때 불평했습니다. 그래서 당신이 계획에 더 적게 소비하면, 당신은 모델과 여러 번 앞뒤로 가야 할 가능성이 더 높습니다. 내가 생각하기에 이 문제의 또 다른 측면은 실제로 일의 유형입니다. 이것은 내가 많이 논의된 것을 실제로 본 것이 아닙니다. 그것은 좀 반완성 아이디어이지만, 당신이 엔지니어링 작업의 유형을 생각해본다면, 기능 개발은 마이그레이션과 완전히 다릅니다.

그래서 이 다양한 작업 흐름은 모두 계획에 많은 시간을 소비하거나, 또는 당신이 알다시피 어, 아마도 만약 당신이 이것을 하고 있다면, 당신은 동시에 여러 에이전트를 실행할 수 있습니다. 더 많은 검토의 더 많은 수동 참여 작업 흐름을 보다는 동시에 동시에 실행할 필요가 없을 것입니다. 이것은 아마도 더 어를 기울어질 수 있습니다. 더 많은 프론트엔드 작업입니다. 그래서 당신은 알다시피, 때때로 실제로 복잡한 프론트엔드 기능의 모든 요구 사항을 표현하기 어렵습니다. 많은 상호 작용을 포함합니다. 많은 시각이 있습니다. 어를 전달할 필요가 있는 것 어를 백엔드를 기준으로, 당신은 논리를 설명합니다. 백엔드 논리를 설명할 때, 공통 언어를 찾는 것이 훨씬 쉽습니다. 나는 찾습니다. 따라서 당신은 알다시피 계획과 동시에 여러 작업을 실행하는 것이 이 경우에 나를 위해 더 잘 작동합니다.

그래서, 어, 요약하자면, 기본적으로 당신이 5분을 계획한다면, 당신은 자신을 많은 검토 시간으로 저장할 수 있습니다. 나는 항상 권장합니다. 당신이 알다시피, 가능한 한 그 방향으로 슬라이더를 밀어붙이세요. 좋습니다. 그러면 우리는 역사를 사용하여 일의 발전 방향을 파악할 수 있습니다. 그래서 GitHub Copilot은 몇 초 후에 실행되어 당신에게 결과를 줍니다.

어를 당신이 알다시피 2024년 Cursor의 원본 버전은 30초 이상 실행되어 결과를 생성해야 하고, 우리는 Claude Code에서 그것은 좀 평균 5분 후 실행되어 나에게 결과를 줍니다. 그래서 이것이 발생하는 이유는 도구 사용이 증가했기 때문입니다. 그래서 우리는 에이전트가 당신에게 반응을 제공하고, 에이전트가 유형 검사기를 실행합니다. 그러면 당신에게 반응을 제공합니다. 에이전트가 유형 검사기를 실행합니다. 그러면 Playwright를 사용합니다. 그러면 당신에게 반응을 제공합니다. 당신은 추론할 수 있고, 당신이 알다시피, 더 많은 작업이 루프에 편입될 때. 기본적으로, 코딩 에이전트가 소비하는 시간이 증가하고 있습니다. 그래서 우리는 코딩 에이전트 역사의 흥미로운 시간에 있으며, 시청이 편안한 범위를 진정으로 초월하려고 합니다.

예를 들어, 코딩 에이전트가 20분 동안 실행될 때 당신은 무엇을 합니까? 당신은 그곳에 앉아서 당신의 터미널을 보고 있지 않을 것이고, 당신은 알다시피, 엄지손가락으로 원을 그리고 있습니다. 내 의미는, 당신은 아마도 지연하고, 마지막으로 Twitter나 다른 유사한 것에 올라갑니다. 하지만 나는 그것이 내 시간의 좋은 사용이라고 생각하지 않습니다. 그리고 그것은 빠르게 지루해질 것입니다. 그래서, 당신이 알다시피, 만약 나는 예측을 해야 한다면, 나는 1년 후에 당신이 알다시피, 우리가 아마도 이 것들이 실행되고 있는 것을 보고 있다고 말할 것입니다. 30분, 그리고 우리는 이 어를 병렬화하는 방법을 찾아야 합니다. 많이. 음, 좋습니다. 나는 거의 시간이 없다고 생각합니다. 그래서 나는 빠른 관찰로 요약할 것입니다. 나는 기본적으로 새로운 업무가 관리적이라고 생각합니다.

그래서 만약 소프트웨어 엔지니어 팀에서의 일이 많은 코드를 작성하는 것이지만 많은 검토를 하지 않고, 많은 아키텍처도 하지 않으며, 더 높은 수준의 기술 리더 역할과 관련된 모든 다른 것들을 알고 있다면. 다른 모든 것들은 기본적으로 사라질 것이고, 코드 작성 부분은 남겨질 것이며, 나머지는 전통적으로 모든 관리 기능이 될 것입니다. 음, 네, 제 의미는 개발자의 초점 경험을 최대화하는 시스템과 인터페이스를 구축해야 한다는 것입니다. 따라서 그들이 계획 및 검토 같은 중요한 것들에 초점을 맞추도록 하십시오. 좋아요, 저는 시간이 없어서 여기서 멈춰야 하는데, 정말 감사합니다. 여기 올 수 있어서 기쁩니다. 감사합니다, 싱가포르. >> Louie를 계속 응원해 주세요, 여러분. >> 그것은 정말 놀라운 연설이었습니다. 저는 지금 매니저입니다. 다음 연사에게 넘기겠습니다.

저는 지금 매니저입니다. 이봐요, 우리는 어떻게 하고 있나요? 당신들은 기분이 어떻습니까? 뭐라고요? 당신은 왜 여기에 있는 건가요, 친구? 가서 자거나 어쨌든 그가 하고 싶은 일을 하세요. >> 좋아요, 그래서 우리가 작은 게임을 해봅시다. 우리의 다음 연사가 누구인지 맞힐 수 있나요? 잠깐, 아니요. >> 뭐라고요? >> 저는 뭐라고 하는 게 아니라, 친구. 내 >> 맞힐 수 있나요? >> 아니요. 우리의 다음 연사가 어디에서 왔는지 맞힐 수 있나요? 어, 그런데 큰 목소리로 당신의 답변을 외쳐주세요. 당신의 선택지는 싱가포르입니다. 제 의미는 그가 당연히 싱가포르에 머물렀다는 것입니다. 그 다음은 스리랑카, 또는 다시 한 번 샌프란시스코입니다. 당신의 답변을 외쳐주세요. 어서요. >> SF. 그녀가 말했습니다. 그것이 어디에 있나요? >> 샌프란시스코. 이봐요, 우리는 샌프란시스코 기차 위에 있습니다. 네. 샌프란시스코의 모든 사람들을 응원해 주세요. >> 샌프란시스코에서 온 사람들이 너무 많아요. >> 그것이 일어나는 장소, 형. AI 엔지니어. >> 그것이 꿈이 실현되는 장소입니다. >> 네. 네. 정말 훌륭한 문답이네요. 감사합니다.

정말 감사합니다. Coc에 대해 모든 사람들을 응원해 주세요. Usman, 우리의 다음 연사 >> Interphase에서 일하는 Harsha에게서 왔습니다. 그것은 AI 연구 실험실입니다. 그는 우리에게 그들이 어떻게 전문 코딩 모델을 훈련하고 트랜스포머를 뛰어넘는 새로운 아키텍처를 개발했는지에 대해 말할 것입니다. 그래서 Harsha에게 가장 열렬한 박수를 보내주세요. >> 감사합니다. 감사합니다. 그런데, 좋은 소개였습니다. 여러분 모두 좋은 저녁입니다. 제 이름은 Harsha입니다. 나는 Interphase의 공동 설립자이자 CTO입니다. 우리는 트랜스포머를 재발명하는 연구 실험실입니다. 오늘 저는 우리가 확정성 개발자 작업을 위한 새로운 아키텍처를 구축하는 방법을 논의하고 싶습니다. 이제, 지난 20년 동안, 인공지능은 경직된 머신러닝 모델에서 더 큰 규모의 일반화 가능한 어 지능으로 발전했습니다. 이것은 당신이 오늘 AI 워크플로를 수행하는 데 사용할 수 있는 것입니다. 이것은 이미 비밀이 아닙니다.

우리는 구조화된 미세 조정 모델을 구축하는 것에서 오늘날의 프롬프트로 발전했으며, 이는 당신이 에이전트를 구축할 수 있도록 합니다. 더 구체적으로, 2010년대 초부터 2015년을 생각해 보세요. 당신은 은행입니다. 당신은 광학 문자 인식을 수행하고 싶습니다. 당신은 어떻게 처리할 것입니까? 당신은 대규모 데이터 세트를 구입하거나 확보해야 합니다. 그것뿐만 아니라, 그 모델을 구축하고 배포한 다음 유지 관리하기 위해 재능 있는 팀을 구성해야 합니다. 이것은 당신에게 수백만 달러, 심지어 수백만 달러가 들 수 있습니다. 대규모 언어 모델의 발명 덕분에, 우리는 프롬프팅으로 이것을 할 수 있게 되었습니다. 하지만, 여전히 문제가 있습니다.

환각의 문제가 있습니다. GPT 같은 모델들이 이제 거대한 멀티모달이 되었음에도 불구하고, 우리는 Gemini로 그것이 여전히 환각을 할 것을 봅니다. 이것이 발생하는 이유는 대량의 데이터 입력에 대해 확정성을 원할 때 맥락 드리프트로 인해 환각이 발생하기 때문입니다. 우리는 Interphase에서 새로운 아키텍처를 설계함으로써 이 정확한 문제를 해결합니다. 우리가 훈련했으므로, 우리는 어 대규모 언어 모델, 죄송합니다. 머신러닝 모델과 대규모 언어 모델의 유연성의 엄격성을 가져왔습니다. 그래서 우리는 이 문제를 어떻게 처리합니까? 당신은 머신러닝 모델을 매우 특정 작업의 강력한 인코더로 사용한 다음 대규모 언어 모델을 사용하여 이의 디코딩 단계를 생성합니다. 오늘 저는 이 모델이 할 수 있는 일들을 보여주고 싶습니다. 저는 세 가지를 빨리 보여주고 싶습니다. 나는 그것을 논의할 것입니다.

저는 단지 그것을 빨리 실행하려고 하는데, 그래서 우리는 시간이 있어 그것을 논의합니다. 그래서 먼저 이것은 실제 파일입니다. 나는 그것에서 데이터를 추출하고 싶습니다. 단지 텍스트만이 아니라, 그것 위의 얼굴도 감지하고, 그의 나이를 계산하여 확인합니다. 그래서 우리는 이에 대해 Interphase를 실행합니다. 이것이 Interphase가 우리에게 준 것입니다. 그것은 텍스트를 추출했을 뿐만 아니라, 그것이 이미지에서 텍스트를 본 경계 상자를 주었습니다. 실제 픽셀 좌표. 그것은 두 얼굴을 모두 올바르게 찾았습니다. 더 중요한 것은, 그것은 올바르게 나이를 계산하는 데 성공했습니다. 이것은 사실입니다. 이제 구체적인 모델 제공자 또는 광학 문자 인식 제공자를 보여드리겠는데, 그것도 광학 문자 인식을 합니다. 그것은 Redu입니다. 당신 중 많은 사람들이 그것에 대해 들었을 것입니다. Redu는 확실히 텍스트를 올바르게 추출했지만, 다른 부분에서 실패했습니다. 텍스트가 어디에 있는지 감지하고 나이를 계산합니다.

이제 이것이 발생하는 이유는 인코더가 더 강하기 때문입니다. 다음 항목으로 진행합시다. 우리는 이 특정 LinkedIn 페이지를 스크래핑하고 싶습니다. 놀라움 Gary가 아직 저를 팔로우하지 않았지만, 좋습니다. 그래서 우리는 Gary의 경험을 추출하고 싶습니다. LinkedIn은 그들이 소유한 차단 및 봇 확인 때문에 스크래핑하기가 어려울 수 있습니다. 나는 이 버튼을 뛰어넘어 그의 경험을 추출하고 싶습니다. 이제 그것은 재미있을 것입니다. 그래서 Interphase가 무엇을 했는지 봅시다. 그것은 우리에게 첫 번째 페이지에서 본 것뿐만 아니라, 그것은 계속해서 그의 인턴십까지 돌아왔습니다. 우리가 이것을 할 수 있었던 이유는 우리 자신의 스크립트 모델 때문입니다. 어 LinkedIn을 스크래핑할 수 있습니다. 마지막으로, 나는 어 PDF, 밀도 높은 PDF에 대해 논의하고 싶습니다. 죄송합니다. 어 그래서 나는 단지 한 번 더 실행해야 합니다. 그래서 이 화면에 당신은 밀도 높은 PDF를 봅니다. 이것은 이 특정 모델의 연구 논문이어야 합니다.

우리는 이 전체 텍스트를 추출하고 힌디어로 번역하고 이 PDF의 문자 수를 계산하고 싶습니다. 그것이 실행되는 동안, 나는 그것이 시간이 필요하기 때문에 프레젠테이션으로 돌아가고 싶습니다. 그래서 이제 우리는 Interphase가 무엇을 할 수 있는지에 대한 데모를 봤습니다. 나는 우리가 어떻게 했는지에 대해 이야기하고 싶습니다. 나는 우리가 실제로 훈련한 것에 대해 이야기하고 싶습니다. 우리는 광학 문자 인식을 어떻게 했습니까? 그 전에, 나는 우리의 상태를 보여주고 싶습니다. 당신의 화면에서. 이것은 M OCR bench인데, 이것은 모델이 복잡한 파일을 처리할 때 얼마나 좋은지, 연구 논문뿐만 아니라 복잡한 필적, 대규모 다국어 어 광학 문자 인식에 대해 알려줍니다. Chundra 광학 문자 인식 같은 전문 모델과 비교해도, Redu 같은 특정 제공자와도 비교해도, 우리는 1위입니다. 이것은 당신이 본 예제이고, 이것은 당신이 본 출력입니다.

뒤에서 일어나는 것은 이 이미지가 우리가 훈련한 인코더에 입력된다는 것입니다. 그것은 텍스트 영역이 어디에 있는지 알려주는 CNN 스택입니다. 각 텍스트 영역은 자른 위치가 됩니다. 그래서 텍스트가 있는 곳에서 이미지를 자른 다음 출력을 생성하기 위해 디코더에 입력합니다. 이제 이것은 신뢰도 점수를 제공합니다. 이것은 경계 상자 및 메타데이터를 제공하며, 단지 단순한 텍스트가 아니라 실제로 신뢰할 수 있습니다. 우리는 더 나아가 이 정보를 더 큰 모델인 디코더에 입력할 수 있으며, 우리는 또한 구조화된 출력을 얻기 위해 그것을 조건화했습니다. 이것이 나이 방면에서 나오는 것입니다. 정보를 얻은 다음 그것 위에 조건화합니다. 이것이 OCR입니다. 이제 목표 감지로 전환합니다. 당신은 어떻게 얼굴을 감지할 수 있었습니까?

이제 이것은 자연어로 된 목표 감지입니다. YOLO 모델은 좋지만, 그들은 그들이 훈련받은 특정 개체만 감지합니다. 우리는 자연어 목표 감지에서 1위입니다. 이것은 당신이 프롬프트를 입력한다는 의미입니다. 이 방을 예로 들어봅시다. 나는 내 앞에 보이는 것들의 사진을 제공하고, 검은색 T셔츠를 입은 모든 사람을 감지하라고 말합니다. Interface는 이것을 할 수 있었습니다. 이것은 복잡한 일입니다. 우리는 어떻게 이것을 할 수 있었습니까? 그래서 당신은 같은 이미지를 가지고, 당신은 사용자가 원하는 것을 인코딩하고 이해하는 텍스트 인코더를 가집니다. 당신은 이미지의 위치 방면을 이해하거나 표현하는 이미지 인코더를 가집니다. 그 다음 대조 분할을 생성합니다. 이는 픽셀을 서로 더 가깝게 당기는 것을 의미하며, 개체를 정확하게 감지할 수 있게 합니다.

당신이 이 정보를 더 나아가 사용하면, 당신은 이제 이 픽셀들을 분할할 수 있습니다. 같은 것 — 이미지 인코더, 프롬프트 인코더, 그 다음 모든 픽셀을 분류하여 잠재 마스크를 제공하는 마스크 디코더가 있습니다. ASR 멀티모달은 거대한 일입니다. 많은 모델이 즉시 음성을 지원하지 않으며, 저는 오늘 그것에 대해 이야기하고 싶습니다. 우리는 가장 빠른 ASR 모델 중 하나이며, 우리는 또한 가장 낮은 VR 오류율을 가지고 있습니다. 그래서 우리는 어떻게 했습니까? 그래서 당신이 경보 형태의 오디오를 제공할 때, 우리는 먼저 음성이 어디든지 발생하는 곳을 감지한 다음 그 오디오 조각들을 자릅니다. 그래서 우리는 청크를 얻은 다음 인코더에 음향 특징을 추출하기 위해 이 청크들을 사용합니다. 인코더도 특징 추출 임베딩을 위해 훈련받습니다. 이제 이 임베딩들은 클러스터링에 사용됩니다.

클러스터링을 통해 우리는 특징을 그룹으로 분할할 수 있으며, 이는 우리에게 디제미제이션 출력을 제공합니다. 그래서 이제 당신은 어떤 오디오가 어느 스피커에서 나왔는지 알 수 있습니다. 하지만 텍스트는 다시 인코딩 부분에서 옵니다. 당신은 오디오를 스펙트로그램으로 변환합니다. 스펙트로그램은 기본적으로 오디오의 시각적 표현이며, 그 다음 당신은 그것을 텍스트를 생성하거나 분류하기 위한 프레임으로 사용합니다. 그래서 발음이 무엇이든 간에, 텍스트로 특별히 분류될 것입니다. 그래서 다음 항목으로 진행하기 전에, 우리가 번역에 대해 제공한 것을 봅시다. 그래서 이에 대해, 당신은 interface가 모든 텍스트를 성공적으로 추출했고 그것을 힌디어로 번역했을 뿐만 아니라, 그것이 해서는 안 될 곳에서 관련 있고 안전하게 유지했습니다. 예를 들어, 그것은 주소를 번역하지 않았고, 저자 이름을 번역하지 않았으며, 올바르게 문자 수를 계산했습니다.

이제 우리는 이것을 Claude 4.7 Opus와 비교하여 Claude가 무엇을 할 것인지 봅니다. 우리는 그것에 세 번의 시도를 주었으며, 이것이 내가 이것으로 돌아온 이유입니다. Claude는 세 번 모두 실패했습니다. 이것은 시간 초과 때문입니다. 하지만 설령 그것이 할 수 있었다 해도, 만약 이것이 장기적인 작업이라면, 다국어성에 문제가 있을 것입니다. 특히 남아시아 언어의 경우입니다. 이전으로 돌아갑시다. 그래서 우리는 세 가지 것을 봤습니다. 비전, 오디오 및 텍스트. 이 세 개의 인코더를 사용할 때, 우리는 이 어댑터들을 같은 디코더와 함께 작동하도록 훈련했습니다. 그래서 당신은 정확한 데이터를 얻지만, 당신은 그 데이터가 어디에서 나왔는지 알고 있습니다. 당신은 이 방식으로 멀티모달 문제를 해결할 수 있습니다. 오늘 저는 우리가 방금 논의한 세 가지 모달에 대한 데이터를 매우 흥분하게 보여드립니다.

우리는 이것들을 비교합니다. 우리는 interface를 생산에서 일반적으로 사용하는 모델과 비교합니다. 이 모델들은 경제적이며 한 번에 작업을 완료할 수 있습니다. 하지만 우리는 확정성 작업을 위해 비교합니다. 즉, 하나의 출력만 있는 작업입니다. 만약 당신이 이미지를 본다면, 제 이름은 신비로운 방식으로 바뀔 수 없습니다. 그것은 여전히 Hersa일 것입니다. Yoan, 나 및 우리 팀은 지난 약 1년 동안 우리가 특정 작업 모델을 구축하는 방법을 연구해 왔습니다. 우리는 같은 일을 했습니다. 우리는 작은 언어 모델을 선택했습니다. 우리는 큰 데이터 세트를 확보하는 데 많은 돈을 썼으며, 우리는 계속해서 확정성의 같은 문제를 만났습니다. 모델은 환각을 합니다. 이것이 우리가 우리는 회의실로 돌아가서 아키텍처를 재설계하고 다시 생각해야 한다고 생각한 곳입니다. 우리는 데이터가 병목이 아니라는 것을 관찰했습니다.

아키텍처가 그것입니다. 그리고 이것이 interface가 해결해야 할 문제입니다. 마지막으로, 이런 놀라운 관객과 이런 아름다운 나라 앞에서 말할 수 있다는 것은 정말 명예였습니다. Interface에게 감사합니다. 솔직히, 그 벤치마크는 깊은 인상을 남겼습니다. 감사합니다. 그것은 정말 놀랍습니다. 음, 정말 훌륭한 벤치마크입니다. 어때요, Usman? >> 안녕하세요. >> 진행은 어떻게 되고 있나요? >> 좋습니다. >> 여러분, 진행은 어떻게 되고 있나요? >> 당신 알고 있나요, 저는 맹세합니다, 당신들은 관객으로서, 저를 Michael Scott 같은 기분이 들게 합니다. 당신은 「The Office」를 봤습니다. 당신이 제 의미를 아나요? 나는 여기에 있습니다. 나는 당신들을 대접하고 있나요? 당신들은 마치, 「아니요, 나는 집에 가려고 준비했습니다」라는 것처럼 보입니다. 집에 가도록 준비하지 마세요. 지금은 시간이 아닙니다. 좋아요. 나는 당신들이 감동받기를 원합니다. 당신들은 감동받았나요? >> 이것이 더 낫습니다. 이것이 더 낫습니다. Usman, 다음은 무엇입니까? >> 좋아요, 이제 우리는 Harishi라고 불리는 사람이 있습니다. 재미있는 점은, >> 이것이 정말 멋집니다.

이번에 그는 실제로 싱가포르에 있습니다, >> 싱가포르 기술. >> 우리는 싱가포르를 사랑합니다. >> 네, >> 그것입니다. 에너지가 끝났습니다. >> 음, >> 계속하세요. >> 좋아요. 음, 그, 어, 그의 응용 프로그램은 실제로 AI와 특히 코딩에 대한 그의 개인적인 실수를 기반으로 합니다. 저는 여기서 모든 vibe 코더들이 우리가 모두 경험한 오류, 실수 또는 오류의 양과 관련될 수 있다고 확신합니다. >> 그런데, 이 배경화면을 봐요. >> 오와. >> 맞습니다. 이 배경화면은 그것이 슈퍼 블록버스터가 될 것임을 아는 방식입니다. 정말 멋집니다. 당신은 준비되었나요? 안녕, >> 당신은 시작할 수 있습니다. 여러분, 다시 한 번 Hish에게 가장 열렬한 박수를 보내세요. >> 좋아요 여러분. 좋아요, 그래서 이것은 실제로 「Greenfield를 떠나는 방법」이라고 불리는 비공식 회의에서의 연설에서 내가 만든 Bliss의 커스텀 버전입니다. 그래서 만약 당신이 Bliss를 모른다면, 적어도 당신은 Greenfield를 알 것입니다.

그래서 이것은 「국가 없는 모든 코드에 오신 것을 환영합니다」에 오신 것을 환영합니다, 맞죠? 이것은 작업 제목입니다. 나는 모든 사람이 항상 제목을 바꾼다고 생각합니다. 그래서 이것은 코딩 에이전트에 대한 연설이 아닙니다. 이것은 코딩 에이전트에 대한 연설이 아닙니다. 이것은 대규모 기존 시스템 내에서 에이전트를 구축하는 것에 대한 연설이죠, 맞죠? 오래된 코드, 조직 및 데이터를 포함합니다. 왜냐하면 이것이 우리가 결국 해야 할 일이기 때문입니다. 이것은 재구성이 아닌 수정, 생성이 아닌 업데이트, 새로운 것이 아닌 오래된 코드와 조직에 관한 것입니다. 사실, 만약 당신이 이러한 기본 선행 지식으로 시작한다면, 많은 다른 원시들이 나와 줄 것입니다, 맞죠? 당신은 한 번에 맥락 창을 채우려고 시도하는 대신 더 간단한 재사용 가능한 작업 단위를 선호합니다, 맞죠? 당신은 것을 추가하지 않고 맥락에서 것을 제거합니다. 당신은 제어 흐름을 프롬프트와 분리하고, 프롬프트를 코드와 분리합니다.

당신은 단계별 성공과 실패가 아닌 행동을 미세 조정합니다. 당신은 비용 의식 시스템을 구축하고, 구축 및 실행 시간을 분리합니다. 그래서 당신은 효율적으로 자원을 분산할 수 있습니다. 사실, 만약 당신이 이 모든 것을 잘하면, 당신은 결과를 전달하고, 당신은 무언가를 할 수 있으며, 그것이 완료된 상태로 유지되게 할 수 있습니다. 당신은 깨진 것을 고칠 수 있고, 그것들이 고정된 상태로 유지되게 할 수 있습니다. 당신은 언제든지 vibe를 할 수 있습니다, 맞죠? 이것이 그것을 더 흥미롭게 만듭니다. 그래서 이것은 정말 연설의 메인 부분입니다. 나는 단지 이것을 설명하는 데 시간을 할애하려고 하지만, 만약 그것이 좋다면, 어, 우리는 직접 진행할 수 있습니다.

그래서 이 전에, 나는 전자 및 소프트웨어 분야에서 몇 년을 보냈으며, 병목은 항상 데이터였습니다. 데이터를 의사결정에 유용한 형태로 만드는 방법입니다. 10년의 사고 후, 저는 Southbridge를 설립했습니다. 당시의 신념은 3.5 Turbo가 그 풀려나가는 힘이며, 이것이 우리가 필요한 마지막 범용 지능 단위이며, 그 후에 우리는 다른 모든 것을 구축할 수 있다는 것입니다. 그 이후로, 우리는 자가 치유하고 재생할 수 있는 데이터 시스템용 커넥터를 구축했습니다. 우리는 의료, 금융, 에너지 등의 산업을 위한 ETL 시스템을 구축했습니다. 나는 우리가 종으로서, 그리고 회사로서 섭취 문제를 해결하기 시작했다고 생각합니다. 수평 범주로서의 섭취, 새로운 고객, 새로운 데이터 세트 또는 사용자 업로드 데이터 여부. 우리가 설립 이래로 한 모든 것은 AI로 데이터의 첫 번째 마일 문제를 해결하기 위해 였습니다.

하지만 문제는 데이터로 시작하는 것의 어려움이 첫날부터 어려움이 11로 설정된다는 것입니다, 맞죠? 왜냐하면 당신은 처음부터 임계 경로에 있기 때문이고, 당신의 일은 기준선부터 처음부터 장기적 관점과 신뢰성이 필요합니다. 1GB와 같은 소규모 데이터에서도 한 번 실행하면, 형식 검증, 데이터 검증, 엔터티 구문 분석은 모두 수백만 번의 작업이 필요하며, 이러한 오류들은 쌓입니다. 맥락 창 — 만약 당신이 Gemini가 200만에서 100만으로 떨어진 것을 기억한다면, 실제로 여전히 뒤로 갈 중입니다, 맞죠? 하지만 설령 그것이 100배 증가한다 해도, 우리가 하루에 가지고 있는 데이터의 양은 여전히 당신이 처리할 수 있는 것을 훨씬 뛰어넘습니다. 하지만 다시 말해서, 내가 본 가장 큰, 가장 치명적인 데이터 회사 문제는 다양성입니다, 맞죠? 데이터는 전체 스택으로서 매우 매우 다양합니다. 거시적이든 미시적이든 간에 그렇습니다, 맞죠?

미시적 수준에서, 인간으로서, 우리는 종으로서, 우리가 생각할 수 있는 모든 것을 캔버스로 변환했습니다. 문서, Excel 스프레드시트, PDF, 내부에 우리는 Excel의 병합된 셀 버튼이 인류에 대한 가장 큰 범죄 중 하나라는 농담을 하곤 했습니다. 거시적 수준에서, 회사들은 정말 독특한 눈송이입니다. 왜냐하면 당신은 다른 스택, 프로그램, SOP, 보안 경계를 가지고 있기 때문입니다. 같은 데이터베이스도, 예를 들어 작은 Postgres도, 다른 네트워크와 권한 시스템을 통해 보면 완전히 다른 시스템처럼 보입니다. 하지만 나는 여기서 중요한 구분을 하고 싶으며, 그것은 온라인과 오프라인 에이전트 시스템 사이의 구분입니다, 맞죠? 이것은 이 것들을 생각하는 유용한 방법입니다.

음, 온라인과 오프라인은 누군가 모니터링하는 것과 누군가 모니터링하지 않는 것을 지칭합니다, 맞죠? 비록 내가 생각한다고 할지라도, 우리는 우리 모두 원한다고 할지라도, 대부분의 실제 시스템은 실제로 온라인 구성 요소보다 훨씬 더 큰 오프라인 구성 요소를 가지고 있습니다. 특히 우리가 한 모든 프로젝트의 경우입니다, 맞죠? 당신은 매번 처음부터 구축해야 할 때만 활성, 지연 민감한 인간 개입이 정말 필요합니다. 만약 당신이 시간이 지남에 따라 안정적이 되는 시스템을 구축할 수 있고 당신의 선호도를 기록할 수 있다면, 이 모든 일은 오프라인으로 수행될 수 있으며, 밤에 로컬 모델로 실행되며, 비용이 더 적습니다. 에이전트는 냉장고 같은 가전제품처럼 작동할 수 있습니다. 그들은 같은 일을 수천 번 반복해서 실행할 수 있습니다, 맞죠? 당신은 밤에 자기 전에 식기 세척기를 채웁니다. 다음은 우리가 여전히 코딩 에이전트가 에이전트 일의 기초 매트릭스가 될 것이라고 믿습니다, 맞죠?

이것이 모든 에이전트 일이 코딩 때문은 아닙니다, 맞죠? 사실, 나는 우리가 곧 코딩에 포화될 것이라고 생각합니다. 하지만 코딩 에이전트 루프가 가장 많은 자원, 가장 많은 강화 학습, 가장 많은 배포 압력을 가진 것이 되고 있기 때문입니다. 그리고 그것은 범용 원시들을 가지고 있습니다: 읽기, 쓰기, 편집, 셸, 맞죠? V8과 브라우저가 실제로는 웹 사이트가 아닌 많은 소프트웨어의 기질이 되어온 것처럼, 우리는 코딩 에이전트 프레임워크가 많은 에이전트 일의 엔진 계층이 될 것이라고 믿습니다. 좋아요, 이것이 충분히 일의 전체 구조에 대해입니다. 우리가 실제로 무엇을 배웠나요? 맞죠? 첫 번째 것은 단일 호출 푸시를 멈추는 것입니다, 맞죠? 단일 성능은 내가 것들을 구축할 때 매우 흥미로울 수 있다고 생각합니다. 여기처럼, 복잡한 명령어, 장기 계획, 거대한 기술 같은. 나는 Sabina가 후에의 압축에서 감자 튀김과 더 많은 감자 튀김을 얘기했다고 생각합니다. 하지만 반복되는 일은 우리가 이 모든 본능과 거슬리는 곳입니다, 맞죠? 이것이 당신이 것들을 구축하고 싶은 방식이 아닙니다. 만약 당신이 자체 운전 에이전트를 원한다면, 맞죠?

당신이 하고 싶은 첫 번째 일은 것들을 작은 원자 조각으로 분해하는 것입니다. Hankqu에서 (이것은 우리가 사용했던, 오랫동안 사용했던, 최근 오픈 소스화한 런타임입니다), 그 작은 작은 상자들을 「codons」이라고 부르며, 맞죠? 당신은 원하는 동작을 얻기 위해 이것들을 연결하고, 그것들을 재사용 가능하고 구성 가능하게 만듭니다. 만약 당신이 이 방식으로 그것을 분해한다면, 장시간 실행에 대해 추론하기 쉬워집니다. 이것이 궁극적으로 병목이 됩니다.

당신이 20시간 또는 25시간에 무엇이 일어날지에 대해 추론할 수 있는 능력은, 인간인 당신처럼, 궁극적으로 복잡한 소프트웨어를 구축할 때 당신의 병목이 됩니다, 맞죠? 다음 것은 맥락에서 것들을 제거하는 것입니다, 맞죠? 나는 여전히 얼마나 많은 프레임워크, 시스템 또는 말하자면 프레임워크가 맥락에서 것을 제거하는 방법이 없는지에 대해 놀랐습니다, 맞죠? 우리가 항상 해온 기본 행동은 맥락을 제거하고 당신이 필요하지 않은 것을 보관하기 위한 경계를 가지는 것입니다, 맞죠? 우리가 내부적으로 「world line rot」이라고 부르는 것을 방지합니다. 당신 알고 있나요, Ted Lasso가 「be like a goldfish」 말한 것이 궁극적으로는 좋은 일입니다. 다음은 단순히 유형으로 구성 요소를 분리하는 것입니다.

업계로서, 우리는 이것을 계속 다시 배우고 있습니다, 맞죠? 내가 대학에 있을 때, 우리는 코드와 데이터 분리가 일이 된 폰 노이만 아키텍처를 가졌습니다. 나중에 우리는 PHP와 CGI가 있었고, 또 다시 모델, 보기 및 제어기를 분리해야 한다는 것을 배우는 데 4년이 걸렸습니다. 에이전트의 경우, 같은 이야기입니다, 맞죠? 당신, 당신이 신뢰할 수 있는 시스템을 구축하고 싶다면, 당신은 이 다섯 가지 것들을 최대한 분리하고 싶습니다. 데이터, 프롬프트, 제어 및 다른 것들처럼 말이죠? 지난 1년 동안, 우리는 많은 사람들과 일했고, 우리는 많은 정보에 접근했으며, 우리는 수백만 개의 AI 생성 결과의 단어를 읽었습니다. 내가 말한 것처럼, 그것은 우리의 초능력입니다 — 우리는 출력을 읽고, 우리는 당신을 위해 출력을 읽으며, 우리는 이 것들에서 나오는 모든 것을 읽습니다. 10중 9번, 만약 무언가가 깨진다면, 그것은 당신과 에이전트 사이에 잘못된 추상 공유 때문이거나 맥락에 그곳에 있을 필요가 없는 것이 남겨졌기 때문입니다.

그래서 우리의 것들의 더 많이 들어갑니다, 맞죠? 우리는 일반적으로 「최고의 부분은 부분이 없다」의 원칙을 기반으로 구축합니다, 맞죠? 그래서 간단한 도구는 순서대로 작동합니다. 우리가 논의한 것처럼, 당신은 절대 필요할 때만 것을 추가합니다. 그래서 나는 우리가 정말로 평행 에이전트를 필요로 하지 않았다고 말할 때 당신이 놀라지 않기를 바랍니다, 맞죠? 우리가 신뢰성 일에서 한 일을 위해, 단일 주 에이전트 스레드는 우리에게 포기할 수 없는 너무 많은 이점이 있습니다, 맞죠? 많은 프로그래밍 언어, Python, JavaScript, 많은 것이 동의할 것입니다. 우리는 곧 우리 쪽의 일부 이점들을 볼 것입니다. 하지만 우리 버전의 이벤트 루프의 경우, 그 작은 트릭은 우리가 「sentinels」라고 부르는 것입니다. 그래서 우리는 처음에 이 것들을 장시간 에이전트 실행을 모니터링하기 위해 설계했지만, 그들은 우리의 가장 강력한 원시들이 되었습니다.

그래서 sentinels는 주 루프의 이벤트 조합에서 발동하는 대규모 언어 모델 호출입니다, 맞죠? 그들은 발동하고, 그들의 맥락을 템플릿화하고, 그 다음 결과를 파일에 씁니다. 하나의 sentinel는 50개의 도구 호출마다 깨어날 수 있으며, 일어난 일을 요약한 다음 다시 잠들 수 있습니다, 맞죠? 하지만 그것은 행동 포착에서 훌륭합니다. 그러나 당신이 평가 시스템을 트러블슈트하지 않아도 되는 많은 복잡성을 생성하지 않습니다. 그래서 게으름, 시뮬레이션, 나쁜 데이터 위생, 파일 권한, 셸 오류. 당신은 우리가 sentinels라고 부르는 재사용 가능한 것에서 당신이 원하는 패턴을 정의한 다음 주 스레드에서 그것을 고칩니다. 맞죠? 훨씬 더 많이 훅보다. 이것은 행동 합병을 위해 우리에게 훨씬 더 좋습니다. 그래서 나는 하나 더 할 것이고, 단지 하나 더 해달라고 할 것이고, 그것은 예산입니다. 맞죠?

우리 이쪽의 장기 시스템은 모든 중요한 축에서 비용 의식을 유지하기만 하면 됩니다. 하지만 만약 당신이 지금까지 내가 말한 모든 것을 했다면, 당신은 선언적 예산 시스템을 만들 수 있으며, 이것은 정말로 최고의 종류입니다. SQL처럼. 당신은 당신이 가진 것을 표현할 수 있으며, 시스템이 중간의 차이를 알아낼 것입니다. 맞죠? AI처럼 빠르게 발전하는 분야에서, 모델, 프레임워크, 구현 세부 사항이 항상 변하고 있습니다. 선언적은 실제로 승리합니다. 왜냐하면 당신이 것을 다시 써야 하는 필요를 방지하기 때문입니다. 그래서 우리는 모든 다른 축을 가지고 있습니다 — 돈, 토큰, 시간, 데이터 액세스 — 심지어 올바른 시간에. 당신은 구축할 때 이것들이 어떻게 분배되어야 하는지 표현합니다. 런타임에, 당신은 실제로 당신이 가진 자원을 압니다. 그래서 당신은 이 두 것을 해결할 수 있습니다, 맞죠? 마지막으로, 만약 당신이 이 모든 것을 하면, 당신은 도구를 구축하지 않고 결과를 전달할 수 있습니다, 맞죠?

나는 공예를 매우 신경 쓰고, 도구를 신경 쓰는 사람들을 포함한 방 가득 사람들에게 이렇게 말합니다, 맞죠? 하지만 대부분의 사람들은 그들의 식기 세척기가 어떻게 작동하는지에 신경 쓰지 않습니다. 그들은 그들의 자동차에 연료가 어떻게 공급되는지에 신경 쓰지 않습니다. 그들은 깨끗한 접시를 원합니다. 그들은 그들이 가려고 하는 곳에 도착하기를 원합니다. 그래서 우리의 북극성은 항상 결과를 전달할 수 있는 시스템을 배포해 왔습니다, 맞죠? 이것은 아마도 최대한 빨리 고객을 온보딩하고, 연구 가설을 검증하고, 통합 시간을 단축하는 것일 수 있습니다, 맞죠? 아니면 우리가 Achilles라고 부르는 것을 당신의 데이터에 임베드하지 않고 이 모든 것을 하는 것입니다. 이를 위해, 에이전트는 인프라가 되어야 합니다. 그들은 일반적이고, 반복 가능하고, 예측 가능해져야 합니다. 그래서 그것이 정말로 우리의 목표입니다, 맞죠? 유산이 될 수 있는 것을 구축하는 것. 코드에서만, 유산은 정말로 나쁜 단어입니다.

어느 면에서는 그 내용을 다시 가져오려고 했습니다. 강연에 담을 수 없었던 내용들이 많지만, 여기서 더 긴 버전을 찾을 수 있습니다. 모두에게 감사합니다. 와! 어, Hershi, 정말 감사합니다. 정말 멋진 강연이었습니다. 무대 뒤에서 Hishi와 이야기를 나눴는데, 저는 이미 준비가 되어 있었습니다. 와, 정말 놀라운 강연입니다. Hishi를 위해 다시 한 번 열렬히 박수를 쳐주세요, 여러분. 어머나. 정말 훌륭합니다. 우리의 다음 강연은 또 다른 흥미로운 강연입니다. 저는 무대 뒤로 가서 그에게 물었고, 「이봐, 당신의 강연이 뭔가요?」라고 말했습니다. 그는 세 단어를 말했습니다. 그는 정말로 세 단어만 말했습니다, 더 이상 없습니다. Henry, 더 이상의 말은 없었습니다. 음, 그 단어들은 MCP versus CLI입니다. 그것이 그 강연입니다. 저는 당신들 중 매일 MCP를 사용하는 사람이 몇 명이나 되는지에 대해 정말 흥분합니다. 거의 모든 사람. 와. 당신은 그것으로 무엇을 하나요? 당신, 저쪽에서 안경을 쓴 그 사람.

당신은 그것으로 무엇을 하나요? 프로덕션 환경을 디버깅합니다. 정말 좋습니다. 실제로 그것은 좋은 사용 사례입니다. 우리, 제가 일하는 곳에서, 우리는 Monday라는 프로젝트 관리 도구를 사용합니다. 여기서 Monday를 사용하는 사람이 있나요? Monday는 monday.com입니다. 음, 저는 특별히 말할 게 없습니다. 어쨌든, 음, 그들은 웹 UI 같은 UI를 가지고 있지만, 그들은 또한 MCP 서버를 가지고 있는데, 이것은 정말 놀라웠습니다. 왜냐하면 저는 Cursor에서 일할 수 있기 때문입니다. 저의 선호하는 IDE이고, Spawn이 아닙니다. 음, 저는 그 안에 Monday MCP 서버를 가지고 있고, 저는 「이 회의를 에이전트에서 Monday에 추가하려고 합니다」라고 말할 수 있고, 그것이 그렇게 합니다. 정말 멋집니다. 그래서 저는 Team MCP의 진정한 팬입니다. 음, 하지만 물론 CLI도 존재할 이유가 있습니다. 제 말은, Claude Code는 CLI 에이전트이고, MCP 클라이언트 기능을 가진 코딩 에이전트입니다. 맞나요? 그렇다면 이것이 어떻게 작동하나요? 음, 우리는 곧 보게 될 것입니다.

Henry는 이제 여기서 설정 중입니다. 1분 후, 우리는 MCP versus CLI에 대한 강연을 들을 것입니다. 이것은 심지어 versus가 아닐 수도 있습니다. MCP와 CLI일 수도 있습니다. 음, CLI가 좀 구식이라고 생각하나요? 있나요? 아니요. 네, 물론 아닙니다. 왜냐하면 우리가 그것을 사용하지 않으면, 에이전트가 그것을 사용하기 때문입니다. 저는 그것이 정말 훌륭한 사용자 인터페이스라고 생각합니다. 저는 점점 말할 것이 없어지고 있습니다. 오, 좋습니다. 저것을 봤나요. 이봐요. 들어보세요. 우리는 거의 회의 끝에 다 왔습니다. 이것은 위대한 강연이 될 것입니다. Henry >> Mau에게 가장 열렬한 박수를 드립니다. >> 아니요, >> 우리는 여전히 조금 더 있습니다. >> 괜찮습니다. 오, 그는... 당신은 반드시... 당신은 반드시 연장해야 합니다. 연장 표시를 선택합니다. 저는 이제 기술 지원입니다. 우리... 맞나요... 준비가 되었나요? 아니요. 거의 다 됐습니다. 좋습니다. 아니요, 봐요, 그들이 하는 것은 그들이 연장하고 있지만, 그는 아직 창을 드래그하지 않았습니다. 이것은 이제 해설입니다, 여러분.

이것이 제가 좋아하는 것입니다. 감사합니다. 오, 정말 유감입니다. 당신 알다시피, 이것이... 이것이... 당신은 이것을 뭐라고 부르는지 아나요? 당신은 이것을 「불쌍한 박수」라고 부릅니다. 감사합니다. 저는 이것이 필요합니다. 그런데 제 모자에도 동전을 넣어주세요. 좋습니다. 이번에는 연장되었습니다. 그들이 질질 끌었습니다. 그렇다면 다시 시도해봅시다. 가장 열렬한 박수는 Henry Mau입니다. >> 소개해주셔서 감사합니다. 제 이름은 Henry입니다. 어, 안녕하세요 모두. 저는 Smithery의 공동 창립자입니다. 어, 오늘 제가 이야기할 것은 MCP, CLI 생태계, 우리가 Smithery에서 보는 것, 그리고 이것이 당신의 에이전트에 더 많은 자율성을 부여하는 것과 어떻게 관련이 있는지입니다. 그래서, 조금의 배경. 어, 제 이전 스타트업 회사 Jenny AAI에서, 우리는 학술 연구자들을 위해 AI 학술 조수를 개발했습니다. 제가 사용자가 우리 제품을 사용하는 것을 봤을 때, 정말 나를 괴롭히던 한 가지는, 그들이 자주 여러 개의 창을 열었다는 것입니다.

어, 그들은 다양한 애플리케이션과 GBT를 추적하면서 사용할 것입니다. 그들은 이러한 애플리케이션과 선택한 AI 사이에서 복사 붙여넣기에 많은 시간을 보냅니다. 이것은 모든 지식 근로자에게 영향을 미치는 더 광범위한 문제입니다. 터미널 사이를 오가든, 코딩 에이전트 사이를 오가든, CRM과 Google Docs 사이를 오가든, 우리는 모두 복사 붙여넣기의 지옥에 빠져 있습니다. 왜냐하면 인간은 본질적으로 AI를 위한 어댑터 계층으로 작용하기 때문입니다. 당신은 다양한 서비스에 대한 읽기 및 쓰기 접근에 대해 루프에서 모델에 프롬프트를 제공합니다. 프롬프트는 실제로 모델이 데이터에 접근할 수 없거나 당신을 대신하여 안전하게 조치를 취할 수 없을 때 지불하는 세금입니다. 이 세금은 상당히 비쌉니다. 그래서 약 1년 전, 저는 이 문제를 해결하기 위해 Smittery를 설립했습니다.

MCP는 방금 무대에 들어왔고, 저는 그것을 에이전트와 서비스 사이의 격차를 메우는 것을 도울 수 있는 방법으로 봅니다. 그래서 우리는 Smidy를 개방형 MCP 레지스트리로 시작했습니다. 우리는 수천 명의 개발자로 구성된 커뮤니티를 추적했으며, 그들은 여기에 그들의 MCP 서버를 게시했습니다. 우리는 이 서비스들을 수집하고 인증을 통합한 게이트웨이를 구축했습니다. 그래서 에이전트는 모든 API에 편리하게 접근할 수 있고, 단일 도구 상자로 그룹화됩니다. 우리는 현재 우리 사용자를 위해 매일 약 100,000개의 도구 호출을 처리합니다. 하지만 우리의 여정은 전혀 순탄하지 않았습니다. 어, 솔직히, 어 MCP는 출시 후에 많은 과장과 많은 문제가 있었습니다. 그 프로토콜은 절대적으로 야심차 있습니다. 에이전트가 도구를 잘 호출하는 방법을 모색하면서 동시에 표준을 수립하려고 했으며, 2025년 초에 규격을 빠르게 변경해야 했습니다.

MCP 클라이언트와 서비스의 구현이 좋지 않았고, 이로 인해 사용자들이 많은 좌절감을 겪었습니다. 그래서 2025년 말까지, 많은 사람들이 MCP가 기본적으로 죽었다고 주장하기 시작했다고 생각합니다. 마치 그것이 터진 것처럼 빨리 말입니다. 사실, 이 회의에서 적어도 5명이 지난 2일 동안 저에게 같은 질문을 했다고 생각합니다. MCP가 죽었나요? 우리는 이것을 철저히 해결할 필요가 있습니다. 많은 사람들이 제기한 많은 비판은 합당하기 때문입니다. 사람들이 MCP에 대해 부정적인 경험을 한 주요 이유는, 2025년으로 거슬러 올라가는 대부분의 장비가 도구를 추가하는 방식, 모델 컨텍스트에 추가하는 방식에 있어 매우 유치한 접근 방식을 채택했다는 것입니다. 그들은 단순히 모든 도구를 컨텍스트 창에 쏟아 부었습니다. 오른쪽의 이 차트처럼 말입니다.

상상해보세요, 당신 알다시피, Chrome에서 인터넷을 탐색하고 있다고 상상해보세요. 하지만 Chrome이 상상해보세요... 만약 Chrome이 HTML을 전혀 렌더링하지 않는다면 말입니다. 그냥 원본 HTML과 CSS를 당신에게 쏟아 부었고, 당신이 뭘 클릭할 지 알아내게 했습니다. 기본적으로 우리가 모델에 한 것이 이것입니다. 하나의 장비가 모든 도구를 모델에 쏟아 부었고, 그것이 좋게 표현되기를 기대했습니다. 그것은 모델에 정보 과부하를 주었고, 어... 어... 사용 가능한 상호작용 계층을 제시하는 대신입니다. 그래서 이것은 많은 토큰을 낭비했습니다. 컨텍스트 악화를 야기했고, 모델 성능을 크게 저하시켰습니다. 더 나쁜 것은, 2025년에 구축된 많은 MCP 서버가 제대로 구현되지 않았다는 것입니다. 기본적으로 공식 API의 약화된 버전입니다. 많은 것들이 적절한 인증을 구현하지 않았습니다.

개발자는 기본적으로 도구 설명에 이러한 프롬프트를 수제로 만들었으며, 더 약한 모델에 대한 프롬프트 주입을 시도했습니다. 이들은 모두 안티패턴입니다. 특정 작업의 행동을 도구 설명에 결합하는데, 이러한 행동은 원래 스킬에 속해야 합니다. 따라서 좋은 개발자 경험의 부족은 궁극적으로 사람들이 대안을 찾게 했습니다. 코딩 에이전트는 bash에서 잘 작동합니다. 그래서 사람들이 묻는 자연스러운 질문은, 왜 직접 CLI를 사용하지 않을까요? CLI에는 많은 장점이 있습니다. 첫째, CLI는 점진적 공개가 내장되어 있습니다. 파이프라인이 있어서, 다양한 서브명령을 함께 결합할 수 있습니다. 그리고 그것은 성숙한 Unix 스택 위에 구축되어 있습니다. 하지만 우리는 여기서 숨겨진 범주 오류를 범했습니다. 우리는 CLI를 MCP와 비교하고 있었습니다. MCP는 Model Context Protocol을 나타냅니다. 그래서 그것은 인터페이스가 아니라 프로토콜입니다.

CLI와 비교하는 것은 사과와 오렌지를 비교하는 것과 비슷합니다. 이 차트는 이것을 더 잘 설명하기를 바랍니다. 왜냐하면 프로토콜의 작업 (REST와 GraphQL 같은)은 어떻게 통신할 것인지를 정의하는 표준이지, 반드시 도구를 모델에 렌더링하는 방법을 정의하는 것은 아니기 때문입니다. 빠진 것은 에이전트에게 MCP를 잘 렌더링할 수 있는 좋은 도구인데, 우리는 이것을 원시 MCP 렌더링이라고 부릅니다. 좋은 소식은, 2026년 초까지, Claude와 Codeex 같은 주요 도구가 MCP를 렌더링하는 올바른 방법을 구축했다는 것입니다. 그래서 우리는 Smittery에서 이것을 테스트하려고 했습니다. 원시 MCP 렌더러를 사용할 때 현대 도구의 성능이 Bash와 CLI와 비교하여 어떨까요? 그래서 이것은 우리가 한 실험 설정입니다. 우리는 세 개의 핵심 API (GitHub, Linear, 싱가포르 공공 교통 API)에서 벤치마크를 실행했습니다.

우리는 이 API들을 선택했습니다. 왜냐하면 그들은 다양한 API 스타일과 훈련 데이터 오염 문제를 나타내기 때문입니다. 우리는 또한 여기에 나열된 세 가지 다른 모델을 선택했습니다. 우리가 변경한 주요 항목은 우리가 에이전트에 제공하는 인터페이스입니다. 그래서 우리는 에이전트 도구에서 모든 이러한 API를 MCP 서버로 설치하거나, bash 인터페이스에 대한 CLI를 제공합니다. 우리의 목표는 정확성과 토큰 효율을 측정하는 것입니다. 그래서, 이것은 관객을 위한 질문입니다. 손을 들어주세요. 원시 MCP가 CLI보다 더 잘 수행된다고 생각하는 사람이 몇 명입니까? 좋습니다, 우리는 일부 사람들이 있습니다. CLI가 MCP보다 더 잘 수행된다고 생각하는 사람이 몇 명입니까? 좋습니다, 더 많은 사람들이 있습니다. 이것이 상관없다고 생각하는 사람이 몇 명입니까? 마치 말하자면, 이것은 그냥 동등한 것입니다. 좋습니다, 우리는 여기에도 일부 사람들이 있습니다.

우리를 놀라게 한 것은, 원시 MCP가 정확성과 토큰 효율 두 면에서 모두 이겼다는 것입니다. 이것은 정말로 우리가 지난 1년 동안 믿어온 신화를 깨뜨렸습니다. 이것은 주로 모델 도구가 자신을 업데이트했고 더 효율적이 되었기 때문입니다. 하지만 저는 여기서 더 관심 있는 것은: 에이전트 경험 설계의 어떤 원칙이 정말 중요한가 하는 것입니다. 예를 들어, CLI를 개선하기 위해 무엇을 할 수 있을까요? 또는 도구의 어떤 원칙이 MCP가 이렇게 잘 수행되게 할까요? 그래서 우리는 일부 절제 실험을 수행했습니다. CLI의 구성을 변경함으로써 원시 MCP의 성능과 일치시킬 수 있는지 확인하기 위해 말입니다.

그래서 우리는 한 실험을 수행했습니다. CLI에 더 나은 설명을 추가했습니다. 우리는 또한 몇 가지 실험을 수행했습니다. CLI에 검색 기능을 추가했습니다. 우리가 시도한 많은 다양한 방법 중에서 이 두 가지 항목이 가장 중요하다는 것을 발견했습니다. 첫째는 자체 문서화입니다. 따라서 에이전트에 발견 가능하고 잘 설명된 도구를 제공하면, 성능이 더 좋습니다. 두 번째 항목은 검색입니다. 에이전트에 CLI에서 하위 명령을 검색하거나 MCP에서 도구를 검색할 수 있는 능력을 제공하면, 성능이 크게 향상됩니다. 왜냐하면 이것은 올바른 도구를 찾는 데 필요한 단계 수를 줄이기 때문입니다. 그래서, 이 두 원칙을 CLI에 적용하면, 기본적으로 원시 MCP와의 성능 차이를 좁힐 수 있습니다. 완전한 실험 세부 정보는 우리 블로그에 있습니다.

그래서, 이 시점에서, 당신은 생각할 수 있습니다. 음, 저는 실제로 토큰 비용을 너무 신경 쓰지 않습니다. 제 회사가 비용을 지불할 것입니다. 또는 모델이 더 싸질 것입니다. 음, 당신 알다시피, 결과는 이미 충분히 가깝습니다. 저는 그냥 CLI를 사용하겠습니다. 당신도 맞다, 맞나요? 당신이 로컬에서 무언가를 실행하는 엔지니어라면, 당신은 아마도 그냥 CLI를 사용해야 합니다. 그런데, 저는 MCP로부터 스폰서십을 받지 않았습니다. 음, 우리는 Smitter에서 CLI 제품을 출시한 후에 이 벤치마크를 실행했습니다. 그래서, 우리는 둘 다 사용할 수 있습니다. 하지만 저는 정말로 MCP에 그에 합당한 인정을 주고 싶습니다. 먼저, CLI는 당신이 샌드박스를 설정하고 싶을 때 작동합니다. 하지만 좋은 harness가 있으면, MCP는 그냥 바로 사용할 수 있습니다. 그래서 이들은 당신이 실제로 클라우드 에이전트를 실행하고 싶은 사용 사례들입니다. um 이것은 샌드박스 없습니다.

당신이 이렇게 하고 싶을 수 있는 이유는, 코딩과 무관한 가벼운 작업의 경우 더 가볍고 지연 시간이 더 낮을 것이기 때문입니다. 그래서 이식성은 MCP의 한 가지 장점입니다. 또 다른 이점은 MCP가 컨텍스트 엔지니어링의 책임을 harness에 두었다는 것입니다. 이것은 cloud code가 업데이트되고 harness를 개선하고 도구를 해석하는 방식을 개선하면, 당신의 도구도 개선된다는 것을 의미합니다. 하지만 MSP는 또 다른 더 미묘한 이점을 가지고 있습니다. 이것은 에이전트가 더 많은 자율성을 가진 세계로 나아가고 싶을 때 중요합니다. 그것이 바로 권한 관리입니다. 왜냐하면 우리가 발견한 CLI의 주요 약점은 보통 범위가 너무 광범위하다는 것입니다. 왜냐하면 그것은 개발자를 위해 만들어졌기 때문이고, 당신이 거의 감독 없이 그것을 실행하고 싶을 때, 그것은 거대한 공격 표면을 가집니다. CLI는 당신에게 왕국의 열쇠를 주었습니다.

따라서 백그라운드에서 CLI 에이전트를 오래 실행할 때마다, 실제로는 두 가지 끔찍한 선택 사이에 갇혀 있습니다. 승인을 신청하거나—이는 실제로 확장되지 않습니다—또는 당신들 대부분이 할 수 있는 일처럼, 위험하게 권한을 우회합니다. MCB의 한 가지 장점은 명확한 입장을 가진 작은 표면을 정의한다는 것입니다. 따라서 그것은, 음, 그것은 그것을 보호하기가 더 쉬워집니다. 이 병목 지점은 우리가 당신의 에이전트에 정책과 가드레일을 적용할 수 있게 합니다. 예를 들어, spitter 게이트웨이를 사용 중이라면, 우리는 정책 DSL을 제공하므로 당신의 에이전트가 할 수 있거나 할 수 없는 것에 대해 세밀한 권한을 시행할 수 있습니다. 따라서 이 프리미티브는 우리가 에이전트를 완전히 자율적으로 업그레이드할 때 당신에게 안심을 제공합니다. 그렇다면 질문에 답하자면, MCB가 죽었나요? 저는 그렇게 생각하지 않습니다.

하지만 이것도 이번 강연의 초점은 아닙니다. 제 관점에서는 MCP와 CLI 모두 각각의 용도가 있으며, 에이전트 경험, 보안 및 인증 뒤의 원칙은 항상 남아있을 것입니다. MCP는 더 이상 시대정신의 일부가 아닐 수도 있습니다. 이는 좋습니다. 왜냐하면 프로토콜에 일어날 수 있는 최선의 일은 그것이 HTTP처럼 지루해지기 때문입니다. 충분히 지루해서 우리가 더욱 야심 찬 문제를 계속 해결하고 에이전트가 프롬프트 주도적이 아닌 결과 주도적인 세계로 나아가게 합니다. 에이전트는 완전히 챗봇에서 동료가 될 수 있습니다. 이것이 우리가 루프의 각 주기에 있는 사람에서 루프 위에 있는 사람으로 어떻게 변하는지입니다. 감사합니다. 당신의 에이전트를 연결하는 데 관심이 있다면, 나중에 밖에서 저와 얘기하세요. >> 네. Henry와 얘기하세요. 한 번 더 박수를 쳐주세요, 여러분. Henry Mau, 우리는 루프 내에서 루프 위로 갑니다.

솔직히 말하자면, 저는 준비가 되었습니다. 들으세요, 들으세요. 우리의 다음 연사자분은, 저는 말씀을 들었는데, 저는 오늘 처음 뵙지만, 그분은, 제가 정확히 인용하자면, 싱가포르의 모든 엔지니어 중 가장 재능 있는 분입니다. 들으셨나요? 그들 따라서 들으세요, 나는 심지어, 나는 그분을 소개할 자격이 없습니다. 따라서 나는, 나는 도움이 필요합니다. Ivan, Ivan, Ivan을 위해 박수를 쳐주세요, 여러분. 따라서 Raj, 저는 이미 오랜 시간 동안 Raj를 알 수 있는 행운을 가졌으며, 그분이 하시는 일은 절대적으로 놀랍습니다. 우리는 한 번 해커톤을 했습니다. 그가 들어와서 말했습니다, 「오, 나는 에이전트들이 협력할 수 있는 방법을 구축하고 싶다」 그 다음 우리, 그가 완료했으니, 우리가 말했습니다, 「오, 당신은 주말에 뭘 하고 있었나요?」 그가 말했습니다, 「오, Mistro 해커톤이 있습니다. 그 시각에 당신은 뭘 하고 있었나요?」 그가 말했습니다, 「오, 나는 다음 해커톤을 위해 제 제출 내용을 구축하는 데 도움을 주기 위해 도구를 구축했습니다.」

그 다음 그는 Gemini 해커톤을 이겼습니다. 그는 거의 Mistro 해커톤을 이겼습니다. 그 다음 그가 말했습니다, 「오, 나는 계속 이 Kim 2.5 thinking에 대해 들었습니다. 이건 상당히 멋있습니다.」 나는 말했습니다, 「오, 좋네요.」 그렇다면 그가 다음에 한 일은 뭘까요? 그는 스스로 포스트트레이닝을 수행했으며, 결국 그것을 이겨버렸고 그것을 그의 주요 에이전트로 사용했습니다. Raj는 절대적으로 놀랍습니다. 솔직히, 저는 그의 발견을 듣게 되어 매우 기대하고 있습니다. >> 감사합니다, Ivan, 그 감사인사로, 음, 네, 저는 Raj입니다. 오늘 저는 진화형 프레임워크를 만드는 제 여정과 일반적인 진화 알고리즘에 대해 얘기하겠습니다. 제가 어떻게 여기에 이르게 되었는지에 대해, 저는 간단히 소개하겠습니다. 처음에 이것은 제 친구와 제가 한 논문이었습니다. 우리는 처음부터 확산 모델을 만드는 방법에 대해 생각하고 있었습니다. 우리는 특히 체스 활동을 위한 의료 확산 모델을 만드는 것에 있었습니다.

우리가 이 프로젝트를 하고 있을 때, 우리는 처음에 데이터가 매우 적다는 것을 알았습니다. 우리가 다른 논문들을 읽어볼 때, 우리는 모델이 인간의 「흥미로움」이라는 개념을 가지고 있다는 것을 논의하는 논문을 우연히 발견했습니다. 이 논문은 기본적으로 개방형 강화학습 커리큘럼의 판정자로 언어 모델을 사용했습니다. 이것은 나를 개방성과 알고리즘의 전체 세계에 노출시켰습니다. 제 생각에는, 자연스럽게 나타나는 다음 질문은, 만약 우리가 에이전트가 개방형일 수 있고 항상 새로움을 생성하고 있다고 주장한다면, 우리 자신의 생태계, 우리 자신의 생물학에서 이것이 어떻게 보일까요? 제 생각에는 태양이 이 질문의 좋은 답변입니다.

기본적으로, 태양에서 오는 에너지 입자는 지구로 들어오고, 그 다음 우주로 다시 방출되며, 그리고 더 높은 엔트로피의 광자들, 기본적으로 이 모든 것을 활성화하는 경사는 생명 그 자체입니다. 생명은 더 많은 엔트로피를 만드는 것이며, 이것은 30억 년 또는 그보다 더 오랜 시간이 걸려 만들어지고 생성된 매우 특수한 엔트로피입니다. 그렇다면 질문은 이렇게 됩니다. 우리는 이것을 에이전트 자체와 같은 유사한 시스템에 어떻게 매핑할 수 있을까요? 따라서 이것이 나는 하려는 것입니다. 마치, 만약 태양 자체가 계산이라면, DNA는 이 작은 세포 생물들이 우리와 같은 복잡한 생물로 진화하게 합니다. 우리는 코드를 쓰고, 코드를 사용하며, 생각할 수 있고, 사물에 반응하고 더 많은 엔트로피를 만들 수 있습니다. 이것은 기본적으로 이 에이전트들의 궤적입니다.

음, 선택 편향 자체가 프레임워크입니다. 기본적으로 모델이 진화함에 따라 진화합니다. 저는 그 후에 읽은 매우 흥미로운 논문은 기본적으로 에이전트가 시간 경과에 따라 점진적으로 개선하는 자신을 보여줍니다. 그것을 omni epic이라고 합니다. 여기서 당신은 다른 환경들을 가지고 있고, 에이전트는 처음에 단일 환경에서 매우 전문화되어 있지만, 시간이 지남에 따라 점점 더 일반화됩니다. 그 에이전트의 일반성은 그것이 涌현 행동을 보여주는 작업을 수행할 수 있게 합니다. 이것은 매우 흥미로운 피드백 루프이며, 그 다음 같은 저자가 쓴 또 다른 논문의 창작으로 이어졌습니다. 여기서 코드 자체가 흠, 그들이 그것을 코드로 바꿀 때 코드가 되었습니다.

음, 그것은 실제로 성능의 주목할 만한 개선을 보여주었습니다. 에이전트는 Swenge에서 단지 20% 성능에서 기본적으로 50%로 갔습니다. 바로 그 때 저는 깨달았습니다. 만약 당신이 당신이 이 에이전트들을 배치하는 환경을 진화시킬 수 있다면, 그리고 도구를 진화시킨다면, 음, 이 둘 다 당신이 활용할 수 있는 레버리지이며, 결국 전체 에이전트의 성능을 개선할 수 있을 것 같습니다. 만약 당신이 모든 것의 궤적을 본다면, 우리는 우리가 가진 것보다 훨씬 더 나은 프레임워크를 가지고 있으며, 모든 회사는 사용자 정의 프레임워크를 만들려고 시도하고 있습니다. 저는 이것이 올바른 방식이라고 생각하지 않습니다. 만약 당신이 자가 진화하는 프레임워크를 가질 수 있다면 어떨까요? 이미 이것에 대한 논문들이 있습니다. 메타프레임워크, ROM, 그리고 많은 다른 문헌들이 있습니다.

다음 단계는 에이전트 자체가 될 것입니다. 만약 당신이 메모리 상태를 다른 곳에 저장하고 그 에이전트를 진화시킬 수 있다면 어떨까요? 다음은 세계 모델과 같은 것이 될 것입니다. 물리 세계 모델이 아니라, 코드 같은 환경 또는 여러 가능성이 매우 크게 다를 수 있는 코드 같은 환경과 상호작용하는 세계 모델입니다. 저는 상당히 흥미로운 세계 모델 논문을 작업하는 친구와 얘기했는데, 더 흥미로울 것은 이러한 세계 모델들에서 에이전트들의 아키텍처가 어떻게 보일지를 보는 것입니다. 그들은 새로울 수 있으며, 손으로 만들어지지 않습니다.

그것은 우리가 사용하는 동일한 기술을 사용하지 않을 수 있지만, 그것은 봐야 할 가치가 있는 것입니다. 우리는 요즘 이 또한 보고 있습니다. 처음에 모델 성장의 규모는 우리가 MMLU와 다른 벤치마크를 포화시키는 데 매우 오랜 시간이 걸렸습니다. 하지만 몇 주마다 새로운 SoTA 모델이 나타납니다. 이것은 우리가 더 많은, 더 나은 또는 단지 더 나은 품질의 데이터를 가지고 있기 때문이 아니라, 학습 루프가 더 빨라지기 때문이고, 모델이 어느 정도 스스로 루프를 닫았기 때문입니다. 음, 제 관점은 스케일링 법칙이 어느 정도는 여전히 유지된다는 것입니다. 인간이 에이전트 또는 프레임워크 자체보다 더 흥미로운 한, 그들은 유지되고 계속 유지될 것입니다. 이것은 손으로 만들어지지 않은 다른 아키텍처의 형태로 나타날 수 있습니다. 그들은 반드시 인공적일 필요가 없습니다.

이것은 저는 계속 존재할 것이라고 믿는 것입니다. 제 여정에서 지금까지 저는 발견한 것은 제가 만든 더 큰 메타프레임워크를 만들 때, 일반적으로 모델 성능을 개선하는 것은 궤적입니다. 그것은 절대 가중치였던 적이 없습니다. 이것은 DNA가 동일하게 유지되는 것과 비슷하지만, 우리가 그 특성들을 표현하는 방식은 변합니다. 음, 연구할 가치가 있는 인공물들은 경로들과 추론 궤적들이며, 모델이 왜 어떤 일을 했는지입니다. 최종 상태가 아니라. 네, 이것이 말이 된다면 말입니다. 음, 제가 코드그래프를 구축할 때 배운 또 다른 것은, 반복적 루프가 이것에 매우 중요하다는 것입니다. 가장 성공적인 생명 형태는 매우 빠르게 적응하는 것들이며, 매우 빠르게 죽는 것들입니다. 만약 당신이 그 루프를 더 빠르게 닫을 수 있다면, 그것은 당신이 더 많은 일을 할 수 있게 합니다. 이것은 많은 형태를 취할 수 있습니다.

이 방면의 좋은 예시는 언어입니다. 당신은 어느 언어로 코드를 쓰나요? 저는 제 생각에는, 제 현재의 대부분의 작업이 zig 또는 rust로 작성되거나 둘러싸여 있습니다만, 저는 알았습니다, 결국, 당신이 점점 더 나은 도구를 만드고 싶을 때, 음, 더 작은 컴파일 시간을 가진 언어는 실제로 결국 더 나은 도구를 만듭니다. 당신은 이 도구들을 위해 더 나은 테스트를 만들 수 있습니다. 심지어 그 언어가 메모리 안전하지 않다 하더라도 말입니다. 저는 확실히 믿습니다, 결국 아마도 이번 해 또는 내년에, 거의 모든 회사가 자신들의 메타에이전트 언어의 일종을 만들기 시작할 것입니다. 무슨 일이 일어나든, 이 모델들은 점점 더 나아질 것입니다. 그들은 반드시 인간이 읽을 수 있을 필요가 없습니다. 따라서 이것들은 제가 스스로 만든 일부 도구들일 뿐이며, 저는 내부적으로 계속 사용하고 있습니다. muanry 같은 것들, 그것은 단지 더 빠른 ripgrep일 뿐이며, 저의 에이전트가 더 많은 컨텍스트를 얻을 수 있게 합니다.

음, 코드의 정확한 행을 검색합니다. Code DB, 이것도 완전히 오픈소스입니다. 이것은 저의 자신의 프레임워크에 대한 벡터 검색이며, 에이전트들은 그들이 변경해야 할 코드의 정확한 행을 얻습니다. 이렇게 하면 그들은 컨텍스트 부패를 갖지 않습니다. 음, nanobrew는 그 다음 만들어졌습니다. 왜냐하면 한 번 당신이 샌드박스에 이 에이전트들을 배치하기 시작하면, 당신은 음 인코딩 환경 설정을 얻는 한 가지 방법을 깨닫습니다. 당신은 그것을 스냅샷할 수 있습니다. 또 다른 것은 당신이 계속 apt-get 같은 것들을 당겨올 수 있다는 것이며, 당신이 필요한 패키지들과 의존성들을 얻을 수 있습니다. 하지만 저는 생각했습니다, 만약 당신이 이것도 더 빠르게 하면 어떨까요? 이렇게 하면 당신이 그 환경을 파싱할 수 있고, 이것이 nanobrew가 어떻게 탄생했는지입니다. 그것은 appget과 homebrew 자체보다 훨씬 빠릅니다.

정확히 그렇게, 저는 제 에이전트들을 위해 또 다른 병렬 도구를 만들어야 한다는 것을 깨달았습니다. 그래서 그것이 더 나은 웹 브라우징을 할 수 있습니다. 그것은 에이전트 브라우저와 비슷하지만, 동시에 A1Y와 같은 확장들을 사용합니다(Chrome 개발자 프로토콜 또는 Chrome이 사람들에게 공개한 것), 이것은 토큰 사용을 줄입니다. 그것은 실제로 에이전트들이 대규모로 웹을 브라우징하는 능력을 향상시킵니다. 마지막으로, 전체 진화 루프로 돌아가서—Dev Swarm은 이렇게 탄생했습니다. Dev Swarm에서, 오케스트레이션의 본질은 기본적으로 형태를 바꿀 수 있는 도구들 또는 모델들의 집합입니다.

따라서 당신은 몇 개의 Opus 컨텍스트 창과 함께 몇 개의 ChatGPT 창을 가질 수 있으며, 전체 멀티에이전트 프레임워크와 함께, 그리고 진실의 원천은 terminal bench 또는 legacy bench 같은 더 엄격한 것입니다. 점점 더 많은 사람들이 이것을 사용하기 시작하면서, 저는 무엇이 작동하고 무엇이 작동하지 않는지에 대해 더 많은 원격 측정 데이터를 얻었습니다. 빠른 추가 사항으로, 이 모든 것들은 어떤 종류의 적합도 함수로 통합됩니다. 코딩 에이전트에서, harness는 매번 다시 쓰여집니다. 마지막으로, harness가 CodeGraph입니다. 그것은 한 때 terminal bench에서 실행되었지만 이제는 그렇지 않습니다. 그것은 기본적으로 이 사실에 기반하여 만들어졌습니다—그것은 자가 진화하는 harness이며, 시간이 지남에 따라 다른 모델들이 점점 더 사용되면서, 그것도 점점 더 나아지고 자신의 도구들을 만듭니다. 이 모든 작업도 오픈소스입니다.

이 궤적들도 오픈소스이지만, 저는 아직 대규모로 공개하지 않았습니다. 다만 여전히 진행 중이므로 충분히 확인하실 수 있습니다. 네, 저는 결국 harness를 구축했고, 여기에 딸린 도구들도 진화 순환을 형성했으며, 이 다섯 가지 모두가 본질적으로 이 harness를 더욱 향상시켰습니다. 이를 통해, 올해 AIE에 참석해주신 모든 분들께 감사 인사를 드리고 싶습니다. 올해는 「쓰라린 교훈」을 계속 보게 될 드문 해 중 하나가 될 것 같습니다. 쓰라린 교훈. 네. 감사합니다. 정말, 저는 여기서 절을 해야 할 것 같은데요. 아, 정말 훌륭한 강연이었습니다. 감사합니다. 이 분께 한 번 더 박수를 드립시다. 저는 충격을 받았습니다. 정말로 완전히 충격을 받았습니다. 설정해주실 수 있나요? 먼저 요약을 하고 싶은데, 괜찮으실까요?

우리는 무대 위에서 충돌했습니다. 제 말씀이 무슨 뜻인지 아시나요? 아, 정말 미쳤어요. 대단한 강연이었어요. 뭔가… 이 쪽 사람들이 미친 듯이 환호하는 것 같은데요. 모르겠어요. 여러분 다 자셨나요? 하지만 그런 식이에요. 당신 이름이 뭔가요? Daryl. Daryl. 아 맞다, 봤어요. 네, 조명이요. 음, 들어보세요, 저는 정말 그가 공유한 오픈소스 프로젝트 중 하나를 찾고 있었습니다. 그게 없었으면 저는 막혔을 겁니다. 그가 제 전체 아이디어를 구했습니다. 정말 미쳤어요. 그리고 나이가 그렇게 어린데 이런 것을 만들었어요. 저는 정말… 우리가 명상 수업을 다시 한 번 할 수 있을까요, 그럼 저는 그것을 생각해볼 수 있을 텐데요? 제 말씀이 무슨 뜻인지 아시나요? 정말, Raj, 너무 놀라워요. 음, 우리는 이제 회의의 끝에 다다랐습니다. 아, w가 여기 있어요. 네. 안타깝게도. 안타깝게도. 음, 하지만 우리는 거기에 존경을 표시해야 합니다. 아무도 죽지 않았습니다.

우리는 반드시, 반드시… a grim의 마지막 강연에 약간의 관심과 존경을 표시해야 합니다. 그를 봅시다, 그는 싱가포르에서 가장 많은 해커톤을 우승했습니다. 어떤 사람이 저에게 말했는데, 그는 이 생태계에서 성장한 사람이고, 그는 회의, 팀, 자원봉사자를 통해 자신의 공헌을 했으며, 정말로 이 일을 실천에 옮기고, 싱가포르에서 인공지능이 계속 관심과 비전을 얻도록 했습니다. 따라서, 회의 뒤의 뇌, 회의 뒤의 심장, 저는 하루 종일 그와 함께 다녔고, 모든 사람이 그를 알고, 모든 사람이 그를 좋아한다는 것을 분명히 봤습니다. 그에게 우리가 그를 알고 사랑하는 것을 보여줍시다. a grim sank에게 열렬한 박수를 드립시다. 테스트. 안녕하세요. 음, 이것은 오늘의 마지막 강연이므로 우리는 신선함을 유지할 것입니다.

음, 이것은 3개월 내에 회의를 조직하는 방법에 관한 것입니다. 이 이야기는 2025년 7월 16일로 거슬러 올라갑니다. 음, Rachel, Sherry와 저는 점심을 먹고 있었는데, 저는 싱가포르가 인공지능 이벤트 주변의 상황에 대해 널리 불만족스럽다고 느꼈습니다. 많은 대화가 있었지만, 정말로 빌더 친화적인 순간은 일어나지 않았습니다. 그때 우리는 아직 정말로 어떤 활동을 시작하지 않았지만, 우리가 결국 무엇을 하든, 그것은 우리가 회의를 개최하는 것으로 이어질 것이라고 느꼈습니다. 그때 저는 메시지를 보냈는데, 우리가 「자유로운 방식으로」도시의 가장 큰 회의를 운영할 것이라고 생각했습니다. 저는 그것이 일어날 것이라고 생각하지 않았지만, 이 주말을 보면, 성공한 것 같은데, 맞나요? 하지만 분명히 당신은 「자유롭게」이것을 할 수 없죠, 맞나요?

음, 생각해보면, 우리는 천 명을 한 강당에 몰아넣고, 우리가 찾을 수 있는 모든 인공지능 것들을 그들에게 줄 수 있습니다. 하지만 당신은 관객을 테스트해야 합니다. 생태계가 반응하지 않아서인가요, 아니면, 알다시피, 생태계가 매우 적극적으로 반응했지만 이벤트가 그들을 위해 서비스하지 않았나요? 따라서 우리는 몇 가지를 시도했습니다. 그 메시지를 보낸 지 일주일 후, 우리는 Cursor를 위한 밋업을 개최했습니다. 그때 우리는 이렇게 생각했습니다. 좋아, 아마도 이것은 이렇게 큰 규모, 인공지능 도구를 포함하는 개발자 밋업 중 처음 중 하나일 것입니다. 아마도 100명이 나타날 것입니다, 아마도 200명이 나타날 것입니다. 제 생각에는 우리는 결국 900개의 등록을 얻었습니다. 우리는 결국 500명이 문에 들어가도록 했습니다. 그때 저에게는 꽤 놀라웠습니다.

몇 개월을 빨리 감아, 우리는 생각했습니다, 좋아, 해커톤을 하자. 해커톤은 제가 이 분야를 시작했을 때 한때 매우 인기가 있었기 때문입니다. 우리는 생각했습니다, 좋아, 24시간 해커톤을 하자. 얼마나 많은 사람들이 등록할 것인지 봅시다. 아마도 사람들이 올 것입니다, 아마도 그들은 오지 않을 것입니다. 1,200명이 등록했습니다. 우리는 약 500명이 참가하도록 했습니다. 음, 사람들은 먼 네덜란드에서, 전체 지역에서 날아왔습니다. 이것은 우리에게 큰 확신을 주었습니다. 아마도 문제는 이벤트 자체가 아니라, 사람들은 정말로 모이는 공간이 필요합니다. 따라서 90일 전에, 우리는 Swix를 만났고, 우리는 Swix에게 말했습니다, 「우리는 AIE Singapore를 운영할 것입니다.」나는 그가 그때 우리를 웃으려고 했다고 생각합니다, 왜냐하면 그는 말했기 때문입니다, 「당신들은 진지한가요? 저는 당신들을 그렇게 많이 도와줄 수 없습니다. 저는 실행해야 할 다른 AIS가 있습니다. 당신들은 이전에 회의를 개최해본 적이 있나요? 사람들이 돈을 낼까요?」

당신들은 이 모든 것을 어떻게 하실 생각입니까?」우리의 일반적인 대답은, 「네, 저는 우리가 방법을 찾을 것 같습니다.」였습니다. 이것은 항상 전체 이벤트 뒤의 모토였습니다. 그래서 주변에 거친 부분이 있다면, 저는 그것에 대해 사과합니다, 하지만 우리는 정말로 최선을 다했습니다. 이것은 그것이 진행된 방식입니다. 이 모든 것은 높은 의도 주위에 있습니다. 우리의 의도는 이것을 우리가 할 수 있는 가장 빌더 친화적인 활동으로 만드는 것입니다. 우리는 방에 있는 사람들이 여기 오기를 원한다는 것을 확인하고 싶었습니다. 표값이 싸지는 않습니다, 저는 이해합니다, 하지만 우리는 정말로 여기 오고 싶은 사람들이 여기에 있기를 원했습니다. 우리는 여기 오고 싶은 연사들이 여기에 있기를 원했습니다. 그래서 우리는 그들을 비행기로 데려왔습니다.

우리는 여기 오고 싶은 스폰서들이 여기에 있기를 원했습니다. 그들은 기꺼이 이 회의를 후원하고 참여하기를 원했습니다. 따라서 모든 것이 이런 식으로 모여들었습니다. 정말로 오늘이나 전체 주말 동안 이 방에 있고 싶은 모든 사람들이 여기에 있습니다. 우리는 무료 표를 배포하지 않았습니다. 일어날 수 있는 일을 기다리는 많은 사람들이 있습니다. 그들은 다른 회의와 마찬가지로 무료 표를 찾을 수 있을 것입니다. 여기서는 그렇지 않습니다. 따라서 당신들은 이 방에 있습니다, 왜냐하면 당신들은 돈을 내었고, 당신들은 정말로 여기 오고 싶었기 때문입니다. 따라서 당신들 모두에게 열렬한 박수를 드립니다. 당신들은 계속 나타났고, 방은 하루 종일 만석이었고, 지금은 오후 6시이고, 당신들은 아직도 여기에 있습니다.

분명히, 대화의 질과, 일어나고 있는 것들이 모두 잘 작동하고 있고, 당신들은 하루 종일 매일 여기에 있기를 원합니다. 어, 강연은 종종 만석입니다. 각 연사는 저에게 무대 위에서 좋은 시간을 보냈다고 말했습니다, 왜냐하면 관객은 그들이 공유하고 싶은 모든 것에 열정적으로 반응했기 때문입니다. 그리고 우리는 이전에 싱가포르 관객이 샌프란시스코나 런던의 관객과 같을 것인지 완전히 확실하지 않았습니다. 매일 만석인 강연장을 보는 것은 정말로 매우 고무적입니다. 하지만 문제는, 당신은 단지 해외에서 회의를 복사한 다음 싱가포르에 붙일 수는 없다는 것입니다, 맞죠? 우리에게는, 「AIE의 이점들을 직접 복사한 다음 싱가포르에 붙이자」라고 말하기가 매우 쉬웠을 것입니다. 하지만 싱가포르는 다른 관객입니다. 싱가포르는 다른 유형의 사람들을 가지고 있습니다.

싱가포르는 회의에 대해 다른 기대를 가지고 있습니다. 이것이 연구 집약적인 회의라면, 아마도 우리는 당신들 중 절반을 잃을 것입니다. 이 회의가 너무 간단하다면, 아마도 그것은 당신이 인공지능 엔지니어 회의에서 당신이 기대했던 엄격성을 얻었다고 느끼게 하지 않을 것입니다. 따라서 그 균형점을 찾는 것은 매우 독특한 싱가포르적인 일입니다. 게다가, 당신은 이 회의를 당신 자신의 것으로 만들어야 합니다, 왜냐하면 당신이 무언가를 완전히 복사할 계획이 아니라면, 프로그래밍 풍경에 대한 당신의 기여가 무엇입니까? Sherry는 제가 약 21개의 버전인 연사 목록을 만들었다고 생각합니다. 당신은 연사들을 어떻게 분류합니까? 당신은 openclaw와 관련된 강연을 들을 때 동시에 여러 개를 듣도록 어떻게 보장합니까? 왜냐하면 이런 방식으로 당신은 여러 연사들의 관점을 볼 수 있고 스스로 판단할 수 있기 때문입니다.

아마도 당신은 오늘 더 일찍 magic path와 magic pattern이 연달아 나타나는 것을 들었을 것입니다. 이름이 비슷하고, 영역이 비슷하지만, 그들이 제품에 대해 생각하는 방식은 완전히 다릅니다. 이것은 당신이 사물이 어떻게 작동하는지에 대해 당신 자신의 의견을 형성할 수 있게 합니다. 그러나 또한, 우리는 AIE 이벤트에 우리 자신의 풍미를 추가하고 싶었습니다. 여기의 모든 사람들은 워크숍 티켓을 가지고 있습니다. 이것은 보통 다른 AIES의 기본 설정이 아닙니다, 하지만 우리는 당신이 싱가포르에서 처음으로 「빌더 우선」활동을 개최할 계획이라면, 당신은 구축할 사람들이 필요하다고 생각합니다. 이것은 사상 리더십 활동이 아닙니다. 이것은 인공지능의 미래에 관한 노변 담화 패널 토론이 아닙니다. 이것은 빌더 활동입니다. 만약 당신이 이 며칠 동안 적어도 하나를 구축하지 않았다면, 우리는 이 모든 것의 목적을 잃었습니다. 따라서 워크숍은 그중의 일부입니다.

우리는 스트레스 해소 프로그램을 몇 가지 추가했습니다. 인공지능 불안과 토큰 불안이 요즘 기정사실이라고 생각하기 때문입니다. 사물이 매우 빠르게 변한다는 점을 고려할 때, 사람들은 인공지능과의 관계를 이해하고 매일 30개가 넘는 강연 중에서 스트레스를 해소하는 방법이 필요합니다. 이 부분은 매우 중요합니다. 분명히, 진정한 싱가포르 스타일에 따라 우리는 여러분이 즐거운 시간을 보내기를 원했습니다. 그래서 어제 밤 우리는 큰 파티를 열었고, Jeff Huntley와 나는 마지막에 주요 DJ가 나타나기 전에 DJ를 담당했습니다. 하지만 이것은 싱가포르에서 행사를 개최하려면 우리가 여기서 일하는 방식에 따라 해야 한다고 생각한 또 다른 사항입니다. 하지만 분명히 강연이 훌륭했고 프로그래밍도 훌륭했습니다.

이러한 행사를 운영하는 전체의 의미는 일어나는 복도 충돌, 전시회에서 만나는 사람들, 대화할 수 있는 사람들, 대부분의 스폰서로부터 주요 팀이 직접 현장에 있다는 것입니다. 여러분은 언제든 만날 수 있는 연사들을 만날 수 있습니다. 커피를 마시든, 점심을 먹든, 어... 그들이 강연을 듣기 위해 당신 옆에 앉아 있기 때문에 그들을 만나고 싶든 말입니다. 연사에 대한 접근 권한을 제공하고, 팀에 대한 접근 권한을 제공하는 것은 싱가포르에서 매우 드문 일입니다. 어떤 회의든 가든, 인공지능이든 다른 것이든, 여러분은 주로 마케팅 담당자가 앉아서 브랜드에 대해 말해주고 명함을 교환하는 것을 보게 될 것입니다. 그것이 전부입니다. 회사와 만나려고 할 때, 이것은 완전한 체험이 아닙니다. 이들 중 일부는 싱가포르에서 한 번도 개최한 적이 없습니다.

그 중 일부는 이러한 모든 회의에 참석한 적이 없습니다. 따라서 극장 밖에서 그러한 순간들을 만드는 것이 우리에게 정말 중요합니다. 저는 여러분 중 많은 분들이 전시 영역을 둘러보고 팀을 만날 기회를 가졌다고 믿습니다. 그들 중 일부는 17시간 이상을 비행해서 여기에 왔습니다. 그들 중 일부는 이전에 싱가포르에 온 적이 없습니다. 따라서 우리를 위해 그러한 체험을 만드는 것은 정말로, 정말로 중요합니다. 우리는 이 주말에 여러분이 그러한 체험을 얻기를 원합니다. 하지만 여기서 중요한 것은 단지 방에 있는 사람들만이 아닙니다. 다음 세대가 어떻게 이로부터도 이익을 얻을 수 있도록 우리가 포지셔닝하는지입니다. 제가 언급했듯이 티켓 가격이 매우 비쌉니다.

하지만 우리는 경제적 어려움을 이유로 장면의 미래 아이들, 대학, 학교의 학생들을 이 수준의 회의 기회에서 배제해서는 안 됩니다. 왜냐하면 그들이 빌더가 될 것이기 때문입니다. 따라서 우리는 장학금을 제공했습니다. 밖에 이에 대한 정보가 있지만, 기본적으로 우리는 우리가 들었던 큰 조직인 스폰서가 있었는데, 우리가 장학금을 발표해야 하기 2일 전에 철수했습니다. 이것은 우리에게 상당히 마음 아팠습니다. 왜냐하면 우리가 아이들을 참여시키고 싶었기 때문입니다. 따라서 Rachel, Sherry, 그리고 나는 우리가 우리 자신의 주머니에서 이것을 할 것이라고 결정했습니다. 하지만 장면의 많은 빌더가 자신의 개인적 신분으로 참여하기로 결정했고, 우리는 20명의 학생을 데려올 수 있었습니다.

연사들을 만나고, 그들과 어울리고, 그들에게서 배우는 20명의 학생들입니다. 아마도 다른 어떤 상황에서도 가질 수 없을 평생의 기회를 가지고 있을 것입니다. 우리는 무대 옆에 있는 일부 학생들이 있습니다. 우리는 그들이 무대에 올라가게 하고 싶습니다. 그래서 여러분이 그들을 올라올 수 있겠습니까? 우리는 우리가 조직한 모든 해커톤, 우리가 한 모든 행사를 통해 이 학생들을 찾았습니다. 이 친구들은 우리가 한 모든 행사에 나타났습니다. 분명히, 우리의 모든 행사는 설계상 무료입니다. 왜냐하면 우리가 그들을 방에 들어오게 하고 싶었기 때문입니다. 하지만 이것은 우리가 제공할 수 있는 기회의 정점입니다. 이들은 분명히 우리가 후원한 20명 중 4명입니다. 여러분은 아마도 주위에서 그들을 봤을 것입니다.

그들은 Twitter에서 모든 요약을 하고, 그것에 대한 내용을 발행하고, 그들의 경험을 기록하고, 모든 비행해온 사람들을 만났습니다. 이것은 우리가 아이들이 이것을 즐기도록 하기 위해 할 수 있는 최소한의 놀라운 일입니다. 따라서 다시 한 번 감사합니다, 여러분. 나는 정말로 기여해 주신 분들을 축하하고 싶습니다. Patrick Kelly는 Arise에서 왔습니다. Arise는 실제로 이 회의의 스폰서이지만, Patrick은 아이들을 지원하기 위해 자신의 돈을 추가로 내기로 결정했습니다. Neil Chang, Ivan, Leo, Casper, Suken은 Iterative에서 왔고, Zayn, 나 자신, Sher, Rachel, 그리고 20명의 학생을 후원하기로 결정한 많은 익명의 빌더들입니다. 따라서 다시 한 번, 모두를 위해 열심히 박수를 쳐주세요. 우리는 여러 번 들었습니다. 특히 싱가포르에서요. 여기에는 장면이 없습니다. 아무것도 일어나지 않습니다. 나는 샌프란시스코로 비행해서 회의에 가야 한다고 생각합니다.

하지만 주말이 끝날 때쯤 나는 모두가 여러분이 이 장면이라는 것을 느껴주길 원합니다. 여러분은 정기적으로 나타납니다. 모든 강연, 모든 워크숍, 전시 주변에서. 어제 8:30, 오늘 아침 9:00처럼, 비를 뚫고, 여러분을 막을 수 있는 모든 조건을 뚫고. 여러분은 우리가 이를 위해 마련한 모든 부수 행사에 나타났습니다. 모든 행사가 초과 구독되었습니다. 모든 행사에 수백 명의 사람들이 나타났습니다. 이 회사들을 모르더라도, 누가 갈지 모르더라도, 단지 더 큰 일이 진행 중이라는 것을 알기 때문에 그 일의 일부가 될 수 있습니다. 나는 그것이 여러분이 기억할 것이라고 생각합니다. 왜냐하면 이것은 단순히 싱가포르 인공지능을 초월하기 때문입니다. 이것은 향후 몇 년 동안 이 국가의 인공지능 빌더 장면을 구축할 것입니다.

이것이 이것이 고립된 순간이 아닌 이유입니다. 나는 여러분이 계속 나타나기를 원합니다. 나는 여러분이 계속 구축하기를 원합니다. 나는 여러분이 주말에 친구를 사귀고 계속 연락할 것을 원합니다. 나는 여러분이 해커톤에 가서 구축하고 아마도 함께 무언가를 시작하기를 원합니다. 나는 여러분이 그것에 대한 내용을 발행하기를 원합니다. 나는 여러분이 당신이 하고 있는 일을 공유하기 위해 허락을 구하지 말기를 원합니다. 왜냐하면 이것이 사람들이 싱가포르가 활동이 일어나고 있는 도시라는 것을 알게 되는 방법이기 때문입니다. 단순히 샌프란시스코가 일이 일어나는 곳이 아닙니다. 단순히 런던이 일이 일어나는 곳이 아닙니다. 싱가포르, 아시아뿐만 아니라 세계에서도 주목할 가치가 있는 도시입니다.

이 시점에서, 나는 정말로 모든 온 연사들, 스폰서들, 우리의 주요 스폰서들, 다이아몬드 스폰서와 플래티넘 스폰서, OpenAI, ZAI, Google Deep Mind, Cursor, Arise, 잠을 자지 않은 자원봉사자들, 그것을 함께 유지하는 팀, 그리고 여러분 중 수천 명의 사람들에게 감사하고 싶습니다. 나는 조직 팀과 자원봉사자들을 모두 무대로 부르고 싶습니다. 왜냐하면 이 분들은 전체 주말 운영이 원활하게 진행되는 근간이었기 때문입니다. 이 분들은 여러분이 먹을 수 있도록 했습니다. 이 분들은 여러분의 배지와 액세스 권한을 해결하도록 했습니다. 이 분들은 여러분이 문제들이 드러나는 것을 보지 못하도록 했습니다. 그래서 여러분은 최고의 회의 체험을 가질 수 있었습니다. 우리는 아직 끝나지 않았습니다. 잠깐만요.

>> 여기서 음악을 틀 수 있을까요? >> 네, 우리 다시 한 번 사진을 찍어요. 우리 다시 한 번 사진을 찍어요. >> 음악이 없어. >> Swig은 어디있어요? Swix, 올라와. >> Swix, 올라와.

>> Swix는 글로벌 AI 엔지니어들 뒤에 있는 사람입니다. 어제 들었다면, 그도 싱가포르 사람이고, 그가 우리가 이렇게 하도록 한 이유가 이것이 일어나고 있는 이유입니다. 따라서 Swix에게 감사합니다. Swix 안녕히 주무세요. 그냥 당신과 나만. >> 그냥 당신과 나만. >> 좋아. 3 2 1 우리가 춤을 출 수 있을까요? 우리가 사진을 어떻게 찍어요? 헤이, 헤이, 헤이. 헤이, 나를 느껴봐. 헤이, 헤이, 헤이. 헤이, 헤이, 헤이. 헤이, 헤이, 헤이. 헤이, 헤이, 헤이. 헤이, 헤이, 헤이.