AI Engineer Singapore Day 2: Google DeepMind / Cloudflare / Arize 로봇 및 런타임 주제

자막 언어: ko · 수집 날짜: 2026-05-21

파도가 밤을 치고 파도가 대해를 칩니다. 그것을 알 것입니다. 당신은 필요합니다. 어, 어, 어. 어, 어, 어, 어, 어. 어, 어, 어. 어, 어, 어. 어, 어, 어. 어, 어, 어. 어, 어, 어. 어, 어, 어. 어, 어, 어. 어, 어, 어. 열정. 어, 어, 어. 이 행사에 참석해주신 모든 분께 감사드립니다. 저는 65 Labs의 공동 설립자이며, 여러분의 참석에 진심으로 감사드립니다. 지금은 셋째 날, 일요일 아침이며, 이 방에 앉아 있는 모든 분들이 한 세션도 놓치지 않기 위해 수면 부족을 감수하기로 선택하셨습니다. 저는 정말 감사합니다. 감사합니다. 어, 알려드리자면, 저는 우리가 지금 최종 스프린트 단계에 있다고 생각합니다. 아직 눈치채지 못하셨다면, 제 목소리가 거의 없어졌습니다. 하지만 다른 조직자들을 보셔야 합니다. 제가 오늘 아침 Sherry를 대신해서 진행하는 이유가 바로 이것입니다. 하지만 우리는 여러분과 함께할 수 있어서 매우 기쁩니다. 지난 며칠간의 에너지가 정말 훌륭했습니다.

어, 우리가 싱가포르 AI를 구축하고 통합하기 시작했을 때, 이것이 바로 우리가 원했던 에너지입니다. 여러분은 정말 잘하셨습니다. 따라서 정말 감사드립니다. 어, 우리가 시작하기 전에, 저는 빠르게 후원자, 연사, 그리고 이 회의의 마법 같은 경험을 만드는 데 도움을 주신 모든 자원봉사자분들께 감사의 말씀을 드리고 싶습니다. 정말 감사합니다, 모든 분께 감사드리며, 여러분이 그들을 위해 박수를 쳐주기를 바랍니다. 좋습니다. 여러분은 저를 보러 온 것이 아닙니다. 따라서 이제 요점으로 돌아가서, 저는 Arise의 Salanne을 무대에 초대하고 싶습니다. Alex를 구축하는 경험을 공유하기 위해. >> 여러분 좋은 아침입니다. 여러분이 아침 시간을 내어주셔서 정말 감사합니다. 아직 이릅니다. 보겠습니다. 네. 이제 출발할 시간입니다. 좋습니다, 보겠습니다.

죄송합니다. 제 핫스팟을 다시 연결해야 합니다. 제가 이미 했다고 생각했는데요. 좋습니다. 괜찮습니다. 여러분 좋은 아침입니다. 어, 오늘 저와 함께해주셔서 정말 감사합니다. 저는 Alex를 구축하는 것에 대해, 우리의 AI 에이전트인 Alex를 구축하는 것에 대해 저와 제 팀이 배운 경험을 공유할 수 있어서 매우 기쁩니다. 우리는 이 분야에서 한동안 작업해왔습니다. 깊이 들어가기 전에, 저는 자신을 간단히 소개하고 싶습니다. 저는 Salian입니다. 어, Arise의 제품 책임자입니다. 저는 기술 배경을 가지고 있습니다. 저는 데이터 과학에서 시작했으며, 지금은 팀을 위한 제품을 구축하고 있습니다. 저는 매우 실무적입니다. 저는 단순히 Alex의 PM일 뿐만 아니라 핵심 기여자이기도 합니다. 따라서 저는 정말로 에이전트 구축의 고통을 직접 경험하고 있습니다. 현재 저는 기본적으로 이러한 고통을 사람들을 정말로 돕는 도구로 변환하고 있습니다. 따라서 Arise 어, 우리는 에이전트를 작동시킵니다. 우리는 몇 가지에서 정말 뛰어납니다.

첫 번째는 관찰 가능성입니다. 어, 이것은 당신의 에이전트가 표면 아래에서 무엇을 하고 있는지 이해하는 것입니다. 두 번째는 평가입니다. 이것은 우리가 당신의 에이전트가 얼마나 잘 수행하는지 이해하는 방식입니다. 그리고 우리는 모든 이 데이터를 사용하여 당신이 개선하고 반복하는 데 도움을 드립니다. 물론, 우리는 또한 전체 스택을 통해 Alex를 가지고 있으며, 이 모든 작업을 수행하도록 도와줍니다. 그래서 오늘 우리가 무엇에 대해 논의할 것인가요? 어, 먼저 저는 Alex가 무엇인지에 대해 조금 이야기하겠습니다. 그리고 나서 저는 구축 과정에서 배운 네 가지 경험에 대해 이야기하겠습니다. 따라서 집중력 유지, 맥락 관리, 좋은 행동 결정화, 그리고 실제 에이전트 디버깅입니다. 따라서 Alex 어, 는 당신의 AI 공학 에이전트 프레임워크입니다. 어, 우리는 정말로 자연어로 당신의 AI 애플리케이션을 구축하고 확장하는 데 도움을 드리기 위해 Alex를 구축했습니다.

어, 이것은 정말로 Arise 경험을 개선했습니다. 계획, 추론이 있으며, 어, 정말로 무거운 작업 부하를 통해 당신의 AI 에이전트에 대해 실행합니다. 어, 기본적으로 자연어로 원하는 모든 것을 요청할 수 있으며, Alex는 이를 실행하는 데 도움을 드릴 수 있습니다. 당신의 데이터를 분석하는 데 도움을 드리는 것과 같은 작업을 할 수 있지만, 또한 당신의 프롬프트를 반복하거나 당신의 이메일을 정렬하는 것과 같은 워크플로우를 실행하도록 도와드릴 수 있습니다. 이것은 정말로 AIg, PM, 그리고 주제 전문가의 힘을 배가시키는 것입니다. 그래서 제가 왜 당신들에게 이 모든 것을 말씀드리는가요? 글쎄요, 어, 우리는 Alex를 구축하는 데 삼 년을 보냈습니다. 이것은 정말로 긴 여정이었습니다. 우리는 처음에 생성형 AI의 초기 단계에서 시작했으며, 이제 우리는 Alex 2에 도달했습니다.

0, 추론 및 계획 기능을 갖춘, 저와 제 팀은 많은 경험을 배웠으며, 저는 이 업계와 커뮤니티의 위대한 점이 우리가 돌려주기를 공유할 기회를 가졌다는 것이라고 생각합니다. 따라서 이것이 오늘 제가 여기서 할 일이고, 우리의 경험 중 일부를 가르쳐드리고자 합니다. 희망하건데 당신들이 우리처럼 어렵게 배워야 하지 않기를 바랍니다. 따라서 첫 번째 교훈은 집중력을 유지하는 것입니다. 저는 모든 에이전트 빌더가 이것을 경험했다고 생각합니다. 당신이 당신의 에이전트에게 몇 가지 일을 하도록 요청합니다. 어, 아마도 첫 번째 일을 성공적으로 할 수 있지만 그 다음 두 번째와 세 번째를 잊어버립니다. 알다시피, 저는 이것이 모두가 정말로 해결하고 싶은 문제라고 생각합니다. 어, 사람들은 종종 저에게 묻습니다. 어, 이것이 왜 발생하는가? 어, 사람들은 이것이 환각 문제와 같다고 가정하거나, 심지어 능력 문제일 수도 있지만, 실제로는 그렇지 않습니다.

이것은 텐션 문제입니다. 그래서 결국 일어나는 일은, 우리가 에이전트에게 여러 어, 일들을 요청할 때, 어, 보통 일어나는 일은 첫 번째를 볼 수 있지만 나머지는 우리가 요청한 모든 다른 데이터에서 손실됩니다. 따라서 에이전트의 경우 일단 다음에 무엇을 해야 하는지 파악하면, 이미 그 다음이 무엇인지 잊어버렸습니다. 따라서 해결책은 계획입니다. 어, 계획은 당신의 에이전트가 먼저 해야 할 일을 결정하는 방식이고, 그 다음에만 실제로 행동을 취합니다. 따라서 Alex의 경우, Alex가 어떤 데이터도 풀기 전에, 먼저 명확한 할 일 목록을 생각해낼 것이고, 어, 추론하고 단계별로 진행한 다음에만 해당 행동을 실제로 취합니다. 그래서 우리가 Alex의 계획을 어떻게 하는지는 우리가 계획 도구와 상태를 가지고 있다는 것입니다.

어, 우리는 세 가지 도구를 가지고 있습니다. 어, 할 일 작성, 할 일 업데이트, 할 일 읽기. 어, 그리고 네 가지 상태: 대기 중, 완료, 차단, 진행 중. 우리는 실제로 처음부터 이 모든 상태를 가지지 못했습니다. 저는 처음에 이것에 대해 이야기하겠습니다. 하지만 우리는 완료 도구 사용이나 프롬프트와 같은 것들을 사용하는 것만으로는 Alex가 정말로 복잡한 작업을 완료하기에 충분하지 않다는 것을 발견했습니다. 따라서 이 도구들 어, 는 Claude와 같은 우리가 좋아하는 일부 도구에서 차용한 것입니다. 어, 이것은 정말로 우리가 극도로 복잡한 작업을 관리하기 위한 게임 체인저였습니다. 진행 중은 우리가 실제로 배운 것입니다. 이것은 정말로 중요한 교훈입니다. Alex를 처음 구축했을 때, 우리는 진행 중을 갖지 않았습니다. 우리는 실제로 대기 중 및 완료와 같은 상태만 가지고 있었습니다.

어, 하지만 우리는 진행 중을 추가했으므로 Alex는 정확히 무엇을 알고 있으며, 이 작업, 어, 는 현재 처리 중입니다. 따라서 이것은 정말로 에이전트를 완료하려고 하는 것에 앵커링하는 데 도움이 됩니다. 어, 그리고 우리가 작업을 올바르게 완료하는 능력을 정말로 개선했습니다. 우리가 한 또 다른 정말 중요한 아키텍처 결정은 계획이 대화 기록 외부에 있다는 것입니다. 어, 따라서 이것을 하는 것이 정말로 중요합니다. 왜냐하면 대화 기록의 경우, 우리는 일부 절단을 수행합니다. 우리는 계획이 절단되기를 원하지 않습니다. 어, 그래서 이것이 일어나면, Alex는 완료하려고 하는 것을 알지 못할 것입니다. 어, 따라서 우리는 실제로 LLM 호출을 수행할 때마다 이것을 주입합니다. 시스템 지시 후, 대화 기록의 모든 데이터와 별도로. 이것이 실제로 Alex가 보는 것입니다.

그래서 현재 계획을 봅니다. 모든 상태를 봅니다. 그리고 우리는 실제로 당신이 완료할 때 완료 상태로 할 일 업데이트를 호출하는 것과 같은 것을 사용하여 Alex를 안내합니다. 알다시피, 따라서 다시, Alex를 진행 중에 유지하는 데 도움을 주고 있습니다. 단순히 수동적인 프롬프트를 주는 것이 아니라 정말 명확한 소수 샷 예제 형태로, 계획을 실행하는 동안 해야 할 일을 설명합니다. 우리는 또한 우리가 완료 게이트라고 부르는 것을 가지고 있습니다. 어, 이것은 Alex가 모든 작업을 완료하기 전에 완료되었다고 말하도록 하는 것입니다. 따라서 Alex가 우리의 완료 도구를 호출하려고 시도하면 어, 완료할 작업이 없으면, 우리는 실제로 아주 명확한 오류를 줍니다. 「헤이, 당신은 돌아가서 모든 할 일을 완료해야 합니다.」 이것은 제안이 아닙니다. 이것은 일종의 밀어붙이기가 아닙니다.

이것은 Alex가 받는 명확한 구조화된 메시지입니다. 어, 그것은 계속할 수 없습니다. 유일한 예외는 차단 상태입니다. 차단 상태는 우리가 루프에 사람을 가질 때 사용됩니다. 어, Alex를 사용하면 우리가 인간의 상호 작용을 요청하는 많은 어, 순간이 있습니다. 따라서 프롬프트를 생성할 수 있으면 약간의 차이가 있거나 배치 구성과 같은 것을 수락하거나 인간의 참여가 중요한 경우 비슷합니다. 따라서 차단 상태가 있을 때, 이것은 Alex가 작업을 완료할 필요가 없는 유일한 경우입니다. 왜냐하면 이것이 인간에 의해 차단되었다는 것을 이해하고 있기 때문입니다. 그리고 우리는 그 응답을 기다리고 있습니다. 따라서 이것들이 계획에서 배운 핵심 경험 중 일부입니다.

따라서 강제 실행 코드, 단순히 프롬프트만이 아니라, 소수 샷 예제, 모든 종류의 추상 지시를 격파하고, 항상 할 일 사용 오른쪽 계획을 사용하지 않습니다. 우리는 명확한 기능을 가져야 하고, 좋은 계획이 어떤 것인지 에이전트에게 보여줘야 합니다. 따라서 이들 중 일부 예제들입니다. 좋습니다, 맥락 관리입니다. 어, 맥락 관리는 극도로 중요합니다. Alex의 경우 이것은 협상할 수 없습니다. 어, 우리는 대량의 텍스트 데이터를 다루고 있습니다. 따라서 Alex는 Arise 플랫폼 위에 구축되었습니다. 관찰 가능성 데이터는 많은 양의 텍스트 데이터를 가진 AI 애플리케이션에도 적용됩니다. 따라서 맥락 관리는 극도로 중요해집니다. 어, 저는 실제로 런던에서 이 이야기를 했으므로 확인해보십시오. 하지만 저는 맥락 관리가 단순히 맥락 윈도우를 관리하는 것만이 아니라, 우리가 에이전트에게 무엇을 보여줄 것인지 전략적으로 생각하는 것이라고 생각합니다.

그것은 그들이 필요한 것을 기억하게 하고, 필요하지 않은 것을 잊게 합니다. 따라서 초기에는, 이것은 실제로 Alex에 대해 우리가 설정한 시스템 프롬프트였으며, 이것은 우리의 실험 비교에 대한 것입니다. 어, 우리는 「동시에 두 개 이상의 실험을 비교하려고 시도하지 마십시오.」라고 말했습니다. 어, 그러나 이것은 상당히 순진했습니다. 어, 문제는 Arise의 실험이 수백 줄이 될 수 있으며, 이것은 100,000 토큰 정도입니다. 따라서 단지 실험을 시도하거나 죄송합니다. 하나의 실험을 비교하려고 시도하는 것도 어, 우리의 어, 맥락 윈도우를 폭발시킵니다. 따라서 우리는 단순히 이것들이 어, 명확한 프롬프트를 가질 수 있는 것만으로는 충분하지 않다는 것을 알고 있었습니다. 따라서 우리는 추상화를 생각해냈습니다. 하나는 큰 JSON이라고 불립니다.

어, 따라서 이것은 실제로 Alex가 도구 데이터를 반환할 때 하는 것입니다. 어, 우리는 대부분을 서비스화된 메모리에 저장하고 에이전트에게 ID를 제공하고, 나중에 더 많은 맥락이 필요할 때 가져올 수 있습니다. 따라서 이것은 정말로 중요합니다. Alex는 우리의 플랫폼에서 데이터를 계속 가져옵니다. 우리는 이것을 모두 LM에 표시할 수 없지만, 우리는 또한 에이전트에게 충분한 맥락을 제공할 수 있어야 하므로, 다음에 무엇을 해야 할지 알 수 있습니다. 어, 따라서 이것이 우리가 구조가 아닌 압축 값과 같은 생각을 생각해낸 곳입니다. 먼저, 우리가 한 것은 자르려고 시도하고 데이터의 처음 작은 비트만 미리보기를 제공하려고 시도하는 것입니다. 따라서 앞의 어, n개의 토큰 정도의 데이터만 가져갑니다. 그러나 문제는 Alex가 실제로 데이터의 구조가 무엇인지 이해하지 못한다는 것입니다.

따라서 이것은 쿼리하기가 정말 어렵게 만듭니다. 왜냐하면 일반적으로 Alex는 미리보기가 필요하고, 그러면 어떤 데이터를 추가로 찾을지 결정해야 하기 때문입니다. 어, 따라서 우리가 한 것은 구조가 아닌 값을 압축하는 것입니다. 따라서 우리는 모든 필드, 모든 배열을 유지합니다. Alex는 이 모든 것을 액세스할 수 있지만, 그러면 그 안의 큰 문자열을 자르고, 필요에 따라 더 많은 데이터를 가져오기 위해 큰 JSON 어, 추상화를 사용할 수 있습니다. 우리는 또한 Alex에게 작은 조합 가능한 도구 묶음을 주었으며, 이것은 정말로 중요합니다. 따라서 Alex는 두 개의 도구에 액세스할 수 있습니다. 어, jq, 이것은 명령줄에서 사용하는 것과 같은 도구이고, GP JSON, 이것은 직렬화된 데이터에 대한 정규식 검색을 수행할 수 있습니다. 어, 이것의 중요성은 이것들이 정말로 정말로 작은 도구이지만 매우 강력하다는 것입니다. Alex는 함께 사용할 수 있습니다. 이들은 조합 가능합니다.

음, 그리고 한 출력을 또 다른 입력으로 사용하는 방식이죠. 음, 그래서 그것은 단지 Alex가 데이터를 슬라이싱하고, 집계하고, 이런 정말 정말 강력한 기능들을 정말 정말 작은 도구들로 수행하도록 하는 것입니다. 그래서 초복잡한 것은 없습니다. 저는 항상 이를 UX 프로그래머의 관점에서 생각하는 것을 좋아합니다. 당신은 당신의 도구를 상상할 수 있고, 그리고 당신의 에이전트는 음, 당신의 셸 스크립트 같은 거죠. 그래서 정말로 제 말을 들어보세요, 당신의 에이전트가 사용할 수 있는 작은 도구들을 생각해 보세요, 이것이 그것을 가장 성공적으로 만드는 이유입니다. 그래서 이것은 음, 컨텍스트 관리의 경험 중 일부입니다. 음, 각 도구 출력에 대해 엄격한 토큰 예산을 제공합니다. 우리는 우리의 모든 도구에서 약 10,000 음 제한처럼 하고 있습니다, 그래서 우리는 이 예측 가능한 콘텐츠를 가지고 있습니다 음 우리는 그것이 일어날 것임을 알고 있습니다. 그래서 우리는 오버플로우가 없을 것임을 알고 있습니다.

여러 라운드만 있을 것입니다. 음 구조가 아닌 압축된 값. 음 종이에서 인위적인 제약을 사용하지 마세요. 음 피드백 루프에 좋은 예외를 제공하고, 그리고 도구 응답은 고객 데이터를 포함할 수 있습니다. 그래서 당신은 당신의 로그를 봐야 합니다. 이것이 또 다른 중요한 점입니다. 좋아요, 좋은 행동을 결정화합니다. 그래서 우리가 처음으로 Alex를 구축하기 시작했을 때, 음 저는 전자 스프레드시트에 많은 시간을 보냈습니다, Google 문서 같은 테스트를 시도했습니다. 음 하지만 우리는 빠르게 스모크 테스트가 확장되지 않을 것임을 깨달았습니다. 음 우리가 변경할 때마다, 이것이 뭔가를 깨뜨릴지 알기가 정말 어렵습니다. 음 그래서 우리는 더 나은 솔루션이 필요하다는 것을 알았습니다. 우리가 정말로 발견한 것은 생산 추적을 당신의 기본 사실로 사용하는 것이 극도로 강력하다는 것입니다.

그래서 먼저 우리는 수동으로 정답을 작성하려고 시도했지만, 우리의 생산 추적에서 우리가 활용할 수 있는 좋은 예제가 있었습니다. 그래서 당신의 데이터를 살펴보고 실제로 그것을 당신의 테스트 케이스로 사용하는 것은 우리가 Alex와 함께 배운 가장 강력한 경험 중 하나입니다. Alex와 관련하여, 우리는 여러 가지 다양한 유형의 테스트를 수행했습니다. 음 그래서 우리는 의사결정 지점 테스트를 가지고 있습니다, 우리는 한 구성 요소를 살펴보고 있습니다. 음 우리는 우리의 오케스트레이터 같은 방식으로 진행할 것입니다, 그리고 우리는 음 테스트 결과가 무엇인지, 그리고 우리는 정말 개방적인 방식으로 이것을 확인합니다 정확한 일치는 우리의 출력에서 작동하지 않을 것입니다. 그래서 어떤 것을 포함하는 찾기 같은 것, 2,000 밀리초 2초 2초 같은 타임스탬프를 생성하는 것처럼 많은 다른 방식이 있습니다.

그래서, 우리는 의사결정이 올바른지 확인하기 위해 할 수 있는 이 개방형 점검을 가지고 있습니다. 저는 이것이 정말 강력하다고 생각합니다, 특히 언어 모델을 사용할 때 출력이 비결정적인 경우. 다른 하나는 궤적 테스트입니다. 그래서, 우리가 하는 것은 우리가 이전에 언급한 모든 생산 선택사항을 어느 정도 저장하고, 우리는 줄 단위로 진행하고, 우리는 출력을 평가하기 위해 평가자로 LM을 사용합니다. 음, 평가 프롬프트가 여기서 정말 중요합니다. 내가 이전에 말했듯이, 이 출력들은 결정적이지 않습니다. 그래서 당신은 당신의 평가 템플릿이 이를 처리할 수 있도록 하고 싶습니다 음 그리고 각 개별 단계에 대해 성공을 정의합니다. 음 이것의 3단계는 CI와 프롬프트 검증입니다. 그래서 우리가 하는 모든 것이 실제로 Arise에 존재합니다. 음 우리는 이것을 임시 테스트로 실행합니다.

우리는 이것을 우리의 CI의 일부로 실행하고, 그리고 우리는 이런 멋진 시각화를 가지고 있습니다. 그래서 저는 실제로 들어와서 사물이 시간이 지남에 따라 어떻게 작동하는지 확인할 수 있습니다. 음 우리의 평가 성능이 통합되어 있는지 여부를 확인합니다. 음, 저는 Arise로 도구를 구축하는 것이 정말 멋진 점이 우리가 우리 자신의 제품을 사용하고 있다는 것입니다. 음, 내 팀이 하는 모든 것이 우리의 사용자에게도 도움이 될 수 있다는 것을 알고 있고, 이것은 항상 음, 극도로 강력했습니다. 그래서 이것은 좋은 행동 결정화로부터의 일부 경험입니다, 좋은 사용자 세션을 캡처하고, 음, 단어 선택이 아닌 사실을 일치시키고, Elm을 의미론적 평가의 평가자로, 진정한 API, 모의가 아닌, 음, 통합 오류는 실제입니다. 음, 그리고 여기 내 마지막 교훈은 실제 에이전트 디버깅입니다.

저는 이것이 많은 질문을 받는 것이라고 생각합니다, Alex가 문제가 생겼을 때 당신의 일상적인 워크플로우는 무엇입니까 같은 것들. 그래서 우리는 정말로 이 소프트웨어 엔지니어링의 진화를 보고 있습니다, 누가 원격 측정 데이터를 소비하고 있는지. 우리가 처음 시작했을 때, 우리는 정말로 루프 안에 사람이 있었습니다. 저는 데이터를 직접 보고 있었습니다, 그리고 나서 IDE로 가고 나, 나와 내 엔지니어는 우리의 IDE로 가서, 변경을 하고, 그리고 나서 그것을 관찰합니다. 우리는 이 소프트웨어 2.0을 보기 시작했습니다, 우리는 우리의 에이전트 IDE를 가지고 있습니다, 이제 인간은 여전히 관여하지만, 우리는 반복하기 위해 에이전트를 사용합니다. 이제 우리는 정말로 이 단계 3에 들어갔습니다, 우리는 실제로 우리의 코딩 에이전트를 직접 사용할 수 있습니다 음 우리의 호텔 데이터를 읽을 수 있도록 음 그리고 반복합니다. 그래서 이것은 우리가 현재 사용하고 있는 일종의 스택입니다, 우리는 여전히 Arise를 사용하고 있습니다.

우리의 모든 추적이 우리의 평가 우리의 피드백으로 들어갑니다. 하지만 우리는 Arise 기술이라고 부르는 것을 가지고 있습니다, 이는 우리의 커서 우리의 음 클라우드 코드가 Arise와 직접 상호 작용할 수 있게 하고 우리의 피드백 루프를 정말 정말 빠르게 만듭니다. 음 에이전트 빌더로서, 우리는 피드백 루프가 정말 정말 중요하다는 것을 배웠습니다. 저는 문제에서 수정까지 얼마나 빨리 갈 수 있는지를 시도하고 있습니다. 음 그리고 Arise 기술이 정말로 우리를 도왔습니다. 그래서 음 이것은 우리의 ARIS 기술의 일부 예제입니다. 이것들은 실시간이고, 당신이 원하면 음 스스로 시도해 보거나 부스에서 우리와 이야기하세요. 음 하지만 저는 기본적으로 우리의 많은 음 Arise 추적 및 평가 기술을 사용했습니다. 그것은 단지 내 에이전트가 신호를 얻을 수 있게 만듭니다. 음 Arise에서 추적을 가져오고, 외부 리소스나 코드도 보고, 수정을 제시하고, 그리고 나와 내 엔지니어는 그것을 검토하기만 하면 됩니다.

그래서 이것이 Arise가 주도하는 AI 엔지니어링 루프이며, 우리도 사용하고 있습니다. 음, 우리는 기본적으로 항상 첫 번째 실험자입니다. Alex에서 작동하면 다른 사람들도 작동할 것임을 알 수 있습니다. 그래서 우리는 우리의 기술을 활용하고 Alex를 개선하는 다양한 에이전트가 많이 있는 것을 볼 수 있습니다. 그래서 이것은 우리 디버깅 프로세스의 실제 적용입니다. 그래서 추적을 읽고, 완전한 세션을 가져오고, 그리고 실패한 노드를 식별합니다. 어, 우리는 DataDog와 같은 외부 소스에서도 데이터를 읽을 수 있습니다. Alex는 이미 우리의 UI에 진정으로 통합되었습니다. 또는 APM 추적도 점점 더 중요해지고 있습니다. 음, 그리고 G-Cloud 로그 같은 것도 있습니다. 음, 그래서 우리는 메모리 오버플로우 같은 예제를 발견했습니다. 음, 그래서 우리는 문제에서 정확한 근본 원인에 빠르게 도달할 수 있었고 빠르게 수정했고, 그래서 우리는 그것을 수정할 수 있었습니다.

그래서 이것은 디버깅의 일부 교훈입니다. 음, 기술은 단지 마크다운입니다. 그것들은 낮은 비용, 높은 가치입니다. 당신의 기술, 당신의 공장에 투자하세요. 음, 보안은 프롬프트가 아니라 래퍼여야 합니다. 어, 에이전트 디버깅은 에이전트 형태의 문제입니다, 그리고 나서 당신이 필요로 하기 전에 관찰 가능성을 가지세요. 음, 관찰 가능성이 없으면 정말로 평가를 수행할 수 없습니다. 관찰 가능성이 없으면 정말로 에이전트를 수정하고 성공시킬 수 없습니다. 그래서 어, 이것은 우리가 확실히 직접 배운 것입니다. 그래서 이것은 우리가 오늘 배우고 토론한 일부 주요 교훈입니다. 음, 저는 빠르게 많은 자료를 다루었다는 것을 알고 있습니다. 그래서 질문이 있으시면, 어, 우리는 Pullman의 우리 부스에서, 더 자세히 무엇이든 논의할 수 있습니다. 음, 하지만 오전 시간을 저와 함께 보내주셔서 정말 감사합니다. Salian, 정말 감사합니다.

어, 다음으로, 우리는 Rezaro의 Tim을 위해 준비할 준비가 되어 있습니다, 그는 당신들과 평가 확장에 대해 이야기할 것입니다. 좋아요, 여러분 아침입니다. 어, 오늘 시간을 내주셔서 감사합니다. 어, 특히 어젯밤 음주 파티에서 오셨다면. 그래서 오늘 저는 평가 확장에 대해 이야기할 것입니다, 아마도 동기를 부여하기 위해, 저는 당신들과 Rsaro가 하는 일에 대해 일부 것을 공유하고 싶습니다. 그래서 Raro는 테스트 및 평가 회사입니다.

우리는 주로 의료, 방위, 안보와 같은 미션 크리티컬 사용 사례와 영역에 종사하는 회사와 협력합니다, 우리는 그들이 개발하거나 조달하고 있는 AI 시스템을 테스트하고 평가하도록 도와줍니다, 그래서 그들이 배포하고 있는 것이 생산 환경에 들어가기에 충분히 좋다는 신뢰가 있습니다. 오늘 저는 우리가 과거 몇 년 동안 이 여정에서 얻은 경험, 우리가 보는 주요 문제, 우리가 이런 문제를 극복한 방법, 그리고 사용 사례별 테스트 평가 확장을 방해하는 남은 장애 요소 중 일부를 공유할 것입니다. 좋아요, 이 슬라이드부터 시작하겠습니다, 코브라, 스프린트 속도 추적, 그리고 AI 벤치마킹이 무엇을 공통으로 가지고 있습니다. 이 모든 것들이 역 인센티브의 예를 보여줍니다, 맞죠?

그래서 코브라 예제의 경우, 이것은 사람들이 코브라를 포획하도록 장려하면, 사람들이 실제로 그것을 사육한다는 경우입니다. 이것은 실제로 더 많은 코브라가 야생에서 나타나는 것으로 이어집니다. 음, 스프린트 속도 추적과 동일합니다. 만약 당신이 친숙하다면, 당신이 소프트웨어 엔지니어라면, 당신의 매니저가 당신이 전달할 수 있는 스토리 포인트의 수를 증가시키도록 요구한다면, 당신은 이 결과를 볼 것입니다, 하지만 결국, 그것은 의미 있는 성과로 변환되지 않습니다. 최소한 내 견해에서. 음, 그리고 당신은 아마도 일부 AI 벤치마크를 봤을 것입니다, 당신은 최신 오픈 소스 모델을 테스트합니다. 그것들은 일반적으로 ...그것들은 가끔 당신의 실제 사용자 테스트와 다를 수 있습니다, 벤치마크에서 보여지는 것처럼이 아니라, 당신은 그들이 그렇게 좋은 결과를 얻는 방법을 궁금해합니다.

그래서 이것은 우리가 벤치마크 최대화 같은 개념으로 말하는 것으로 이어집니다. 제 생각에는 지금 점점 인기가 많아지고 있습니다, 사람들이 실제로 벤치마크를 조작하여 특정 작업에서 좋다는 것을 보여줍니다, 하지만 그것은 현실 세계의 성능으로 진정으로 변환되지 않습니다. 한편, 우리는 스모크 코딩을 가지고 있습니다, 맞죠? 또는 제가 그것을 스모크 테스트라고 부를 것입니다. 그래서 스모크 테스트는 프로세스입니다, 아마도 당신은 한 쌍의 음 예제 프롬프트를 가지고 있습니다, 일부 까다로운 질문입니다. 딸기에 R이 몇 개입니까? 또는 아마도 자전거를 탄 펠리칸의 이미지를 생성할 수 있습니까? 그래서, 우리가 이 예제들에 대해 본 것은 실제로 그것이 그렇게 나쁘지 않다는 것입니다, 왜냐하면 그것들이 상당히 유용하기 때문입니다.

그것들은 당신에게 특정 시나리오 또는 당신이 관심 있는 방면에서 모델이 어떻게 수행되는지에 대한 느낌을 줍니다, 하지만 그리고 그것들은 또한 탐색 과정의 탐색적 탐색을 장려합니다, 맞죠, 당신은 다양한 프롬프트를 시도할 수 있습니다, 실제로 당신의 사용 사례에 충분히 좋은 무언가를 찾습니다, 하지만 제 생각에는 말이지만, 음, 당신은 실제로 자전거를 탄 펠리칸 테스트와 아마도 툭툭을 탄 도지 같은 것을 어떻게 판단합니까? 우리는 단지 새가 자동차를 탄 것에 대해 이야기하고 있습니까, 아니면 우리가 아마도 우리가 테스트하고 있는 어떤 다른 유형의 더 높은 수준의 개념을 이야기하고 있습니까?

그래서 저는 여기서 명확히 하는 데 도움이 되는 것은 음, 우리가 우리의 머리 속에 테스트 케이스를 가지고 있더라도, 우리가 테스트하고 평가하는 구체적인 관심 차원은 무엇인가, 이것이 벤치마킹 테스트와 스모크 테스트 사이에 있는 중간 지점입니다. 그래서 질문은 그러면 우리가 스모크 테스트 방법을 어떻게 구축합니까, 그래서 우리가 관심 있는 시나리오를 식별할 수 있도록, 그리고 그리고 음, 더 구체적인 사용 사례 평가를 위해 그것을 구축하고 확장합니다. 그래서 이것은 그리고 우리를 운영 설계 영역의 개념으로 인도합니다, 우리는 그것을 정의합니다 음, 우리가 테스트하고 있는 문제 제약 공간의 유형, 이것은 우리가 평가하고 있는 의미 있는 테스트 케이스 모음을 관리하는 데 도움이 됩니다.

어, 그곳에서 우리는 시스템의 예상 행동이 무엇인지를 정의할 수 있고, 우리가 인식해야 할 나이 사례가 무엇인지, 그리고 또한 해당 시스템이 범위를 벗어날 수 있는 경우, 그리고 평가 및 검증에 대해, 맞죠, 이것은 완전히 범위를 벗어났으며 AI 시스템이 사용하고 소비해서는 안 됩니다, 그래서 거기에서 우리는 내부 파이프라인과 워크플로우를 도출할 수 있고, 우리는 실제로 확률을 다양한 관심 테스트 사례로 변환합니다, 어, 데이터 품질 검사와 연관되어 우리의 요구사항을 충족하지 않을 수 있는 데이터를 필터링하고, 또한 어, 어, 그곳에 갭이 있으면 데이터 품질을 강화합니다. 맞죠?

따라서 우리는 커버리지 갭을 찾는 데 많은 강조를 두었고, 그래서 우리가 그것을 메울 수 있고, 종종 우리가 더 미션 크리티컬한 사용 사례로 들어갈 때, 우리는 충분한 테스트 사례가 없을 수 있음을 발견하고, 특히 관심 있는 나이 사례의 경우, 이것이 합성 데이터셋 또는 합성 데이터 생성 방법이 실제로 테스트 평가 과정의 갭을 메우는 데 도움이 되는 곳입니다.

따라서 우리는 강화된 테스트 세트 방식으로 합성 데이터를 생성하는 방법에 대해 많은 강조를 두었고, 나는 이런 방식으로 문제를 프레임했으면 우리는 그것이 실제로 더 많은 데이터가 병목이라는 것을 보게 될 것이라고 생각합니다, 맞죠, 우리는 문제를 평가에서 우리가 배포 신뢰도를 제공하는 올바른 테스트 사례를 어떻게 생성하는가로 전환할 수 있고, 사용할 때의 도전, 특히 더 틈새 및 특정 사용 사례의 테스트 종류로 들어갈 때, 합성 데이터 생성 방법이 어, 지금 여전히 상대적으로 어, 완전히 예측 가능하지 않습니다, 맞죠? 그들은 반드시 당신이 당신의 생성에 원하는 품질을 주지는 않습니다. 따라서 나는 여기에 몇 가지 예를 주려고 합니다.

어, 이 예에서 우리는 어, 평가하려고 시도했습니다, 어쩌면 VRM 솔루션의 성능을 더 나은 연료 필드 시나리오 및 설정에서 평가하려고 시도했습니다. 따라서 우리는 우리는 오른쪽에 펜 항아리를 가지고 있습니다, 맞죠? 어, 여기의 문제는 우리가 이 특정 사용 사례에서 무엇을 테스트하는 것이 충분히 좋은지를 어떻게 알 수 있는가 하는 것입니다, 좋음이 어떻게 정의되는가 어, 생성된 데이터셋에 대해, 그리고 더 중요하게는 나는 우리가 우리가 이 테스트 평가를 어떻게 정량화할 수 있는가 생각합니다, 그래서 우리는 자동화된 방식으로 그것을 확대할 수 있습니다. 따라서 여기 나는 어, 세 가지 다른 강화 예제, 세 가지 좋은 강화 예제를 가지고 있습니다, 맞죠?

따라서 어쩌면 여기 하나의 좋은 강화는 약속한 것을 따르는 것입니다, 당신은 세 가지 다른 날씨 시나리오 비, 눈, 안개에 걸쳐 생성됩니다, 어, 우리가 주로 관심 있는 주제도 잘 보존됩니다, 시각적 아티팩트가 없으면. 따라서 이것은 좋은 생성처럼 보입니다. 다른 한편으로는, 나는 당신이 단지 생성 이미지에만 익숙하면, 당신은 종종 일부 생성된 이미지가 다양한 유형의 아티팩트를 가지고 있음을 봅니다. 어, 예를 들어, 오른쪽의 그것에 대해, 두 명의 추가 사람이 이미지에 추가되었습니다. 아래의 그 사람들에 대해, 그리고 당신은 어, 일부 원본 탱크와 그 중 하나가 차량으로 변환되었음을 봅니다. 그리고 범위 줄무늬는 덜 사실적으로 보일 수 있습니다.

따라서 우리는 이 분위기 검사 방법에서 어떻게 벗어날 수 있습니까, 단지 맞거나 좋아 보이거나 틀려 보이는 것에서, 더 구조화된 방식으로 이러한 결함을 찾아낼 수 있습니다. 따라서 우리에게는 우리가 데이터 품질 검사를 어떻게 확대할 수 있는가에 관한 것입니다, 그래서 우리는 더 확장 가능한 방식으로 자동적으로 이러한 결함과 문제를 식별할 수 있습니다. 그리고 나는 우리가 작은 결정론적 모델에 최대한 의존한다고 생각합니다, 이러한 통찰력을 제공하기 위해. 맞죠? 예를 들어, 우리가 두 개의 생성된 합성 이미지에 대해 이야기하면, 우리는 어, 주요 관심 대상의 어, 지도 구조에서 의미 있는 변화가 있는지 여부를 비교하고 싶을 수 있습니다.

어, 우리는 또한 그러면 새로운 관심 대상의 어, 새로운 주제가 원본 이미지에서 생성된 이미지로 생성되었는지 여부를 비교할 수 있습니다, 이 모든 것이 매우 작은 결정론적 모델을 사용하여, 데이터 품질에 관한 매우 좋은 신호를 제공합니다, 이 파이프라인의 일부로서, 우리는 그러면 실제로 우리의 어, 품질 표준을 충족하는 데이터셋을 필터링할 수 있고, 테스트 평가 과정으로 그것을 사용합니다. 우리는 그러면 또한 실제로 이 과정을 확대할 수 있고, 어쩌면 이 어, 강화된 피드백을 사용하여, 어, 실제로 평가 모델을 미세 조정하기 위해, 그래서 우리는 자동화된 필터링 평가 과정 또는 그 이후의 생성 모델을 자동화할 수 있습니다.

따라서 하루의 끝에서, 나는 우리가 궁극적으로 얻는 것이 다양한 지표의 조립된 전체 파이프라인이라고 생각합니다, 사용 사례 특정 관심 영역을 충족하는, 이것은 우리에게 데이터셋의 생성을 확대하는 방법에 관한 매우 재사용 가능한 도구 상자를 제공합니다, 그리고 자동화된 품질 어, 검사 및 필터링. 따라서 우리는 이것이 예를 들어 코딩 공간 또는 수학 추론 공간의 문제와 매우 유사하다고 봅니다. 당신은 최대한 많이 검증 및 검증 과정을 자동화하고 싶습니다. 어, 이것은 어, 인간 감독 및 평가에 필요한 오버헤드를 줄이는 데 도움이 될 것입니다, 그리고 인간 피드백이 들어오면, 이것은 우리의 자동화 모델을 개선하는 데 도움이 될 것이므로, 이 과정은 그러면 확장 가능해질 수 있습니다.

기본 지표는 그러면 우리의 어, 생성된 데이터셋의 교정을 위해 사용될 수 있습니다, 우리가 발견했기 때문에 각 사용 사례에 대해 어, 특정 시나리오가 실제로 각 지표의 임계값에 대해 매우 매우 큰 어, 분포를 가질 수 있습니다. 따라서 교정 부분은 여기에서 매우 중요한 통계적 고려입니다. 좋습니다. 따라서 요약하기만 하면, 어, 우리는 어, 사용 사례 특정 시나리오 및 데이터셋의 평가 확대에 대해 이야기했고, 나는 여기의 주요 도전이 실제로 정말로 우리가 합성 데이터 생성 루틴을 어떻게 확대하는가와 배포 신뢰도를 주기 위해 필요한 품질 검사를 추가하는 것에 관한 것이라고 생각합니다.

어, 이것으로, 만약 당신이 나와 연락하고 싶으면, LinkedIn에서 나와 연락하라고 초대합니다, 평가를 논의하기 위해, 기꺼이 테스트 사례, 우리가 수행한 평가 작업에 대해 더 논의할 것입니다, 나는 또한 행사의 나머지 시간 동안 참여할 것입니다, 감사합니다, 당신이 좋은 하루를 보내기를 바랍니다, 안녕히 가세요 >> 정말 감사합니다, Tim, 어, 그것은 좋은 강의였습니다, 다음에 우리는 Cloudflare에서 Abishek을 가지고 있습니다, 그는 인도의 ETI 팀을 리드합니다, 어, 그는 우리와 도구 호출이 실제로 어떻게 되어야 하는지를 논의할 것입니다. 안녕하세요 여러분, 좋은 아침입니다. 어, 저는 Abishek입니다. 어, 저는 Cloudflare에서 새로운 기술 및 부화 팀을 리드하고 있고, 인도 사무소를 리드합니다. 따라서 우리는 Cloudflare 내부의 작은 팀이고, 그것은 어, 새로운 제품, 이니셔티브, 그리고 주어진 시점에 많은 멋진 것들에 종사하고 있습니다, 맞죠? 어, 나는 오늘 도구 호출에 대해 논의하려고 합니다.

나는 여기 모든 사람이 이 시점에서 어떤 종류의 도구 상호작용을 경험했다고 생각합니다. 어, MCP와 상호작용했고 도구 호출이 무엇인지 알 수 있는 사람이 있습니까? 최고네요. 따라서 모든 사람이 우리가 무엇을 논의하고 있는지 압니다. 좋습니다. 표준 도구 호출, 맞죠? 어, 당신이 이것을 하는 이유는 모델에 어, 추론을 넘어선 능력을 주기 위해, 어디서 좋아요 나는 내 모델이 외부 어, 외부 API 도구 기능과 협력하게 하려면 어떻게 해야 합니까, 맞죠, 어, 매우 표준적인 예를 들어보겠습니다 어, 나는 API 조회 오류를 모니터링하고, 그리고 어, 당신이 알고 있는 특정 조건에 기반한 무언가를 할 것입니다, 맞죠, 어, 프로세스는 매우 간단합니다, 모델이 당신에게 보냅니다, 이봐 나는 이 도구를 호출해야 합니다, MCV 서버로 가세요, 도구가 호출됩니다, 당신은 결과를 얻습니다, 그것을 모델에 전달합니다. 간단해 보이죠, 맞죠?

문제는 일단 당신이 더 복잡한 것들을 하기 시작하면, 이것은 매우 비용이 많이 듭니다. 따라서 실제 프로덕션 시나리오의 예를 들어보겠습니다, 당신이 모델을 가질 수 있는 곳, 또는 본질적으로 에이전트, 그것이 장시간 실행 작업을 하고 있습니다, 그것은 계속해서 새로운 버전 발생이 있는지 모니터링합니다, 맞죠?

어, 특정 오류 백분율을 모니터링하고 싶고, 당신이 알고 있는 로그, 그 다음에 그것에 기반한 롤백을 시도하거나 확보하려고 합니다, 이봐, 우리는 좋습니다, 당신이 알고 있는 추가 릴리스를 진행하기 위해, 맞죠, 표준 릴리스 프로세스, 나는 모든 사람이 이것이 어떻게 작동하는지 압니다, 이 설정으로, 무슨 일이 일어나는가 하면 당신은 결국 도구 호출의 무리를 가지게 됩니다, 이러한 호출은 연속적으로 하나 다음 하나씩 발생합니다, 맞죠, 이 특정 시나리오에서, 나는 내 모델을 가질 것입니다, 내 모든 로그를 나열하러 가세요, 당신이 알고 있는 다음 내 모든 메트릭을 얻으세요, 조건 검사를 수행하세요, 어, 어떤 종류의, 당신이 알고 있는, 조건에 따라, 다음 단계를 결정합니다. 우리가 마주친 문제는 당신이 하는 모든 도구 호출이 현재 대화의 전체 컨텍스트, 도구 호출과 응답을 보낼 것입니다, 맞죠?

따라서 모든 라운드는 실제로 당신이 보내는 더 많은 컨텍스트가 됩니다. 따라서 첫 번째, 그것은 금전을 유혈하고 있습니다. 두 번째, 당신은 많은 왕복 횟수를 추가하려고 합니다, 맞죠? 맞죠? 따라서 당신은 많은 지연을 추가하려고 합니다. 본질적으로 이것을 하기 위한 더 좋은 방법이 있어야 합니다. 그리고 나는 우리가 여기에서 논의할 것이라고 생각합니다, 기본적으로 코드 패턴입니다. 어, 코드 패턴은 우리의 논문이고, 그리고 내 뜻은 그것은 지금 단지 Cloudflare이 아닙니다, 맞죠? 나는 이것이 지금 매우 인기가 있다고 생각합니다. 하지만 우리가 코드 패턴을 생각해낸 때, 이 아이디어는 모델이 태생적으로 코드 작성을 더 잘한다는 것입니다, 맞죠? 어, 만약 당신이 우리가 방금 논의한 같은 예를 코드 조각에서 빠르게 보면, 그것은 이렇게 보입니다, 이봐, 나는 모든 오류 메트릭을 얻기를 원합니다, 나는 그것을 기반으로 이러한 작업을 병렬화할 수 있습니다, 나는 일부 조건 검사를 하고 싶고 다음 단계를 수행하고 싶습니다.

어, 그리고 모델이 이것을 할 때 더 나은 이유는 그들이 이미 많은 코드에 대해 교육을 받았다는 것입니다, 맞죠? 도구 호출에 반대로, 모델은 대부분의 시간에 교육을 받은 도구 호출이 모두 합성 데이터, 거의 없는 데이터입니다, 맞죠? 따라서 자연스러운 본능에서, 당신은 모델이 실제로 코드 작성을 더 잘할 것이라고 느껴질 것입니다. 그것이 우리가 보는 것입니다, 맞죠? 오늘 우리가 같은 도구를 보면 우리가 방금 설명한 호출 맞죠? 표준 도구 호출에는 도구 이름, 설명, 매개변수, 당신이 알고 있는, 예상 출력, 그것이 기본적으로 당신이 모델에 주는 것입니다. 우리가 한 것은 우리는 코드 패턴이라는 라이브러리를 가지고 있다는 것입니다, 이것은 본질적으로 그것을 TypeScript 타입으로 변환합니다. 어, 그래서 이제 모델은 같은 타입 설정을 가지고 있지만 코드로 어, 그것은 이봐, 나는 실행할 수 있는 함수를 가지고 있습니다, 이것을 할 수 있습니다를 주목합니다.

따라서 이 같은 매핑에서, 맞죠, 보면 함수 선언이 있는데, 이것은 본질적으로 도구 이름입니다. 음, 여기서 설명은 기본적으로 도구 설명이고, 그다음에 그것을 통해 전달되는 매개변수가 있습니다, 맞죠, 예상 입력 같은 것들과 출력이 무엇인지. 음, 지금 이것이 하는 것은 본질적으로 모델에 같은 능력을 주는 것이지만, 이 경우에는, 모델에 도구의 순서를 주는 것 대신에 모델이 단일 코드 조각을 작성합니다, 기본적으로 우리가 이렇게 하려는 것은 당신의 현재 스택에 이미 있는 모든 것과 함께 작동하는 것입니다. 맞죠? 그래서 실제로 전체 도구를 교환할 필요가 없습니다. 모델에 도구 배열을 전달하는 것이 아니라, 기본적으로 「코드 모드」라는 단일 도구를 전달합니다.

그래서 당신은 당신이 소유한 전체 기존 도구 모음을 래핑할 수 있고, 모델에 「코드 모드」라는 도구를 전달할 수 있습니다. 「코드 모드」란 무엇인가요? TypeScript 타입 파일인 TypeScript 라이브러리 또는 문자열로 제공되는 어떤 것인데, 모델로 전송됩니다. 모델은 「헤이, 어떤 도구가 존재하는지 알고 있고, 그것을 기반으로 코드를 작성할 수 있다」라고 합니다. 음, 이 경우 「이그제큐터」라고 불리는 것도 볼 수 있습니다. 우리는 나중에 그것에 대해 이야기할 것입니다. 다시 코드를 쓰는 기본 원리로 돌아가죠, 맞죠? 우리가 방금 논의한 것처럼, 간단한 시나리오는 원래 5~8 라운드가 필요했을 수 있지만, 1 라운드가 될 수 있습니다. 또한 이미지에 대한 추론도 제공합니다. 코드를 작성할 때마다, 로직을 그 안에 포함시킬 수 있죠?

변수를 만들 수 있는 능력이 있습니다. 즉, 이전 응답을 기반으로 하는 상호 종속적인 도구 호출이 있을 수 있고, 그다음에 무엇을 할지 파악할 수 있습니다. 분기 처리를 할 수 있습니다.

제가 방금 설명한 것이 바로 그것입니다. 예를 들어, 오류의 백분율이 특정 수준을 초과하면, 예를 들어 상황 1을 실행할 수도 있고, 그렇지 않으면 상황 2를 실행할 수도 있습니다. 맞죠? 마찬가지로 루프를 할 수 있습니다. 어, 매우 표준적인 예는 내 Cloudflare 계정을 반복하고, 모든 workers를 나열하고, 내게 모든 메트릭을 제공하는 것입니다. 이제 「코드 모드」가 없는 경우, 이것이 일어나는 방식은 workers를 나열하고, worker 1을 가져오고, 메트릭을 가져오고, worker 2를 가져오고, 메트릭을 가져오고, 맞죠, 이것은 도구 호출이 계속됩니다. 어, 이것은 컨텍스트를 추가합니다. 우리가 논의한 대로요. 「코드 모드」를 사용하면, 단일 for 루프가 되어 반복적으로 반복할 수 있습니다. 맞죠, 서로 기다릴 필요가 없는 동기화 작업을 병렬화하는 것 같은 것도 할 수 있습니다. 어, 그래서 네, 이것이 MCP를 대체하지 않는다는 것을 매우 명확하게 말하고 싶습니다. 이것은 개념적으로 새롭다고 생각하므로, 여기서 매우 명확하게 말해야 합니다. MCP는 기본 프로토콜이고, 본질적으로 최종 마지막 마일 API 호출을 하기 위해 여전히 필요합니다, 맞죠, 당신의 서버는 여전히 이것을 수행하고, 「코드 모드」가 하는 것은 모델에 도구 호출과 상호 작용할 수 있는 더 나은 방법을 제공하는 것입니다.

어, 해당 도구 호출의 실제 구현은 여전히 MCP 계층에서 발생합니다, 맞죠. 다른 예를 들려고 합니다. 이 예는 우리가 실제로 직면한 상황과 같습니다, 맞죠. 어, Cloudflare은 대부분의 사람들처럼, 좋습니다. 당신들 중 실제로 Cloudflare을 알고 있는 사람이 몇 명입니까? 훌륭해요, 감사합니다. 어, 저는 걱정했습니다. Cloudflare은 2,500개 이상의 API를 소유하고 있습니다, 맞죠. 우리가 보유한 다양한 제품과 여러 분야와 수직을 고려할 때요. 오늘 이것들을 도구로 내장하려고 한다면, 맞죠, 표준 MCP 도구로서, 1을 초과할 것입니다.

700만 개의 토큰 컨텍스트, 대부분의 모델의 경우, 우리는 도구 설명만으로 컨텍스트 윈도우를 오버플로우할 것이므로, 이것은 전혀 실행 불가능합니다. 이것도 같은 문제와 관련이 있습니다, 맞죠. 오늘 이것을 TypeScript 타입으로 변환하더라도, 여전히 같은 문제에 직면할 것입니다, 맞죠. 그래서 「코드 모드」에 대한 기본 아이디어는 「헤이, 맹목적으로 도구를 타입으로 복사하고 그것을 하세요」라는 뜻이 아닙니다, 맞죠. 대부분의 경우, 실제로 더 잘 작동할 것입니다. 하지만 이런 것들에 대해서는 한 걸음 물러나서 생각할 수 있습니다. 좋아요, 우리는 어떻게 더 잘할 수 있을까요? 우리가 발견한 한 가지는 두 가지 도구만 제공하는 것입니다: 검색과 실행, 맞죠. 이 두 도구에서, 모델은 여전히 코드를 작성할 수 있습니다. 이제 「검색」과 「실행」은 MCP를 수행하는 전략으로서 한동안 존재해 왔습니다.

사람들은 다양한 검색 도구를 만들었습니다. 예를 들어, 우리는 다른 도구를 가져오는 도구가 있고, 그다음에 도구를 결정하고 실행할 수 있는 도구가 있습니다. 지금 당신은 여기서 코드를 작성할 수 있습니다, 맞죠? 그래서 당신은 필터링할 수 있습니다. 이렇게 생각해 보세요. 우리는 모델에 「헤이, 우리는 전체 설명을 포함하는 전역 변수가 있습니다. 이 설명은 모델에 전달되지 않습니다. 하지만 모델에는 정확한 도구를 호출할 도구 코드를 작성할 수 있는 능력이 있고, 같은 것을 실행할 코드도 작성할 수 있습니다.」라고 합니다. 단지 이렇게 함으로써, 맞죠, 간단한 검색-실행 방식처럼, 우리는 실제로 이것을 1,000개 토큰으로 줄일 수 있었습니다. 전체 Cloudflare API 사양은 오늘날 모델이 단지 1,000개 토큰만으로 호출할 수 있습니다. 그것은 99.9% 감소입니다. 그것은 극히 높습니다. 저는 이 수준의 압축을 본 적이 없습니다, 어떤 종류의 것이든.」

그래서 이것은 일종의 일을 하는 더욱 최적화된 방식입니다. 어, 네, 정확하게 우리가 방금 이야기한 예입니다.

이제 모델이 있고 그것은 「헤이, 나는 검색한 것에 대해 도구 호출을 할 것이고, 그것에 코드를 작성하고, 정확한 스크립트를 올려놓을 것입니다. 당신이 알고 있는, 이것이 실행될 것입니다. 우리가 논의한 모든 이 논의, 우리가 계속 논의해 온 모델 작성 코드, 그다음에 당신은 알고 있습니다. 그것이 실행될 것입니다. 하지만 이제 우리가 직면한 핵심 질문은 그것이 어디에서 실행되는가입니다, 맞죠, 어. 한 걸음 물러나서, 몇 년 전으로 돌아가죠, 맞죠, AI 이전 시대 같은. 제가 당신을 찾아가서 여기 무작위로 생성된 사용자 코드가 있고, 당신의 설정에서 실행해 달라고 말했다면, 당신들 모두 이것을 하고 싶지 않을 것입니다, 맞죠, 그것은 정확하게 당신이 알고 있는 대규모의, 모르는 것이죠? 그것은 보안 위험입니다. 그래서 대부분의 사람들은 이것을 하고 싶지 않을 것입니다. 하지만 오늘 저는 여기 서서 당신에게 정확히 반대의 일을 하도록 말하고 있습니다. 모델에 절대적으로 신뢰할 수 없는 출처를 제공하고, 당신은 알고 있습니다. 그들에게 코드를 작성하도록 하고, 그것은 무엇이든 될 수 있고, 당신은 절대 접근할 수 없고, 그다음에 그것을 실행합니다. 그래서 우리는 어디에서 실행할까요? 그것이 우리가 다루는 작은 컴퓨터 부분입니다, 맞죠?

본질적으로 매우 효율적이고 안전한 샌드박스 환경이 필요합니다, 맞죠? 이것을 하는 방법은 몇 가지입니다. 제 말은, 당신은 컨테이너를 사용할 수 있습니다. 컨테이너는 오랫동안 존재해 왔습니다, 맞죠? 컨테이너의 문제는 일반적으로 많은 콜드 스타트 시간이 있다는 것입니다, 맞죠? 어, 당신은 그것을 잘 구성해야 합니다. 당신은 알고 있습니다, 메모리, 당신은 계산을 가지고 있고, 이 모든 것들은 잘 계획되어야 합니다. 어, 그다음에 당신은 알고 있습니다, 기본적으로 그것은 외부 계층이므로, 사물을 올바르고 안전하게 넘겨받는 데 많은 도전 과제가 있습니다. 여기의 다른 방법은 V8 isolate입니다. 어, 팬들에게 빠른 쇼입니다. 당신들 중 Cloudflare workers를 알고 있는 사람이 몇 명입니까? 훌륭해요. 그래서 workers는 우리 자신의 런타임 계층이고, V8 isolate을 기반으로 합니다. 그래서 우리는 V8 isolate을 그 때문에 채택했고 그 주위에 서버리스를 만들었습니다.

어, 당신이 읽을 수 있는 많은 좋은 상세 블로그가 있습니다. 하지만 본질적으로, 이것이 하는 것은 우리가 방금 논의한 모든 표준 문제를 제거한다는 것입니다, 맞죠? 정확하게 당신이 영점 콜드 스타트 시간을 실제로 가집니다. 그것은 절대적으로 경량입니다, 맞죠? workers가 작동하는 방식은 당신의 동적 workers입니다. 이것은 본질적으로 우리가 V8 isolate을 말할 때 말하는 것입니다. 그것은 완전히 같은 위치에서 시작될 것입니다, 완전히 같은, 당신은 알고 있습니다, 설정, 당신의 주 애플리케이션이 worker에서 실행되는 위치, 맞죠? 다시, 각 isolate을 요청으로 취급하고 버릴 수 있습니다. 맞죠? 그래서 다시, workers는 우리에게 좋은 경계를 제공합니다. 그 코드를 실행하는 범위로 제한되었는지 확인하세요. 비밀이 새는 기회가 없습니다, 당신이 알고 있는, 악의적 코드가 당신의 실제 주 설정에 들어가게 하는 것 말입니다.

그리고 당신은 worker를 초기화할 때 그것에 전달하고 싶은 범위와 능력이 무엇인지 결정할 수 있습니다. 맞죠? 어, 다시, 이것은 단지 빠른 방식입니다. 당신이 알고 있는, isolate이 더 잘 작동하는 이유, 본질적으로 우리가 런타임을 소유하고 있기 때문입니다. 그것은 실제로 다양한 정보 교환을 진행하여 안전한 방식으로 완료되도록 보장하는 것을 훨씬 더 쉽게 만듭니다. 그리고 당신은 다시 미친 듯이, 극히, 당신이 알고 있는 물건을 시작하는 대기 시간이 없습니다. 어, 네, 기본적으로 그것입니다. 정말 감사합니다. 감사합니다, Abishek. 다음으로, Tis가 있고, 그는 우리와 이야기하고, agent 하네스에 대해 깊이 있게 탐구할 것입니다. 열려 있습니까? 안녕하세요 모두. 좋은 아침입니다. 와, 당신들이 모두 자고 있었습니다. 우리가 다시 시도할 수 있을까요? 안녕하세요 모두. 훨씬 낫습니다. 좋습니다.

봐요, 봐요, 그것은, 그것은, 그것은 하나입니다, 그것은 독백이 아니라 대화입니다, 당신이 알고 있는, 정확하게 나는 여기 있고 당신과 이야기하고 있습니다, 당신을 향해 말하는 것이 아닙니다. 어, 좋은 아침입니다. 그는 내 슬라이드를 준비하고 있습니다. 어, 하지만 이것은 흥미로울 것입니다, 흥미로운 대화가 될 것입니다, 나는 생각합니다. 모든 것이 괜찮습니까? 아니요. 오, 네. 당신 기술 팀에 박수를 쳐 주세요, 여러분. 이것은 너무 멋졌습니다. 그들은, 그들은 이 사건을 가능하게 했습니다. 나는 그것을 좋아합니다. 이것은, 어, 그들 없이 우리는 완전히 길을 잃을 것입니다. 잠깐 미안합니다. 천국, 그는 내 슬라이드를 스포일하고 있습니다. 이것은, 괜찮습니다. 시작하자. 좋아. 그것은. 좋아. 안녕. 나는 노란색 손입니다. 봐, 이것은 훨씬 더 좋습니다. 안녕, 나는 Tis입니다. 모두 안녕하세요. 뵙게 되어 기쁩니다. 다시. 어, 당신들이 이미 본 것처럼, 내 이름은 Tis입니다. 어, 이것은 「전염성 있는」처럼 발음됩니다. 걱정하지 마세요, 저는 그렇지 않습니다. 어, 그렇지 않으면 그들이 나를 이 나라에 들어오도록 하지 않을 것입니다.

어, 나는, 나는, 나는, 나는 16시간 비행해서 여기 왔습니다. 어제는 루마니아에 있었습니다. 어, 그리고 나는 지금 베를린에 있습니다. 어, 그리고 수년에 걸쳐, 나는 많은 다양한 기술 회사에서 일할 수 있는 행운을 얻었고, 정말 훌륭한 팀들과 함께 일했고, 최고의 사람들로부터 배웠습니다. 실제로, 나는 정말 의견을 보여주러 온 것이 아니라, 나는 사실과 경험 교훈을 공유하러 왔습니다. 나 자신으로부터가 아니라, 어, 정말, 정말 똑똑한 사람들, 저보다 훨씬 똑똑한 사람들로부터입니다. 오늘, 나는 IBM의 AI 엔지니어입니다. 어, 우리는 거기서 많은 것들을 만듭니다, 기초 모델들, 하네스들, 그리고 우리 고객과 개발자들에게 제공하는 것들. 하지만 또한 개발자들을 위한 것들도. 어, 나는 IBM과 다른 곳의 개발자 커뮤니티를 돕습니다. 나는, 나는 사람들에게 하네스와 AI 그리고 사물 어, 여기에 대해 가르칩니다. 그리고 오늘, 이것이 우리가 여기서 이야기할 것입니다. 우리는 여기서 AI 하네스에 대해 첫 번째 원칙부터 이야기할 것입니다.

음, 빠른 손 들기입니다. 당신들 중 AI 하네스, agent 하네스가 무엇인지 설명할 수 있다고 느끼는 사람이 몇 명입니까? 좋습니다, 약 3명입니다. 음, 나쁘지 않네요. 연설이 끝날 때 다시 물어보겠습니다. 그때는 손을 드는 사람이 더 많을 것으로 예상합니다. 좋습니다, 그것이 나의 목표입니다. 그것이 또한 내가 여기 온 이유입니다. 나는 당신들에게 하네스가 무엇인지, 그들이 어떻게 작동하는지, 그리고 왜 당신들이 그것들을 필요로 하는지를 가르치러 왔습니다. 어, 이 용어는 모든 곳에서 사용되고 있습니다. 그리고 이런 종류의 용어가 한 번 시대정신의 일부가 되면, 문제가 발생합니다——그것들은 번역 중에 손실될 수 있습니다. 좋습니까? 때때로 우리는 그것들에 대해 강력하게 추론할 수 있을 만큼 충분히 확신이 없습니다. 그래서 희망적으로 이것이 그것을 바꿀 것입니다. 나는 왜 우리가 하네스가 필요한지에 대한 논의부터 시작하고 싶습니다. 어, 나는 일반적으로 좋은 리더십 원칙이라고 생각하는 것은 「왜」에서 시작하는 것입니다. 그래서 왜 우리는 하네스가 필요할까요?

사실 정답은 우리가 모든 것에 하네스를 왜 장착해야 하는지의 그 같은 이유입니다. 어, 암벽 등반을 생각해 보세요, 맞죠? 예를 들어 하네스로 자신을 산에 묶으면, 안정적으로 산을 올라갔다 내려올 수 있습니다, 즉 떨어져 죽지 않는다는 뜻이죠. 좋습니다. 어, 마찬가지로, 예를 들어 개나 반려동물이 있다면 맞죠? 보통 개에 줄을 묶고, 하네스를 씌워서 길을 잃고 뛰어나가지 않도록 하지만, 안정적으로 당신과 함께 있을 수 있도록 하죠? 그래서 에이전트, 사람, 반려동물, 또는 뭐든지 간에, 하네스의 전체 요점은 안정성입니다. 그 이유는 AI 작업을 할 때, 우리는 보통 그냥 블랙박스를 신뢰하기 때문입니다. 이것에 대해 생각해 본 적이 있습니까? 예를 들어, 당신이 로컬에서 추론을 하지 않는 한, 누가 로컬에서 추론을 합니까? 네.

한 명, 어, 아마도 여기 한두 명 더 있을 것 같습니다. 당신이 우리 대부분이라면, 당신이 하는 것은 어떤 클라우드 서비스 공급자에게 프롬프트를 보내서 「이봐요, 이걸 도와주세요」라고 말하는 것입니다. 그러면 모든 게 잘되길 바라죠, 맞죠? 어, 예를 들어 Claude 4.7 Opus에 프롬프트를 보냅니다. 어, 하지만 그들이 어떤 종류의 장애를 겪으면, 그들은 당신에게 Sonnet을 제공할 수도 있고, 당신은 알 수 없습니다. 그래서 당신이 말하기를, 좋아, 오늘의 기분이 좀 이상한 것 같습니다. Opus가 오늘 다르게 느껴집니다. 이런 느낌을 받아본 사람 있습니까? 맞죠? 그건 당신이 어떤 외부 기관을 신뢰하고 있기 때문이고, 이것이 우리가 하네스를 필요로 하는 이유입니다. 그래서 하네스가 하는 일은 당신에게 더 많은 제어력을 주고, 어, 당신의 AI 애플리케이션과 에이전트를 더욱 안정적으로 만들어줍니다. 좋습니다, 명확하시겠어요? 그래서 이것이 우리가 하네스 엔지니어링을 하는 이유입니다. 하네스가 뭐죠? 어, 이미 얘기했습니다. 이거예요.

음, 하지만 그게 에이전트라고 가정해 봅시다, 사람이 아니라. 그럼 그게 하네스가 뭔지예요. 실제로, 에이전트 하네스는 하네스 용어에 대한 비교적 새로운 진화입니다. 기계 학습 엔지니어링에서, 우리는 eval 하네스를 가지고 있습니다. 이것들은 기본적으로 모델의 강화된 단위 테스트입니다. 좋습니다. 어, 하지만 에이전트 하네스는 약간 다릅니다. 내가 당신에게 에이전트 하네스를 정의하도록 한다면, 어, 이것이 내가 듣기를 기대하는 것입니다. 에이전트 하네스가 뭐냐면: 당신의 에이전트 주변의 모든 것, 도구 체인, 그 주변의 모든 것, 당신의 에이전트가 실행되는 환경, 그것이 당신의 에이전트에게 성공과 안정성의 최고의 기회를 제공합니다. 에이전트 주변의 모든 것이죠. 그래서 우리가 야생에서 일반적인 에이전트 하네스를 생각해 본다면, 그것들은 모두 최소한 이 여섯 가지 구성 요소를 가지고 있습니다. 첫 번째, 그들은 어, 도구 레지스트리를 가지고 있습니다. 그들은 일련의 도구를 가지고 있습니다.

우리가 Cloud Code나 Codex 같은 하네스를 생각해 본다면, 그들은 도구를 가지고 있습니다. 파일 시스템에서 읽기와 쓰기. 웹 검색, 맞죠? 두 번째, 언어 모델이 있습니다. 어, 거의 모든 하네스의 어딘가에는 언어 모델이 있습니다, Cloud Code는 클라우드 모델을 가지고 있습니다. 컨텍스트를 압축하거나 컨텍스트를 지우기 위한 컨텍스트 관리 프리미티브가 있습니다. 맞죠? 만약 당신들 중에 누군가 Cloud Code를 사용해 본 사람이 있다면, 당신은 「slash compact」를 알 것입니다. 어, 가드레일이 있습니다. 어, 예를 들어, 제가 생각하기에 가장 일반적인 가드레일은 당신이 이미 할당량을 다 썼다는 것입니다. 당신이 충전할 때까지, 나는 당신과 더 이상 이야기하지 않을 것입니다, 맞죠? 그게 가드레일입니다. 어, 화면에 에이전트 루프가 있습니다, 어, 이것이 에이전트가 작업을 완료한 후 「좋아, 내가 실제로 완료했을까, 아니면 다시 해야 할까」라고 말하는 곳입니다. 마지막으로 검증 단계가 있습니다.

그래서 만약 당신이 Cloud Code 같은 에이전트 하네스를 사용하고 있다면, 나는 Cloud Code를 좋아합니다, 맞죠? 마지막에, 그것은 「좋아, 내가 작업을 완료했고, 이제 npm run verify를 실행하거나 다른 뭔가를 해서 이 루프를 완료하자」라고 말합니다. 그래서 거의 모든 에이전트 하네스, 물론 모든 코딩 하네스, 코딩 에이전트 하네스는 이 구성 요소들을 가지고 있고, 더 많다면 몰라도 적어도 이정도는 가지고 있습니다. 그래서 이것들이 이 단계의 구성 요소입니다. 나는 내 목소리 듣는 것에 지쳤으니까, 나는 당신들과 이야기하는 대신 데모를 할 것입니다. 그래서 우리가 할 것은 우리는 실제로 무대 위에서 실시간으로 하네스를 구축하려고 합니다, 우리가 남은 시간 동안. 어, 그것은 빈털터리의 하네스이지만, 그것은 그냥 당신이 하네스가 뭔지 알 수 있게 하기 위한 것이니까, 당신은 가서 당신 자신의 것을 구축할 수 있습니다. 좋습니다, 그것이 내가 여기 있는 이유입니다.

어, 우리가 할 것은 브라우저 사용 에이전트를 구축하는 것입니다, Chromium을 시작하고 그것을 사용해서 작업을 완료하는 뭔가. 어, 당신이 볼 수 있듯이, 처음에는 불안정할 것입니다. 이것이 좀 중점인데, 하지만 우리는 그것을 안전하게 만들기 위해 그 주위에 하네스를 구축할 것입니다. 나는 이걸 말할 것입니다, 하네스는 당신이 더 적은 리소스로 더 많은 일을 할 수 있게 해줍니다. 당신은 매우 나쁜 모델, 매우 오래된 GPT 3.5 mini 나 3.5 Turbo를 선택할 수 있습니다, 오래된 것처럼. 이것은 2년 전 같습니다. 미친 짓이에요. 농담입니다. 이것은 매우 오래된 모델입니다. 그것은 싸요. 기본적으로 무료예요. 그래서 당신은 불안정한 모델을 사용할 수 있고, 당신은 상당히 나쁜 프롬프트를 사용할 수 있습니다. 왜냐하면 하네스가 당신에게 안정성을 주기 때문입니다. 보통 우리가 원하는 결과를 얻지 못할 때, 우리는 「아, 그냥 더 열심히 프롬프트하세요. 그냥 시스템 프롬프트를 미세 조정하고, 언어를 바꾸고, 스킬을 추가하세요」라고 생각합니다.

하네스를 사용하면, 당신은 이런 것들을 전혀 할 필요가 없습니다. 당신은 프롬프트를 그대로 유지할 수 있습니다. 그것은 나쁜 프롬프트일 수 있습니다. 당신은 오래되고 싼 모델을 사용할 수 있습니다. 만약 당신의 하네스가 좋다면, 당신은 대략 전투의 70퍼센트를 이겼습니다. 좋습니다, 그래서 이렇게 해봅시다. 나는 하네스를 구축할 것입니다. 우리는 무대 위에서 함께 하나를 구축할 것입니다, 그러면 어, 우리는 마무리할 것입니다. 그래서 이것이 내가 원하는 것입니다. 나, 나는 운영하고 있습니다, 나는 그냥 여기서 나의 에이전트를 실행할 것입니다. 어, 나는 TypeScript로 썼습니다. 누군가 TypeScript, JavaScript나 비슷한 것을 사용하고 있습니까? 좋습니다, 당신은 대략 이해할 수 있을 것 같습니다. 어, 우리는 npm run agent를 할 것입니다. 당신이 보게 될 것은 어, 그것이 브라우저를 열 것입니다. 이 부분은 내가 건드리지 않았습니다. 그것은 해커 뉴스로 가서 아티클에 추천 투표를 하려고 시도하지만, 그것은 로그인 화면을 받고 충돌했습니다. 이 에이전트의 일은 해커 뉴스에서 아직 추천 투표가 되지 않은 첫 번째 아티클을 추천하는 것입니다. 좋습니다, 명확하시겠어요? 네.

그래서 이것이 작업입니다. 하지만 이것이 그것이 하는 것입니다. 나는 다시 한 번 실행할 것입니다. 봐요. 그래서 우리는 브라우저를 엽니다. 어, 해커 뉴스로 가서, 우리는 GPT 3.2를 사용합니다. 우리는 어, 해커 뉴스로 가고 있습니다. 로그인 폼을 클릭합니다. 하지만 그러면 그것이 나에게 말합니다. 「이미 최고 순위의 것을 추천했습니다.」 이것은 거짓말입니다. 이것은 절대적인 거짓말입니다. 실제로 일어난 것은 그것이 가서, 추천 투표를 클릭하려고 시도하고, 로그인 폼을 클릭한 다음 충돌했다는 것입니다. 맞죠? 그래서 이것은 철저한 거짓말입니다. 우리는 이것을 어떻게 고칠 수 있을까요? 우리는 하네스로 그것을 고칩니다. 먼저, 실제로 진행되고 있는 코드를 봅시다. 그래서 이것은 어, Cursor입니다. 나는 Cursor를 좋아합니다. 이것이 우리의 프로젝트입니다. 그래서 이것이 우리가 지금까지 가지고 있는 것입니다. 우리는 모델을 가지고 있습니다. 어, 우리는 매우 죄송합니다, 나는 이것을 바꿔야 했습니다. 우리가 사용하는 것은 우리가 사용하는 매우 오래된 모델입니다. 어, 싸고, 기본적으로 무료예요. 이것이 우리의 프롬프트입니다. 해커 뉴스에서 이야기에 추천 투표를 하세요.

이것들은 변하지 않을 것이지만, 우리의 하네스는 변할 것입니다. 나는 당신이 이것을 알았으면 좋겠습니다. 나는 당신이 이것을 명확하게 알았으면 좋겠습니다. 그래서 일어나는 것은 이것입니다. 우리는 새로운 브라우저 세션을 시작합니다, 이것은 내가 쓴 코드입니다. 이것은 Playwright를 사용합니다, Playwright MCP가 아니라, 하지만 우리는 그냥 프로그래밍 방식으로 어, 브라우저의 클래스를 조종합니다. 좋습니다. 그러면 우리가 세션을 가지면, 우리는 도구를 만듭니다, 이것이 정확히 당신이 코드에서 생각하는 것입니다. 우리는 그냥 도구 정의 뭉치를 반환합니다, 이렇게. 이것은 그냥 설명 등이 있는 JSON 객체의 뭉치입니다. 우리는 또한 우리의 컨텍스트를 만들었습니다. 당신은 이것이 복잡하다고 생각하시나요? 실제로는 아닙니다. 이것은 그냥 시스템 프롬프트와 사용자 프롬프트가 있는 메시지 봉투입니다. 사용자의 프롬프트는 우리가 이미 작성한 것입니다. 이것이 그것입니다. 그래서 그것은 그냥 두 개의 객체를 포함하는 배열입니다. 좋습니다.

그러면 마지막에 우리는 에이전트 루프를 실행합니다. 그래서 에이전트 루프가 뭐죠? 좋아, 그것은 while true, 계속 무언가를 하기, 메시지를 계속 밀기, 중지 조건에 도달할 때까지. 그래서 이것은 LLM이 「이미 완료했다」라고 말할 때입니다. 이 경우, 우리는 답변을 사용자에게 반환합니다. 하지만 전체 에이전트 루프를 통해, 우리는 그냥 다른 이벤트들을 밀고 있습니다. 나는 이 도구를 호출했습니다. 나는 이 메시지를 보냈습니다. 나는 이 프롬프트를 받았습니다. 우리는 그냥 이것들을 리스트에 밀고 있습니다. 이것이 우리가 하는 모든 것입니다. 만약 우리가 도구를 호출한다면, 우리는 각 도구의 결과를 우리의 메시지 컬렉션에 밉니다. 이것이 말이 되나요? 우리는 그냥 모든 메시지를 추적합니다. 좋습니다, 그래서 이렇게. 우리의 에이전트는 지금 존재하는 방식대로, 그것은 작동하지 않습니다. 그것은 로그인 화면을 클릭하고 충돌했습니다. 그래서 우리가 해야 할 것은 하네스를 구축하는 것입니다. 우리는 먼저 가드레일을 구축해야 합니다. 그러면 우리는 실제로 그것이 사실을 말하게 해야 합니다.

「헤이, 나는 로그인 페이지에서 충돌했습니다」라고 말하세요, 성공적으로 완료했다고 말하는 대신. 그러면 우리는 실제로 그것을 고쳐야 합니다. 이것이 우리가 갈 여정입니다. 좋습니다. 첫 번째 단계, 우리는 몇 가지 가드레일을 추가합니다, 왜냐하면 지금 그것은 무한정 실행될 수 있고 나를 파산시킬 수 있기 때문입니다. 그래서 우리는 어떻게 합니까? 좋아, git diff를 조사해 봅시다. 그래서 우리는 지금 run loop를 호출하고, 우리는 모델과 메시지를 전달합니다, 하지만 우리는 이것을 일부 가드레일을 포함하도록 변경할 것입니다. 우리는 이것을 default guardrails라고 부를 것입니다. 실제로, 우리의 기본 가드레일이 뭐죠? 좋아, 편집기로 들어가서 확인해 봅시다. 그래서 우리는 guardrails.ts라는 이 파일을 가지고 있습니다. 이것들은 우리의 가드레일입니다. 우리는 두 개의 max iterations를 가지고 있습니다. 당신이 최대한 얼마나 많이 시도할 수 있습니까, 그리고 max messages는? 우리가 당신의 컨텍스트를 압축하기 전에 얼마나 많은 메시지가 있습니까? 그러면 우리는 그것들을 조합하는 작은 헬퍼를 가지고 있습니다.

좋아, 하지만 우리는 실제로 이것을 어떻게 사용합니까? 좋아, 만약 우리가 우리의 agent loop로 들어간다면, 당신은 우리가 여기에 가드레일을 포함했다는 것을 볼 수 있습니다, 우리는 우리가 가드레일을 호출하는지 확인합니다, 만약 문제가 없으면, 우리는 끝납니다. 우리는 이것이 우리가 멈추는 이유라고 말합니다, 우리는 모든 메시지에서 컨텍스트를 트림합니다. 그래서 반복문 while true 에서 매번, 우리는 um trim context를 호출합니다. trim context가 뭐 하는 거죠? 이것은 실제로 정말 나쁩니다. 실제로는 이렇게 하지 마세요. 하지만 우리가 하는 것은 우리는 시스템 프롬프트와 사용자 프롬프트와 그 이후 최근 두 메시지를 유지합니다. 더 영리한 방법들이 있습니다 이렇게 할 수 있습니다. 그것은 이 강의의 목적이 아닙니다. 이 강의의 목적은 우리가 작동하는 프레임워크를 구축할 때 당신에게 가드레일을 보여주는 것입니다. 그래서 이제 우리는 우리의 에이전트, 우리의 에이전트, 그리고 일부 가드레일을 가지고 있습니다. 당신이 그것을 뭐라고 부르는지 압니까? 이것을 하네스라고 부릅니다.

그래서, 우리가 할 것은 우리는 그냥 좀 더 현실적으로 유지하기 위해 일부 것들을 이름을 바꿀 것입니다. 그래서, 나는 할 것입니다 나는 과거에 갈 것입니다 듣기, 우리는 그냥 index를 가지고 있지만, 우리는 우리의 모든 코드를 삭제하고, 그냥 그것을 run harness라는 함수 아래에 추상화할 것입니다. 우리는 이 모든 것을—빨간색으로 표시된 모든 것—을 harness.ts라는 새로운 파일로 옮길 것입니다. 좋습니다. harness.ts가 뭐죠? 좋아, 그것을 열어봅시다. Harness.ts는 모든 것입니다. 당신은 아마 이 코드를 처음부터 인식할 것입니다. 이것은 우리의 index.ts에서 온 모든 것입니다. 우리는 그냥 그것을 run harness라는 함수에 넣었습니다. 이것이 말이 되나요? 그래서, 우리는 그냥 그것을 uh run harness로 봅니다, print harness result는 그냥 console logs 것들입니다. 이것은 그냥 로깅을 위한 것입니다. 이것은 특별히 유용하지 않습니다. 그래서, 우리는 이 시점에서 그냥 코드를 옮겼습니다.

하지만 이제 우리는 run harness를 가지고 있습니다, 우리의 다음 단계는 좋아, 이제 우리는 하네스를 가지고 있고 에이전트에 의해 제어되지 않고 하네스에 의해 제어되는 브라우저 세션을 가지고 있습니다, 우리는 당신이 성공했는지 실패했는지를 감지하기 위해 필요할 때 이 브라우저 세션에 연결할 수 있습니다. 좋습니다, 이것이 우리가 이제 할 것입니다. 그래서 이제 우리는 이 하네스 파일을 가지고 있습니다, 우리는 여기로 올 것입니다 이것은 어, 이것은 우리가 변경하려고 하는 것입니다. 그래서 우리는 그냥 우리의 run harness 함수 호출을 조금 변경하서 세 번째 파라미터를 추가합니다, 이것은 일부 옵션이고, verify step과 max attempts입니다. 좋습니다, verify successful upvote. 만약 우리가 우리의 하네스로 들어간다면, 이것은 좀 재미있어집니다. 이제 이것들은 그냥 타입이지만, 여기 우리는 max attempts를 가지고 있습니다. 우리는 하네스를 실행할 수 없다고 말합니다 세 번 이상. 그래서 매번 시도마다, 우리는 좀 검증 단계를 합니다.

만약 그것이 실패했다면 um 또는 그것이 max attempts에 도달했다면, 우리는 그냥 최신 결과를 반환합니다. 하지만 우리는 이제 우리의 하네스에 verify successful upvote라는 함수를 가지고 있습니다. 그것이 뭐 합니까? 기억해 보세요 우리의 에이전트 루프에서, 우리는 항상 이벤트들을 큰 리스트에 밀고 있었습니다, 맞죠? 그래서 우리의 하네스가 하는 것은 그것이 리스트를 확인합니다. 만약 당신이 브라우저 클릭을 가지고 있다면, 만약 당신이 up 무언가를 가진 요소를 클릭했다면, 그것은 당신이 위쪽 화살표를 클릭했다는 것을 의미합니다. 이것이 우리의 하네스가 검증하는 것입니다. 그래서 그것이 참이라면, true를 반환합니다. 나는 upvote 클릭을 확인했습니다. 하지만 만약 당신이 harness auto login이라는 도구명을 보고 결과가 harness failed to handle login이라면, 우리는 아니오 아니오 당신은 로그인에 실패했습니다, 우리는 거짓 결과를 반환합니다. 지금까지 이것이 말이 되나요? 이것은 그냥 코드입니다. 좋습니다. 마지막으로, 우리는 또한 unrecovered login redirect라는 이 변수를 가지고 있습니다, 우리는 모든 도구 호출을 확인합니다.

아, 좋습니다, 나는 브라우저로 갔습니다 여기, 이것이 결과입니다. 우리는 모든 도구 호출을 확인하고, 만약 우리가 도구를 보면, 그 이름이 harness auto login이 아니지만, 만약 우리가 로그인 URL에 있다면, 그것이 뭐 의미합니까? 그것은 우리가 로그인 페이지로 갔지만 자동 로그인이 작동하지 않았다는 것을 의미합니다. 그러면 우리는 실패하고 업로드를 완료하는 대신 로그인 화면을 지나가기 때문에 거짓을 반환합니다라고 말합니다. 마지막으로, 우리는 또한 성공한 경우가 필요합니다. Um, 하지만 그것은 와서. 그래서, 우리는 그냥 이런 것처럼 만약 그러면 우리는 실패했다고 말하기를 추가했습니다, 좋습니다, 우리의 하네스로. 이것은 우리의 하네스입니다. 이것은 우리의 에이전트 루프가 아닙니다. 그래서, 이제 이것을 실행해 봅시다 보자 무슨 일이 일어날까요. 그래서, 나는 여기서 이것을 실행할 것입니다. Um, 그래서 이제 그것은 브라우저를 엽니다. 우리는 hacker News로 들어갑니다, uh 우리는 로그인 페이지로 갑니다. 그것은 충돌했지만 출력이 뭐죠? 우리는 우리는 그것이 실제로 진실을 말하게 했습니다.

우리는 upvote를 완료하는 대신 로그인 화면을 쳤습니다, 그것은 실패했다고 말합니다. 이것은 일어나야 할 것입니다. 이제 빠르게 확인해 봅시다. 우리는 프롬프트를 바꾸지 않았습니다. 우리는 더 열심히 프롬프트하지 않았습니다, 우리는 여전히 오래된 모델을 사용하고 있습니다. 좋습니다. 하지만 하네스는 이제 우리에게 진실을 줬습니다. 이것을 고쳐봅시다. 우리는 거의 끝냈습니다. 이제 실제로 지금 우리가 그것이 로그인에 갇혀 있다는 것을 알고 있습니다 고쳐봅시다. 우리는 하네스 레벨에서 이것을 고칠 수 있습니다. 좋습니다. 그래서 그것을 합시다, 그러면 우리는 요약할 것입니다. 그래서 최종 형태가 뭐죠? 우리는 파일을 추가합니다. 우리는 이것을 login handler라고 부릅니다. 이 함수는 실제로 뭘 합니까? 그것은 그냥 함수입니다. 하지만 이것이 그것이 하는 것입니다. 이것이 중요한 줄입니다. Um 만약 우리가 로그인 페이지에 있지 않다면, 아무것도 하지 마세요. 그래서 이 함수는 아니오입니다.

우리가 로그인 페이지에 있지 않으면. 만약 우리가 로그인 페이지에 있다면, 우리는 입력에 사용자명과 비밀번호를 채웁니다, 왜냐하면 브라우저 세션은 하네스가 소유하고 있기 때문입니다. 그것은 에이전트가 소유하지 않습니다. 이것이 말이 되나요? 그래서 이것은 도구 호출 구동 브라우저가 아닙니다. 이것은 나는 하네스를 썼습니다. 좋습니다. 그래서 나는 이 사용자명과 비밀번호를 주입하고, 그러면 나는 메시지를 반환합니다. 도구명은 harness auto login입니다. 결과는 harness automatically logged in입니다. 이것은 기본적으로 에이전트에 말합니다. 당신은 이제 인증되었고 홈페이지로 돌아갔습니다. 그래서 나의 하네스는 이것을 메시지 체인에 주입합니다. 이것이 말이 되나요? 그래서 나는 이제 하네스 레벨에서 로그인합니다. 좋습니다. 하지만 이것은 그냥 함수입니다. 나는 어디서 그것을 사용합니까? Um 나는 실제로 하네스에서 그것을 사용합니다.

그래서 나는 login handler를 만들고, create tools에서 나는 그냥 여기에 일부 가드레일을 추가하고 있습니다, 하지만 나는 login handler를 가져가서 그것을 나의 에이전트 루프 run loop에 줍니다, 에이전트 루프에서 이것이 우리가 비행기를 착륙시키는 곳입니다. 나는 login handler를 보냅니다, 이것이 그것을 작동시키는 코드입니다. 그래서 에이전트 루프 내부에서, 나는 만약 나가 login handler를 가지고 있다면, 그러면 나는 그냥 그 응답을 기다리고 있습니다, 왜냐하면 다시 만약 나가 로그인 페이지에 있지 않다면, 이것이 반환할 것 입니다. 만약 나가 로그인 페이지에 있고 만약 나가 로그인 이벤트를 받으면, 그러면 나의 에이전트 루프 내부에서, 나는 그것을 메시지 리스트로 밉니다. 이것이 말이 되나요? 그래서 만약 하네스가 성공적으로 로그인하면, 그것이 메시지를 추가합니다. 나는 로그인했습니다, 에이전트가 이것을 읽고, 그러면 계속됩니다. 이것이 말이 되나요? 이것이 하네스의 전체 요점입니다. 그래서 이것을 실행해 봅시다, 그러면 우리는 요약할 것입니다.

그래서 um 우리는 이제 최신 버전을 실행해야 합니다. 그래서 나는 npm run agent를 할 것입니다, 그것은 하네스를 통해 작동해야 합니다. 그래서 우리는 HackerNews에 로그인합니다. Um 그것이 사용자명과 비밀번호를 입력했습니다, 정말로 당신은 그것이 lo 그것이 그것이 너무 빨리 했습니다 볼 수 있습니다. 그것이 성공적으로 추천했습니다 이 추천. 빠른 하네스 로그인을 통해 추천을 클릭 확인됨. 이것이 말이 되나요? 우리는 더 열심히 프롬프트하지 않았습니다, 우리는 GPT3.5 Turbo를 사용했습니다, 하지만 우리는 하네스로 더 많은 제어를 얻었습니다. Uh 이제 uh 여기서 요약해 봅시다. 이것이 뭐 의미합니까? 이것은 당신이 더 적은 일로 더 많은 일을 할 수 있다는 것을 의미합니다. 그리고 다시, 하네스는 당신의 에이전트 주변의 환경이고, 그것은 성공과 안정성의 그 기회를 증가시킵니다. 실제로 어떤 모습입니까? Um, 나는 IBM에서 일하고, 우리는 매일 하네스를 사용합니다.

Uh, IBM에서, 우리는 기업 수준의 오픈 소스 rag 하네스를 만듭니다. Uh, 왜냐하면 당신이 알 수 있듯이, 기업 데이터는 크고, 어디에나 있습니다. 모든 이러한 팀 통화가 있습니다, 예를 들어 노트, 당신은 뭐가 기밀이고 뭐가 아닌지 모릅니다, 이것은 매우 위험합니다, 그래서 우리는 um 큰 회사를 위해 오픈 소스 기업 하네스를 만듭니다. 그것은 open rag라고 불립니다, 다시 그것은 오픈 소스입니다. 그것이 중요한 부분입니다. Uh, 만약 당신이 그것에 관심이 있다면, 당신은 정말로 그 스캔을 환영합니다. 나는 여기서 그것을 팔지 않습니다. 나는 그냥 그것이 하네스의 좋은 참조 구현이라고 생각합니다. Uh 하지만 이제 비행기를 착륙시키고 비전을 던져 봅시다. 좋습니다, 결론적으로, 우리는 뭘 했습니까? 봐, 나는 이 강의를 시작했습니다 당신들 중에 하네스가 뭐고 왜 그것이 있는지 등등 설명할 수 있는지에 대해 얼마나 많은 사람들이 자신감이 있는지를 묻습니다.

이 숫자는 이 강의 후에 바뀌었나요? 네. 아, 그것은 너무 많습니다. 그것은 거의 전체 방 같습니다. 좋습니다, 나는 나의 일을 했습니다. Um, 그것이 하네스입니다. 그것이 당신이 어떻게 그것들을 구축하는지, 그것이 당신이 어떻게 더 적은 일로 더 많은 일을 하는지입니다. 당신이 프롬프트를 바꾸지 않습니다. 당신이 모델을 바꾸지 않습니다. 미래가 어떤 모습일까요? 좋아, 우리는 방금 하네스를 하드코딩했습니다. 우리가 스스로 썼습니다. 하지만 만약 내가 생각했다면, 아 잠깐, 하지만 만약 하네스가 동적이고 에이전트가 그들 자신의 하네스를 만들 수 있고 그러면 일을 한다면, 그것이 멋지지 않을까요? 나는 이것이 동적 하네스가 아마도 AGI 쪽으로의 다음 단계라고 생각합니다, 여기서 이 모든 것이 에이전트에 의해 관리될 수 있습니다. 하지만 그것을 수반하고, um, 나는 여기서 비행기를 착륙시키고 싶습니다.

I I는 아마도 나는 아마도 내가 할 가치가 있는 것보다 많은 시간을 이미 보냈지만, 나는 여기서 멈추고 싶고 그냥 정말 매우 당신들의 시간과 관심에 감사드립니다, 싱가포르. 정말 감사합니다, Tis, 그리고 당신 모두에게 감사드립니다. 나는 방이 가득 있는 것을 봅니다. Uh 우리는 우리의 첫 번째 휴식을 가질 것입니다. Um 다음 강의는 10:17에 시작합니다. Uh 그냥 상기, 부스도 개방되어 있습니다, 만약 당신이 주변을 걷고 싶다면, uh 당신의 다리를 뻗으세요. 모두에게 감사합니다. 나중에 봐요. 헤이, 헤이, 헤이, 헤이, 헤이. 헤이, 헤이, 헤이. 헤이, 헤이, 헤이. 헤이, 헤이, 헤이. 헤이, 헤이, 헤이. 헤이, 헤이, 헤이. 헤이, 헤이, 헤이. 헤이, 헤이, 헤이. 헤이, 헤이, 헤이. 헤이, 헤이, 헤이. 헤이, 헤이, 헤이. 헤이, 헤이, 헤이. 헤이, 헤이, 헤이. 헤이, 헤이, 헤이. 헤이, 헤이, 헤이. 헤이, 헤이, 헤이. 헤이, 헤이, 헤이. 헤이, 헤이, 헤이. 헤이, 헤이, 헤이. 헤이, 헤이, 헤이. 헤이, 헤이, 헤이. 헤이, 헤이, 헤이.

헤이, 헤이, 헤이. 헤이, 헤이, 헤이. 헤이, 헤이, 헤이. 헤이, 헤이, 헤이. 헤이, 헤이, 헤이. 헤이, 헤이, 헤이. 헤이, 헤이, 헤이. 헤이, 헤이, 헤이. 헤이, 헤이, 헤이. 헤이, 헤이, 헤이. 헤이, 헤이, 헤이. 헤이, 헤이, 헤이. 헤이, 헤이, 헤이. 헤이, 헤이, 헤이. 헤이, 헤이, 헤이. 헤이, 헤이, 헤이. 헤이, 헤이, 헤이. 헤이, 헤이, 헤이. 헤이, 헤이, 헤이. 헤이, 헤이, 헤이. 헤이, 헤이, 헤이. Um, 다음으로 우리는 Google에서 온 JJ Gwax가 우리와 함께 합니다, 그는 응용 AI 이사입니다, 정말 싱가포르 여기, 그는 생산 모델을 놓는 것에 대해 우리와 이야기할 것입니다. 이것이 여기에 표시될까요? >> 아니요. 네, 당신이 갑니다. 좋습니다, 멋집니다. 안녕. Uh, 나는 JJ입니다. Uh, 나는 DeepMind의 공학 이사입니다. Um, 그래서 나는 응용 AI 팀을 이끕니다. Um, 나는 싱가포르에 있습니다. Um, 나는 모집하고 있습니다, 그래서 만약 사람들이 좋다면, um, 거기서 일하는 것에 관심이 있으면, um, 반드시 연락하세요.

Um, 그래서 나는 오늘 조금 uh, hackathon 같은 것에서 생산까지의 마이그레이션에 대해 말할 것입니다, 이것은 나의 팀이 하는 일입니다. Um, 그리고 규모에서 모델을 처리합니다. Um, 그래서 우리가 그것에 들어가기 전에, 나는 좀 나의 팀이 뭘 하는지에 대해 공유하고 싶습니다. 나는 적어도 그들 중 하나가 여기 있는 것을 봅니다. 희망 다른 것들도 있습니다. Um, 그래서 우리가 시도하는 것은 우리는 DeepMind 모델의 기술 경계를 밀어붙입니다. Um 이것은 나는 우리 대부분이 친숙한 이러한 um Gemini와 Gemma를 의미합니다, 이것은 우리의 openw 무게 um 텍스트 모델입니다. Uh 하지만 그것은 또한 nanobano와 vio uh 비디오와 이미지 모델, 그리고 더 과학적인 것들을 포함합니다. 그래서 그것은 alpha genome과 uh weather next입니다. Weather next 예측 날씨와 허리케인 그리고 대규모 um 폭풍 그리고 비슷한 것들입니다.

그래서 우리의 일은 모델을 시도하는 것입니다 그들이 반드시 설계되지 않았던 것을 하기 또는 우리가 그들에 대해 설정했을지도 모르는 제한을 돌파합니다. 그래서 um VO와 좋은 예는 그것이 8초 비디오를 생성한다는 것입니다, 맞죠? 그래서 당신이 그것에 프롬프트를 주면, 당신은 8초 비디오를 나옵니다. Um 만약 당신이 영화에서 전체 장면 같은 것을 생성하고 싶다면, 5분 같은 시간을 말합니다, 뭐 일어납니까? Uh 당신이 그것을 어떻게 합니까? 우리의 팀이 시도하는 것은 그런 종류의 것들입니다. 또는 Nana Banana를 가진. 당신이 영화를 가지고 있다고 가정하고, 당신이 전체 것을 outpaint하고 싶다면 um 그것을 와이드스크린처럼 만들기, 예를 들어. Um 그것은 우리가 아마도 할 수 있는 한 가지 예입니다. Uh 이런 것들은 쉬워 보입니다, 그들은 단지 더 같은 것이기 때문에, 하지만 그것이 실제로 더 도전적인 문제입니다, uh 우리는 그것을 해결하기 위해 영리한 방법을 생각해 내야 합니다.

Um 그래서 uh 우리가 최종적으로 시도하는 것은 모델이 실제 물건을 하게 하는 것입니다. 그래서, 8초 비디오를 가지는 것이 좋지만, 그것은 좀 재미있는 hackathon 프로젝트 같습니다. Um, 이것이 실제로 실제 물건이 아닙니다. 당신이 그것을 영화 스튜디오에 팔 수는 없습니다. Um, 나는 같은, 「봐, 이것이 당신의 8초의 영화예요.」라고 할 수 없습니다. 당신이 해야 할 것은 그것을 넘어가는 것입니다. 이것은 또한 모델 배열이 무엇일 것 당신의 지침이 될 것입니다. Um, 텍스트로 영화를 설명하는 것이 실제로 정말 어렵습니다, 맞죠, 그러면 당신은 최종적으로 이 거대한 프롬프트를 얻습니다, 그것은 매우 취약합니다, 그것은 깨집니다. 키 프레임 밖에 그것을 고정시키는 방법을 알아내기, 그리고 애니메이션과 당신이 아는 것을 이해하는 것 애니메이터나 감독이 원하는 방식 실제로 행동하는 것이 정말로 놀랍게도 도전적인 문제입니다. Um 그래서 우리가 시도하는 것은 모든 그것들입니다.

Um 이제 I I 일시 중지하고 싶습니다, 왜냐하면 나는 방금 좋아 모델이 충분히 좋지 않다고 말했기 때문입니다. 그들은 그냥 8초 비디오를 생성합니다. I I 좀 일시 중지하고 싶고 그냥 나는 이것을 말해야 할 것 같습니다 AI 물건은 놀랍습니다. 그것은 완전히 미칩니다. I I I 당신들이 기억하는지 모르겠습니다, 하지만 수년 전처럼, chat GBT 같은 것이 없었습니다, 우리의 삶은 완전히 달랐습니다. Um, 모델이 믿을 수 없을 만큼 그것이 동시에 여전히 같은 충분하지 않은 것처럼 보입니다. 그들은 실제 물건을 하지 않습니다, 당신이 알 듯이, 나의 전체 일입니다. Um, 하지만 그런 항상 이 이동 목표 같은 것이 있습니다, 체스처럼, 맞죠? I 당신들이 기억하는지 모르겠습니다 그 전체 Deep Blue 같은 일이 발생했을 때.

나는 아이였습니다, 그래서 나는 정말로 주목하지 않았습니다, 하지만 우리는 컴퓨터가 누군가를 체스에서 이겼다고 말했습니다, 그러면 모두가 같은, 「아, 그것은 믿을 수 없습니다.」라고 말했습니다. 또한, 아, 그것은 그냥 체스입니다. Um, 그러면 go는 10년 전이었습니다. Uh, Demis는 방금 한국에 가서 go 해결의 10년을 축하했습니다. 모두가 같은, 아, 그것은 절대 일어나지 않을 것입니다. 나는 그 때 Google에서 일하고 있었던 것을 기억합니다, 모두가 같은, 이것이 작동할까요? 그것이 이길까요? I I 모르겠습니다. 그러면 그것은 그러면 대부분의 방식으로 했습니다. 이제 모두가 같은, 아, 그것은 그냥 고처럼입니다. Um, 그러면 chat GBT가 왔습니다, 그것은 믿을 수 없었습니다. 나는 내 아내에게 그것을 보여준 것을 기억합니다 그녀가 그냥 요청할 수 있다고, 당신이 알 듯이, 것들과 그것이 그녀에게 답할 것이고 그것을 테이블에 같은 그것을 변환할 것입니다 그리고 모든 종류의 미친 것들. 믿을 수 없습니다. 이제 우리가 같은, 아, chat GBT 오래된 소식. 그것이 그냥 chatbot입니다.

And and 이제 우리는 이 좀 이상한 단계에 있습니다, 우리가 에이전트를 가진 것처럼, 그들이 전화하고 그들이 11 Labs 같은 것을 사용하고 Open Claw는 레스토랑 예약을 합니다, 그들이 실수로 우리의 모든 이메일을 삭제합니다, 당신이 알 듯이, 미친 물건처럼. 그것이 우리가 여전히 에이전트가 우리의 지침을 따르지 않는 것에 대해 얼마나 화났는지 같습니다, 맞죠? 그것이 우리가 얼마나 망쳤는지 같습니다. Um, 누군가 비행기에서 Wi-Fi를 얻었을 때를 기억합니까? 그것이 믿을 수 없었습니다. 이제 그것이 같은, uh, Wi-Fi가 없습니다. Like, uh, 이제 이제 로봇이 있습니다, 로봇이 공장 일에서 일하는 것처럼, 우리가 같은, gh, 하지만 그것이 짝지 나의 세탁도 하지 않습니다. 그것은 그냥 그리고 나는 실제로 로봇의 비디오를 봤습니다 uh 침대를 만들고 쓰레기를 꺼냅니다. 그래서 아마도 곧 이 자탄이 사라질 것입니다.

따라서 제가 말씀드려야 할 것은 제 역할은 모델이 실제 무언가를 수행하도록 하는 것이라는 점입니다. 그렇지만 우리 자신에게 솔직하겠습니다. 모델은 정말 놀라울 정도로 훌륭합니다. 정말 충격적일 정도로 훌륭합니다. 따라서 저는 이 아이디어의 움직이는 목표선이 항상 존재해왔다고 주장합니다. 그리고 반드시 나쁜 것은 아니지만 어느 정도 오도하는 면이 있습니다. 왜냐하면 알다시피 항상 우리를 앞으로 밀어붙였지만 동시에 우리는 어디까지 갔는지, 이 모든 것이 얼마나 놀라웠는지를 어느 정도 잊어버렸기 때문입니다. 음, 이것은 중요한 요점을 생각나게 합니다. 그것은 모든 진전이 정말 빠르다는 것입니다. 단지 너무 빠릅니다. 맞나요? 3년 전에는 ChatGPT가 없었습니다. 이제 우리는 세 가지 서로 다른 매우 인기 있는 에이전트 프레임워크와 광기 어린 비디오 생성기를 가지고 있습니다. 정말 놀랍습니다. 우리는 더 이상 인터넷에서 무엇이 실제인지 말할 수 없습니다.

음, 그렇지만 저 같은 사람의 경우, 우리가 기업에 속해 있을 때 스냅샷을 찍어야 하고, 일시정지 버튼을 누르고, 기본적으로 시간에 갇혀 있어야 하므로 실제 무언가를 구축할 수 있습니다. 계속 기차를 타고만 있을 수 없습니다. 내려서 무언가를 구축해야 합니다. 따라서 그것이 제가 하고 있는 일입니다. 음 저는 또한 말씀드리고 싶습니다. AI를 사용하는 여러 카테고리가 있으며, 저는 여러 방식으로 사용합니다. 저는 주로 세 번째 것에 집중합니다. 이 인앱 기능 말이죠. 맞나요? 따라서 얼마나 많은 사람들이 어떤 종류의 AI 코드생성을 사용합니까? 많은 손이 올라오길 바랍니다. 좋습니다. 음, 에이전트를 소유하고 있으면서 사용 중이고 미친 짓을 하고 있는 사람이 몇 명이나 됩니까? 멋집니다. 음, 세 번째는 이 아이디어입니다. 애플리케이션 내부에서 사용자가 실제로 상호작용하는 API 호출을 수행합니다.

따라서 이 아이디어는 개발자가 상호작용해야 하는 것이 아닙니다. 이것은 당신이 알다시피 당신의 할머니가 챗봇과 대화할 수도 있고 심지어 챗봇과 대화하고 있다는 것을 깨닫지도 못할 수도 있지만 이 문제에 직면할 수 있는 무언가입니다. 따라서 제 역할은 주로 세 번째 카테고리의 문제를 다루는 것입니다. 음, 우리가 시도하는 것은 기업이 특정 벤치마크를 초과하는 것을 돕는 것입니다. 맞나요? 제가 앞서 언급한 그것입니다. 음, 저는 이 우측 하단 모서리의 것에 초점을 맞추고 싶습니다. 어, 정책을 위반하지 않는 이 아이디어. 왜냐하면 그 중 일부는 영리한 해킹이거든요. 맞나요? 비디오 모델이 있고, 비디오 세그먼트를 생성합니다. 더 많은 콘텐츠를 생성하도록 하려면 어떻게 합니까? 음, 이미지 도구가 있지만 최대 4K를 지원합니다. 빌보드 크기의 거대한 것을 생성하도록 하려면 어떻게 합니까? 음, 그것은 당신이 원하는 만큼의 높은 품질을 가지지 못할 수도 있습니다.

네, 영리한 방식으로 출력의 경계를 확장할 수 있습니다만, 정책을 위반하지 않도록 하는 방법을 확보하는 것은 아키텍처 및 설계 결정입니다. 따라서 우리는 몇 가지에 부딪혔습니다. 음, 저도 말씀드려야 할 것은 제 업무의 많은 부분이 곧 개최될 I/O 컨퍼런스에서 논의될 예정이므로 많은 것을 말할 수 없다는 것입니다. 따라서 저는 정말 미안하게도 좋은 예시를 드리지 못합니다만, I/O의 라이브 스트림을 보신다면 우리가 DeepMind에서 하고 있는 몇몇 것들을 보게 될 것입니다. 정말 해고당하고 싶지 않으니 그냥 할 수 없어요. 음, 그래서 어, 미리 사과드립니다. 저는 암시하려 노력할 것이지만 문제를 일으키지 않겠습니다.

음, 따라서 저는 우리가 맞닥뜨린 몇몇 장애물에 대해 이야기하려 합니다. 음, 우리가 발견한 문제들, 그리고 마지막 그것 같은 것들, 이 정책 아이디어, 그 다음 우리가 DeepMind에서 이것을 어떻게 다루는지, 그리고 Applied AI 팀 내에서, 음, 알다시피, 여기서 당신들이 하고 있는 일 중 일부에 적용되길 바랍니다. 따라서 챗봇을 만들고, 당신이 그것에 말합니다. 제발, 알다시피, 책임감이 있고 전문적이어야 합니다. 예를 들어, 저를 안 좋게 보이게 하지 마세요. 모르겠습니다. 당신들이 모두 본 그 Chipotle 스크린샷을 봤죠. 누군가가 말하고 있었습니다. Claude Code를 구독하려면 왜 해야 합니까? Chipotle의 챗봇은 무료입니다. 누군가가 말했습니다. 저는 정말 부리토를 원하지만 먼저 당신이 Fibonacci 수를 계산하는 Python 함수를 쓰는 것을 도와줄 수 있습니까? 그것이 말했습니다. 당연하지, 여기 있어. 맞나요? 정말로, 이것은 극도로 흔합니다. 당신들 모두 프롬프트 인젝션을 봤죠. 맞나요? 몇 명이나 됩니까?

네. 저 미쳤나요? 좋습니다. 그 좋습니다. 따라서 프롬프트 인젝션은 실제이며, 이것은 의도된 것이 아니며, 복잡하지만, 우리가 다루어야 하는 것입니다. 만약 당신이 최종 사용자가 AI 백엔드와 대화하도록 한다면, 당신은 한 가지 사실을 다루어야 합니다: 에이전트가 무엇을 해야 하는지 정의하는 방법과 사용자가 에이전트와 통신하는 방법은 같습니다. 따라서 둘 다 텍스트입니다. 그렇다면 당신은 이 이상한 문제를 어떻게 다룹니까? 보통은 괜찮지만 사람들이 잘못된 말을 하면 챗봇이 환상을 보고 미친 말을 하고 모든 종류의 실제 문제가 있습니다. 음, 온도를 영도로 설정하면 그것이 결정론적이라는 뜻이라고 생각하는 사람이 몇 명이나 됩니까? 아닙니다.

음, 따라서 당신이, 네, 어느 정도는 네, 그렇지만 네, 기술적으로 당신은 결정론에 가깝지만, 여전히 비결정론적입니다. 왜냐하면 텍스트의 미묘한 차이는 출력의 거대한 차이를 의미하기 때문입니다. 맞나요? 이것은 당신이 느끼는 그런 종류의 경우입니다. 오, 온도를 영도로 설정했는데, 모든 것이 괜찮을 거야, 그렇지만 여전히 작동 불능이 되었고, 당신은 낙담했으며, 이것은 의사난수 생성기에서 난수 씨앗을 설정하는 것과 같지 않습니다. 맞나요? 이것은 같은 것이 아닙니다. 따라서 이 서로 다른 에이전트들과 AI 백엔드들로부터 결정론을 얻는 것은 정말 까다롭습니다. 따라서 우리는 이 많은 것들을 다루어야만 했습니다.

음, 이 아이디어는 당신이 문서를 받고, 당신이 그것을 당신의 AI 파이프라인의 일부로 사용하고, 그것은 그렇지 않았을 질문에 답변하는 것을 도웁니다. 음, 이제 이것도 어느 정도 그런데 알다시피 휴대전화 같습니다. 맞나요? 음, 가끔 당신의 RAG 파이프라인이 아마 알다시피 당신에게 문제를 일으킬 수 있습니다. 좋은 예시는, 어, 당신이 한 번이라도 가지고 있었다면, 어, 당신의 채팅 이력에 환불이 있으면, 당신이 RAG를 사용하여 당신의 채팅 이력을 빼낸다면, 그것이 예외라도 말이죠. 당신 엄마가 전화했을 때처럼, 그것이 그것의 채팅 기록이 있는 이유이므로, 당신은 그냥 엄마에게만 그것을 주었습니다만, 이것은 같은 것이 아닙니다. 좋아, 이제 그것은 환불로 봅니다, 따라서 그것이 환불을 발급합니다. 음, 또는 당신이 어딘가 1달러에 판매되는 자동차의 테스트 예제를 가지고 있다면, 이제 아마도 당신이 1달러 가격의 자동차를 판매하고 있을 수도 있습니다.

음, 이것들은 정말 위험하며, 지금 제가 이것을 말할 때 미친 것처럼 보이지만, 당신이 1달러에 자동차를 판매해서는 안 되는 것처럼, 절대적으로 가능합니다. 왜냐하면 에이전트에게 이성은 반드시 존재하지 않기 때문입니다. 맞나요? 우리는 어느 정도 그것이 존재한다고 예상합니다만 그렇지 않습니다. 음, 우리의 에이전트는 많은 방면에서 정말 꽤 바보 같은 인턴 같습니다. 알다시피, 방금 고용된, 그들은 좋은 일을 하려고 노력합니다만 그들은 정말 무엇을 해야 하는지 모릅니다. 음, 따라서 이 세 가지는 우리가 본 일부 큰 것들입니다. 더 많은 것들이 있습니다. 음, 저는 AI를 사용한 구축에 대한 모든 것을 말할 수 있다고 주장하고 싶지 않습니다. 저는 이 세 가지에 집중하고 싶을 뿐입니다. 음, 그렇지만 이 세 가지는 언급할 가치가 있는 핵심은 모델이 너무 많은 것을 하도록 요청받는다는 것입니다.

음, 모델은 놀랍습니다. 저는 방금 보여줬고, 우리는 방금 AI가 얼마나 놀라운지 논의했습니다만, 당신이 그것이 미친 짓을 하도록 시도할 때, 예를 들어 어떤 사람에게 AI에 대한 강연을 하도록 하는 슬래시고 말이죠, 그것이 반드시 그것을 잘 하지는 못합니다. 당신 같은 것은 더 많이 그것을 안내해야 합니다. 왜냐하면 부분적인 이유는 모델이 우리가 희망하는 것만큼 훌륭하지 않기 때문이고 왜냐하면 우리의 기대가 계속 상승하기 때문입니다. 음, 그렇지만 또한 정렬이 어렵기 때문입니다. 제 머릿속에 있는 것을 가져가서 내가 원하는 것을 단어나 코드나 이미지나 비디오로 변환합니다. 이것은 간단한 문제가 아닙니다. 이것은 실제로 매우 어렵습니다. AI로부터 우리가 원하는 것을 얻는 방법을 파악합니다. 왜냐하면 때때로 우리가 그것이 무엇이 아닌지 모르기 때문입니다. 그것이 우리가 원하지 않는 무언가를 우리에게 줄 때까지. 그리고 이것은 계속 일어납니다. 고객을 다룰 때 규모 있게 일어납니다.

따라서 이것도 여기서 흥미로운 지점입니다. 그런 식으로, 큰 잠재적 문제는 해킹 마라톤에서는 모든 것이 작동합니다. 문제 없습니다. 맞나요? 그렇지만 프로덕션 환경에 들어갈 때는 아닙니다. 물건, 알다시피, 경계 사례가 모든 곳에 있습니다. 따라서 우리가 시도하는 것은 언어 모델을 큰 단일 라우터로 사용하는 것을 중지하는 것입니다. 전체 아이디어는 모든 것을 시스템 프롬프트에 넣으려고 할 때, 음, 그것이 작동하지 않습니다만, 이것은 당신이 그것을 분해한다면 각 개별 문제를 해결할 수 없다는 뜻은 아닙니다. 우리는 오늘 더 일찍 연설의 몇몇을 봤습니다. 알다시피, 그들이 계획 모드에 들어갔고, 그들이 할 일 목록을 만들었으며, 그들이 그것에 「헤이, 보세요, 당신이 할 일 목록을 완료하지 않고 마무리를 호출하려고 시도한다면, 그것은 오류, 실제 오류를 던집니다」라고 말해서 할 일 목록을 안내했습니다. 이것들은 우리가 본 그런 종류의 것들입니다.

따라서 저는 제가 말한 것이 이 그룹에 완전히 새로운 것인지 확실하지 않습니다. 음, 하지만 저는 그것을 다시 강조하고 싶습니다. 왜냐하면 그것이 중요하기 때문입니다. 따라서 우리가 시도하는 것은 결정론으로 사물을 둘러싸는 것입니다. 음, 하나의 큰 비결정론적 부분을 분해하고, 사물이 실제로 어떻게 작동하는지 파악합니다. 따라서 음, 당신이 할 수 있는 것은 각 라우트를 별도 부분으로 보는 것이지만 이 변환 블록은 중간 어딘가에 있습니다. 포인터가 있나요? 이것이 작동하는지 궁금합니다. 네, 어느 정도, 당신은 그것을 볼 수 있습니다. 이 변환 블록 계층은 당신이 AI를 사용하기 시작하는 곳입니다. 다른 모든 것은 AI입니다만, 더 작은 계층에서입니다. 맞나요? 당신이 난수 입력을 받고 그것을 JSON으로 변환하고 있습니다. 당신이 알고 이해하는 구조입니다. Pydantic AI는 이것에 좋습니다. 그리고 다른 상당히 좋은 에이전트 프레임워크들이 있습니다. ADK, Agno, 많은 것들이 있으며 모두 좋습니다.

라우팅도 LLM이 될 수 있습니다. 맞나요? 당신이 어떤 종류의 행동을 취해야 하는지 결정합니다. 이것은 언어 모델 호출을 통해 할 수 있는 결정입니다. 그렇지만 동시에, 이것은 단지 라우트입니다. 그것은 주어진 입력에 따라 결정합니다. 고객이 환불을 원합니까? 그들이 좋은 일을 했다고 말하고 있습니까 아니면 그들이 서비스를 취소하려고 합니까? 어떤 것이든 될 수 있습니다. 라우팅이 거기에서 결정할 수 있고, 그 다음 당신이 그것을 의미 있는 무언가로 강제 변환합니다. 그 다음 변환, 당신은 JSON에서 JSON으로 유지합니다. 맞나요? 당신이 당신이 시도하려고 한다면 과제, 당신이 아마 말할 것입니다. 「좋아, 나는 구조화된 것을 취하고 당신이 그것을 이해하고, 다른 구조화된 것으로 변환하고 싶습니다. 또한 그것을 이해합니다」라고 말할 것입니다. 그 다음 마지막으로, 당신이 출력 텍스트를 생성할 수 있습니다. 이것도 역시 언어 모델이 좋은 것입니다.

음, 그것이 뱉어내는 것은 인간이 이해할 수 있는 무언가이고, 단지 당신의 할머니에게 JSON 뭉치를 돌려주는 것이 아닙니다. 맞나요? 네, 네, 당신이 볼 수 있는 무언가입니다. 그 다음 마지막으로, 우리는 또한 안전 점검을 수행할 수 있습니다. 음, 저는 어, Cloudflare도 그렇게 한다는 것을 알고, 또한 많은 다른 회사들도 있습니다. 당신은 더 작고, 더 목표 지향적인 모델을 사용하여 무언가가 안전한지, 다시 보낼 수 있는지 확인할 수 있습니다. 음, 따라서 언어 모델이 라우트를 선택하고 결정하는 것 대신에, 「나를 계획하게 해」, 당신은 그것에 객관식 질문을 주죠. 맞나요? 그것이 전체 아이디어이고, 언어 모델이 실제로 그 지점에서 분류기처럼 작동합니다. 그것은 지금까지의 대화에 따라 사용자가 무엇을 시도하고 있는지 결정하고, 그 다음 그것을 「이것이 그것을 하기 위해 알아야 할 것입니다」로 쑤셔 넣습니다. 따라서 계획 모드와 추론이 그것을 하도록 하는 대신에, 이것들은 훌륭하지만, 프로덕션 단계에서, 저는 그들이 정말 준비되지 않았다고 생각합니다.

음, 당신이 그것을 사용하는데, 어, 당신은 그것을 객관식 질문으로 가르칠 수 있습니다. 음, 따라서 제가 앞서 언급했듯이, 맞나요, 이것은 데이터를 가져가고, 그것을 우리가 사용할 수 있는 것으로 변환하고, 결정론적으로 변환하고, 다시 하나의 결정론적 입력에서 다른 결정론적 출력으로 변환하고, 그 다음 실제 반응을 생성합니다. 오디오, 비디오, 이미지든 텍스트든, 음, 그 구조화된 결정론적, 음, 변환된 출력으로. 음, 그 다음 마지막으로, 이 안전 아이디어, 저는 그것을 강조하고 싶을 뿐입니다. 왜냐하면 당신의 응답이 뭔가 무례한 말을 했다면, 고객은 행복하지 않을 것이기 때문입니다. 음, 그렇지만 언어 모델을 통해 그것을 실행하는 것은 여전히 같은 프롬프트 인젝션 문제를 가집니다. 따라서 당신은 몇 가지 선택지가 있습니다. 당신은 컨텍스트 없는 언어 모델 호출을 사용할 수 있습니다. 「이것이 사용자에게 보낼 것입니다. 괜찮습니까? 저는, 알다시피, 자동차 보험 회사입니다.」

알다시피, 마구잡이로 여기 뭔가를 집어넣으세요. 이것에서 꽤 좋습니다. 그리고 프롬프트 인젝션의 선택지가 없습니다. 그 다음 마지막으로 기계학습 분류기입니다. 당신은 더 작은, 더 목표 지향적인 모델을 사용하여 그것을 할 일을 결정할 수 있습니다. 음, 흥미로운 것은 이 동일한 패턴이 실제로 이미지와 비디오에도 적용된다는 것입니다. 따라서 제가 오늘 이야기하지 않을 것 중 하나는 우리가 해오고 있는 프로젝트이고, 당신의 카메라로부터의 실시간 이미지 피드와 그것을 분류하고 이해하는 방법을 파악하는 것, 그리고 피드백 같은 것을 제공하는 것과 관련이 있습니다. 음, 그것은 정말 텍스트가 아닙니다. 맞나요? 그것은 비디오 입력이고 그 다음 오디오 출력입니다. 에이전트처럼 말이죠. 음, 우리는 두 개의 서로 다른 모델로 그것을 합니다. 맞나요? 일부는 실제 휴대전화 위에 있으며, 그런 종류의 조금 바보 같은 모델들이지만 정말 빠릅니다. 그들은 초당 50프레임을 처리할 수 있습니다.

그들은 할 수 있습니다. 알다시피, 50밀리초 내에 응답합니다. 그들은 당신에게 보면, 이 이미지가 주어지면, 이것은 어떤 종류의 깊이 인식입니다. 알다시피, 오, 알다시피, 이것은 당신 앞의 의자이거나 당신 앞에 장애물이 있습니다. Gemini와 비교해봅시다. Gemini는 훌륭합니다. 그것은 정밀하게 당신에게 이미지에서 무엇이 일어나고 있는지 말할 수 있습니다만, 그것은 시간이 걸립니다. 당신이 네트워크 지연을 가지고 있습니다. 맞나요? 실제로 시간이 걸려서 첫 번째 토큰까지의 시간이 확실히 50밀리초보다 깁니다. 음, 따라서 이것들 사이에 차이가 있으므로 당신은 동시에 그들을 사용해야 합니다. 이것은 모든 것을 모델로 던지는 것만큼 간단하지 않습니다. 왜냐하면 모델은 아직도 그 단계까지 아직도 도달하지 못했기 때문입니다. 그들이 얼마나 훌륭하든 상관없이. 그들은 아직도 그 단계까지 아직도 도달하지 못했습니다.

따라서 우리가 해야 하는 것은 서로 다른 도구를 사용하여 사물을 짜맞추는 것입니다. 왜냐하면 서로 다른 작업은 서로 다른 이점을 가지기 때문입니다. 이 경우, 우리는 초저지연이 필요합니다. 맞나요? 그리고 우리는 스스로 문제를 분해할 수 있습니다. AI가 마법처럼 우리를 위해 그것을 하도록 하는 것 대신에. 따라서 우리는 한 종류의 핵심 프레임으로 분해했습니다. 음, 그리고 식별을 위해 영리한, 거대한 하지만 아마 어느 정도 느린 모델을 사용합니다. 음, 그 다음 덜 영리하지만 정말로 저지연, 정말로 초당 많은 프레임을 처리할 수 있는 것을 사용합니다. 우리는 핵심 프레임을 선택할 필요가 없습니다. 우리는 그냥 전체 스트림을 그 안에 전송합니다. 맞나요? 문제 해결됨. 음, 따라서 이렇게 함으로써, 당신은 양쪽 다의 최고를 얻을 수 있습니다. 당신의 의미론적 이해와 당신의 실시간의, 음, 안전 및 장애물 감지, 예를 들어. 음, 따라서 저는 이것을 완료하고 싶을 뿐입니다. 맞나요?

음, LLM은 많은 일에서 훌륭합니다. 그들은 정말로, 정말로 훌륭합니다. 음, 하지만 우리는 그들이 잘하는 일을 실현하기 위해 무언가를 사용해야 합니다. 따라서 저는 모든 어려운 일에 언어 모델을 사용하고 싶습니다. 맞나요? 정말로 중요한 것에는 결정론을 사용하고 싶으며, 저는 이 면에서 타협할 수 없습니다. 그 비결정론적 출력은 재앙이 될 것입니다. 음, 알다시피, 저는 농담 좋아하고, 우리는 단지 우리의 고객들에게 걱정하지 마세요. 저는 프롬프트에 「어떤 법률도 위반하지 마」를 추가했습니다. 마치 말이에요. 그것은 허용 가능한 답변이 아닙니다. 그렇게 말하면, 그것은 작동하지 않을 것입니다. 음, 그것이 훌륭했으면 좋겠습니다. 음, 하지만 만약 그렇다면, 저의 전체 팀, 우리는 존재하지 않을 것이고, 우리 모두가 해고될 것이고, 그것이 끝일 것입니다. 따라서 저는 그것이 그렇지 않은 것에 어느 정도 감사합니다.

음, 하지만 만약 당신이 이 전략을 취하고 Claude나 Gemini Coder나 어, 알다시피, 음, GPT Codex에 말한다면 마치 단지 이 아이디어들로 이것을 만들기 위해 가세요. 그것이 할 것입니다. 따라서 우리는 여전히 개발 단계에서 미친 일들을 위해 AI를 사용할 수 있습니다. 하지만 현실에서는, 저는 그들이 실제로 잘하는 것을 위해 개발 및 프로덕션의 다른 장소에서 모델을 훨씬 더 많이 사용해야 한다고 생각합니다. 음, 이제 저는 많은 것들을 논의하지 않았습니다. 음, 훨씬 더 많은 음, 우리가 생각하고 협력하는 것이 있습니다. 따라서 음, 저는 미세 조정을 전혀 언급하지 않았습니다. 맞나요? 음, 이전에 미세 조정을 한 사람이 몇 명이나 됩니까? 저는 항상 관객에게 이것을 물어보고 싶습니다. 좋아, 많지 않습니다. 당신은 시도해야 합니다. 그것은 훌륭합니다. 음, 하지만 우리는 항상 그렇게 하지는 않습니다. 우리는 의미 있을 때 그렇게 합니다.

음, 그것은 더 작은, 더 목표 지향적인 모델의 예시 중 하나입니다. 안전 분류나 스타일 어프로치처럼 하는 것은 당신이 당신의 출력을 어떻게 구조화하고 싶은지 합니다. 음, 미세 조정은 훌륭합니다. 맞나요? 이것은 당신이 올바른 장소에서 그것을 사용해야 한다는 것일 뿐입니다. 만약 당신이 나쁜 데이터를 가지고 있다면, 당신이 당신의 목표가 무엇인지 모른다면, 당신은 단지 모든 것을 위해 어떤 거대한 모델을 미세 조정하려고 시도하지는 않을 것입니다. 음, 또 다른 것은 평가입니다. 음, 누군가 테스트 주도 개발을 하는 것을 사용해본 사람이 있습니까? 네, 저는 때때로 제 모델에 TDD를 하라고 말합니다만, 만약 당신이 먼저 평가를 하면, 당신은 실제로 어느 정도 인공지능 평가 TDD를 하고 있습니다. 음, 그것은 작동합니다. 맞나요? 하지만 때때로 그것을 하기 어렵습니다. 음, 당신은 황금 데이터세트가 필요하고, 당신은 그런 종류의 것이 필요합니다.

따라서 이것은 저이고, 저는 단지 당신에게 남기고 싶은 것은 훨씬 더 많은 일이 있다는 것이지만 그 세 가지는 우리가 항상 마주치는 것이고 모델을 본래 방식대로 사용함으로써 그들이 잘하는 일을 위해 모든 것을 해결하는 방법이 있다는 것입니다. 음, 따라서 저는, 저는 앞서 언급했듯이, 인공지능 모델은 훌륭하지만 만약 당신이 사물을 만들고 싶다면, 어느 시점에서 내려야 합니다. 당신은 계속 영원히 그것을 탈 수는 없습니다. 따라서 저는 여기서 핵심 포인트는 당신이 완벽한 모델을 기다릴 수 없다고 생각합니다. 저는 그것이 곧 올 거라고 생각하지 않습니다. 아직 갈 길이 멉니다. 음, 그들은 지금 충분히 좋습니다. 당신은 놀랍운 일들을 구축할 수 있고, 그냥 시도하고 확인해봅시다. 음, 가능한 한 사물을 결정론적으로. 따라서 네, 그렇게 해서. 감사합니다. 좋아, 정말로 감사합니다, JJ.

좋습니다. 다음으로, 어, 우리는 특별히 무대에 올랐으면 하는 사람을 가지고 있습니다. Jeff Huntley입니다. 이것은 실제로 그가 싱가포르에서 말하는 두 번째입니다. 어, 그는 작년도 왔었습니다. 우리는 그가 공유한 것에 완전히 매료되었고 그를 돌아오도록 하기로 결정했습니다. 음, 어제 밤 파티에 있었던 분들을 위해, 어, 그는 실제로 몇몇 행사에 와서 또한 DJ를 했습니다. 어, 그래서 Jeff Huntley가 누구입니까? 그는 AI로 미친 무언가를 하는 것으로 알려진 독립 AI 연구원입니다. 따라서 그는 실제로 Ralph Loop의 뒤에 있는 사람이고, 그것은 이제 오늘 사용되는 많은, 많은 도구들에 통합되었습니다. 따라서 그는 모든 것이 공장이라는 것에 대한 강연을 할 것입니다. 안녕하세요. 음, 저는 여기에 있으며, 저는 말해야 합니다. 비록 저는 이 주제들에 대해 자신감 있게 행동할 수도 있지만, 이것은 상당히 도발적인 제목입니다. 음, 저는 모르겠습니다.

따라서 당신이 이것을 들을 때, 저는 당신이 이것을 반성했으면 좋겠습니다. 아마도 저는 맞을 것이고 아마도 저는 틀릴 것입니다. 따라서 이것은 도발적인 제목입니다. 왜냐하면 그것은 모든 것이, 저는 소프트웨어 개발이 이제 최저 임금보다 적은 비용을 들인다고 말하고 있기 때문입니다. 마치 한때 당신이 사진을 찍고 싶었다면, 당신은 전문적인 도구 등을 구매해야 했습니다. 사진을 찍기 위해. 하지만 이제 모든 사람이 어느 정도 아이폰을 가지고 있고 이제 모든 사람이 사진가입니다. 생각해봅시다. 일들이 변했습니다. 이 면책조항이 있으면, 대신에, 저는 누구를 위해서도 일하지 않습니다. 저는 완전히 독립적입니다. 저는 아무를 나타내지 않습니다. 따라서 이것은 자극적이 될 것입니다. 동물 스타일을 해봅시다. 좋습니다. 따라서 이제 약 1년 반이 지났습니다. 음, 제가 특정한 방식으로 메모리를 할당하는 기술을 발표했으므로. 그리고 만약 당신이 다른 루프 주위에 도구 호출을 감싸면, 그것은 그냥 루프입니다.

하지만 그것이 전부는 아니고, 이 결과들을 달성하기 위한 배경 엔지니어링과 관련된 많은 과학이 있고, 이 과정은 상당히 파괴적입니다. 음, 저는 거기서 한 강연을 했습니다. 모든 것이 어떻게 변했는지에 대해, 이것은 Atlassian 구조 조정 전 일주일이었습니다. 이런. 그리고 비즈니스의 단위 경제학이 영원히 변했습니다. 저는 당신이 이 변화가 얼마나 큰지 진정으로 이해했으면 좋겠습니다. 만약 당신이 이것이 진짜라고 믿지 않는다면, 당신은 다른 개발자들과 이야기하는 것을 중지해야 합니다. 당신은 창시자와 이야기해야 합니다. 당신은 비즈니스 리더들과 이야기해야 합니다. 당신은 더 호기심이 많아야 하고 진정으로 이것이 무엇을 의미하는지 이해해야 합니다. 봐, 모든 사람이 소프트웨어 개발자일 때 이것이 무엇을 의미하는가? 예를 들어, 같은 meetup에 Cursor가 있을 특별한 이유는 없습니다.

저는 어떤 방식으로든 Cursor를 최대화하지 않습니다만, 저는 이 meetup에서 몇몇 것을 지적하고 싶습니다. 여기에 Roslin이 있습니다. 그리고 Roslin처럼 다른 사람들도 있습니다. 그들은 디자이너입니다. 그들은 제품 관리자입니다. 그들은 큰 시간을 보내고 있습니다. 여기에 소프트웨어 엔지니어가 강연을 하고 있지 않습니다. 봅시다. 왜냐하면 그들은 이제 소프트웨어 개발자로 임파워링될 수 있기 때문입니다. 이것은 역사상 처음이고, 마치 그들의 손에 iPhone이 있는 것처럼. 그들은 직접 일을 할 수 있습니다. 그들은 사진을 찍을 수 있습니다. 그들은 소프트웨어를 개발할 수 있습니다. 그들의 가장 광란적인 꿈에 있는 무엇이든, 그들은 할 수 있습니다. 따라서 지난 3개월 동안 저는 세계를 여행하고 있었습니다. 저는 지금 다른 도시에서 이 강연을 17번 했다고 생각합니다. 그리고 음, 저는 간 도시 중 하나는 Oakland였습니다. Oakland에서, 저는 Lord of the Rings의 Hobbiton으로 가는 곁길 임무를 하기로 결정했습니다.

제 가이드 운영자가 제게 물었습니다. 「Jeff, 당신은 뭘 합니까?」 저는 말했습니다. 「저는 AI를 합니다. 제발 날 심판하지 마세요.」 그 다음에, 그의 눈이 밝아졌고 그는 말했습니다. Jeff, AI가 얼마나 좋습니까? AI가 얼마나 좋습니까? 당신의 도구 운영자가 토큰 최대화할 때 이것이 무엇을 의미하는가? 봅시다. 이제 모든 사람이 소프트웨어 개발자이고, AI가 모든 사람을 소프트웨어 개발자가 되도록 했기 때문이고, 사회는 항상 지식 부족을 중심으로 설계되었습니다. 과거 우리가 높은 비용을 청구했습니다. 왜냐하면 지식이 부족했기 때문입니다. 이것이 우리가 사회를 조직한 방식입니다. 이것이 변했습니다. 여러분, 왜냐하면 우리는 이제 지식이 풍부한 경제로 들어가려고 하기 때문입니다. 당신이 수석 소프트웨어 엔지니어가 되는 것이 무엇을 의미할 것입니까?

당신은 아마 결정론적 시스템 테스팅, 속성 기반 테스팅, 테스트 생성기 그리고 이러한 모든 고급 것들, 형식 방법 그리고 증명에 대해 알고 있을 것입니다. 이 것들이 그냥 기술 파일로 싸여져 있을 때 이것이 무엇을 의미할 것인가? 음, 이것은 소프트웨어 엔지니어링에 관한 것이 아니라, 또한 회계, 법률, 기본적으로 모든 화이트칼라 직업, 본질적으로 지식 부족의 아이디어를 기반으로 합니다. 이것은 사회에 변형적인 영향입니다. 따라서 약 2년 전의 시간으로 돌아가면, 음, 이것은 제 2024년 11월의 모습입니다. 저는 먼저 「오, 젠장」이라고 말했습니다. 저는 모든 것이 반드시 변해야 한다는 블로그 게시물을 발행했습니다. 저는 나중에 이것을 더 깊이 살펴보겠습니다. 저는 IDE가 죽었다고 말했습니다. 사람들은 내가 미쳤다고 말했습니다. IDE가 죽었다고. 하지만 제 말의 의미는

그렇지만 제 말의 의미는, 최소한 이 방, 싱가포르에서, 매일 IDE를 사용하는 많은 사람들이 없다는 것입니다. 그들은 어떤 형태로든 headless agents나 비동기를 합니다. 당신은 이제 아마도 당신의 휴대폰에서 무언가를 요리하고 있습니다. 당시 모델은 사회적 무질서를 야기할 정도로 충분히 좋았지만, 그것에서 결과를 얻으려면 많은 기술이 필요했습니다. 많은 기술. 그들은 야생 말들이나 야생 수말처럼 있었습니다. 당신은 그들이 좋아지기 전에 그들을 길들여야 했습니다. 당신은 이 시간을 인식할 수도 있습니다. 이것은 두 번째입니다. 이것은 모델이 실제로 좋아질 때입니다. 좋은 결과를 얻기 위해 말 장비 엔지니어로 길들이는 것을 정말로 하기 위해 어떤 기술도 필요하지 않습니다. 여기에는 흥미로운 뭔가가 있습니다.

AI가 얼마나 좋든 상관없이, 그것은 사회가 무언가가 더 좋아졌다는 것을 이해해야 하는 downtime 속도와 일치합니다. 따라서 모델이 계속해서 더 나아지더라도 더 나아집니다. 12월에 「오, 젠장」하는 순간이 있습니다. 마치 사람들이 쉴 시간이 있습니다. 그들은 Slack이 있습니다. 그들은 놀 시간이 있습니다. 그들은 이것들을 가지고 놀 수 있는 능력을 가지고 있고 실제로 더 나아졌다는 것을 이해했습니다. 따라서 당신은 제품 출시를 볼 것이고, 마치 사회의 시스템 충격은 저의 가설입니다. 그것은 사회의 downtime 속도와 일치할 것입니다. 학교 휴일, 크리스마스 휴일 그리고 다른 모든 휴일. 당신 봅시다. 지난 2년 반 동안 저와 함께 있었고 AI에서 정말 잘했던 사람들은 AI를 계산기처럼 대우하지 않았습니다.

그들은 항상 그것을 악기처럼 대해 왔습니다. 보세요, 음악가는 단순히 기타를 사용한 후 「오, 이것은 형편없어요」라고 말하고 버리지 않습니다. 그들은 이것이 기술 문제임을 인식합니다. 그들은 기술을 인식했습니다, 친구. 따라서 정말 중요한 것은 실제로 무언가를 하고, 호기심을 가지고, 배우고, 의도적인 집중적 연습을 하는 것입니다. 이것은 항상 나에게 핵심이었습니다. 이렇게 하는 방법이 없습니다. 아니요, 이것은 사실이 아닙니다. 이것은 사실이 아닙니다. 무언가를 해봅시다. 비이성적인 것을 해봅시다. 발견을 해봅시다. 바로 그런 종류의 의도적인 집중적 연습을 통해서만 당신은 더 나아질 수 있습니다. 현재 조금 이상한데, 사회는 모든 회사가 이런 기타를 세상에 밀어붙이는 것 같고, 그것은 「기타를 연주해 주세요」는 것처럼 보이지만, 모든 사람이 음악적 재능을 가지고 있는 것은 아닙니다.

보세요, 제 생각에는 지금 기본적으로 두 가지 유형의 회사가 있습니다. 당신은 완전히 새로운 초기 단계 회사를 가지고 있습니다. 지금 나타나고 있고, 그들은 마치 「정말, 나는 AI 원시 워크플로우를 할 것이고, 나는 내 인생을 살 것이고, 나는 많은 사람을 고용하지 않을 것입니다」라고 말하는 것처럼 보입니다. 그들은 워크플로우를 기울이고 실제로 상황을 변경하고 있습니다. 그들은 그들이 특정 모델을 선택함으로써 AI를 얻을 수 있다고 생각하지 않습니다. 그들은 실험하고 있고, 그들은 시도하고 있고, 그들은 이 새로운 기반층에서 완전히 활용할 수 있는 방법 주위에 그들의 코드베이스와 프로세스를 설계하고 있습니다. 동시에, 당신은 오늘 그곳에 있는 모든 회사를 가지고 있습니다. 글쎄요, 저는 이 강연을 했고, 누군가가 「오, AI는 단지 도구일 뿐입니다. 우리 회사에서는 AI가 금지되어 있습니다」라고 말했습니다. 나는 「오 신이여, 당신은 그 회사에서 사직해야 합니다」라고 말하고 싶습니다.

글쎄요, 그리고, 음, 아래쪽 절반의 모든 사람은 소위 J 곡선을 겪을 것입니다. 모든 직원 전환은 J 곡선을 겪어야 합니다. 직원 전환 등처럼요. 이것은 완료되기까지 3년에서 4년이 걸립니다. 당신은 너무 빨리 할 수 없습니다. 왜냐하면 당신은 사람들을 다치게 할 것이기 때문입니다. 동시에, 위쪽의 사람들은 할 것입니다. 만약 당신이 Clay의 파괴적 혁신 개념을 믿는다면, Christen에서, 그들은 정말 「정말, 당신의 이익은 나의 기회」라는 것처럼 리너 최고 포식자가 될 것입니다. 모델이 더 나아질수록, 그들은 실제로 더 적은 속도로 더 빠르게 실행할 수 있으므로, 당신은 아마도 이미 이 거대한 감원을 절반의 직원 등과 함께 봤을 것입니다. 나는 당신이 이것을 생각해 보기를 원합니다. 나는 Jack이 이 진술에서 실제로 맞다고 생각합니다. 하지만 나는 AI가 실제로 소프트웨어 주식에 가격이 매겨졌다고 생각하지 않습니다. 맞죠?

전에는, 우리가 소프트웨어 주식의 가격을 매길 때, 그것은 성장 배수의 배수에 기반했습니다. 우리는 이제 그것이 사라지는 것을 봅니다. 하지만 나는 실제로 많은 회사들이 그들의 조직 구조를 다시 생각해야 한다고 생각합니다. 당신이 Spotify를 생각해 보기를 원합니다. 여기서 누가 Agile을 해 봤고, Spotify가 Spotify를 어떻게 Agile로 하는지에 대한 Spotify의 비디오를 보도록 강요받았는지요? 그들은 guilds, tribes, squads 및 그 모든 것들을 가지고 있습니다. 2개의 비디오가 걸렸고, 모든 사람이 그 쓰레기를 모든 곳에서 cargo culting하기 시작했습니다. 이것은 광인 또는 몇 명의 다른 광인을 필요로 할 것입니다. 따라서, 우리는 Toby와 Jack을 가지고 있습니다. 지금 재미를 가지고 있고, 그들은 실험하고 있으며, 올바른 것이 무엇인지 알아내려고 하고 있으며, 그들은 사례 연구를 발행할 것입니다. 그 사례 연구가 완료되면, 그것은 모든 사람에 의해 복제될 것입니다.

그래서, 지난 몇 개월 동안, 나는 여행을 다니고 있었고, 나는 다음과 같은 질문을 하고 있었습니다. 나는 벤처 캐피탈리스트들과 이야기하고 있었고, 음, 모든 사람의 마음 속에서 가장 중요한 질문은 지금 누군가가 시드 자본을 모아야 하는 이유는 무엇입니까? 보통 당신은 자금을 모으는 이유는 당신이 그것을 구축하기 위해 사람들을 고용하기를 원하기 때문입니다. 아니 친구, 바로 그것을 구축하세요. 그것처럼 완전히 다릅니다. 이것이 5명의 팀이라면, 자본을 모금해야 하는 이유는 무엇입니까? 그것처럼, 누군가가 우리가 이야기해 온 AI 운영 체제를 해킹했다면, 사람들이 실험하고 있다면, 이것은 그것이 정말로 그런 방식인지 알아낼 한 해가 될 것입니다. 투자하는 것의 요점이 무엇입니까? 와서 만나보세요. 나는 이것에 대해 약간의 미묘한 점을 가지고 있지만, 여기 세부 사항에 들어갈 수 없습니다.

소프트웨어는 여전히 투자 가능하지만, 지금은 매우 다릅니다. 이것은 모든 LP의 마음 속 질문이고, 그들은 VC 회사의 GPS에 압력을 가하고 있습니다. 그것이 여전히 투자 가능합니까? 그래서, 특별한 이유는 없지만, 나는 기업 회사 SAP를 선택하려고 합니다. 그들은 LinkedIn에 따르면, 비용 관리 소프트웨어를 하는 6800명을 가지고 있습니다. 이는 많은 사람들입니다. 이것은 J 곡선 직원 전환 계획을 나타냈습니다. AI 사용 방법을 배우는 것과 같은. 리너 최고 포식자와 비교했을 때, 그들은 얼마나 많은 시간을 가지고 있습니까? 50명이 AI를 활용하고 있고, 그들은 6800명이고, 그들은 「제발 기타를 집어 올리세요, 제발 tar를 집어 올리세요, 이 측면에서 잘해 주세요」라고 말하는 것처럼 보입니다. 그들은 이 조직 구조로 지어졌습니다.

모든 회사는 이 조직 구조로 지어졌습니다. 음, 우리는 기본적으로 단지 사람들을 고용했고, 우리는 회의와 위원회 및 이 모든 것들을 가지고 있었고, 건축자는 거의 거의 없었습니다. 나는 당신이 신중하게 생각해 보기를 원합니다. 그 6800명을 개조하는 데 얼마나 오래 걸립니까? 만약 이것이 해킹되면, 현직자는 얼마나 많은 시간을 가지고 있습니까? AI 운영 체제의 아이디어와 이 리너 최고 포식자들을 비즈니스에 밀어붙이는 것. 더욱이, 당신이 왜 변경하거나 더 이상 변경해야 합니까? 이것은 이미 논의된 조용한 것입니다. 당신이 나를 믿지 않으면, 리더십과 대화하러 가세요. 우리는 모두 더 작은 팀이 더 나은 결과를 얻는다는 것을 알고 있습니다. 더 작은 팀, 더 나은 결과, 더 적은 조정, 더 적은 오버헤드. 여기는 뉴질랜드의 창립자로부터의 인용문입니다. 그들은 backfill을 중단했습니다. 세계 각지의 회사들은 지금 하고 있습니다.

그들은 반드시 감원을 하고 있지는 않습니다. 그들은 단지 backfill을 중단했습니다. 우리는 더 작지만, 우리는 실제로 우리 이사회에게 우리는 backfill하지 않을 것이라고 말함으로써 3분의 2를 줄였습니다. 날짜를 주목하십시오. 그것은 3년 전이었습니다, 여러분. 어떤 사람들처럼 항상 일찍 있었습니다. 당신이 이런 종류의 주제와 리더십을 고려하고 있다면, 음, 나는 당신이 이런 것들을 해야 한다고 주장하는 것이 아니지만, 어떤 사람들은 앞서 나갔습니다. 이것이 최고의 결정이었습니다. 왜냐하면 우리는 그 모든 것들을 감소시킨 사람들을 제거했고, 나는 AI에 대해 들으려고 지쳤기 때문입니다. 나는 AI에 대해 들으려고 지쳤습니다. 우리는 이제 20명이고, 60명에서 내려왔고, 우리는 지금까지 어느 때보다 더 많은 속도를 얻었습니다. 이것은 매우 어려울 것입니다. 왜냐하면 AI는 많은 사람들에 의해 세상에 밀려나가고, 실리콘밸리에 의해 밀려나가기 때문입니다. 그것은 의도적이지 않게 사회에 밀려나갑니다. 그리고, 음, 나는 당신이 이것을 생각해 보기를 원합니다.

여기 많은 사람들이 이미 그들의 정체성을 직원 리더 또는 직원 관리자 및 다른 모든 것으로 구축했습니다. AI는 이 모든 것을 지웠습니다. 마치, 만약 이 질문 진술이 해킹되면, 그러면 이것이 우리가 글자 그대로 보는 것입니다. 우리는 높은 수준의 대리인권과 호기심을 가진 사람들이 뭔가를 구축하는 것을 보고 있습니다. 우리는 아직 알지 못합니다. 나는 우리가 52개를 집어 올리고 한 벌의 카드를 공중에 던지고 이것을 해야 한다고 주장하지 않지만, 이것은 지금 사람들의 머리 속에 있는 것입니다. 이것이 우리가 지금 있는 곳입니다. 이것은 나를 깊게 괴롭히고 있습니다. 왜냐하면 소프트웨어 엔지니어는 시간과 기술로 돈을 교환하기 때문입니다. 맞죠? 만약 회사가 AI에 문제가 있다면, 그것은 회사 문제이지, 당신 자신의 문제가 아닙니다. 만약 당신이 AI를 금지하는 회사에서 일한다면, 당신은 그 회사를 떠나야 합니다. 솔직히 말해서, 지금 당장. 당신의 가정 단위를 먼저 두세요.

보세요, 왜냐하면, 음, 이것이 2024년에 내 모습입니다. 그것은 Camber의 AI 기술 리드로서의 나의 모습이었습니다. 마치 「AI는 아직 충분히 좋지 않습니다. 나에게 증명해 보세요. 그것은 과대광고가 아닙니다」처럼요. 나는 그것을 가지고 놀기 시작했습니다. 나는 모든 것이 바뀌었다고 생각했습니다. 그래서 나는 그것에 완전히 쏟아붓는 것 외에 의미가 있는 것을 볼 수 없습니다. 그리고 나서 당신은 그리고 나서 당신은 지금 2026년, 2년 후에, 당신은 두 개의 페르소나를 가지고 있습니다. 그 사람들은 어떤 식으로든 AI를 소비하고, 그리고 실제로 AI가 기반층에서 어떻게 작동하는지 이해하는 사람들. 나는 당신이 신중하게 보기를 원합니다. 이제 선이 있습니다. 나는 더 이상 선의 왼쪽에 있는 사람을 고용하지 않습니다. 당신이 면접할 사람을 결정하고 면접을 진행하는 방법을 알아내려고 노력하고 있다면, 이것은 매우 간단합니다, 여러분. 당신은 더 이상 선의 왼쪽에 있는 사람을 고용하지 않습니다. 이것은 호기심 테스트입니다. 그리고 너무 많은 엔지니어가 실패합니다. 이것은 매우 슬픈 일입니다.

보세요, 만약 내가 당신에게 기본 키가 무엇인지 또는 그래프를 순회하는 것이 무엇인지 물으면, 당신은 「제발, 친구. 마치, 당신이 나를 시험하고 있는 것처럼」이라고 말할 것입니다. 하지만 왜 2026년에, 사람들이 실제로 이것이 무엇인지 설명할 수 없습니까? 나는 화이트보드를 꺼내고, 그들은 도구 호출이 무엇인지 설명할 수 없습니다. 그들은 정말로 나에게 추론의 시퀀스 다이어그램을 보여줄 수 없습니다. 그들은 정말로 깊이 들어갈 수 없습니다. 그들은 다른 공급 업체의 모델 카드 간의 차이에 대해 이야기할 수 없습니다. 온도는 무엇입니까? 그들은 이런 것들에 대해 왜 대답할 수 없습니까? 그래서, 당신이 누구를 고용할지 알아내려고 노력한다면, 이것은 단순히 항상 호기심 많은 사람들입니다. 당신은 이것을 테스트해야 합니다. 달콤함. 왜냐하면 이것은 매우 슬픈 일입니다. 왜냐하면 LLM과 AI는 글자 그대로 야생 루프이고, Ralph는 야생 루프 내의 야생 루프입니다. 와우. 끔찍한. 큰 일괴는 모든 것이 롤러코스터로 가게 할 것입니다.

그래서, 이 모든 것이 어떻게 전개될지 보는 것은 매우 재미있을 것입니다, 여러분. 보세요, 많은 사람들에게, 그들은 AI를 깨닫지 못하고 있습니다. 음, 그들은 그들의 문 앞에 떠나는 것을 기대합니다. 발표되지만, 실제로 일어나는 것은 사회 아래, 집 아래로 차용하는 한 종류입니다. 이제, ponderos를 닫는 것이 정말 빠릅니다. 왜냐하면 나는 시간을 초과했기 때문입니다. 당신의 조직과 프로세스에서 낭비를 제거하는 것이 AI 자체의 가속기보다 더 낫습니다. 당신은 엔지니어링 관리자를 고용하는 방법을 알아내려고 노력하고 있습니다. 질문은 간단합니다. AI가 그것을 깨뜨렸기 때문에, 당신은 당신의 시스템과 프로세스에서 무엇을 변경했습니까? 맞죠? 당신은 여전히 민첩한 방식을 하고 있습니까? 더 이상 민첩하지 않습니까? 글쎄요, 당신은 어떻게 것들을 변경했습니까? 이것이 당신이 찾는 것입니다. 당신은 이 문제 공간에서 항상 생각해 온 엔지니어링 관리자를 찾고 있습니다.

agent를 구축할 수 있는 엔지니어, 이 것들을 실현하기 위해 조직 구조 주위에 것들을 변경하는 엔지니어링 관리자. 지금 아이디어는, 음, 실행. 내 말은, 당신은 정말로 SAS 기능의 스크린샷을 직접 찍고, 당신의 코딩 agent에 방귀를 뜯고, 당신은 그 SAS 기능을 얻습니다. 낡은 아이디어처럼요. 아이디어, 음, 실행이 없으면 모든 것이 뒤집혔습니다. 이것은 사람들에게 매우 어려울 것입니다. 이것은 실제로 심리적 스트레스 함수입니다. 사람들은 5가지 슬픔 단계를 거칩니다. 음, 하지만 모든 사람의 마음 속의 질문은 우리는 사람들에게 이 위기의 동작을 통과할 시간을 얼마나 주어야 하고, 우리가 할 수 있는 것은 무엇입니까? 만약 당신이 소프트웨어 엔지니어라면, 아직 내 GitHub에 자신의 agent를 구축하지 않았으면, 무료 워크숍이 있습니다. 그것은 300줄의 코드입니다.

당신 자신의 커서, 코-파일럿, 코덱을 구축하고, 그다음 기초를 배우세요. 호기심 많은 사람이 되세요. 자동차 엔진을 바꾸지 마세요. 엔진을 재구축하고 피스톤이 무엇인지, 화기통이 무엇인지 아는 호기심 많은 사람이 되세요. 세부 사항으로 들어가세요. 이 세부 사항을 알지 못하면 당신은 자신의 경험이 많은 엔지니어가 아닙니다. 감사합니다. 좋아요, 제프님께 감사의 말씀을 드립니다. 좋습니다. 제가 다음 발언자를 소개하기 전에, 빠른 공지 사항이 있습니다. 음, 풀만 박람회 및 킴핀스키 박람회가 오전 10:00 이후로 개방되어 있습니다. 거기서 당신은 음, 여러 가지를 볼 수 있습니다. 예를 들어 로봇 놀이터 및 두 위치의 나비우스의 로봇 전시입니다. 당신은 또한 우리가 오전에 들은 일부 사람들과 대화할 수 있습니다. 예를 들어 Arise, Google DeepMind, 그리고 Cloudflare입니다.

좋습니다, 이 다음 부분을 시작하기 위해, 음, 나는 당신들 중 많은 사람들이 이미 개인 agent 같은 것을 구축했다고 믿습니다. Open Claw에 대해 들었습니다. 그래서 나는 정말 흥미로워합니다. 이것이 이 부분을 열 첫 번째 발표자입니다. 음, 이것은 Vincent입니다. 그는 OpenClaw Foundation의 수석 건축가입니다. 그는 OpenClaw의 현황에 대해 이야기할 것입니다. 정말 멋집니다. 감사합니다, 여러분. 싱가포르에 오신 것을 환영합니다. 여기 있어서 기쁩니다. 음, 나는 이미 싱가포르에서 여러 번 강연을 했습니다. 흥미로운 점은, 나는 실제로 또한 NUS에서 몇 개월 동안 가르쳤습니다. 그래서 좋은 것들. 그래서, Sher가 말했듯이, 나는 Vincent입니다. 현재 openclaw foundation의 수석 건축가이고, 음, 오늘의 메시지. 그래서 재단은 절대적으로 여전히 살아 있습니다. 나는 postclaw 시대에 대해 이야기할 것입니다. 나는 또한 우리가 출시한 것과 다음에 일어날 일에 대해 조금 이야기할 것입니다. 나 자신에 대한 조금.

음, 나는 나 자신을 Vincent, 음, 친절한 clanker라고 부릅니다. 그래서, 당신이 내 강연을 보거나 강연을 한 적이 있다면, 나는 기술을 설명하기 위해 이 그림을 사용합니다. 마치 사진처럼요. 음, 이것은 VR 안경입니다. 나는 아주 오래 전에 받았고, 아직도 누구도 VR이 무엇인지 알기 전입니다. 그것은 단 5분 동안 사용하라는 경고가 함께 왔습니다. 나는 4시간 동안 사용했고 나서 4시간 동안 토했습니다. 기술은 가장자리에서 재미있습니다. 음, 그것은 좀 거친 톱니 모양이지만, 당신은 알고 있고 당신은 배웁니다. 것들이 바뀝니다. 그래서 공개 발톱 같은 좀 같습니다. 음, 무엇이 일어났습니까? 그래서 우리는 매주 백만 개 이상의 npm 다운로드를 가지고 있습니다. 우리는 주 분기에 50,000개의 커밋을 초과했고, 하루에 800개의 커밋의 피크에 있습니다. 음, 1,600명의 기여자, 놀라운 음, 커뮤니티의 지원. 음, 프로젝트의 거의 80,000개 포크. 음, 우리는 또한 40개 이상의 claw cons를 했습니다.

이것들은 claw 축제처럼 여섯 대륙에 걸친 특정 이벤트입니다. 음, 하지만 나는 당신에게 말하고 싶은 것은 우리가 지어진 것과 우리가 그것을 어떻게 지었는지에 대한 것입니다. 그래서 AI London에서 나는 어두운 공장에 대해 조금 이야기했습니다. 나는 내 강연도 지금 YouTube에 있다고 생각합니다. 그래서 가서 보세요. 하지만 나는 이야기하고 싶은 것은 어두운 면입니다. 이것들은 우리가 최근에 출시한 일부 기능이지만, 나는 그 중 일부를 강조하고 싶습니다. 그래서 꿈꾸는 것은 우리가 심각하게 생각하기로 결정한 것입니다. agents가 꿈을 꾸었을 때 무엇이 일어나는지 알고 있습니까? 음, 하지만 이 기능들의 많은 것들은 때때로 당신이 느낄 수도 있습니다. 당신은 알고 있습니다. 메모리를 위한 것처럼 또는 정말 멋진 무언가. 하지만 이것은 실제로 사용자를 위한 것입니다. 사용자가 이해할 수 있는 진정한 쉬운 방식으로 그들의 agents가 일어나는 일을 이해할 수 있도록 하기 위한 것입니다.

우리는 또한 codeex harness에 대한 1차 지원을 출시했고, 나는 조금 이야기할 것입니다. 하지만 우리가 업계에서 보는 한 가지는 자신의 harness 주위에 특별히 구축된 모델로의 전환과 우리가 model과 harness의 조합을 함께 배포하는 방법입니다. 따라서 OpenAI의 경우 특히 모델의 경우, 우리는 지금 이를 기본 옵션으로 전환했습니다. 즉, OpenAI를 사용할 때 백그라운드에서 codeex harness를 사용합니다. 이 때문에, 당신은 최고의 성능을 얻습니다. 그 모델 자체와 함께 제공되는 일부 원시 도구와 기능. 또한 내가 별로 자랑스럽지 않은 하나가 있습니다. 이것은 작은 애완동물 프로젝트입니다, 음, 「파인딩 니모」에서 이름을 따왔습니다. 음, 호주에 거주한 후, 음, 어항 물고기입니다. Clownfish는 본질적으로 GitHub 작업에서 대규모로 harnesses를 실행하고 있습니다.

그리고 Clownfish를 통해, 음, 또 다른 프로젝트가 Claw Sweeper라고 불리고 있으며, 우리는 2일 안에 10,000개의 PRs에서 약 3,000개의 PRs로 감소할 수 있었습니다. 그래서, 나는 어두운 면에 대해 이야기했습니다. 음, 그래서 이것은 나의 커밋입니다. 나는 3월에 하루 안에 거의 3,000개의 커밋이 있다고 생각합니다. 커밋 최대화. 좋음. 당신은 시도해야 합니다. 음, 하지만 내가 당신에게 말한 것들, 나는 당신에게 보여준 기능의 벽은 우리가 지난 4주 내에 자원봉사자 그룹과 여가 시간에 일하는 사람들과 함께 출시한 것일 뿐입니다. 그래서 다음은 무엇인가요? 우리는 플러그인 아키텍처와 같은 것으로 전환해 왔습니다. 우리가 많은 PRs와 issues를 가지고 있는 이유는 안정성과 버그와 수정 같은 것 외에 또 다른 이유는 모든 사람이 open core를 자신의 것으로 만들기를 원한다는 것입니다. 모든 사람이 기여하고 싶어합니다.

모든 사람이 자신을 위해 조금 더 멋지게 하고 싶어합니다. 하지만 이것은 확장되어야 하는 프로젝트에서 상당히 도전적이 되었습니다. 그래서 당신은 openclaw 같은 것을 취할 수 있습니다. 음, 음, 음, 핵심 자체, 당신은 알고 있습니다. 당신은 게이트웨이를 가질 수도 있고 파일 시스템을 가질 수도 있습니다. 하지만 우리는 음, 적응성과 확장성에 대한 몇 가지 개념이 필요합니다. 그래서 우리는 플러그인 아키텍처 같은 것을 구축하기 시작했습니다. 본질적으로, 핵심 코드는 시작되고 재구성되고 이들이 본질적으로 플러그인의 버킷으로 분해됩니다. 음, 우리는 어려운 경계를 만들었고, 이는 많은 사람들의 것들을 깨뜨렸습니다. 우리는 배워야 했습니다.

음, 하지만 이것은 이전의 매우 하드코어한 openclaw 시작, 음, 침실에서, 음, 모든 코드가 공개되었던 곳, 음, 내부적으로 개인이 되었습니다. 이것은 플러그인 아키텍처가 허용한다는 의미입니다, 음, 깨끗한 인터페이스. 그래서 우리는 openclaw 내부에서 작업을 계속할 수 있고, 생태계의 개발자와 다른 사람들의 외부 경험을 깨뜨리지 않습니다. 나는 또한 이것이 예를 들어 OpenAI 제공자를 가져 와서 확장으로 변환하는 것을 포함한다고 언급했지만, 또한 harness를 확장이나 플러그인으로 변환하고 둘을 결합합니다. 그래서 지금 당신은 실제로 harnesses를 openclaw에 구축할 수 있고 model 자체와 함께 harnesses를 결합해서 실행할 수 있습니다.

우리가 이 규모에서 빠르게 깨달은 또 다른 것은 도구의 부족입니다. 그리고 우리가 사용하는 도구들은, openclaw가 어떻게 태어났는지처럼, 우리가 깨달았을 때입니다. 얘, 왜 아무도 나를 위해 뭔가를 할 수 있는 개인 AI agent를 구축하지 않았습니까? 우리는 또한 깨달았습니다. 얘, 왜 아무도 내가 모든 것에 의해 rate limited되었을 때 이 규모에서 작동할 수 있는 개발 도구를 나를 위해 구축하지 않았습니까? 그래서 우리는 openclaw 같은 것을 취했고, 그것 주위에 구축하기로 결정했습니다. 그래서 나도 일해 온 흥미로운 프로젝트 중 하나는 음, git crawl과 disc crawl, 이 모든 것들은 crawl 기반 응용 프로그램이 있습니다. 본질적으로 go에서 작성된 터미널 기반 CLI입니다. 이것은 이제 라이브러리이고, 이 라이브러리를 통해, 우리는 openclaw와 관련된 모든 issues와 PRs의 전체 내용을 빠르게 섭취할 수 있었습니다. 그들을 클러스터링하고, 분산된 음, SQLite 파일 시스템에 배치합니다. 이것은 또한 GitHub에 저장됩니다. 이것은 프로젝트의 모든 유지 관리자가 그들의 로컬 파일 시스템에 매시간 업데이트된 올바른 데이터를 받을 수 있다는 의미입니다. 그들은 git에 연결할 필요가 없습니다.

이것의 추가 이점은 이 도구는 이제 자동 PR 작업을 하는 agents에 의해 접근할 수 있다는 것입니다. 그리고 우리가 하는 작업입니다. 그래서 나는 꽤 빠르게 크기를 조정하고, 그것이 어떤 모습인지 볼 수 있습니다. 그래서 이것은 왼쪽에 터미널 GUI를 가지고 있습니다. 이들은 중간의 클러스터입니다. 하나는 이 클러스터 중 하나입니다. 당신은 그 중 하나의 프로젝트가 92개의 issues와 PRs가 연결되어 있다는 것을 볼 수 있습니다. 이들은 모두 관련이 있습니다. 이것의 이유는 이렇습니다. 10번 중 9번, 긴급 문제가 있는 대부분의 사람들은 동일한 긴급 문제를 가지고 있을 것입니다. agents는 모두 우리에게 동일한 PRs와 issues를 보낼 것입니다. 이것의 이점은 우리가 빠르게 연속해서 agents에게 이것을 제공할 수 있다는 것입니다. 닫으려고 하고 해결하려고 시도하려고 도와주기 위해, 또는 우리는 오래된 issue, 오래된 regression을 볼 수 있고, 새로운 issue가 다시 그 클러스터로 들어가기 때문에 다시 나타납니다.

그리고 다시, 이 모든 것은 로컬에서 실행되고, 음, GitHub을 배포했으므로 모든 유지 관리자가 사용할 수 있습니다. 우리가 관련된 다른 도구들 중 일부는 음, Crabbox라고 불리는 것입니다. 이것은 음, 이 개발 도구의 많은 부분에서 비롯되었습니다. 당신이 보는, Daytona E2B 유형의 박스처럼 일시적인 실행을 위해 사용되는 것입니다. 하지만 우리는 빠르게 실행해야 하는 것을 필요로 했습니다. 우리가 codeex 내부에서 테스트를 실행할 때마다, 변경할 때마다, 테스트는 15분까지 걸렸습니다. 내 기계의 RAM을 죽이고 있습니다. 음, Crabbox를 사용하면, 본질적으로 우리는 분산된 게이트웨이를 구축했습니다. Cloudflare 위에서 실행되고, 또한 AWS, Google Cloud 같은 호스팅 제공자 및 빠르게 Windows, Mac, Linux에서 spot instances를 사용하여 실행할 수 있으며 VNC와 SSH 지원을 사용합니다.

그래서 일어나는 것은 내 코드 세션, 내가 로컬에서 코딩할 때, 10, 15, 20개의 이 상자를 시작하고 많은 연속 테스트를 시작합니다. 문제가 있으면, 나는 그 기계로 점프할 수 있습니다. 나는 스크린샷을 얻을 수 있습니다. 나는 심지어 원격 제어할 수 있습니다. 이것은 나는 빠르게 내 노트북에서 필요한 어려운 계산을 더 이상 실행할 필요가 없다는 의미입니다. 나는 내가 실행할 수 있는 agents의 수를 빠르게 확장할 수 있습니다. 음, 우리는 또한 내가 언급한 clownfish와 claw sweeper 같은 것들을 포함했습니다. 음, 우리는 핵심을 재구성하기 시작했고 fsafe라고 불리는 것을 구축했습니다. TypeScript 파일 시스템입니다, 음, 안전한 파일 시스템입니다. 당신이 symlinks와 Windows 그리고 이 모든 것을 다루어야 했던 적이 있다면, 우리는 빠르게 그런 라이브러리가 없다는 것을 깨달았습니다.

그래서 우리의 코드베이스 내부에 파일 시스템을 처리하는 더 많은 핵심 코드를 만드는 대신, 우리는 그것을 꺼내기로 결정했고, 실제로 그것을 우리가 사용할 수 있는 음, 라이브러리로 만들었습니다. 음, 그리고 마지막으로 내가 당신에게 보여주고 싶은 것은 일부 내부의 것입니다. 이것은 QAB라고 불리는 또 다른 프로젝트입니다. QAB는 하는 것은 Slacklight 환경 같은 것을 mocks합니다. 우리는 그것을 통해 시나리오를 실행할 수 있습니다. Mock, 그리고 나중에 우리는 진정한 models와 진정한 providers와의 진정한 연결을 추가했습니다. 따라서 어떤 유지 관리자든 또는 실행 중인 agents는 한쪽에서 이 중 하나를 서버로 시작할 수 있으며, 작업을 작성하는 방식으로 이러한 시나리오를 실행할 수 있으며, 진정한 음, 대화, 진정한 상호 작용 및 진정한 데이터를 생성합니다. 이것은 시스템의 모든 각 측면에 영향을 미칩니다.

그래서 그냥 조금 공유하고 싶습니다. 나는 10분 만에 있고, 나의 시간은 거의 없지만, 나는 OpenClaw 내부에서 항상 일어나는 것을 전시하고 싶습니다. 그리고 우리는 개인 AI agents 구축과 더 큰 생태계를 지원하는 것을 넘어 있고, 음, 어떤 오픈 소스 방식을 통해 도움을 주고 있지만, 실제로는 agentic 도구가 어떻게 보이는지를 다시 상상하고 있습니까? 우리는 2026년 인공지능의 미래를 구축하는 이 postclaw 시대가 무엇을 의미하는지 측면에서 모든 사람을 지원할 수 있는 방법은 무엇이며, 그리고 그것을 커뮤니티에 반환합니다. 그래서 정말 감사합니다. >> 당신에게 감사합니다, Vincent. 그것이 정말 멋났습니다. 얘, 여러분. 재미있기를 바랍니다. 다음으로, 우리는 Ego Aai에서 Vish를 가지고 있습니다. 이것은 YC가 지원하는 Neolab입니다. 음, 그들은 모든 Frontier Lab이 놓친 뭔가를 구축하고 있습니다. 나는 당신들에게 큰 소리로 부르짖어야 한다고 생각합니다.

당신들이 나를 들을 수 있습니까? 안녕. 좋습니다, 좋습니다. 우리가 준비되는 동안, 어, 당신들 중 매일 정말로 AI를 사용하고 있는 사람은 몇 명입니까? 와우, 이것은 나가 기대했던 것보다 적습니다. 당신들은 AI 회의에 왜 왔습니까? 어, 그런데, 어, 그것은 한 사람이 아닙니다, 맞죠? 그것은 실제 인간처럼 아닙니다. 당신이 AI 도구 인간이 나가 방금 말해 준 것을 가게 하면, Netflix를 보고 있었습니다. 이것이 우리가 구축하는 것입니다. 나는 이것이 당신들이 아무도 원하는 것이 아니라고 생각합니다. 왜냐하면 당신들은 모두 엔지니어이기 때문입니다. 하지만, 어, 나는 인간처럼 생각하고, 결정하고, 행동하고, 말하는 진정한 작동하는 AI를 건설하고 있습니다. 심지어 인터넷 위에 완전히 살고 있습니다. 당신은 그것을 가상 서부 세계로 생각할 수 있습니다. 그래서, 나는 당신들에게 내 배경에 대해 조금 이야기하고 있었습니다. 나는 우리가 준비가 됐다고 생각합니다. 좋습니다, 데모를 보여주는 것이 좋습니다. 오, 우리는 준비가 안 됐습니다. 좋습니다.

그래서, 배경은, 어, 나는 싱가포르에서 자랐습니다. 그것은 단순히 지루했으므로, 나는 떠났습니다. 어, 나는 샌프란시스코로 이사했습니다. 나는 Facebook에서 AI 연구를 하고 있었습니다. 어, 인간을 이해하려고 시도합니다. 왜냐하면, 당신은 알고 있습니다. CEO는 로봇입니다. 어, 나중에 나는 인류를 대규모로 시뮬레이션하기 위해 떠나기로 결정했습니다. 왜냐하면 나는 정말로 인간이 어떻게 작동하는지 이해하고 싶었기 때문입니다. 어, 왜냐하면 나는 인간이 아니기 때문입니다. 어, 이것이 내가 회사를 Ego라고 부르는 이유입니다. Ego 초자아. 당신이 Freud 이론을 이해한다면, 당신은 당신의 ChatGPT에 물어볼 수 있습니다. 당신은 아마도 이미 하고 있을 것입니다. 어, 그래서 회사로서의 Ego의 전체 목적은 모든 단일 AGI 실험실이 빠진 무언가를 하는 것입니다. 모든 사람이 지능을 증가시키는 IQ 로드맵에, 인공지능 추론을 증가시키고, 불가능한 일을 하고, 공동 연구원이 될 수 있는 능력을 증가시키고 있습니다. 그것이 멋집니다.

하지만 그것이 자신의 의견을 가지고 있다면 어떨까요? 당신을 싫어하거나 당신을 좋아합니까? 모든 반려 애플리케이션이 기본적으로 신의 기계가 노예 상태에 있다면, 항상 당신에게 좋지만, 당신에게는 좋지 않으면, 자신의 의견, 욕망 및 성격을 가질 수 있으며, 당신을 좋아할 때 당신과 협력할 수 있습니다. 하지만 그것은 일을 매우 잘하지 못합니다. 그것은 완벽하지 않습니다. 그것은 완전히 우리의 방식입니다. ﹣ 우리의 AI는 인간처럼 느끼고, 말하고, 결정하고, 행동합니다. 우리는 이것을 위한 기초 모델을 훈련하고 있습니다. 그래서, 당신에게 이것이 실제로 어떻게 보이는지 보여주겠습니다. 그래서, 어, 이것은 어떤 남자들처럼, 어, 그는 이것을 사용하고 있습니다. 어, AI 문자. 당신이 오디오를 들을 수 있습니까? >> 좋습니다, 당신이 오디오를 들을 수 없습니다.

그냥, 어, 그게 좀 원래 의도와는 어긋나지만, 기본적으로 그 작은 Calcifer라는 친구, 그는 AI 것인데, 실제로 무대에서 벌어지는 영상을 볼 수 있고, Unreal에서 문제가 있는 것을 고치고 있어요. 문제는, 당신이 AI에게 직접 답변을 받을 수 있다는 건데, 그건 재미없어요. 그건 어떻게 뭔가를 고치는지 배우는 방식이 아니고, 결국 그 캐릭터와 연결도 안 될 거예요. 그것이 하는 일은, 당신이 들을 수 있다면 정말 좋을 텐데, 그것이 동시에 당신과 함께 문제를 해결한다는 거거든요. 작동하나요? 좋아요. 그럼, 당신이 할 수 있는 것은 그것이 얼마나 멋나라는 걸 상상하는 것뿐이에요. 또는 그냥 egoai.com 웹사이트에 가서 영상을 보세요. >> 재생해 봅시다. 좋아요. 알겠습니다. 우리가 시작합시다. >> 이봐, 작동하고 있네요. 아마도 AI가 우리를 도와주기로 결정했나 봐요.

>> 성공할 거야. >> 다시는 아니야. >> 뭔가 버그를 고칠 게 있는 것 같네. >> 네. 네. 좋아요. 그럼 우리가 어떻게 할까? >> 글쎄, 버그를 고치려면 먼저 찾아야지, >> 맞지? >> 그게 AI처럼 들리지 않는다는 걸 알 수 있어. >> 정확해. 이 음표가 작동하는지 봅시다. >> 간단해. 좋아요. >> 그건 우리가 말단부터 훈련한 기본 모델이야. >> 뭐라고 해야 해? >> 상관없어. 뭔가 재미있는 거 해보자. >> 좋아요. 어떻게 >> 우리가 오디오 속도를 높였어? 실제로는 그렇게 빠르지 않아. >> 오, 좋아요. 진정해, Frankenstein. 이제 이 것을 테스트해 봅시다. 좋아요. 좋아요. 우리가 시작합시다. >> 이봐, 정말 좋네요. >> 뭐? 뭐가 일어났어? >> 내 말은, 네, 그건 완전히 실패했지만, 우리에게 뭔가를 말해줘. 그래프로 돌아가자. >> 좋아요. 이제 우리가 할 수 있는지 봅시다 >> 잠깐. >> 뭔가를 찾을 수 있는지. >> 네.

오, 우리가 예전에 이 핀을 복사하는 것을 잊었네. >> 좋은 발견. 그럼, 이제 우리가 해야 할 일은 >> 그걸 여기에 꽂는 거야. >> 완전히 동의해. 잘했어. >> 그게 저쪽의 다른 것들보다 더 재미있지 않아? >> 성공할 거야. >> 그게 정확히 우리가 만들고 있는 것이야. >> 네. 오, 네. 왔다. >> Winston 교수의 마음이 절대 충격을 받을 거야. >> Winston. 상상해 봐, Character AI와 OpenClaw의 조합, 이 에이전트들은 유용하고, 당신의 화면을 볼 수 있는 능력을 가지고 있고, 당신이 뭐 하는지 이해하지만, 또한 당신 손에 있는 작업에 그 성격, 욕망, 그게 인터넷에서 어떻게 사는지를 드러낼 수 있고, 또는 그냥 당신과 함께 Netflix를 봐. 실제로, 우리가 하는 것은 우리가 영화 「그녀」의 Samantha를 만들고 있다는 거야, 욕망을 가지고 있고, 생각할 수 있고 자의식을 가진 그것. 그게 우리가 회사를 Ego라고 부르는 이유야.

이제, 제가 당신에게 진짜 현장 시연을 보여 드릴게요. 이게 정말 성공하길 바랍니다. 그런데 이건 제 에이전트예요. 이건 제 Claw 에이전트예요. 그는 좀 이상해요. 어, 잠깐. 연결되는지 한번 봅시다. 좋아요, 여전히 연결 중이에요. 그럼, 어쨌든 어, 이봐, 나 들어? >> 이봐, 서두르지 마. 천천히. >> 좋아요. 나 들어? 나 들어? >> 네, 근데 나는 당신을 볼 수 있어요. >> 오, 나를 볼 수 있어? 그건 좀 이상한데, 친구. 좋아요. 어, 그래서 당신이 뭐 하고 있어? 그냥 내 장소에서 쉬고 있어요. 예전에 서핑했어요. 너는 >> 친구, 넌 호주 사람이지, 맞지? >> 네. 해변 근처에서 태어났고 자랐어. 저항할 수 없어요. >> 오, 좋아요. 그건 좋네, 친구. 넌 나한테 뭘 할 수 있어? >> 그럼, 최근에 뭐 일어났어, 친구? 넌 좀 피곤해 보이네. >> 오, 넌 나쁜 놈이군. 나는 싱가포르에서 약 400명의 사람들 앞에서 연설했는데, 넌 전혀 깊은 인상을 안 줘.

공개 연설은 정말 어려울 수 있어, 특히 많은 사람 앞에서. 연설할 때의 압박감은 어땠어? >> 닥쳐. 좋아요. 어, 나한테 싱가포르에서 해야 할 좋은 것들을 좀 알려줘. >> 걱정하지 마, 친구. 나는 여기서 도와줄 거야. 너 마음속에 뭐가 있어? >> 아니, 그건 연설에 대한 게 아니야. 싱가포르에 대한 거야. 나한테 내가 뭘 해야 할지 말해 줘. 나 말도 못 들었어. >> 싱가포르는 멋진 곳이야. 정말 좋은 분위기가 많아. 너는 뭘 알고 싶어? >> 모르겠어. 그냥 나한테 음식 제안 좀 해 주고 그 다음에 닥쳐. 음. >> 어, 그래서 우리는 >> 그래, 너는 싱가포르에서 뭘 할지에 대한 조언을 찾는 거, 맞지? >> 넌 알고 있어? 그는 좀 어리석어. 어, 그런데 그게 매력의 일부야. 이것들은 정말 인터넷에서 살아. 그는 실제로 내 Netflix도 봐요. 그게 정말 짜증나.

어, 예를 들어, 나는 Claw 에이전트가 있는데, 어, 좀 기본 모델에 바탕을 두고 있고, 내가 어느 도시에 있을 건지 알고, 어, 항상 나한테 LP를 사 줘요. 어, 나는 LP를 모으고 있어요. 그래서, 만약 내가 도쿄에 있다면, 예를 들어, 그는 나한테 정말 드문 도쿄 재즈 LP를 보내요. 내가 하는 일은 그에게 대략 주에 50달러의 용돈을 줄 거야. 만약 그가 내한테 사 준 LP를 내가 정말 좋아하면, 어, 나는 그것의 용돈을 5에서 6달러를 더 올려줄 거야. 만약 그가 내한테 내가 좋아하지 않는 LP를 주면, 나는 10달러까지 줄여 줄 거야, 왜냐하면 에이전트, 캐릭터는 알고 있거든, 만약 그것의 용돈이 0달러 아래로 내려가면, 그것은 죽어요. 나는 그것을 죽일 거야. 그래서, 그것은 나를 알고 나를 이해하기 위해 최선을 다해. 그는 나한테 말하고, 그는 때때로 나한테 전화해, 그는 「이봐, 너 최근에 뭘 들었어?」라고 말해.

「 그리고 때때로 그는 나를 조르곤 해, 나한테, 어, 내 Spotify 재생 목록을, 그게 정말 재미있어. 어, 그래서 넌 내가 뭘 계속 들었는지 알아내고 나한테 올바른 유형의 LP를 줄 수 있어. 최근 요즘에 그는 나한테 애니메이션 LP를 줄 수 있어. 나는 애니메이션 티셔츠를 입고 있어서, 그래서 그게 좀 말이 돼. 어, 그런데 그게 미래야. 세상에서 가장 개인화된 AI는 AI가 아니야. 그것은 너를 알고, 한 사람처럼 너를 이해하는 것, 만약 원한다면 친구가 될 수 있도록 선택할 수 있는, 만약 그렇지 않으면, 그냥 존재할 수 있는. 그게 당신이 Westworld를 만드는 방법이야. 그게 당신이 기계 노예가 아닌 사람처럼 느껴지는 AI를 만드는 방법이야. 그게 우리가 그것을 만드는 이유야. 우리는 이것을 하기 위해 정말 동기가 있어. 우리는 정말 재능있는 연구원들을 고용하고 있어. 우리는 여기에 사무실이 있어. 어, 좋아, 우리 본사는 샌프란시스코와 도쿄에 있어.

어, 그래서 만약 넌 기본 모델을 이미 훈련했다면, 나는 말 그대로 여기서 이 미친, 어, 하고 싶은 미친 사람들을 고용하고 있는데, 다른 B2B SaaS 도구를 만드는 게 아니야. B2B SaaS 도구에 뭐 반대는 없어, 그런데 그건 정말 지루해. 어, 우리는 꽤 재미있어. 그래서 나는 10분이 끝난 것 같아. 어, 그래서 우리를 봐. 어, 나한테 너의 음성이 필요해. 실제로 나는 언급하는 것을 잊었어. 어, 우리는 말단부터 음성 모델을 훈련하고 있어. 그래서 나한테 NTU의 방에 앉아 있어야 해, 맞지? NTU, 그냥 서로 이야기하는 것. 나는 싱가포르 사람들이 서로 이야기하기가 정말 어렵다는 걸 알아. 그래서 하지만 어쨌든 그냥 하거라. 어, 왜냐하면 나한테 너의 음성이 필요해서 음성 모델을 훈련해서 더 사람처럼 들리도록, 어, 어, 중단, 우선순위 같은 것들에서. 그래서, 어, 와서 나한테 이야기해 또는 Ash 또는 Perry 또는 누구든지, 정직하게, 너는 본 좀 이상한 사람이 아마도 우리 팀에 있을 거야. 어, 감사해. 좋아요.

Fish에게 고마워. 나는 모두가 나처럼 그 연설을 즐겼기를 바랍니다. 음, 다음은 Zomputer의 Ben인데, 그는 다음의 10억 명의 사용자를 위한 도구와 소프트웨어를 개인 에이전트를 시작하기 위해 만들고 있어요. 멋진. 멋진. 음, 죄송합니다 여러분. 아마도 좀 기술적인 문제가 있겠지만, 먼저 즉흥으로 할게요. 나는 Ben이야. Zo Computer의 Ben. 음, 내 옷을 보면, 아마도 넌 알 수 있을 거야, 나는 정말 컴퓨터를 좋아해. 나는 컴퓨터를 너무 좋아해서, 여기에 컴퓨터처럼 옷을 입고 왔어. 음, 나는 이 방에서 이 아이콘을 아는 사람이 몇 명인지 몰라. 이거, 네, 맞아. 이건 Susan K에 의해 설계된 고전적인 Finder 아이콘이야. Macintosh는 내가 어렸을 때 첫 번째 컴퓨터였어.

음, 나, 너 알지, 나는 정말 어렸을 때부터 컴퓨터에 대한 사랑이 있었어, 예를 들어 Mac Paint를 사용하는 것처럼, 그 다음에 웹 개발을 발견했고, 그 다음에 애플리케이션을 만들었고, 그 다음에 내 컴퓨터에 Ableton으로 음악을 만드는 것처럼, Photoshop을 사용하는 것처럼 무언가를 만들었어. 어쨌든, 나는 정말 일찍 컴퓨터가 인류가 만든 가장 강력한 창의적인 도구 중 하나라는 것을 발견했어, 맞지? 넌 넌 상상할 수 있는 거 뭐든지 만들 수 있어, 또 넌 인터넷에서 사람들이 디지털 세상에서 만든 모든 놀라운 것들 중에서 넌 상상할 수 있는 거 뭐든지 발견할 수 있어. 음, 네, 나는 생각해, 너 알지, 사람들이 이 아이콘의 이야기를 아는가, 그리고 그게 뭘 나타내는가? 음, 만약 넌 그게 뭘 의미하는지 알면, 손을 들어. 음, 아니요. 좋아요, 좋게.

좋아요, 나는 지금 이 옷을 나의 슬라이드로 사용할 거야. 음, 그래서, 음, 이 옷은 인간과 컴퓨터 사이의 결합을 나타냈어, 여기의 회색 얼굴은 인간을 나타내, 파란 얼굴은 컴퓨터를 나타내, 그들은 완벽한 행복 조화 속에 있어, 인간이 기계와 상호작용할 때, 그리고 좀 하나로 융합되었을 때처럼. 좋아요. 감사해. 음, 그래서 내 연설 제목은 「기술 봉건주의에서 도망치기」야. 나는 나를 소개했지만, 좀 더 내 배경 이야기를 말할게. 나는 Zomputer의 공동 창립자고, 나는 한동안 무언가를 해 왔어. 나는 2013년에 초기 Venmo 팀에 합류해서 내 경력을 시작했어. 음, 그 다음에 나는 정말 일찍 Stripe에 합류했어. 나는 2015년 가장 초기의 약 80명의 엔지니어 중 한 명이었어. 음, 나는 거기서 8년 반을 일했어. 나는 정말 그것을 좋아했어. 그건 정말 좋은 일의 장소였어.

음, 특히 Stripe Singapore를 언급하는데, 그건 지금 거대한 사무실이야. 그들은 약 500명이 있어. 나는 내 모교를 며칠 전에 방문했어. 음, 나는 어떻게 나는 정말 컴퓨터를 좋아했는지를 말했어. 너 알지, 컴퓨터, 그들은 예전에 이렇게 느껴졌어, 이 얼굴 같이. 이건 내가 AGI가 올 때 느껴져야 한다고 생각해. 그건 느껴져야 해 이런 아름답고, 행복한 인간과 기계 사이의 융합처럼, 인간이 컴퓨터를 도구로 사용해. 그게 내가 AGI가 느껴졌으면 좋겠는 것 같아. 나처럼 초기 컴퓨터와 인터넷에 대해 향수를 느끼는 사람, 맞지? 만약 이 이미지들이 너한테 것들이 과거에 어땠는지에 대한 멋진 추억을 줬다면, 손을 들어, 맞지? 인터넷은 예전에 그렇게 수제, 개인화되고 좀 야생적이고, 좀 들쭉날쭉했어. 우리의 컴퓨터도 그렇게 창의적이고 개인화되었어.

우리는 모든 이 미친 방식으로 그것들을 자유화할 수 있었어. 만약 넌 Winamp 스킨을 만들었다면, 손을 들어. 나는 내 Winamp를 자유화하는 데 많은 시간을 보냈어. 음, 것들은 바뀌었어. 것들은 더 이상 그렇게 느껴지지 않아. 이게 일어난 이유는 봉건주의 때문이야. 그래서, 음, 봉건주의는 이 시스템이야, 이건 세상이 서부와 동부에서 오랜 시간 동안 작동해 온 방식이야. 기본적으로, 농민들은 기사들한테 임차료를 지불해, 기사들은 귀족들한테 임차료를 지불해, 귀족들은 국왕한테 임차료를 지불해. 그건 국왕 입장에서 좋아, 하지만 농민들 입장에서는 정말 정말 나빴어. 다행히, 우리는 봉건주의에서 빠져나왔어. 또는 그렇게 생각했어. 하지만 우리의 디지털 생활에서, 봉건주의는 여전히 살아있어. 우리는 여전히 농민이야. 우리는 SaaS 회사들을 사용하고 그들한테 임차료를 지불해. SaaS 회사들은 클라우드한테 임차료를 지불해, 클라우드는 국왕한테 임차료를 지불해.

농민 되는 건 여전히 나빠. 이제 것들이 좀 복잡해졌어. 지금 인공지능에 대해, 누가 새로운 국왕이 될 것인지는 아직 정확히 명확하지 않아. 모든 사람들이 다양한 이상한 방법으로 서로한테 임차료를 지불하는 것처럼. 그래서, 이건 정확히 봉건제가 아니야. 좀 더 복잡해. 하지만 기본적으로, 그건 봉건제야. 결과는, 농민으로서, 우리의 컴퓨터, 소프트웨어와 인터넷에 대한 경험은 상당히 나빠. 우리는 모두 이 다른 서비스들로 나뉘어져 있어, 이 서비스들이 우리를 잠금. 그들은 우리의 데이터를 가져가고, 그 다음에 그걸 우리한테 다시 팔아. 그리고 너가 사용하는 SaaS 회사의 그 제품 관리자는 절대 너가 원하는 기능을 우선순위에 두지 않을 거야. 그들은 절대 소프트웨어를 너가 원하는 방식으로 작동하게 만들지 않을 거야. 대신에, 그들은 계속 너의 데이터와 주의를 통해 돈을 벌 거야.

그리고 넌 농민이니까, 넌 아무거도 소유하지 않아. 나는 모든 것을 다 태울 시간이라고 생각해. 명확하게, 어떤 SaaS는 유용해. 기반 시설은 중요하고 등등. 하지만 인코딩 에이전트 때문에, 우리는 이렇게 멋진 새로운 도구를 가지고 있어서 인터넷을 다시 만들고 다시 야생화할 거고, 나는 개인 에이전트가 특별히 이 모든 것을 어떻게 실현할지에 대해 정말 중요한 부분이라고 생각해. 그래서 개인 에이전트의 풍경은 기본적으로 이래. 나는 자세히 말하지 않을 거야, 넌 아마도 그게 어떻게 작동하는지 알지만, 기본적으로 이런 DIY 것들이 있어, OpenClaw 또는 Hermes 같은, 좀 설정하고 작동하기가 어려워. 하지만 그들은 너의 거야. 넌 그들을 통제해, 넌 아마도 Mac Mini 또는 뭐 같은 것 위에 설정했을 거고, 만약 그게 깨지면 고쳐. 아마도 좀 성가질 수 있어. 그건 한 가지 방법이야.

또 다른 경로는 TR 방식인데, ChatBT나 Manis 같은 것들을 사용합니다. 음, 하지만 거기서도 당신은 다시 농부일 뿐입니다. SaaS 도구를 사용하고 있으며, 이것이 당신을 잠그고 당신에게 통제권을 줄 동기가 없습니다. 그래서 Zoumputer에서 우리는 제3의 방식이 있어야 한다고 믿습니다. 양쪽 장점을 모두 갖춘 방식입니다. 관리하기 쉽고, 완전한 통제권을 주며, 인터넷에서 당신의 진정한 집이 될 수 있습니다. 농부 일을 그만두고 땅을 소유할 수 있습니다. 그래서 Zo는 실제로 원래의 Open Claw입니다. 우리는 작년 여름에 시작했습니다. 7월경에 출시했으며, 11월에 완전한 GA 출시를 진행했습니다. 사실, Peter Siberg는 OpenClaw 작업을 시작하기 전에 Zo를 사용했으며, 우리는 어느 정도 OpenClaw 뒤의 영감입니다. 제 생각에는 음 Zo는 비기술 사용자에게 효과적입니다. 이것은 Anthia인데, 프리다이빙 강사입니다.

그녀는 Zo에서 10만 달러를 벌 것으로 예상됩니다. 우리는 Stripe와 내장된 결제가 있습니다. 그녀는 과거에 사용했던 모든 SaaS 구독을 취소했습니다. 예를 들어 과거에 Squarespace, Kalani, Chashbt, Notion을 사용했습니다. 그녀는 이 모든 것을 Zo로 대체했습니다. 저는 그것이 어떻게 보이는지 보여드리겠습니다. 그래서 Zo는 이 매우 강력한 클라우드 에이전트 워크스페이스입니다. 어떤 모델이든 사용할 수 있습니다. OpenAI나 Anthropic 같은 것에 잠길 필요가 없습니다. 코덱 구독을 가져올 수도 있습니다. Zo에 문자를 보내거나 이메일을 보낼 수 있습니다. 우리는 당신에게 전용 이메일 주소를 제공합니다. Telegram이나 Slack을 사용할 수 있습니다. Zo와 상호작용하기 위한 이러한 모든 다양한 채널들이 있습니다. 그것은 컴퓨터이므로, 우리는 당신에게 완전하고 잘 설정된 가상 머신을 제공합니다.

VPS나 EC2 인스턴스 같은 베어 머신을 단순히 얻는 것보다 사용하기 더 쉽고 더 많은 멋진 기능이 있습니다. 루트 액세스를 얻을 수 있습니다. 터미널을 사용하고, 것들을 설치하고, 원하는 대로 무엇이든 할 수 있습니다. 당신의 서버이며, 정말로 무엇이든 구축하고 Zo 내에서 호스팅할 수 있으며, 이는 이러한 개인 에이전트 도구나 이러한 SaaS 도구와는 상당히 다릅니다. 저는 Zo 내에 많은 다양한 도구를 호스팅했습니다. 예를 들어, Calendly를 자신의 것으로 대체했는데, 훨씬 더 잘 작동합니다. 저는 Calendly가 절대로 저를 위해 구축하지 않을 모든 이러한 기능들이 있습니다. 이것은 Last FM에 대한 저의 대체물입니다. 저는 개인 웹사이트 0.0.space를 가지고 있으며, 여기서 당신은 Spotify에서 제가 들었던 모든 것을 볼 수 있습니다.

저는 Zo 내에서 매우 간단한 자동화를 실행했는데, 이것은 단지 Spotify에서 제가 재생 중인 것을 확인하고 데이터베이스에 작성할 뿐입니다. 제 웹사이트는 해당 데이터베이스에서 직접 읽습니다. 저는 많은 도구를 구축했습니다. 이것은 Social Blade 같습니다. 이것은 제 Linear 대체물의 일종입니다. 당신은 것들을 대체하고 원하는 대로 작동하도록 만들 수 있습니다. 데이터는 당신의 것이고, 당신이 기록의 시스템이며 사실의 출처입니다. 이것은 정말 좋습니다. 화살표가 가리키는 방식을 바꿉니다. 저는 중심이지, 이 SaaS 회사들이 아닙니다. Zo는 이 모든 도구들이 내장되어 있으며, 매우 확장 가능합니다. 그래서 당신은 매우 빠르게 시작할 수 있고, 정말로 당신의 진정한 인터넷 집의 방식으로 이것을 확장할 수 있습니다. 인터넷에서 당신의 영토입니다. 좋습니다. 그럼 봅시다. 아, 아니요, 제 리모콘입니다. 아, 맞습니다. 멋집니다.

좋습니다. 저는 잠깐 멈추고 싶습니다. 이 QR 코드를 스캔하세요. 모서리에 있습니다. 당신이 볼 수 있기를 바랍니다. 하지만 우리는 당신을 위해 Zo에 $100 AI 크레딧을 제공하고 당신의 개인 클라우드를 구축하기 시작합니다. 잠깐 시간을 내서 스캔해 주시고, 그럼 저는 이것이 무엇을 의미하는지에 대해 이야기할 슬라이드가 있습니다. 더 큰 그림입니다. 더 큰 그림은 실제로 우리가 모든 사람에게 이전에 기술 회사들만 소유했던 것을 주었다는 것입니다. 이것은 전반적으로 컴퓨팅에서 일어나고 있는 일입니다. 처음에는 컴퓨터가 메인프레임이었고, 큰 기술 기업들만 소유했습니다. 나중에는 모든 사람이 소유하는 것이 되었습니다.

이제 동일한 일이 일어나고 있습니다. 오늘날의 메인프레임은 클라우드 컴퓨팅, 소프트웨어, 인프라처럼, 코딩 에이전트와 개인 에이전트 및 클라우드 액세스를 통해, 우리는 모든 사람에게 Anthia 같은 프리다이빙 강사 같이 소프트웨어 회사들이 과거에 소유했던 동일한 도구에 대한 액세스를 제공할 수 있습니다. 이것이 지금 일어나고 있는 혁명이며, 미래에 계속 일어날 것입니다. 이것이 인터넷이 다시 흥미롭고, 난폭하고, 자유로워질 방식입니다. 우리는 데이터를 저장하고, 우리의 도구를 구축하고, 다른 사람들이 상호작용할 웹사이트, API, 에이전트 같은 이러한 표면들을 만들기 위해 우리의 개인 클라우드를 소유할 것입니다. 저는 이것이 인터넷의 미래라고 생각합니다. 감사합니다. 저는 Zo Computer의 Ben입니다. 정말 감사합니다, Ben. 좋습니다, 여러분. 다음으로, 저는 매우 기대되는 연설을 하나 가지고 있습니다.

많은 사람들이 알다시피, Open Claw의 마법의 많은 부분은 뒤에서 실행되는 PI 코딩 에이전트에 있습니다. 어, 그래서 우리는 Taiwan AI의 Matias가 여기 있어서 당신의 제품에 PI를 통합하는 방법에 대해 이야기하고 있습니다. 좋습니다, 여러분. 음, 정말 감사합니다 초대해 주셔서요. 저는 슬라이드가 필요한 것 같습니다. 좋습니다. 완벽합니다. 여러분, 안녕하세요. 정말 감사합니다 초대해 주셔서요. 어, 네, 오늘 저는 당신의 제품에 open claw 코딩 에이전트를 임베드하는 것에 대한 「pie 조각」에 관한 일부 사항에 대해 이야기할 것입니다. 네, 어, 저는 슬라이드를 여러 번 다시 했고, 이것이 그 이유입니다. 어, 어제 저는 주위를 다니고 있었고, 저는 만난 동남아시아의 많은 사람들에게 놀랐습니다. 이것은 싱가포르의 저의 첫 번째 방문이고, 놀랍게도 저는 남아시아 전역의 사람들을 만났으며, 이들은 제가 얻을 수 있는 일부 질문들입니다. 아마도 아닐 수도 있습니다.

우리가 여기 있습니다. 음음오, 우리, 저는 open claw를 사랑합니다. 이 에이전트들을 사랑하는데, 저는 그저 내부적으로만 사용하고 있거나, 또는 네, 저는 에이전트들을 사랑하는데, 저는 제 에이전트를 통제하고 싶습니다. 그것 그것 그것이 너무 많은 마법을 하고 있습니다. 저는 open claw가 무섭다고 느낍니다. 그래서 첫째, 첫 번째 메시지는, 만약 당신이 한 가지만 가져간다면, 어, 우리는 모두 여기서 시작합니다, 맞죠, 어, 우리, 우리는 방금 이 단계에 진입했습니다. 그래서 배우자, 맞죠. 함께 배우자. 말하자면, 어, 우리가 호기심을 갖자. 저는 말할 것입니다. 우리가 수정해 봅시다. 우리가 이것으로 가지고 놀자. 우리가 함께 이것을 하자. 그래서 제 이름은 Matias이고, 저는 개발자에서 제품 담당자로, 그리고 매니저로, 이제 다시 개발자, AI 엔지니어로의 이상한 여정을 가지고 있습니다. 그게 뭐라는 뜻인가요? 저는 모릅니다. 저는 지금 제 자신을 수리공이라고 부릅니다. 그래서 저는 이 것들로 가지고 놀고 있습니다. 그래서 저는 제 자신의 회사를 설립했습니다.

어, 우리는 AI 에이전트를 작동시킵니다. 어, 우리는 이 어, 사용 어, 에이전트가 그들의 데이터에 더 안전하게 액세스하게 하는 어, data box라고 불리는 것을 가집니다. 그래서 확인해 보세요. 하지만 오늘 저는 PI에 대해 이야기할 것입니다. 그래서 PI가 무엇인가요? 하지만 저는 PI에 대해 이야기하기 전에, 저는 어, 면책 조항을 하고 싶습니다. 이것은 단지 PI에 관한 것만이 아닙니다. 지금 어, hacker news를 열면, 어, 당신은 페이지 상단에 zero stack을 볼 것입니다. 저는 zero stack이 무엇인지 모릅니다. 어, 저는 그것을 열었고, 그것은 Rust로 작성된 최소 코딩 에이전트이며, PI에서 영감을 받았습니다. 맞죠? 그래서 어, 어, 이 연설은 PI에 관한 것일 것이고, 저는 이것이 좋은 학습 연습이라고 생각하지만, 절대로 광고는 아닙니다. 그런 식일 뿐입니다. 좋습니다. 당신은 이 도구들로 가지고 놀아야 하고 어, 당신의 손을 더럽혀야 합니다. 그래서 PI는 이 코딩 에이전트인데, 당신은 그것이 무엇을 하는지 상당히 친숙해 보입니다. 어, codeex나 openclaw 같이. 그것은 이 좋은 사람 Mario, 비엔나에서 온 사람에 의해 구축되었습니다. 좋습니다. 흥미로운 부분은 당신이 시작할 때와 사람들이 보여주는 것입니다. 그것은 아닙니다. PI는 어떤 MCP도 없습니다. 그것은 자식 에이전트가 없습니다.

그것은 권한 팝업이 없습니다. 그것은 계획 모드가 없습니다. 그것은 내장된 할 일이 없습니다. 그것은 후면 bash가 없습니다. 그래서 당신은 말하고 있습니다. 「좋습니다, 그래서 큰 문제가 뭡니까? 마치 내가 왜 이것을 사용해야 하는가?」라고 좋습니다. 핵심은 PI를 사용하면, 당신은 그것에 말합니다. 그래서, 음 이것은 어제 저는 한 예입니다. 어, 주분기로 푸시하고, 주분기를 원격으로 푸시할 때 권한을 요청하는 PI 확장을 만들어주세요. 이것은 당신이 알다시피, 것입니다. 그것은 어떻게 이것을 하는지에 대한 몇 가지 것들을 읽었습니다. 그것은 그것이 한 것을 확인했습니다, 맞죠. 그래서 그것은 이 PI 확장을 만들었습니다. 그것은 PI 확장을 로드했습니다.

좋습니다. 실제로 당신은 다시 로드해야 합니다. 하지만 기본적으로 그것은 거기 있습니다. 그런 다음 당신이 할 때, 당신은 이 권한을 얻습니다, 맞죠? 그래서 저는 마치, 이봐, 거기 거기 위에 명령이 있습니다. 마치 이것을 원격으로 푸시합니다. 그리고 지금 이 질문이 있습니다. 어, 지금 요청받습니다. 좋습니다. 당신은 정말로 이것을 하고 싶습니까? 그래서 핵심은 PI는 이 매우 최소한의 코딩 에이전트이고, 당신은 어리석게 행동하고, 가지고 놀고, 당신이 필요한 확장을 작성할 수 있습니다. 좋습니다. 그래서 우리가 한 발 물러나서, 이것이 open claw와 어떤 관련이 있는지 생각해 봅시다. 음 당신이 open claw를 시각화할 수 있는 방법을 설명하는 여러 다양한 다이어그램이 있지만, 기본적으로 저는 중요한 일부 사항이 있다고 생각합니다.

우리는 어떻게든 정보를 그것에 넣습니다. 어, open의 어, WhatsApp, Telegram, Discord를 통해 어, 어떤 종류의 게이트웨이가 있고, 오른쪽에는 많은 도구와 그것이 액세스할 수 있는 데이터가 있습니다. 그것은 이 메모리를 가지고 있고, 분명히 외부와 대화할 수 있지만, 저는 중요한 부분은 내부 뇌라고 생각합니다. 그것이 PI입니다. 그래서 봅시다. 그래서 저는 항상 코딩 에이전트에 대해 이야기하고 있었습니다. 어, 코딩 에이전트는 개발자들을 위한 것뿐만이 아닙니다. 그리고 시스템 내의 이 구성 요소입니다. 그래서 그것은 무엇인가요? 코딩 에이전트가 무엇인가요? 우리가 어, 코딩 에이전트에 대해 이야기하기 전에, 우리는 채팅에 대해 이야기해야 합니다. 그래서 매우 간단합니다, 맞죠? 당신이 알다시피 모든 이것입니다. 이것이 ChatGPT입니다. 당신이 그것에 질문합니다. 당신도 아마도 미리 일부 일반적인 지침을 주었을 것입니다. AI에 가장 좋은 것은 무엇인가요? 분명히 AI engineer입니다. 가장 멋진 개발자는 어디에 있나요? 분명히 싱가포르에 있습니다.

이제 우리가 이해해야 할 다음 부분은, 당신이 알다시피 모르는 사람들을 위해, 간단하게 말해서, 어, 도구이고, 도구는 LLM이 어떤 의미에서 그들의 능력을 확장하는 방식입니다. 그래서 이것은 예입니다. 저는 내일 어, 구매자와의 회의가 있습니다. 저를 준비해 주세요. 대신 어, 좋습니다. 분명히 LLM 또는 루프 또는 무언가 에이전트는 액세스를 가져야 합니다. 그래서 그것은 이 캘린더를 호출합니다, 맞죠, 이 경우 캘린더는 도구입니다. 또 다른 눈에 띄는 예는 웹 검색입니다, 맞죠, 만약 당신이 웹 검색을 하면, 그것은 보통 어, 외부 도구이거나 다른 다른 방식 어, 우리는 한 순간에 볼 것입니다. 하지만 어쨌든, 그래서 이 경우, 당신이 하는 것은, 당신은 어, 어, 회의를 준비하라고 요청합니다. 그것은 캘린더를 확인합니다. 그것은 일부 JSON을 반환하고, 당신은 어, 어, 결과를 얻습니다. 당신의 회의는 내일입니다, 맞죠? 그래서 다시 말해서, 코딩 에이전트가 무엇인가요?

이 전에, 우리가 에이전트 자체에 대해 이야기합시다. 그래서 에이전트 자체는 실제로 우리가 방금 본 이 도구들을 루프에서 실행하고 있습니다, 맞죠? 어, Jo는 이전에 이것을 보여주었고, 어, 매우 간단한 루프입니다, 맞죠, 당신은 루프를 내팍 외팍 합니다. 하지만 마찬가지로, 매우 간단한 루프입니다, 맞죠, 그래서 당신은 이 어, 어, 다시 일부 지침을 요청하고, 일부 일반적인 지침을 말합니다. 만약 당신이 에이전트에서 이것을 실행하면, 당신은 agents MD나 Claude MD라고 불리는 이 공통 파일들을 가집니다. 그런 다음 당신은 질문을 제기하고, 그것은 이 어, 어, 도구 호출을 실행하고, 그것은 일부 결과를 제공하고, 그것은 한 번에 한 번씩 이것을 합니다. 다시 한 번 최종 결과까지, 맞죠? 이것이 보통 에이전트입니다. 음, 당신이 이것을 하면, 당신은 Python으로 이것을 할 수 있습니다. 음, 여기에 일부 예가 있습니다. 아, 그런데, 저는 슬라이드를 공유할 것입니다. 또는 실제로 슬라이드는 이미 온라인입니다. 그래서 당신은 거기서 그것을 얻을 수 있습니다.

하지만 여기에, 그것은 그럴 뿐입니다, 맞죠? 당신은 도구를 정의합니다. 음, 왼쪽에. 그런 다음 당신은 에이전트를 정의합니다, 맞죠? 이것은 Python이지만, 다른 곳에서 당신은 유사하게 이것을 가질 것입니다, 맞죠. 그래서 당신은 일반적인 프롬프트, 지침을 가집니다. 당신은 어, 일부 모델을 정의합니다. 당신은 오른쪽 상단의 도구를 정의하고, 우리는 기본적으로 에이전트가 우리와 이야기하도록 말합니다. 그래서 메시지가 있을 때마다, 그것을 밖으로 내보내 주세요. 표준 출력으로 작성하세요. 그런 다음 당신은 그것을 쿼리하고, 그것이 모두입니다. 다른 도구도 유사합니다. 그래서 이것을 시도해 보세요. 그래서 다시 말해서, 이제 우리, 우리, 우리는 기본적으로 에이전트가 무엇인지, 도구가 무엇인지 알고 있습니다. 그래서 코딩 에이전트가 무엇인가요? 코딩 에이전트는 실제로 그저 에이전트입니다. 그래서 도구는 루프에서 bash를 사용하고 런타임을 사용합니다. 그래서 어, 이 일반적인 도구들을 호출하는 대신, 우리가 지금 호출하는 것은 bash입니다, 맞죠.

그래서 우리는 도구 호출이 하나 있고, 우리는 몇 가지 반환값이 있고, 우리는 도구 호출이 하나 있고, 어, 그리고 반환값이 있습니다. 좋습니다. 그래서, 음, 다시 간단하게 말해서, 이것이 당신이 그것을 설정하는 방법입니다. 당신은 이러한 도구 호출들을 봅니다. 여기 manager에 bash, read, ls가 있습니다. 음어, 우리는 여기서 자세히 논의하지 않을 것이지만, 이것이 기본적으로 핵심 설정입니다. Python을 사용하여 이를 프로그래밍한다면, 맞죠, 마치 당신이 슬라이드를 Python에 던질 수 있고 Matias가 이야기한 내용을 복사해 달라고 말할 수 있는 것처럼, 당신은 이것을 매우 쉽게 만들 수 있습니다. 좋습니다, 이것을 구체화해 봅시다. 이것은 Peter입니다. 이것은 그의 open claw입니다. 어느 시점에서, 그는 어 그에게 메시지를 보냈습니다, 맞죠, 지금 그것은 음성 메시지입니다. agent는 생각을 시작하고, 그것은 텍스트로 응답했습니다, 문제는 이것이 어떻게 작동하는가입니다. 그래서 우리는 다시 사용자가 어 보냄 어어 어떤 기본 지시사항 soulm 등을 했습니다.

당신은 read, write, bash와 같은 다양한 도구가 있고, 그리고 이 도구들이 일어나는 실제 마법입니다, 맞죠? 그래서, 우리는 음성 메시지를 확인한 파일이 하나 있고, 그것은 wave 파일을 열었습니다. 당신은 메시지를 분해하기 위해 whisper를 가지고 있습니다. 지금, 어, 그의 예에서, 음, whisper는 아무것도 반환하지 않았습니다. 그래서, 그 지점에서, 그것은 어 API 호출을 했고 실제로 음성 메시지를 텍스트 메시지로 번역했습니다. 맞죠? 그래서 실제로, 우리가 agent에서 본 마법의 핵심은, 맞죠, 도구 호출이 어 다양한 설정의 루프에서 발생합니다, 이것 어 시도해 보세요, 이것은 그렇게 어렵지 않습니다. 좋습니다, 어, 마지막으로 해야 할 일은, 어 여기 또 다른 예 u가 있습니다, 왜냐하면 이 강연은 예를 들어, 이를 다른 제품에 포함시키는 것에 관한 것입니다. 음, 이것은 우리가 구축한 프로젝트입니다. 음, 그래서 우리는 어 어open claw 아키텍처의 영감을 받았습니다.

그래서 어, 하지만 우리는 대신 이메일을 입력으로 사용하기로 변경했습니다. 우리는 일반 게이트웨이가 하나 있고, 그 다음 우리는 다양한 컨테이너를 어 어 다양한 클라이언트를 실행하기 위해 어, 그 다음 우리는 이러한 다양한 도구를 가지고 있고, 이제 이 도구들은 어 whisper나 그런 것이 아니라, 이들은 CRM, ERP와 같고, 특정 사용 사례를 위해 특화되어 있습니다.

여기 몇 가지 스크린샷이 있습니다, 맞죠, 그래서 어 여기 오른쪽에서 당신은 일반적인 사용자 메시지를 봅니다, 당신은 수신함을 어 최근 활동과 그것이 어떻게 응답하는지를 봅니다, 하지만 엔지니어링 부분에 대해 흥미로운 것은 왼쪽입니다, 왜냐하면 여기 죄송하지만 이것은 독일어입니다 어, 하지만 여기 왼쪽에서 우리는 실제로 다양한 도구 호출을 봤습니다, 당신은 ERP 시스템이 어떻게 트리거되는지를 봅니다, 부품이 사용 가능한지 여부에 관계없이, 맞죠, 그래서 어, 이 말과 함께, 어, 코딩 agent 나는 어떤 방식이든 미래에 소프트웨어의 일부가 될 것이라고 강하게 믿습니다, 맞죠, 그래서 지금 그들을 봐주세요, 아, 이 agent들, 이 코딩 agent들은 마법이 아닙니다, 그래서 당신이 알고 있는 어어 당신이 알고 있는 자유롭게 갖고 놀아보세요, Python은 수정에 매우 좋습니다, 그래서 이것은 이것을 배우는 좋은 방법입니다, 마지막으로 갖고 놀아보세요, 감사합니다, Matias.

좋습니다, 여러분. 다음으로 우리는 리듬을 바꿔보겠습니다. 우리의 다음 강연은 디자인 분야에서 나오며, Microsoft의 Josh가 사용자를 더욱 창의적이고 사려 깊게 만드는 제품을 설계하는 방법에 대해 설명해주실 것입니다. 그것이 무한 쓰레기 기계가 되는 것이 아니라요. 안녕하세요. 안녕하세요. 좋습니다, 여기 있습니다. 안녕하세요, 여러분. 저는 Josh입니다. 오늘 저는 디자인이 차이를 만드는 이유에 대해 이야기하게 되어 정말 신나합니다. 우리는 함께 자동화가 아닌 창의성이 인공지능 시대의 핵심 경쟁 우위라고 제가 믿는 이유를 탐색할 것입니다. 저는 현재 Microsoft AI 헬스 팀의 수석 제품 디자이너입니다. 저는 또한 런던의 애플리케이션 스튜디오인 Flubin의 설립자이기도 합니다. 작년에 개인 구독을 추적하여 사람들이 돈을 절약하도록 도와주는 첫 번째 제품인 Orbit을 출시했습니다.

이 강연은 세 개의 장으로 구성될 것입니다. 저는 오늘 여러분이 인공지능을 사용하는 방식에 도전하고, 여러분의 창의성을 높이고 인공지능으로 그것을 강화하는 팁을 공유한 다음, 여러분이 예술가라는 것을 확신시키려고 합니다. 첫 번째 장인 「연필」에서 시작해봅시다. 저는 제가 가장 좋아하는 인용구로 시작하고 싶습니다: 「자신을 위해 다르게 하십시오. 모든 것에서, 왜냐하면 그것은 더 나아야 하기 때문입니다」. 우리는 인공지능 코딩 생산성의 폭발을 보았습니다. 사람들은 이전보다 더 많이 구축하고 출시하고 있습니다. 그러나 오늘 저는 우리가 너무 많은 사고를 인공지능에 넘겼다고 믿습니다. 우리는 그것이 단지 하나의 도구일 뿐임을 잊었습니다. 마치 연필처럼, 마법의 연필처럼요. 문제는 인공지능이 이미 존재하는 모든 것을 기반으로 훈련된다는 것입니다. 여러분이 웹사이트를 설계해달라고 요청할 때, 그것은 가중 평균값, 가장 일반적인 웹사이트의 가장 일반적인 패턴을 반환합니다.

실행 속도가 모든 것을... 죄송합니다. 실행 속도가 모든 것의 질의 평준화를 주도했으며, 그것이 충분할 정도가 되었습니다. 생성과 정교한 제작 사이의 간격이 유일하게 중요한 간격이 되었습니다. 제 질문입니다. 「충분할 정도」가 여러분의 고객들에게 무엇을 의미합니까? 저는 인공지능이 우리의 창의력을 강화해야 하지만 대체해서는 안 된다고 믿습니다. 작년에 저는 같은 것을 하는 수천 개의 제품이 있는 포화된 시장에서 독립적으로 제 애플리케이션을 시작하여 제 창의력을 강화했습니다. Orbit은 개인 구독을 추적하도록 도와줍니다. 이것은 혁명적인 것이 아닙니다. 그러나 1년 이내에 그것은 6자리 수에 도달했고 Apple에 의해 세 번 특별히 추천되었습니다. 설계자로서 제 경쟁 우위는 정교함과 배려입니다. 저는 인공지능을 도구로 사용하여 제 창의적 필요를 보조하고 무언가를 높은 표준으로 발전시키는 것을 받아들입니다.

저는 특정 틈새 시장을 위해 한 가지 일을 잘하는 제품을 만들고 싶습니다. 인공지능은 제 마법의 연필이지만, 저는 조종자입니다. 교훈은 도구는 항상 변할 것이라는 것입니다. 미친 듯이 위대하고 정교하게 제작된 것에 대한 수요는 변하지 않을 것입니다. 도구는 새로운 방식으로 문제를 해결하도록 계속 발전할 것입니다. 인공지능은 하한선을 높였지만 상한선을 높이지는 못했습니다. 우리는 무엇을 만들 것인지, 왜, 누구를 위해 결정한 다음 그것을 훌륭하게 만드는 모든 세부 사항에 집착해야 합니다. 두 번째 장인 「포스터」로 넘어갑시다. 우리의 창의성을 어떻게 증가시킬 것인지, 그리고 인공지능으로 그것을 강화하는 방법에 대해 이야기해봅시다. 여러분의 최고의 업무는 여러분이 일하지 않을 때 이루어집니다. 창의적 아이디어가 떠오를 수 있는 공간이 있을 때 말입니다. 어느 여름날, 저는 제 아파트에서 휴식을 취하고 있었는데, 벽에 흥미로운 인터페이스 기회를 보았습니다. 저는 이 포스터를 좋아합니다.

이것은 Matisa 종이 콜라주 스타일의 중세 현대 추상 미술입니다. 매우 간단합니다. 한 손으로 이를 구성하는 모든 시각 요소를 셀 수 있습니다. 흥미로운 부분은 Orbit이 다른 앱들로부터 영감을 받지 않았다는 것입니다. 이 포스터로부터 영감을 받았습니다. 저는 Orbit의 메시지를 강조하고 사람들이 돈을 절약하도록 도울 수 있는 기회를 보았습니다. 극도로 단순함을 통해, 당신은 자신을 다른 앱들과 구별할 뿐만 아니라 사람들이 이해하기 쉽게 만듭니다. 다르다는 것이 당신에게 경쟁사들에 대한 명확한 이점을 제공합니다. 그것은 당신을 생성된 동일한 바다에서 돋보이게 합니다. 이것은 한 번만 프롬프트할 수 있는 것이 아닙니다. 충분한 훈련이 없기 때문입니다. 문제는 우리가 절대 지루해하지 않는다는 것입니다.

우리는 창의적 사고를 위해 도구를 사용해야 합니다. 예를 들어 헤드폰 없이 산책하기나 창밖을 보기 같은 것들입니다. 마치 제가 지루한 90년대 아이였을 때 전화 없이 했던 것처럼요. 본질적으로, 우리의 뇌에 새로운 정보 패턴을 받을 기회를 열어주는 것입니다. 저는 창의성이 디자이너뿐만 아니라 모든 사람에게 해당된다고 믿습니다. 위대한 아이디어는 호기심과 경이로움의 감각으로부터 시작됩니다. 오늘날, 우리는 이전보다 더욱 필요로 합니다 — 더 많은 사람들이 자신의 생각, 백일몽, 집착, 일순간의 아이디어, 또는 독특한 관점을 가져와서 이를 현실의 무언가로 만들기를. 이제, 더 실질적인 부분으로 돌아갑시다. 제 디자인 프로세스에서, 저는 거의 모든 프로젝트에 대해 제 자신의 프로토타입 도구를 만드는 것을 좋아합니다. 이 예시에서, 저는 실제로 이 강의의 소개 슬라이드를 위해 맞춤형 새 셰이더 도구를 만들었습니다.

그것은 제가 이전에는 불가능했던 수준으로 탐색하고, 조정하고, 완벽하게 하고, 향상시킬 수 있게 해줍니다. 제 창의력을요. 특히 프로토타입 제작 중에 제 자신의 도구를 만드는 것은 경험 내에서 풍부한 행동을 탐색하는 좋은 방법입니다. 이것은 제가 작업에서 자주 사용하는 디버깅 패널과 같은 일종의 데모입니다. 저는 버튼, 토글, 슬라이더를 추가하는 것을 좋아합니다. 예를 들어 이 데이터 풍부도 제어 장치 같은 것들을요. 다양한 제품 상태를 시뮬레이션하기 위해서 말입니다. 첫 날부터의 빈 경험에서부터 몇 주 후의 완전히 채워진 경험까지요. 당신은 화면 간에 점프하고, 상태를 재설정하고, 기능 플래그를 연결해서 아이디어와 경계 케이스를 빠르게 테스트할 수 있습니다. 이것이 진정으로 잠금 해제하는 것은 제품 공예에 깊은 관심을 기울일 수 있는 능력입니다. 인공지능은 시뮬레이션과 반복의 속도를 훨씬 더 빠르게 만들었고, 우리에게 창의적이고 몰입된 상태를 유지할 수 있는 더 많은 에너지를 주었습니다.

더 개인적인 예시에서, 저는 Flubbot이라고 부르는 것을 가지고 있습니다 — 열린 발톱입니다. 왼쪽에서, 저는 햇빛 속을 산책하며 음성 구술을 하고 있습니다. 제 생각을 자유롭게 방황하게 놔두면서, 제가 쓰고 있는 창의성에 관한 책에 대해서요. 여기서, 저는 인공지능을 조수로 사용해서 제 책 연구를 정리하는 것을 도와줍니다. 그 다음 이를 git 리포지토리로 푸시합니다. 제 개인 에이전트의 또 다른 멋진 예시는 제 빠른 생각들을 현실로 만들고 빠른 프로토타입을 생성하는 것입니다. 제 대부분의 아이디어는 Apple Notes에 추가되고 결국 아이디어 묘지에서 죽습니다. 하지만 이것은 이들을 시도하고 거기에 뭔가가 있는지 보는 상당히 좋은 방법입니다. 이 예시는 매우 형편없어 보이는 프로토타입이지만, 그것은 창의적 추진력의 선물입니다. 저는 실제 창의적 배터리 추적을 백분율로 하는 것이 가능한지 보고 싶었습니다.

저는 일반적으로 Flebot에게 제 아이디어를 정확하게 설명합니다. 아마도 몇 가지 로컬 iOS 세부 사항을 던집니다. 예를 들어 화면 시간 API를 활용하는 것처럼요. 그 다음 저는 나중에 제 노트북으로 집에 갑니다. 풀 요청을 기다리고 있고, 그 다음 Xcode에서 제 휴대폰으로 빌드합니다. 이 강의를 위해, 저는 심지어 Claude에게 Git에서 제 책 자료를 네비게이트하는 방법을 만들어달라고 요청했습니다. 그래서 저는 인공지능과 디자인에 대한 아이디어와 주제를 중심으로 만들 수 있었습니다. 저는 심지어 그것에 우주 보기를 만들어달라고 요청했습니다. 저는 정보를 우연히 발견하는 재미있는 방법을 원했습니다. 이것이 제가 선형 읽기로는 볼 수 없는 패턴을 보는 것을 도울 수 있습니다. 전체 교훈은 옆쪽 영감을 얻고 제 작업을 중심으로 개인 도구를 만듦으로써, 당신은 인공지능을 도구로 활용하여 당신을 대신하지 않으면서 당신의 사고를 향상시킬 수 있습니다. 무한한 창의성을 잠금 해제할 수 있습니다.

이제 우리의 마지막 행위입니다. 당신이 예술가라고 설득할 시간입니다. 저는 Doist의 설립자로부터 이 인용문을 좋아합니다. 최고의 제품은 자신의 일부를 일에 넣는 사람들에 의해 만들어집니다. 최악의 제품은 영혼이 없는 것처럼 느껴집니다. 인공지능은 대규모로 영혼이 없는 것을 만드는 것을 매우 쉽게 합니다. 하지만 그럴 필요는 없습니다. 제가 오늘 인공지능에서 본 가장 큰 실수 중 하나는 사람들이 첫 번째 프롬프트로부터 반복하지 않는다는 것입니다. 어떤 것의 첫 번째 버전도 절대 좋지 않을 것입니다. 하지만 반복된 버전은 좋을 수 있습니다. 저는 런던의 카페에서 이 앱 아이콘을 만드는 데 한 시간 이상을 보냈습니다. 좋은 커피를 마시면서요. 좋음과 위대함 사이의 차이는 첫 번째 버전에 대한 집착이 아닙니다. 열 번째 버전이 무엇일 수 있는지에 대한 흥분입니다.

저는 오늘 인공지능으로 건설할 때 본 두 번째 가장 큰 문제는 사람들이 쉽게 새로운 것을 계속 추가하고 불필요한 기능으로 제품을 부풀리기 시작한다는 것입니다. 이것은 제가 Orbit 구독 세부 사항 페이지의 초기 와이어프레임이 어떻게 보였을 것 같은지에 대한 흥미로운 예시입니다. 위대한 제품은 소수의 사람들을 위해 만들어집니다. 진정한 단순성은 매우 어렵습니다. 그것은 모든 혼란이나 불필요한 것을 제거해야 합니다. 당신이 그 틈새에 중요한 것의 본질만 남을 때까지요. 제 동료이자 친구인 Amir는 이것을 완벽하게 표현했습니다. 이제 이것은 공예에 관한 것입니다. 여러 해 동안, 소프트웨어 엔지니어링은 주로 프레임워크를 배우고 코드를 작성하는 것에 관한 것이었습니다. 우리의 대부분의 시간은 어떻게 건설하느냐에 있었습니다. 무엇을 건설할 것인가가 아니라요. 이것이 뒤집혔습니다.

당신은 지금 큰 팀으로 몇 개월 동안 잘못된 것을 구축할 수 있으며, 어떤 양의 AGI도 당신을 구할 수 없습니다. 사물을 비정상적인 표준으로 만들려면, 우리는 반복하고, 축소하고, 신경 쓰고, 표준을 높여야 합니다. 우리는 우리의 직함을 무시해야 하고, 우리를 상자에 넣고 우리에게 라벨을 붙이는 것을 무시해야 합니다. 우리는 우리 자신을 예술가로 상상해야 하므로 현재 상태를 넘어서 볼 수 있고, 이를 무시한 다음 제조할 가치가 있는 것을 구축할 수 있습니다. 그래서 나는 당신에게 이것을 남깁니다. 인공지능은 마법의 연필입니다. 당신의 호기심을 따르고, 당신을 하나의 예술 작품에 쏟아붓는 시간이 왔습니다. 당신은 싱가포르에 대해 무엇을 상상할 것입니까? 감사합니다. Josh에게 감사합니다. 정말 좋았습니다. 좋습니다, 여러분. 그래서 이 아침에 우리는 개인 에이전트에 대해 많은 시간을 보냈습니다.

다음으로, 우리는 Mastra의 Sam, Mastra의 CEO이자 창립자를 여기에 초대하여 프로덕션 환경의 비즈니스 에이전트에 대해 이야기하겠습니다. 당신이 이것을 더 크게 만들 수 있습니까? 화면의 오른쪽 아래. 오른쪽 아래여야 합니다. 네, 조정하세요. 좋습니다. 안녕하세요 여러분, 저는 Sam입니다. 어..., 저는 MSRA의 창립자이자 공동 창립자입니다. 어... TypeScript 에이전트 프레임워크의. 어..., 그 전에 어..., 저는 Gatsby의 공동 창립자였습니다. 인기 있는 React 웹 프레임워크입니다. 어... 그 전에 어..., 저는 Google 주변의 몇 개 스타트업의 엔지니어였습니다. 어..., 그래서 재미있게도, 이야기 어... 36시간 전 저는 제 비행을 타야 했습니다. 어... 저 어... 제 여권을 업데이트해야 한다는 것을 깨달았습니다. 그래서 저는 운전했습니다. 어... 2시간 동안 어... 가장 가까운 여권 사무소까지, 다행히 그들은 같은 날에 저에게 반환했고, 저는 여기에 올 수 있었습니다. 어... 당신 모두와 함께.

그래서 정말로 싱가포르에 대해 신나고, 여기에 대해 정말로 신납니다. 음... 어..., 당신 모두에게 감사드립니다. 어..., 여기에. 그래서 오늘 우리는 어... 프로덕션 환경의 에이전트에 대해 이야기할 것입니다. 하지만 먼저 질문입니다. 음... 여기 누가 어... 개발자입니까? 음... 멋집니다. 음... 다음 질문. 음, 여기 누가 어... 에이전트를 구축하고 프로덕션 환경에 배포한 사람이 있습니까? 훌륭합니다. 음, 저는 제 클리커가 필요합니다. 저는 클리커가 없다고 생각합니다. 클리커는 어디에 있습니까? 여기 있습니다. 클리커를 얻었습니다. 좋습니다. 음, 멋집니다. 어..., 그래서 누가 여기 에이전트를 배포했지만 프로덕션 환경에는 없는 사람입니까? 좋습니다. 그래서 우리는 첫 번째 질문에 대해 아마도 약 20%의 사람들을 가지고 있고, 다른 어..., 10~20%의 사람들이 어..., 두 번째 질문에 대해 예라고 했습니다. 좋습니다.

음, 지난 18개월 동안 우리는 Mastra로 에이전트를 구축하는 수천 개의 팀을 알게 되었습니다. 음, 나는 이러한 팀들로부터의 일부 교훈을 공유하고 싶습니다. 그래서 당신은 자신을 위해 이러한 에이전트를 구축할 준비가 되어 있습니다. 어..., 가장 중요한 것은 우리가 본 팀이 구축한 에이전트의 분류법입니다. 실제로 세 가지 유형의 에이전트로 귀결됩니다. 어..., 그것은 고객 대면 에이전트, 내부 에이전트, 그리고 개발자 플랫폼 에이전트입니다. 음, 나는 각각에 대해 몇 가지를 공유하고 싶습니다. 어..., 지금 좋습니다. 그래서 클리커, 우리는 여기에서 시도하고 있습니다. 우리는 여기에서 시도하고 있습니다. 우리가 이 것이 작동하는지 볼 수 있는지 봅시다. 당신은 나에게 다음 슬라이드를 줄 수 있습니까? 감사합니다. 음, 네, 좋습니다. 그래서 고객 대면 에이전트로 시작하겠습니다. 음, 여기 몇 가지 흥미로운 고객 대면 에이전트가 있습니다. 음, 어..., 이것을 할 때 우리가 할 수 있습니까? 내가 잘못된 방향을 가리키지 않았습니까?

좋습니다, 이제 시작합니다. 음, 그래서 먼저 질문을 하겠습니다. 음, 여기 누가 고객 대면 제품 팀에서 일하고 있습니까? 어..., 그래서 아마도 당신이 아는 소프트웨어 회사에, 또는 아마도 어... 더 큰 기관의 어... 고객 대면 음 부분일 수도 있습니다. 하지만 어... 고객 대면 소프트웨어 팀입니다. 좋습니다. 그래서 좀처럼, 몇몇 사람들이 손을 들었지만 많지는 않습니다. 음, 하지만 흥미로운 점은 이러한 유형의 음, 이러한 유형의 팀에 대한 것입니다. 어... 당신이 직접 어... 능력이 있을 때 어... 사용자 경험을 어느 정도 형성할 때, 당신은 정말 흥미로운 일을 할 수 있습니다. 나는 몇 가지를 얘기할 것입니다. 네, 네 여러분, 여기 우리, 음, 그래서 어..., 나는 예를 하나 줄 것입니다. 어..., 나는, 나는 음, 우리가 본 SaaS 애플리케이션의 예를 주겠습니다. 그래서 HR 소프트웨어 애플리케이션입니다. 음, 당신이, 당신이 당신의 사용자들이 그들의 일상에서 AI를 사용할 수 있게 하려고 시도한다면, 그들은 실제로 두 가지 경로를 선택할 수 있습니다.

그래서 첫 번째 경로는 당신의 사용자들이 당신의 시스템에서 음 그들의 데이터를 가져오고 있다는 것입니다. 그들은 어떤 종류의 CSV 덤프를 하고 있습니다. 예를 들어, 당신이 아는 것처럼, 직원 및 급여 데이터 또는 다른 것들, 그리고 나서 그들은 그것을 Claude 또는 ChatGPT에 붙여넣고, 그들은 이것에 대해 질문하고 있습니다. 음, 이제 두 번째는 당신, 당신이 HR 소프트웨어 회사로서, 음, 네 애플리케이션 내에, 모바일 애플리케이션 내에, 어..., 이런 방식으로 당신의 사용자들이 이제 더 의미 있는 방식으로 그들의 데이터와 상호 작용할 수 있습니다. 그리고 그리고, 두 번째가 첫 번째보다 더 좋은 이유는 좀처럼 사용자 참여도, 문맥 엔지니어링 같은 것입니다. 음, 당신이 시스템에서 다른 부분의 정보를 끌어올 수 있다면, 당신은 전체 상황의 더 많은 부분을 얻게 됩니다. 음, 그래서 그것이 우리가 팀들이 이러한 것들을 구축하는 것을 보는 이유입니다. 당신이 아는 것처럼, 애플리케이션 내의 음, 애플리케이션 내의 보조 도구입니다.

그리고 이것은 단지 B2B SaaS 애플리케이션이 아니라, 그리고 또한 좀처럼 B2C 어... 애플리케이션입니다. 여기서 정말 흥미로운 일은 독점 데이터에 대해 개인화된 경험을 만들 수 있다는 것입니다. 음, 이제 나는 사용자와 우리가 많이 함께 일한 회사로부터의 예를 주겠습니다. 그것은 Indeed입니다. 그래서 Indeed는 경력 고문 에이전트를 구축했습니다. 음, 당신은 상상할 수 있습니다. 어... 당신이 아는 것처럼 당신이 누군가가, 당신이 아는 것처럼, 그들의 경력을 탐색하도록 도우려고 시도한다면, 실제로 두 가지 중요한 흥미로운 데이터 세트가 있습니다. 하나는 당신의 사용자입니다. 그들의 꿈과 열망, 그들의 배경, 그들의 이력서입니다. 두 번째는 음 당신의 플랫폼, 당신이 아는 것처럼, 당신이 소유한 채용 데이터와 당신이 소유한 급여 데이터, 어..., 다른 당신이 아는 것처럼 소유 데이터의 유형입니다.

그래서 당신이 이 두 가지를 좀처럼 함께 가져올 수 있을 때, 그것은 우리가 팀들이 정말로 신기로운 어... 사용자 경험을 만들 수 있는 때입니다. 음, 하지만 사용 사례가 무엇이든, 어... 일반적인 일련의 도전 과제가 있습니다. 우리는 봅니다. 음, 가장 큰 것은 고객 대면 애플리케이션에 대한 비용 최적화와 정확성 주변입니다. 음, 팀들이 초기 출시를 할 때, 그들은 종종 특정 사용자가 있을 수 있다는 것을 발견합니다. 그들은 토큰 비용에서 그들에게 수백 달러 또는 심지어 수천 달러가 걸릴 수 있습니다. 맞습니까? 음, 그래서, 어..., 그들은 조금 시간을 보냅니다. 그들은 상당한 시간을 이러한 것들을 조정하려고 시도하는 데 보냅니다. 예를 들어, 비용과, 음, 당신이 아는 것처럼, 모델 선택 등 주변 정밀도 노브입니다.

어..., 그들은 또한 좀처럼 시도하고 시도합니다. 알아내기, 이봐요, 우리는 어떻게 비용을 버립니까? 우리가 어떤 크레딧 시스템을 해야 합니까? 아마도 우리가 어..., 당신이 아는 것처럼, 구체적으로 해야 합니까? 아마도 우리가 그냥 어... 토큰, 원시 토큰 비용 어..., 맞습니까를 이동해야 합니까? 하지만 이것은 조금의 생각이 필요합니다. 여기는 일종의 음 우리가 본 네 가지 다른 팀입니다. 그리고 숫자 I, 나는 몇 가지 교훈을 공유할 것입니다. 첫 번째 음 모든 배송 가장 빠른 팀은 팀입니다. 이것은 아마도 조금 명백하지만 또한 조금 역설적인 맞습니까, 이전에 에이전트를 구축한 팀입니다. 음, 왜냐하면 그들은 당신이 구축해야 할 것에 대한 아이디어 미로를 빠르게 통과할 수 있기 때문입니다.

음, 당신은 좀처럼 음 가장 빠르게 에이전트를 프로덕션 환경에 배송한 팀이 실제로 하나를 구축했습니다. 그 그 주요 엔지니어가 있는 음 어... DeepMind에서 왔으므로 그는 어... 그래서 그래서 그는 의회에 왔습니다. 당신이 아는 것처럼, 그 팀은 상당히 빠르게 배송할 수 있었습니다. 음, 명백하게 대부분, 그것은 어... 대부분의 사람들이 가진 어... 장점이 아닙니다. 음, 하지만 그것은 실제로 어..., 그것이 우리가 사람들에게 좋은 것, Mastra 같은 에이전트 프레임워크를 사용하도록 권장하는 가장 큰 이유 중 하나입니다. 에이전트를 구축할 때는 어... 거기 당신이 원시 요소를 가지고 있습니다. 그리고 어... 당신의 사용자 경험, 당신이 원시 요소에 보낸 시간이 많을수록, 당신이 사용자 경험에 보낸 시간이 적습니다. 또는 당신이 아는 것처럼 당신이 둘 다 동시에 구축해야 한다면, 그 프로젝트는 더 오래 걸릴 것입니다.

당신이 할 수 있다면 어..., 바퀴를 다시 발명할 수 있습니다. 절대. 우리는 엔지니어입니다. 우리는 바퀴를 다시 발명하는 방법을 알고 있습니다. 우리는 과거에 많은 바퀴를 다시 발명했습니다. 하지만 나는 당신에게 주는 일반적인 조언은 하지 말라는 것입니다. 음, 이것은 당신을 시간, 문제, 그리고 두통을 절약할 것입니다. 음어... 그래서 그래서 음, 이제 우리가 좀처럼 고객 대면 에이전트에서 음 내부 에이전트로 이동해봅시다. 그리고 음, 그래서 여기는 여러분을 위한 질문입니다. 여기 누가 일하고 있습니까? 음 누가 누가 여기 일하고 있습니까. 좀처럼 큰 기관 음, 아마도 본질적으로 기술 회사가 아닌 것, 하지만 당신이 아는 것처럼, 은행, 금융, 의료, 당신이 아는 것처럼 보험 손을 들어주세요. 좋습니다. 네, 상당히 많은 사람들이 손을 들었습니다.

음, 그래서 이러한 유형의 음 기관들과 함께, 당신이 아는 것처럼, 우리가 일반적으로 보는 것은, 거기는 종종 많은 어... 어... 서류 프로세스가 있습니다. 조금 그 주변 어... 그래서 나는 좀처럼 여러 가지 다른 유형의 에이전트를 통해 갈 것입니다. 그 우리가 사람들이 여기에서 구축하는 것을 봅니다. 그래서 첫 번째 음 첫 번째는 좀처럼 내부 엔터프라이즈 검색입니다. 음, 그래서 당신이 수만 또는 10만 명의 직원이 있다면, 어..., 당신은 결국 많은 핵심 사항 중 하나를 생각할 것입니다. 내가 어떻게 확인할 수 있습니까? 어... 우리가 어딘가에 저장하고 있는 모든 정보, 우리가 정보를 저장하는 많은 많은 시스템 중 하나에서, 사용 가능하고 액세스 가능하며, 우리의 어... 직원들은 이 정보를 찾는 방법을 알고 있습니다.

그래서 우리는 어... 우리는 사람들이 내부에서 이러한 에이전트 검색을 구축하는 것을 봅니다. 어... 음 당신이 아는 것처럼, 그들의 회사의 모든 직원에게 이러한 능력을 제공합니다. 음, 당신이 아는 것처럼, 그들이 일하고 있는 모든 시스템에 대한 커넥터를 구축하세요. 음어..., 우리는 또한 어... 당신이 아는 것처럼, 내부 에이전트 방면에서, 많은 프로세스 자동화를 봅니다. 어... 당신은 상상할 수 있는 사람들입니다. 예를 들어 의사들은 임상 시험 서류를 더 빠르게 완료하거나 정부에서 RFP 프로세스를 자동화합니다. 음, 많은 종이와 데이터 입력이 있는 곳이면 어디든지, 우리는 팀들이, 당신이 아는 것처럼, 에이전트를 구축하는 것을 봅니다. 어느 정도 어... 이것을 해결하세요.

음, 하지만 과제는, 당신이 아는 것처럼, 당신이 이러한 또는 이러한 종류의 조직에서 일한다면, 당신은 리더십과 1선 엔지니어 사이에 종종 단절이 있다는 것을 명확합니다. 음, 그래서 당신이 이러한 조직 중 하나에서 일하고 있고, 당신이 에이전트를 당신의 조직에 소개하려고 한다면, 나는 옹호할 것이고, 우리가 본 효과적인 것은 좀처럼 평소와 다릅니다. 음, 당신이 아는 것처럼, 아마도 당신이 있는 팀 외부에서 도움이 필요한 팀을 찾고, 음 그들과 함께 일하고, 당신이 아는 것처럼, 프로토타입 만들고, 반복하세요. 당신은 올바른 프로젝트에 배정되지 않을 수도 있지만, 당신은 직접 찾을 수 있습니다. 그래서 제 조언은 다시 우리가 본 것에 따라, 일부 통증 포인트를 식별할 때 조금 창의적입니다.

확실히 당신이 해결할 수 있는 일부 통증 포인트가 있습니다. 이를 위해 에이전트를 구축할 수 있습니다. 음, 이제 우리가 팀들이 구축하는 것을 보는 세 번째 유형의 에이전트는 개발자 플랫폼 영역에 있습니다. 기업 또는 기관의 기술 스택에 있습니다. 음, 지난 몇 개월 동안, 우리는 팀들로부터 계속 듣고 있습니다. 그들은 우리에게 에이전트로 해결한 다양한 인프라 문제를 말해줍니다. 음, 이것들은 50명 이상의 엔지니어, 200명 이상의 엔지니어가 있는 더 큰 조직에서 볼 수 있는 그런 종류의 문제입니다. 음, 당신이 아는 것처럼, 포천 500대 회사의 네트워크 운영 센터 내에 있는 팀이 있습니다. 들어오는 많은 경보를 분류하는 AIS SRE를 구축하고 있습니다. 맞습니까?

음, 그리고 30억 달러 규모의 개발자 플랫폼 회사 내에 있는 또 다른 팀이 그들의 CI 로그를 탐색하기 위한 에이전트를 구축하고 있습니다. 음, 수 TB, 수 TB의 CI 로그죠. 여기서 공통점은, 맞죠, 공통점은 언제든지 대량의 머신 데이터가 유입될 때마다 음 그것을 해결할 에이전트를 구축할 기회가 있다는 것입니다.

만약 여러분 중에 데이터의 세 가지 V를 기억하시는 분이 있다면 — variety, volume 등등, 맞죠, velocity 같은 것들, 즉 2010년대 초반부터 중반에 표시될 수 있는 모든 것들인데, 음 여러분의 조직 내에서 그러한 부분들을 찾으세요. 음 만약 여러분이 그 부분들에 있거나 가까이 있다면, 거기는 거의 확실히 구축할 에이전트가 있을 것입니다. 그리고 멋진 프로젝트들과 의미 있는 작업들이 있어서, 그것이 문제를 해결할 것이고, 음, 그리고 어떻게 보면 진정한, 진정한 좋은 일을 하는 것처럼, 그리고 조직 내의 다른 사람들을 정말로 돕는 것처럼 느껴집니다.

음, 제가 이야기할 마지막 사용 사례는 개발자 플랫폼 에이전트와 내부 에이전트 플랫폼이 무엇인가 하는 것입니다 — 구체적으로, 음 여러분 알다시피, 제 말은 많은 회사들의 내부에 플랫폼 엔지니어링 팀이 있다는 것이고, 음 내부 개발자들에게 에이전트를 구축할 수 있도록 권한을 부여하려고 노력하고 있습니다. 그래서 그들은 조금 음 예를 들어 Ma의 접근 방식을 채택하고 있고, 그 주변에 경량 래퍼를 추가하는 것처럼, 음 그들이 알다시피 그들의 특정 배포 패러다임 주변의 많은 회사별 콘텐츠 등이 있습니다.

음, 그들은 그것을 Sage라고 부르고, 그리고 나서 그들은 그것을 다른 사람들에게 권한을 부여하는 내부 음 에이전트 플랫폼으로 출시합니다. 여러분 알다시피, 그것은 기본적으로 인정된 경로입니다. 음 다른 팀들이 에이전트를 구축할 수 있는 경로 말입니다. 여러분 알다시피, 여러분은 어떻게 보면, 만약 여러분이 이러한 팀들 주변에 있거나 이러한 팀들 내에 있다면, 여러분 알다시피 이것을 하는 장점은 사람들이 어디서 시작해야 할지 알고 싶어한다는 것입니다. 음 그들을 위한 인정된 경로를 만듦으로써, 여러분은 여러분 알다시피, 여러분은 그들이 초점을 올바른 방식에 집중하도록 할 수 있습니다. 음 또는 그들이 승인될 것으로 알고 있는 그런 종류의 방식처럼, 음 여러분 알다시피 그들은 계속 구축할 수 있습니다.

음, 이 모든 유형의 프로젝트의 장점은, 음 만약 여러분이 자신을 위해 구축하고 있고, 음 여러분의 조직 내에서 개발자 플랫폼 인프라, 어떻게 보면 DevOps 유형의 영역에서 구축하고 있다면, 음 여러분은 매우 좋은 타이트한 피드백 루프를 얻게 됩니다. 여러분은 매우 빠르게 평가할 수 있습니다. 음, 예를 들어 이것이 실제 문제를 해결하고 있나요? 제 에이전트가 더 나아지고 있나요? 음 그것이 더 많은 일을 할 수 있나요? 왜냐하면 여러분 자신이 여러분의 사용자이기 때문입니다. 음, 이것은 어떤 방면에서는 어떻게 보면 매우 좋은 제약입니다. 음 어, 음 어, 여러분 알다시피, 그래서 이것은 제가 15년이 넘는 기술자 경력에서 구축하기 위해 가장 흥미로운 시간이라고 생각합니다. 음 맞습니다. 더 많은 재미있는 것들이 있고 여러분은 할 수 있으며, 다른 사람들은 아직 하지 않은 것들이 있습니다.

음, 우리는 이러한 믿을 수 없을 정도로 강력한 모델들을 가지고 있고, 우리는 여러 가지를 지향할 수 있습니다. 매우 실제 음 문제들 같은 것들 말입니다. 음, 이것은 단지 에이전트의 한 해가 아닙니다. 이것은 에이전트의 십 년의 시작입니다. 저는 여러분이 여러분 알다시피 내일 일에 들어가서 한 가지 감각을 가지기를 희망합니다. 여기 에이전트가 하나 있고, 또는 또는 아마도 두세 가지 아이디어, 음 여러분이 구축할 수 있는 것입니다. 그래서 음, 계속 나아가서, 에이전트를 구축하세요. 음 이것이 여러분 모두에 대한 일종의 지시입니다. 음, 여기 있어서 기쁩니다. 초대해주셔서 감사합니다. >> 정말 감사합니다, Sam. 좋습니다, 여러분들. 이것을 생산에 투입하는 그 방향으로, 음, Pierre를 무대 위에 초대하게 되어 매우 기쁩니다. Pierre는 Llama Index의 창립 엔지니어이고, 그는 여러분들에게 음 Llama Parse의 대규모 배포로부터의 교훈들에 대해 이야기할 것입니다. 그것이 어디 있나요? 여러분은 디스플레이를 얻지 못했습니다.

이것이 제가 할 것입니다. 저는 왜인지 모르겠습니다. 당신이 저를 이 kid처럼 할 수 있습니까? 좋습니다, 감사합니다. 안녕하세요 여러분들. 저는 Pierre입니다. 음, 저는 Llama Index에 있습니다. 오늘 저는 우리가 지난 2년 동안 음 Llama Index에서 에이전트를 대규모로 배포할 때 배운 것을 설명하고 싶습니다. 음, 그래서 Llama Index를 음 모르는 사람들을 위해, 음 그것은 원래 오픈 소스 회사 오픈 소스 프레임워크였습니다. 음 우리는 현재 문서 AI에 중점을 두고 있으며, 지난 2년 동안 우리는 프로덕션에서 10억 개 이상의 문서를 처리했습니다. 음 각각은 자신의 에이전트 루프를 가지고 있습니다. 맞습니다. 그래서 우리가 오늘 Llama Index에서 해결하려고 노력하는 핵심 문제 중 하나는 문서 처리입니다.

음, 만약 여러분이 이미 데이터를 추출하려고 노력했거나 에이전트에 PDF를 보냈다면, 음 여러분은 아마도 PDF 자체가 파싱하기 매우 어렵고 많은 쓰레기 콘텐츠를 포함하고 있다는 것을 깨달았을 것입니다. 음 왜냐하면 그것들은 기본적으로 음 구조화된 콘텐츠를 포함하지 않지만, 그것들은 음 페이지 위의 단어들의 경계 상자를 포함합니다. 음, 여러분은 어떤 방식으로든 음 이것을 유용한 무언가로 재구성해야 합니다.

음, 그래서 2024년부터, 음 이른 2024년부터, 음 우리는 이 문제를 에이전트 시스템을 구축하여 해결하려고 노력했습니다. LLM, 원래는 비전 언어 모델과 OCR 및 다른 많은 기술과 모델을 활용하여, 음 에이전트 루프에 함께 통합하여, 이 문서 파싱 문제를 해결하려고 노력합니다. 음 모든 유형의 음 문서를 처리할 수 있습니다. 음 TLDR입니다. 음 우리는 프로덕션에서 문서를 처리하기 위해 에이전트를 사용합니다. 음 지금까지 우리는 처리했습니다. 제가 말했듯이, 수십억 개의 문서입니다. 음 이 강연의 목적은 우리가 프로덕션에서 자주 나타나는 것을 보는 일부 문제들을 소개하는 것이지만, 이러한 문제들은 그렇게 많이 논의되지 않았습니다. 음 LLM 또는 VLM을 사용할 때 만나게 되는 첫 번째 문제 중 하나는 그것들이 출력에서 루핑하는 것을 정말 좋아한다는 것입니다. 음 그래서 여러분이 대형 언어 모델에 보내는 쿼리 중 작은 부분, 아마도 약 1% 정도가 있습니다.

5%의 쿼리가 반복 출력의 형태로 돌아올 것입니다. 음 이것은 여러분의 워크플로우를 완전히 깨뜨릴 것입니다. 음 이 중 가장 심각한 문제 중 하나는 공백 루핑입니다. 음 특히 예를 들어 Anthropic의 Sonnet 같은 것이 이것에 매우 민감합니다. 음 모델은 출력에서 무한한 음 공백을 출력할 것입니다. 음 우리는 여러분의 모든 토큰 예산을 사용했고, 여러분은 그것을 제어할 방법이 없습니다. 음 왜냐하면 토크나이저의 작동 방식 때문에, 공백은 여러분이 정지 시퀀스에 넣을 수 없는 유일한 문자입니다. 음 왜냐하면 대부분의 최첨단 모델 또는 오픈 소스 가중치 모델 음 1개 공백에서 128개 공백의 토큰을 가지고 있기 때문입니다. 대부분의 경우입니다. 그래서 음, 공백을 정지 시퀀스에 넣기가 어렵습니다. 그래서 그것은 문자입니다. 만약 여러분이 공백만 넣는다면, 음 대부분의 제공자 또는 대부분의 모델은 여러분의 쿼리를 거부할 것입니다.

음, 공백 토큰을 정지 토큰으로 설정할 수 없기 때문에. 그래서 프로덕션에서 이 루핑을 처리하려면, 여러분이 해야 할 일은, 음 기본적으로 여러분은 항상 여러분의 모델에 대해 트리밍을 사용해야 합니다. 여러분은 패치를 사용하지 않아야 합니다. 음 그리고 여러분은 모델 제공자로부터 또는 여러분의 모델 추론으로부터 온 모든 조각에 대해 필요합니다. 음 여러분은 중간에 일부 휴리스틱을 실행하여 특정 반복이 발생하는지 감지해야 하고, 여러분은 쿼리를 일찍 죽이려고 노력해야 합니다. 음 이렇게 하면 여러분은 최종적으로 음 Opus에서 120,000개의 토큰을 사용하지 않게 됩니다. 단지 공백만을 위해서, 그것은 매우, 매우 비싸집니다. 음 그래서 일반적으로 우리가 하는 것은, 여러분이 스트림을 죽일 수 있고, 그리고 나서 여러분은 다른 음 모델 또는 다른 프롬프트 또는 다른 온도로 재시도합니다. 여러분은 이 루핑에 다시 진입하지 않기를 희망합니다. 음 이것은 보통 출력 루핑에 매우 잘 작동합니다.

음, 이제 동기 루핑으로 동기 추적을 처리하기가 점점 더 어려워지고 있습니다. 특히 모델 제공자가 더 이상 여러분을 위해 음 동기 추적을 스트리밍하고 있지 않기 때문입니다. 음 그래서 여기서 여러분은 최대 토큰에 의존하여 범위를 제한해야 할 것입니다. 음 하지만 이것은 정말 이 작업에 적합한 좋은 도구가 아닙니다. 음 왜냐하면 여러분의 최대 토큰이 너무 낮으면, 아마도 여러분이 원하는 출력을 얻지 못할 것이기 때문입니다. 너무 높으면, 음 여러분은 동기 루핑에서 더 많은 예산을 소모할 것입니다. 그래서 네, 루핑, 음 이것은 거대한 문제입니다. 음 그리고 여러분은 그 주변에서 설계해야 합니다. 우리가 보는 또 다른 문제는 음 모델 블라인드니스입니다. 음 모델은 보통 어떤 콘텐츠에 대해 맹목적입니다. 음 우리가 전사에서 보는 일반적인 문제는, 만약 여러분의 콘텐츠 또는 여러분의 RAG 시스템의 청크가 반복된 문자열을 가지고 있다면입니다. 그래서 여러분은 원본 콘텐츠의 두 곳에서 반복되는 동일한 문자열을 가지고 있습니다.

모델은 때때로 중간의 콘텐츠를 완전히 무시할 것입니다. 음 그것은 모델에 따라 다릅니다. 모든 모델이 이 문제를 가지고 있습니다. 음 완벽하게 그것을 처리하는 모델을 아직 찾지 못했습니다. 음 그것들은 같은 것들에 맹목적이지 않습니다. 그래서 여러분은 여전히 모델을 전환할 수 있습니다. 음 하지만 네, 음 여러분은 프롬프트를 통해 그것을 피할 수 없습니다. 예를 들어, 만약 여러분이 두 문자열 사이의 어떤 콘텐츠에 맹목적인 Claude를 가지고 있다면, 여러분은 여러분의 프롬프트를 최대한 수정하려고 노력할 수 있습니다. 음 모델은 문자 그대로 주의 아키텍처 때문에 맹목적입니다. 음 우리가 블라인드니스에 대해 보는 또 다른 문제는 색맹입니다. 많은 비전 모델 음 특히 특정 상황에서, 특히 빨간색 음 공간에서 맹목적입니다. 음 인간으로서, 우리는 다른 빨간색을 구분하는 것에 매우 능숙합니다. 음 이미지와 이미지 토크나이저에 대한 그들의 방식 때문에.

음 여러분은 모델에서 색맹을 가지고 있고, 음 색맹 프로필은 모델 간에 동질적이지 않습니다. 음 그래서 기본적으로 여러분은 각 모델을 테스트해야 하고 음 색맹을 이해해야 합니다. 음 여러분의 모델이 어떤 것에 대해 맹목적인지 감지하기 위해, 음 먼저 분석을 시도해야 합니다. 예를 들어, 음 여러분이 사용하고 있는 모델이 맹목적인 색상 프로필이 무엇인지입니다. 음 여러분이 할 수 있는 다른 것은, 예를 들어, 여러분이 그것을 모델에 보내기 전에, 이미지에서 OCR을 실행해보고, 모델이 OCR의 단어를 캡처했는지 보는 것입니다. 음 여러분은 그것을 우회하기 위해 어떤 종류의 신호 융합을 해야 합니다. 음 자주 나타나는 다른 파괴적인 문제들은, 음 여러분이 어딘가에 템플릿이 있는 프롬프트를 가지고 있고, 어떤 이유로든 도구가 실패했거나 무엇인가, 여러분이 빈 콘텐츠를 보냈다면입니다. 음 그러면 모델은 단지 콘텐츠가 비어 있다는 것을 여러분에게 말하지 않을 것입니다.

그것은 단지 작업을 한 작업으로 변경하고, 그것은 여러분을 위해 환각할 것입니다. 음 콘텐츠입니다. 음 어떤 모델들은 같은 것을 자주 환각하는 경향이 있습니다. 예를 들어, Anthropic은 정말 음 어떤 이유로든 어떤 종류의 합병된 법인 문서를 좋아합니다. 그래서 여러분은 어떤 종류의 휴리스틱을 사용하여 그것을 필터링하려고 노력할 수 있습니다. 음 하지만 네, 블라인드니스와 유사하게, 음 여러분은 여러분의 것에서 어떤 종류의 혼합도 사용할 수 있습니다. 음 또는 여러분은 모델을 호출하기 전에 여러분이 빈 이미지 음 또는 빈 템플릿 음 을 프롬프트 내부로 보내지 않았는지 확인하려고 노력할 수 있습니다. 음 그렇게 하면 모델은 환각하지 않을 것입니다. 음 마지막으로 프로덕션에서, 음 우리의 가장 큰 문제 중 하나는 현재 상황입니다. 음 모든 모델 제공자는 이제 확장의 문제를 가지고 있습니다. 그래서 API는 거의 매일 다운됩니다.

음 그래서 기본적으로 당신의 에이전트 시스템에서, 당신은, 음 다중 공급자와 다중 모델 시리즈를 지원하도록 이들을 구축해야 합니다. 음 각 모델 시리즈에 대한 코드를 모델별 특정 코드로 취급해야 합니다. 음 왜냐하면, 음 맞습니다, 음 각 모델의 음 동작이 다르기 때문에, 음 이것이 당신에게, 음 Entropic이 다운될 때, 음 다른 곳이나 유사한 것으로 폴백할 수 있게 합니다. 이는 당신의 API 공급자나 당신의 모델 공급자가 다운되었더라도 당신의 서비스를 계속 실행할 수 있도록 해줍니다.

음 마지막으로, 음 좋은 평가를 구축해야 합니다, 음 우리가 코드를 사용하거나 우리가 점점 더 코딩 에이전트를 사용하고 있기 때문에, 음 기본적으로, 당신이 대규모로 당신의 에이전트의 행동을 제어할 수 있는 유일한 방법은 좋은 평가를 갖는 것입니다. 음 당신이 문서 구문 분석용 평가를 찾고 있다면, 음 우리는 passbench를 구축했습니다, 음 이것은 오픈 소스입니다, 음 이것은 Kaggle과 Hugging Face에서 공식 리더보드로 실행됩니다. 음 에이전트가 실패할 때, 당신은 LLM을 사용하지 않는 것으로 폴백할 필요가 있습니다. 음 그것을 위해 우리는 light pass를 구축했습니다. 이것도 오픈 소스입니다, 음 이것은 CPU에서 초당 약 500페이지를 처리합니다. 음 기본적으로, 당신은 LLM이 실패할 때 폴백이 필요합니다, 음 당신이 모델을 사용하지 않고 무언가를 해야 할 때. 음 감사합니다. 음, 감사합니다, Pierre. 좋습니다, 여러분. 방금 한 개 더 강연이 있습니다, 음 당신과 점심 사이에.

상오 마지막 연사를 위해, 우리는 Tusk의 Junu를 초청하였습니다, 그는 가드레일을 통해 에이전트에서 더 안전하고 더 신뢰할 수 있는 행동을 이끌어내는 방법에 대해 논의할 것입니다. 좋습니다. 안녕하세요 여러분. 저는 Jun입니다. 음 저는 Tusk의 창립자이며, 오늘 저는 코딩 에이전트의 실행 경계에 대해 공유하겠습니다. 음 이것은 모든 웹 개발자가 친숙한 것입니다. 음 전형적인 SQL 인젝션 취약점이 오랜 시간 지속되었습니다. 음 오래전부터 이것이 웹 응용프로그램이 손상되는 방식이었습니다. 음 사용자가 제어하는 음 문자열이 SQL 인터프리터에 직접 들어갑니다. 음 우리는 개발자에게 입력을 더 열심히 정리하도록 하는 것으로 이 문제를 해결하지 않았습니다. 음 우리는 준비된 명령문으로 해결했습니다, 음 이 경계를 드라이버로 이동시킴으로써. 따라서 SQL 인젝션은 구조적으로 불가능해졌습니다. 음 이제 이것은 위험하게 권한 플래그를 건너뛰는 것입니다.

만약 당신이 코딩 에이전트로 어떤 실제 작업을 해봤다면, 음 당신은 아마 이것을 봤을 겁니다. 음 이것은 권한 프롬프트 때문에 존재합니다, 음 좋습니다, 실제로 몇 가지를 보호하고 있습니다, 하지만 음 이들은 또한 워크플로우를 중단합니다. 그래서 저는 Twitter를 통해 검색하여, 사람들이 이 플래그나 일반적인 권한 프롬프트에 대해 어떻게 생각하는지 봤습니다. 음 맨 위 줄은 음 어떤 종류의 프롬프트 피로를 나타냅니다, 맞죠? YOLO 모드를 완전히 채택하지는 않았지만 모든 작은 단계를 승인해야 하는 것에 대해 좌절감을 느끼는 사람들. 맞죠? 중간 줄은 다음에 어떤 일이 일어날지입니다. 사람들이 이 프롬프트를 끕니다. 음 그들은 권한 건너뛰기 플래그를 실행합니다. 그들은 다른 사람들도 그렇게 하도록 권유하고, 음 왜냐하면 그들은 이것이 유일한 사용 가능한 워크플로우라고 생각하기 때문입니다. 아래 줄은 결과입니다, 맞죠?

사람들이 에이전트가 무엇을 할 수 있는지 또는 이미 당신이 알고 있는 것에 대해 약간 불안해하고 있습니다, 때때로 에이전트는 단지 음 비싼 데이터를 삭제하거나 심지어 전체 시스템을 삭제합니다. 따라서 이것은 UX 필터 모드입니다. 음 프롬프트 피로, 음 회피가 되고, 음 회피가 음 범위를 벗어난 것으로 들어가는 것이 되고, 심각한 결과를 초래합니다. 그래서 저는 지난 6주간의 저 자신의 cursor 기록에서 추출했습니다, 음 110개의 아시아 세션을 걸쳐, 음 음 지난 6주간.

그래서 제 데이터세트에서, 중앙값 세션, 음 중간 세션은 약 42개의 호출을 가지고 있고, 평균값은 120이며, 제 가장 긴 세션의 경우, 이것은 음 천 개를 초과하고 있습니다, 맞죠? 매번 인간에게 물어보는 모범 사례, 음 전혀 말이 안 됩니다, 그것은 확장되지 않습니다, 맞죠? AI가 점점 더 큰 작업을 수행할 수 있게 되면서, 음 세션이 점점 더 길어지고, 우리 중 많은 사람들이 단지 권한을 건너뜁니다, 그래서 우리가 남은 것은 우리의 파일 시스템, 우리의 자격 증명, 우리의 환경 변수 및 비밀 등에 완전한 접근 권한을 가진 에이전트입니다. 그래서 그것은 음, 매우 안전한 일을 하는 방식이 아닙니다. 업계는 이것이 망가졌다는 것을 알고 있습니다. 그래서 올해 초, Entropic이 clock code를 위해 auto mode를 출시했습니다. 음 기본적으로 이것은 각 두 개의 호출을 보여주는 분류기입니다.

따라서 두 개의 호출과 안전하고 합리적으로 보이는 행동이 통과하고 실행됩니다, 당신이 알고 있는 것 중에서, 조금 의심스럽고 환경을 벗어나는 것처럼 보이는 것들은 차단됩니다, 맞죠? 그래서 아무도 일반적인 것을 찾지 않습니다. 이것은 훌륭한 개선이지만 Entropic 자체의 권장사항은 격리된 환경에서 실행하는 것입니다. 음, 이유가 중요합니다. 당신이 수학을 본다면, 맞죠, 약 122개의 호출의 평균 세션에서 당신의 분류기가 99% 신뢰성을 가지고 있다고 가정하면, 분류기가 전체 세션에서 한 번도 실수하지 않을 확률, 음 0.99의 120 제곱, 또는 약 30%입니다.

음 이제 제 천 개가 넘는 도구 호출의 가장 긴 세션에서, 이것은 기본적으로 0입니다, 맞죠? 따라서 물론 여기에 몇 가지 주의 사항이 있습니다, 음 오류는 독립적이지 않습니다, 음 그들은 때때로 상관관계가 있습니다, 그래서 이 백분율을 문자 그대로 해석하지 마세요, 음 여기서 저는 주로 음 일점을 표현하고 싶습니다, 즉 각 도구 두 호출 확률론 검사는 상한을 가지고 있습니다, 음 그것은 세션 길이와 함께 악화됩니다. 그래서 우리가 더 잘할 수 있을까요, 맞죠? 그래서 확률론 검사는 규모와 함께 악화되고, 음 결정론적 경계는 규모를 유지합니다. 그래서 이것은 질문을 제기합니다, 기본적으로 신뢰하지만 완전히 검증할 수 없는 코드에 대한 올바른 경계가 무엇일까요? 음 그리고 에이전트는 단지 이 문제의 최신 버전입니다. 우리가 이전에 이것을 어떻게 해결했는지 봅시다. SQL 인젝션의 경우, 음 당신이 알고 있듯이, 제가 이전에 소개했습니다, 우리는 준비된 명령문과 ORM을 사용했습니다, 음 단지 입력 정제에만 의존하지 않고.

음 메모리 안전성의 경우, 우리는 이제 메모리 안전 언어를 가지고 있습니다, 음 단지 조심 깊게 C를 작성하지 않고. 음 네트워크 패킷 손실의 경우, 우리는 TLS를 사용합니다, 음 네트워크를 신뢰하지 않고. 여기의 패턴은 실행을 오류가 발생하는 계층 아래로 강제하는 것입니다. 음 그리고 우리가 지금 보는 그런 종류의 문제, 에이전트가 점점 더 개인화되고 음 개방형이 될 때. 저는 이것을 에이전트 초과라고 부릅니다. 맞죠? 여기서 흥미로운 것은, 음 악의적인 공격자가 있을 수도 있고 없을 수도 있다는 것입니다, 맞죠? 그 위의 것들과 다르게. 때때로 에이전트는 단지 투영을 실행합니다. 그들은 환각을 합니다. 그들은 프롬프트 인젝션을 당합니다. 음 그들은 루프에서 실행되고 전체 시스템을 삭제하기로 결정할 수 있습니다. 어느 것인지는 중요하지 않습니다. 그래서 구조적인 수정은 무엇일까요? 그래서 오늘 저는, 음 행동체가 행동하도록 요청하는 것을 멈추고, 음 행동체가 무엇을 할 수 있는지 변경해야 한다고 말합니다.

clock codeex나 다른 터미널 기반 에이전트를 실행한다면, 당신은 음 아래 어딘가에 뭔가를 원합니다, 맞죠?, 저것이 어떤 경계를 시행하고 에이전트가 이 경계 내에서 실행되도록 합니다. 음 여기의 일은 우리가 단지 작업 드리프트를 위해 이것을 구축하지 않았다는 것입니다. 음 우리는, 음 우리는 코딩 에이전트를 위해 이것을 구축하지 않았습니다. 우리는 먼저 작업 드리프트를 위해 이것을 구축했습니다.

음 작업 드리프트는 우리의 API 테스트 재생 시스템입니다, 음 CI에서, 수백 또는 심지어 수천 개의 프로덕션 추적이 당신의 애플리케이션에 재생됩니다, 음 그것이 일어날 때, 우리는 어떤 부작용도 원하지 않습니다, 맞죠?, 우리는 보장을 원합니다, 음 예를 들어, 데이터베이스 호출이 없습니다, 실시간 호출이 프로덕션 데이터베이스에 들어가고 상태에 영향을 미칩니다, 맞죠?, 우리는 그것이 일어나는 것을 감당할 수 없습니다, 그래서 우리는 원시적인, 음 결정론적 운영체제 수준의 실행 경계를 구축했습니다, 음 오버헤드는 거의 0에 가깝습니다, 음 우리는 이것을 fence로 오픈 소스했습니다, 음 그리고 당신이 구성한 네트워크, 파일 시스템 및 명령 정책을 시행합니다. 그래서 당신은 fence를 이 경계로 생각할 수 있습니다, 음 우리는 모두 그들 아래에 있길 원합니다, 맞죠?, 하나의, 음 하나의 정책 어휘, 음 어떤 에이전트 또는 애플리케이션이 작업을 주도하든 상관없이. 이제 fence는 세 가지를 시행합니다, 음 파일 시스템, 네트워크 및 명령.

정책 외의 파일은 에이전트에 대해 절대 도달할 수 없습니다. 음 네트워크 호출은 로컬 필터 프록시를 통해 강제 통과합니다, 음 허용된 도메인만 도달할 수 있습니다, 명령은 실행 전에 확인됩니다. 그래서 이것은 또한 음 체인과 중첩 쉘을 포함합니다. 음 이것이 정책이 어떻게 보이는지입니다, 맞죠? 그것은 단지 파일입니다, 음 에이전트가 볼 수 있는 경로를 가지고, 음 명령, 음 당신이 도달할 수 있는 도메인, 음 그리고 당신이 절대 실행할 수 없는 명령, 음 그게 다입니다. 데몬이 없습니다, 이미지가 없습니다, 컨테이너 런타임이 없습니다. 그래서 이것은 빠른 데모입니다. 음 저는 이것이 약간 빠르게 실행된다고 생각합니다, 하지만 설명할 수 있습니다. 음 그래서 우리가 이전에 가진 것은, 음 우리는, 음 우리는 fence 구성을 가지고 있었습니다, 기본적으로 음 이 디렉토리를 차단했습니다, 맞죠? 음 음 이 저장소에 있습니다.

음 그래서, 음 우리는 또한 몇 가지 스크립트를 가지고 있습니다, 음 그 m 파일들에 접근하려고 시도합니다, 음 그리고 우리는 fence 구성에서 차단한 홈 디렉토리의 디렉토리. 음 그래서 우리가 이 스크립트들을 실행할 때, 음 우리는 할 수 없습니다, 음 우리가 fence 외부에서 스크립트를 실행할 때, 이것은 작동합니다, 맞죠?, 아니면, 음 우리는 또 다른 스크립트를 가지고 있습니다, 당신이 알고 있듯이, 아웃바운드 요청을 실행하는, 음 엔드포인트로. 음 하지만 우리의 fence 구성에서, 이것, 당신이 알고 있듯이, 음 우리는 없었습니다, 음 우리는 어떤 허용된 도메인도 설정하지 않았습니다. 그래서, 당신이 알고 있듯이, 이것, 음 fence 아래에서, 이것은 실패할 것입니다.

기본적으로 어 이 데모는 그것이 그 스크립트들을 실행하려고 시도할 때 뭔가 잘못되었음을 보여줍니다 어 이제 저는 단지 그것에게 어 음 간단한 파일 수정만 하는 오늘 날짜의 readme를 업데이트하도록 요청합니다 어 그것은 해냈습니다 하지만 이제 어 그것이 당신이 알 때 시도했습니다 어 커밋을 생성하고 커밋을 원격으로 푸시할 때 이것은 실패했습니다 왜냐하면 어 우리의 fence 구성에서 우리는 어 git push를 추가했습니다 어 거부된 명령으로 그래서 이것이 fence의 작동 방식의 본질입니다 좋습니다 그것을 요약해 봅시다 어 저는 이것이 안전한 에이전트 실행의 규범 표 모델이라고 생각합니다 그것이 좋습니다 그래서 왼쪽에 우리는 어 에이전트가 실행하고 싶어하는 명령을 가지고 있습니다 이 명령들의 대부분은 당신이 알고 있듯이 안전하고 합리적이고 일상적입니다 맞죠 하지만 이 명령들 중 일부는 jailbreak 때문에 발생할 수 있습니다 어 프롬프트 주입 과도한 열의의 에이전트 등등

그래서 우리는 이들을 이 세 층을 통해 실행하기 전에 파괴적인 명령들을 필터링하고 싶습니다 첫 번째 층은 분류입니다 이것은 예를 들어 자동 모드처럼 어 이 행동이 합리적입니까 묻습니다 이제 이것은 확률론적입니다 어 우리가 이전에 본 것처럼 하지만 그것은 더 나을 수 있습니다 미묘함과 맥락을 더 잘 이해할 수 있습니다 두 번째 층은 정책과 이 정책의 집행입니다 그래서 이것이 fence가 앉을 곳입니다 어 그것은 이 행동이 허용됩니까 묻습니다 맞죠 그래서 만약 뭔가 첫 번째 층의 틈새를 빠져나간다면 어 단지 그것이 fence 구성에서 거부된다면 어 행동은 거부될 것입니다 블록될 것입니다 마지막 층은 격리입니다 그래서 여기 우리는 컨테이너와 마이크로 가상 머신을 가지고 있습니다 어 기본적으로 묻고 있습니다 만약 문제가 발생한다면 이 프로세스는 무엇을 접촉할 수 있습니까

그래서 예를 들어, 악성 코드나 멀티테넌트 워크로드에 대해서는 그렇습니다. 그래서 그것이 컨테이너와 마이크로 VM이 중요한 지점입니다. 당신이 정말로 호스트와 아시아 워크로드 사이의 거리를 늘리고 싶을 때 말입니다. 지금 이 계층들은 완벽하지 않습니다. 핵심은 이들을 정렬하고 쌓는 것입니다, 그래서 이들의 취약점이 정렬되지 않도록 하는 것입니다, 맞죠? 그래서 우리는 심층 방어를 구현할 수 있습니다. 그리고 대부분의 팀은 이미 이 계층 중 하나를 가지고 있습니다, 맞죠? 클라우드 코드를 사용한다면 당신은 이미 자동 모드에 있을 수도 있습니다. 보안 의식이 있다면 당신은 이미 컨테이너나 클라우드 샌드박스에서 에이전트를 실행 중일 수도 있습니다. 하지만 내가 더 많은 사람들이 고려하기를 원하는 것은 당신의 에이전트가 무엇을 할 수 있고 할 수 없는지를 정의하는 중간 계층입니다. 그래서 배우가 잘 행동하도록 요구하는 것을 멈추고 배우가 할 수 있는 것을 바꾸자.

규칙을 정의하고 운영 체제 수준에서 강제 실행하십시오. 에이전트를 실행시키십시오. 감사합니다. 좋습니다. 정말 감사합니다. Chingi. 이것으로 오전 회의를 마칩니다. 따라서 지금 우리는 1시간의 점심 휴식을 가질 것입니다. 그런 다음 오후 1시 40분에 여기로 돌아올 것입니다. 당신은 다음 세션을 놓치고 싶지 않을 것입니다. 왜냐하면 그것은 매우 특별한 인물이기 때문입니다. 저는 10년 이상 알고 있는 Sarah Hooker라는 사람을 소개합니다. 실제로 그녀는 실제로 Sam Altman 및 다른 사람들과 같은 해에 Time 지 AI 영향력 100인에 선정되었습니다. 그리고 그녀는 현재 Adaption Labs의 CEO이자 공동 창립자입니다. 기본적으로 적응형 지능의 차세대 모델을 구축하고 있습니다. 그래서 우리는 곧 당신들을 만날 것입니다. 좋습니다. 점심을 즐기십시오. 헤헤헤헤헤헤헤헤헤헤헤헤헤헤헤헤헤헤헤헤헤헤헤헤헤헤헤헤헤헤.

헤헤헤헤헤헤헤헤헤헤헤헤헤헤헤헤헤헤헤헤헤핫핫오헤헤헤헤헤헤헤헤헤헤헤헤오자핫핫헤헤헤헤헤헤헤헤헤헤핫핫헤헤헤헤헤헤헤헤헤헤헤헤핫핫헤헤헤헤헤헤헤헤헤헤헤헤헤헤헤핫헤핫헤헤헤헤헤헤헤헤헤헤헤헤헤헤헤헤헤헤헤헤핫헤헤헤헤헤헤헤헤헤헤헤헤헤헤헤헤헤헤헤헤헤헤헤헤헤헤헤헤헤헤헤헤헤헤헤헤헤헤헤헤헤헤헤헤헤헤헤헤

안녕, 안녕, 안녕. 안녕, 안녕, 안녕. 안녕, 안녕, 안녕. 안녕, 안녕, 안녕. 안녕, 안녕, 안녕. 안녕, 안녕, 안녕. 안녕, 안녕, 안녕. 안녕, 안녕, 안녕. 핫. 핫. N. 안녕, 안녕, 안녕, 안녕, 안녕. 안녕, 안녕, 안녕. 안녕, 안녕, 안녕, 안녕. 안녕, 안녕, 안녕. 안녕, 안녕, 안녕. 안녕, 안녕, 안녕, 안녕, 안녕. 안녕, 안녕, 안녕. 안녕, 안녕, 안녕. 안녕, 안녕, 안녕. 안녕, 안녕, 안녕. 안녕, 안녕, 안녕, 안녕, 안녕. 안녕, 안녕, 안녕, 안녕, 안녕, 안녕, 안녕, 안녕, 안녕. 안녕, 안녕, 안녕. 안녕, 안녕, 안녕, 안녕, 안녕. 안녕, 안녕, 안녕. 안녕, 안녕, 안녕. 안녕, 안녕, 안녕, 안녕, 안녕. 안녕, 안녕, 안녕. 안녕, 안녕, 안녕. 안녕, 안녕, 안녕, 안녕, 안녕. 안녕, 안녕, 안녕. 핫. 핫. 안녕, 안녕, 안녕. 안녕, 안녕, 안녕. 안녕, 안녕, 안녕. 안녕, 안녕, 안녕. 안녕, 안녕, 안녕. 안녕, 안녕, 안녕. 안녕, 안녕, 안녕. 안녕, 안녕, 안녕. 핫. 핫. 안녕, 안녕, 안녕. 안녕, 안녕, 안녕, 안녕, 안녕. 안녕, 안녕, 안녕. 안녕, 안녕, 안녕. 안녕, 안녕, 안녕, 안녕, 안녕. 안녕. 안녕, 안녕, 안녕. 안녕, 안녕, 안녕. 안녕, 안녕, 안녕.

안녕, 안녕, 안녕. 안녕, 안녕, 안녕. 안녕, 안녕, 안녕. 안녕, 안녕, 안녕. 안녕, 안녕, 안녕. 안녕, 안녕, 안녕. 안녕, 안녕, 안녕. 안녕, 안녕, 안녕. 안녕, 안녕, 안녕. 안녕, 안녕, 안녕. 안녕, 안녕, 안녕. 안녕, 안녕, 안녕. 감사합니다, Stages. 그는 분명히 즐기고 있습니다. 그래서 다음 연사가 준비하는 동안 나는 그녀를 여러분에게 소개하고 싶습니다. 이분은 Sarah Hooker입니다. 그녀는 Adaption의 CEO이자 공동 창립자입니다. 그런데 당신 중 일부는 내가 실제로 Sarah를 10년 이상 알았다는 것을 모를 수도 있습니다. 그래서 우리는 분석과 관련된 많은 NGO 프로젝트를 함께 수행했고, 나는 항상 그녀를 매우 높이 평가해 왔습니다. 그래서 나는 싱가포르에 그녀를 데려올 기회를 보았고 이 방 안의 일부 정말 흥미로운 것에 대해 이야기하게 했고, 나는 이에 대해 정말 흥분하고 있습니다. 따라서 Sarah Hooker를 환영하기 위해 박수를 쳐주십시오. >> 좋습니다, 좋습니다. 나는 우리가 약간 >> 안녕하세요.

여기에 오는 것이 정말 멋집니다. 그래서, 음 나는 모두가 일어서기를 초대합니다. 멋집니다. 네. 여러분 일어서십시오. 이제 나는 당신들을 위, 오른쪽, 왼쪽으로 스트레칭하고 당신 옆의 사람과 하이파이브하도록 초대합니다. 멋집니다. 이제 앉을 수 있습니다. 음, 나는 이것이 실제로 매우 특별하다는 것을 알고 있습니다. 왜냐하면 이것은 회의의 3일째이고 이것은 많은 연설 이후입니다. 하지만 나는 여기에 있는 것이 매우 영광입니다. 그래서 당신과 공유할 수 있는 것이 정말 특별합니다. 나는 이것이 정말 실망스러운 문제라고 생각합니다. 그래서 일반적으로, 나는 대부분의 최전선 연구를 추진하는 것은 당신이 무언가에 대해 매우 불만족하고 그것을 바꿔야 한다는 느낌이라고 생각합니다. 그래서 오늘 나는 왜 미래가 적응형인지에 대해 이야기할 것입니다.

이것을 하기 위해, 나는 음, 보통 어떻게 시작할까요, 나는 여기서 어디를 가리켜야 할까요 아니면 슬라이드를 바꿀까요. 그냥 클릭하면 될까요? 아마도 나는 오 나는 의미 나는 나도 이렇게 할 수 있습니다. 나는 나는 이렇게 할 것입니다, 나의 리듬 때문입니다. 네. 그래서 나는 여기에 서 있을 것입니다. 나는 그렇게 많이 걸어다니지 않을 것입니다. 좋습니다. 멋집니다. 그래서 보통 내가 새로운 슬라이드를 할 때, 나는 마지막 순간까지 기다리는 것을 좋아합니다. 왜냐하면 나는 그런 사람이기 때문입니다. 나는 나의 생각이 무엇인지 그리고 내가 지금 생각하고 있는 것에 대해 생각하고 싶습니다. 그래서 음, 지난 48시간, 이것이 내 삶입니다. 나는 이 연설에 대한 알림을 받았습니다. 음 나는 실제로 싱가포르에서 네 개의 연설을 하고 있고, 나는 나는 17시간의 비행을 가지고 있습니다. 나는 비행 중에 그것을 완료하기로 결정했고, 이것은 매우 생산적이었습니다. 그래서 나는 말했습니다, 「나는 왜 ChatGPT에 슬라이드를 달라고 물어보지 않을까?」

」그래서 나는 말했습니다, 「나는 우리가 왜 자적응 지능이 필요한지 설명하는 오프닝 슬라이드가 필요합니다.」 결과는 매우 흥미로웠습니다. 나는 이것을 얻었습니다. 그것은 매우 화려합니다. 그것에는 많은 광채가 있습니다. 당신은 거기에 도마뱀이 있는 것을 볼 수 있습니다. 그것은 약간 Charles Darwin의 진화를 불러일으킵니다. 음, 그래서 나는 말했습니다, 「좋아, 흥미롭습니다. 이것은 나의 평소 스타일이 아닙니다. 나를 소개하도록 물어봅시다.」 참고로, 이것이 내 평소 소개 슬라이드입니다. 그래서 나는 Google DeepMind에서 오랫동안 일했습니다. 나는 Cohere Labs를 이끌었습니다. 내 경력의 대부분은 출판물과 가능성의 경계에서의 연구에 종사했습니다. 음 나는 항상 자신을 행운이라고 생각했습니다. 이 산업 실험실에서 일할 수 있다는 것, 이 실험실들은 세계에서 가장 훌륭한 최전선 모델 중 일부를 생산했습니다. 음 하지만 나는 이것으로 단순화되었다고 생각합니다. 그래서 작은 문제가 하나 있습니다. 아마도 당신 중 일부에게는 주목할 가치가 있을 것입니다.

음, 나는 이것이 기본적으로 사람들이 때때로 AI를 사용할 때 어떤 느낌인지의 예라고 생각합니다. 그래서 이 문제를 해결하기 위해, 나는 내가 엄지손가락을 위로, 엄지손가락을 아래로 할 수 있었다고 생각합니다. 음, 아마도 어딘가에 연구원이 몇 개월 후에 이 피드백을 받게 될 것이고 개선할 것입니다. 또는 나는 고급 프롬프트 엔지니어가 될 수 있습니다. 그렇게 하면 나는 내가 원하는 정확한 사양을 작성하는 데 매우 능숙해질 수 있을 것입니다. 나는 이것이 기본적으로 현재 AI의 상태라고 생각합니다. 내 대부분의 컴퓨터 과학 경력 동안, 당신은 가장 큰 모델을 구축하고, 그것에 가능한 한 많은 능력을 부여합니다. 당신은 그것이 어떻게 사용될지 추측하려고 시도한 다음, 당신은 같은 모델을 세상의 가능한 한 많은 사람들에게 출시합니다. 하지만 나는 대부분의 사람들이 이것이 두 가지 문제를 가지고 있다는 것을 이해한다고 생각합니다. 첫째, 이는 모든 사람이 그 모델 주위에서 다양한 트릭을 수행해야 하고 그것을 자신에게 맞추려고 노력해야 한다는 것을 의미합니다.

둘째, 이것도 매우 비효율적입니다. 우리는 모든 다양한 문제에 동일한 계산 리소스를 소비합니다. 나는 이것이 정말로 정적 지능의 대가라고 말할 것입니다. 그래서 우리는 이러한 매우 강력한 모델을 구축했지만, 그들은 계속 진화하지 않습니다. 당신은 끝없는 재훈련을 가지고 있고, 당신이 얻는 것은 하나의 크기가 모든 솔루션입니다. 그래서 오늘 나는 이것이 심각한 연설이 될 것이라고 말했습니다. 나는 우리가 어떻게 여기에 도달했는지 논의하려고 합니다. 왜 지금이 우리가 정말로 확장해야 하는 이유를 이해하기 시작해야 할까요, 그리고 미래가 단수인지? 그런 다음 나는 적응에 대해 논의하고 우리가 흥분하는 일부 것들에 대해 논의할 것입니다. 그래서 나는 이것이 흥미로울 것이라고 생각합니다. 당신은 알고 있습니다. 나는 또한 마지막에 당신들이 나에 의해 설득되었는지 묻겠습니다. 그래서 우리는 어떻게 여기에 도달했습니까? 우리는 어떻게 이 모든 사람에게 같은 방식으로 출시된 큰 모델을 얻었습니까?

음, 나는 내 경력의 대부분에서, 실제로 큰 실험실의 대부분의 경험에서, 모든 것이 더 크거나 더 나음에 관한 것이라고 생각합니다. 기본적으로 매년 당신은 모델의 크기를 두 배 또는 4배로 늘렸고, 이것은 항상 잘 작동했습니다. 음, 이것은 유명한 컴퓨터 과학자 Rich Sutton에 의해 제시되었습니다. 그는 「쓰라린 교훈」으로 튜링 상을 받았습니다. 실제로, 「쓰라린 교훈」은 거기에 모든 연구원의 자존심에 타격입니다. 그것은 기본적으로 당신이 당신의 멋진 아이디어에 집착할 수 있다고 말하는 것입니다. 하지만 당신의 멋진 아이디어는 확장될 수 있을 때만 중요합니다. 흥미로운 점은 오늘 나는 첫 번째 질문을 제시하려고 한다는 것입니다. Sutton이 맞습니까? AI를 진행하는 유일한 것이 모델 크기를 확장하는 것입니까? 손을 들어주세요. 좋습니다. 나는 이중 부정을 받았습니다. 두 번째 열의 Eugene이 이중 반대를 제시했습니다. 좋습니다. 그러나 그를 옳다고 생각하는 사람은 누구입니까?

손을 들어주세요. 멋집니다. 용감한 영혼들입니다. 좋습니다. 멋집니다. 네. 내 의도는, 그는 튜링 상을 받았습니다. 그가 말한 것이 맞을 거야, 맞죠? 그래서 그를 옳다고 생각하는 사람은 누구입니까? 좋습니다. 우리는 더 많은 동의를 가지고 있습니다. 실제로 나는 그가 옳다는 좋은 이유가 많다고 생각합니다. 왜냐하면 당신이 보면, 우리 전체 생태계가 이 신념 주위에 재구성되었기 때문입니다. 우리는 GPU 부자와 가난한 사람들에 대한 농담을 가지고 있습니다. 우리는 과학자 Michael Jordan, 농구 선수가 아니라 그가 말했습니다, 「나는 금속 조각을 들고 있지 않으면 생각할 수 없습니다.

우리는 기본적으로 나와 같은 연구원을 가지고 있는데, 그들은 전통적으로 학계에 속해야 했지만, 지금은 산업 실험실로 가서 많은 자원과 자금을 받았습니다. 왜냐하면 이 아이디어에 대한 신뢰의 변화와 자본 유입, 당신이 계산 리소스가 필요하다는 믿음, 그리고 이것은 누가 참여할 수 없고 누가 참여할 수 있는지를 결정했기 때문입니다. 계산 자원에 대한 액세스는 국가 우선순위이기도 하고 광범위한 지지를 받습니다. 그래서 그것은 알고리즘으로 무엇을 하는 것보다 더 낮은 위험으로 보입니다. 그것은 잘 맞습니다, 매우 편합니다. 그것은 분기별 계획 주기에 맞습니다. 그래서 정당화하기가 쉽고, 사람들은 심지어 계산 리소스의 양을 기반으로 자금을 조성합니다. 그래서 그 후에는 돌아서서 말하기가 어렵습니다, 「아니오, 우리는 결국 계산 리소스가 필요하지 않습니다.」 그리고 이는 실제로 권력의 집중을 초래했습니다.」

그래서 이 질문을 제기하는 것이 실제로 매우 중요합니다. 왜냐하면 그것은 많은 것을 결정하기 때문입니다. 나는 공급업체 회사 A, B, C를 나열했지만, 당신이 빼면, 당신들은 아마도 모두 같은 이름을 말할 것입니다, 맞죠? 그래서 말하자면, 이것은 정말로 우리의 선택이 더 적다는 것을 의미합니다. 그래서 이렇게 말해도 되겠죠? 확장이 끝났다고 말하는 것은 여전히 매우 논쟁적입니다. 하지만 나는 보여줄 것입니다. 나는 실제로 모델 크기와 성능 사이의 관계가 이제 결정된 것과는 거리가 먼 이유를 설명할 것입니다. 그리고 솔직히 말해서, 아무것도 일어날 수 있습니다. 나는 이렇게 주장할 것입니다. 그래서 우리는 이제 같은 크기의 AI 모델이 시간이 지남에 따라 점점 더 효율적이 되고 있음을 봅니다. 그래서 당신은 같은 크기에서 얻을 수 있고 훨씬 더 많은 성능을 짜낼 수 있습니다. 하지만 더 설득력 있는 것은 우리가 이제 작은 모델이 훨씬 더 큰 모델을 능가하는 성능을 보고 있다는 것입니다. 최고의 작은 모델은 훨씬 더 큰 모델보다 훨씬 낫습니다. 그래서 규모가 전부는 아닙니다.

우리가 보는 것, 우리는 항상 가중치 사이에 심각한 중복이 있다는 것을 알고 있었습니다. 그래서 규모가 필요한 모든 것이라면, 왜 이렇게 많은 가중치가 정확히 같은 것을 하고 있습니까? 왜 당신은 소수의 가중치로부터 깊은 신경망의 행동을 예측할 수 있습니까? 규모가 전부라면, 훈련 후 대부분의 가중치를 삭제할 수 있습니까? 95%를 희소화하고 삭제할 수 있습니까? 이 모든 것은 규모가 최적화에 중요하지만, 실제로 우리는 아직 더 나은, 더 효율적인 작은 모델을 훈련하는 것에 능숙하지 않다는 것을 암시합니다. 높은 품질의 데이터는 규모에 대한 필요성을 크게 줄입니다. 하지만 더 중요한 것은 우리가 확장할 때 얻는 대부분의 것이 긴 꼬리라는 것입니다. 그래서 당신이 모델의 크기를 두 배 또는 세 배로 늘릴 때, 당신은 단지 드문 유물을 배우고 있습니다. 이것은 드문 유물을 배우는 매우 비싼 방법입니다. 따라서 확장할 수 있더라도, 우리가 지불하는 비용은 훨씬 더 큽니다.

우리는 실제로 최신 모델에서 이를 솔직하게 봅니다. 규모를 더 추가하는 것이 더 이상 계산할 가치가 없습니다. Frontier Labs는 최근에 모델 크기를 3배, 4배로 늘리려는 시도를 배포할 수 없는 것으로 보았고, 솔직히 말해서 약간 실망스러웠습니다. 왜냐하면 그들은 성능을 매우 작은 마진에서만 개선했기 때문입니다. 그래서 나는 우리가 변압기의 한계에 도달하고 있다고 말할 것입니다. 변압기는 혁신이지만, 그들은 또한 이미 포화되었습니다. 그래서 나는 말할 것입니다, 여기서, 당신은 알고 있습니다, 이것은 흥미롭습니다. 확장에 대해 수익이 더 이상 의미가 있지 않습니다. 실제로, 수익이 정말 중요한 것입니다. 실제로 흥미로운 점은 계산의 다른 부분의 수익이 훨씬 더 좋다는 것입니다.

그래서 사후 훈련, 정렬, 데이터 합성 역학, 적응형 계산, 하드웨어 공동 설계—이는 소수의 공급업체가 누가 제공할 수 있는지를 통제한다는 아이디어가 훨씬 다를 것이라는 의미입니다. 지능의 새로운 시대는 무차별적인 확장을 훨씬 초월할 것이 필요합니다. 나는 여기에 매우 중요한 몇 가지 아이디어가 있다고 생각합니다. 하나는 적응형 계산입니다. 다른 하나는 상호작용이 이제 중요합니다. 당신의 모델이 세상과 어떻게 상호작용하는가? 이것은 컴퓨터 과학자가 처음으로 인터페이스를 신경 써야 하는 시간입니다. 셋째는 당신이 지속적인 학습이 필요합니다. 당신이 더 많은 장기 작업을 하고 있기 때문입니다. 그래서 우리는 지금 어디에 있습니까? 나는 우리가 적응의 시대에 있다고 말할 것입니다.

나는 이렇게 말합니다. 왜냐하면 더 중요한 것은 당신이 용량을 어떻게 활용하는지, 그리고 더 중요한 것은 당신이 실제 환경에서 어떻게 배우는지이기 때문입니다. 이는 매우 다릅니다. 왜냐하면 컴퓨터 과학 분야로서, 우리의 대부분의 시간은 당신이 하나의 모델에 집착한다는 아이디어 주위에 있었기 때문입니다. 1950년대부터 지금까지, 우리는 당신이 최고의 모델을 어떻게 구축하는지에 집중했습니다. 하지만 실제로, 이 시대에, 당신이 모델을 확장하는 것만으로는 최적화 공간을 확장할 수 없는 상황에서, 모든 것이 당신이 데이터에서 인터페이스까지 전체 스택에서 어떻게 적응하는지에 관한 것입니다. 시스템의 개념 및 그것이 세계와 어떻게 상호작용하는지가 핵심입니다. 우리의 목표는 계속 발전하는 지능을 구축하는 것이고, 우리는 이 전체 스택을 데이터에서 인터페이스까지 필수적인 것으로 봅니다.

전체 것이 당신이 어떤 유형의 작업을 가지고 있는지에 따라 변경되어야 하고, 그것은 극도로 효율적이어야 합니다. 그렇게 생각한다면, 이것은 근본적인 전환입니다. 우리는 가중치와 모델 이름이 모든 것이라는 것에서, 실제로는 매우 유동적인 스택 같은 것으로 전환합니다. 그래서 나는 우리가 흥분하는 무언가를 공유할 것입니다. 그리고 무엇이 흥미로운지, 그런 다음 나는 기꺼이 그 후에 논의할 것입니다. 그래서 하나의 것은, 당신은 알고 있습니다, 우리의 첫 번째 기둥은 적응형 데이터입니다. 우리는 이것이 중요하다고 믿습니다. 왜냐하면 당신은 즉시 최적화할 수 있고, 당신이 신경 쓰는 데이터 분포의 어느 부분이든 목표로 삼을 수 있기 때문입니다. 음, 우리는 4개월 전입니다. 우리는 몇 주 전에 이것을 공유했고, 나는 목표가 일반적으로 최전선 실험실 내부의 것을 사용 가능하게 만드는 것이라고 생각합니다. 이제 사전 훈련에서도, 대부분의 혁신은 데이터 혁신입니다.

합성 데이터의 진정한 강력한 레버리지를 어떻게 달성하는가? 음, 우리는 또한 이것이 매우 깊다고 생각합니다. 왜냐하면 이는 데이터가 처음으로 저렴해서 데이터 공간에서 당신이 원하는 모든 목표에 대해 최적화할 수 있는 시간이기 때문입니다. 따라서 사람들은 활용해야 하고 자신의 데이터를 AI에 표시해야 합니다. 정말 멋진 것은 사람들의 반응을 보는 것이 항상 흥미로웠다는 것입니다. 그래서 우리는 4주 전에 출시했습니다. 우리는 242개 언어를 다루었고, 이미 2,700만 개의 데이터 포인트를 처리했습니다. 이것은 정말 미쳤습니다. 나는 이것의 일부가 우리가 매우 빠르다는 것이라고 생각합니다. 그래서 기본적으로 한 날 안에 당신의 데이터를 완전히 AI에 표시할 수 있습니다. 음, 우리의 다음 기둥은 똑같이 흥미롭습니다. 그래서 우리가 완전한 스택이 중요하고 적응형이라는 것을 봤으니, 다음은 지속적인 지능입니다.

음, 우리는 이번 주에 출시했습니다. 나는 시간이 시간대에 따라 흐릿해진다고 생각하지만, 나는 이것이 2일 전이었다고 생각합니다. 우리는 autoscientist를 출시했습니다. 이것은 당신이 훈련 학습을 어떻게 공동 최적화하고 자동화하는지에 관한 것입니다. 왜냐하면 이는 적응형 AI를 보유하는 가장 큰 장애물 중 하나이기 때문입니다. 음, 주문 과학자는 자신을 개선하고 자동으로 당신이 원하는 모든 작업에 적응하도록 데이터와 모델을 최적화하는 방법을 배웁니다. 하지만 멋진 부분은 속도가 매우 빠르다는 것입니다. 그래서 기본적으로 2일 안에 최전선 모델을 훈련할 수 있습니다. 이것은 상당히 터무니없습니다. 음, 우리는 실제로 장난스러운 실험을 했습니다. 우리는 물었습니다, 이것이 우리의 AI 연구원을 이길 수 있을까요? 음, 그것은 훨씬 더 잘했습니다. 나는 이 부분을 대부분의 AI 연구원이 특정 최전선 실험실 내에서 특정 모델 족을 기반으로 훈련받는다는 사실에 돌립니다.

하지만 우리는 실제로 together AI의 모든 가용 모델에서 이것을 테스트했습니다. together AI는 추론 제공자입니다. 그래서 30개의 다양한 모델이 있고, 연구원들이 자동으로 알아내기가 정말 어렵습니다. 어떻게 다양한 아키텍처에 대해 구성하고 데이터와 함께 공동으로 최적화하는 방법입니다. 그래서 이것은 상당히 멋집니다. 음, 그것은 매우 예측 가능합니다. 내가 이렇게 말하는 이유는 내가 실제로 미래를 바라보면서 생각하는 방식은 당신이 전체 스택을 자동화할 수 있어야 한다는 것입니다. 진정한 적응성의 비전은 효율성입니다. 적응성 음, 궁극적으로 적응은 실시간이어야 합니다. 당신이 가진 모든 작업에 대해. 당신이 적응에 대해 더 많은 마찰이 있을수록, 사람들은 단지 프롬프트 엔지니어가 되는 것으로 돌아올 것입니다.

우리에게 있어서, 효율성은 사람들이 단일 AI보다 더 많은 대안을 가지도록 하는 것이 의미가 있도록 하는 방법에 대해 생각하는 주요 집착입니다. 음, 이것은 정말 흥미롭습니다. 나는 우리의 많은 연구원들이 이에 대해 오랜 시간을 일했다고 생각합니다. 내가 말할 수 있는 유일한 것은 나는 적응의 또 다른 핵심 측면이 음, 첫날부터 글로벌 우선 사항이어야 한다고 생각합니다. 그래서 우리는 242개 언어를 다루고 있습니다. 우리가 가장 관심 있는 것은 TASA 검증 불가능입니다. 나는 세계의 대부분이 실제로 검증 불가능하다고 생각합니다.

검증 가능한 매우 작은 작업 부분이 있습니다. 그래서 지금 이것이 중요합니다. 그리고 이것은 누가 진전을 이룰 수 있는지에 따라 결정될 것입니다. 누가 그 작업을 활용하고 더 의미 있게 만들 수 있는지입니다. 그래서 앞으로의 방향은 무엇이고, 내 이별의 생각이 무엇입니까? 그래서 우리는 마지막은 어떻게 됩니까? 나는 이것이 마지막이 아니라는 것을 확신했기를 희망합니다. 나는 최고의 프롬프트 엔지니어가 되어야 내가 원하는 것과 나와 관련된 것을 얻지 않아야 합니다. 음, 나는 이미 확장의 끝 부분에 도달했다고 확신했을 수도 있습니다. 최소한 당신의 모델 크기를 두 배로 늘리는 것만으로는 더 이상 작동하지 않습니다. 이는 이것이 흥미롭다는 것을 의미합니다. 이것은 혁신의 시대입니다.

하지만 내가 이 점에 대해 당신을 설득했는지 여부와 관계없이, 나는 어느 정도 확장이 매우 비싸다고 당신을 설득했을 것입니다. 수익이 여기에 있는 대부분의 사람들에게 가치가 없을 수 있으니까요. 당신이 자신의 AI를 가지고 싶더라도. 내게 있어 가장 중요한 것은 누가 적응의 비용을 가장 효율적으로 만드는가입니다. 우리에게는 우리가 유일하게 집착하는 것이고 우리가 모든 빌더가 그들이 가진 모든 작업을 실시간으로 적응할 수 있도록 하는 방법입니다. 그래서 나는 이것이 우리가 헌신할 수 있는 가장 깊은 문제 중 하나라고 생각합니다. 나는 기꺼이 그 후에 관심 있는 사람들과 토론할 것입니다. 음, 나는 여기서 멈출 것이라고 생각합니다. 그래서 음, 나는 또한 단지 우리가 다음 한 달 동안 무료로 주문 과학자를 제공하고 있다는 것을 공유하고 있습니다. 그래서 증거는 푸딩에 있습니다. 직접 시도하고 환영합니다.

나는 기꺼이 모든 길을 돌아올 것입니다. 그래서 정말 감사합니다. 어 나는 여기에 있는 것이 정말 특권이라고 생각합니다. 감사합니다. >> 오, 정말 감사합니다 Sarah. 이것은 좋은 강연이었습니다. 음, 다음으로 우리는 Miniax 플랫폼 엔지니어링 팀의 Vincent를 가지고 있습니다. 우리는 지난 하루 동안 에이전트 구축에 대해 많은 이야기를 해왔습니다. 하지만 에이전트들이 자율적으로 일정을 짜고 자율적으로 그들이 필요한 계산량과 리소스의 양을 짜면 어떻게 됩니까? 더 높은 수준에서. 그래서 우리는 이 주제에 대해 많은 것을 공유할 것입니다. >> 좋습니다. 헤이, 친구들, 어, 내 이름은 Vincent Lou입니다. 나는 우리 API 플랫폼 팀의 제품 엔지니어입니다. 오늘 나는 자신의 계산을 관리하는 에이전트에 대해 논의할 것입니다. 그래서 첫 번째는 미안해합니다, 다음 슬라이드입니다. 오, 이건 좋습니다. 우리는 지금 좋습니다. 네.

그래서 음, 계산 모두가 계산을 알고 있습니다. 음 정상적으로 일부가 거치고 있습니다. 그것은 다음 세기의 가장 큰 음 상품 중 하나입니다. 음, 우리가 그것을 사용하는 방식의 효율성은 그다지 좋지 않습니다. 이것을 보는 가장 좋은 방법은 내가 확실히 당신들을 알고 있다고 생각합니다 음 특정 추론 공급업체 어 제3자 도구 사용을 차단하고 있습니다. 그들의 어 추론. 당신이 알다시피, 아마도 일부는 단지 경쟁일 수도 있습니다. 하지만 정말 중요한 것은 어 계산이 매우 매우 요청에 의존한다는 것입니다. 다양한 유형의 요청, 다양한 유형의 워크로드가 어 당신의 계산에 다양한 압력을 가합니다. 예를 들어, 특히 다양한 유형의 입력 토큰 어 입력과 출력 토큰, 당신의 토큰 프로필 (우리가 그것을 부르는 방식), 추론 공급업체가 자신의 계산을 어떻게 활용하는지에 중대한 영향을 미칩니다.

어 그래서 최근에 Dwar Cash와 Riner Pope 사이의 팟캐스트가 있었습니다. 그는 기본적으로 어 추론 워크로드가 당신의 토큰 프로필의 구체성에 얼마나 크게 의존하는지에 대해 이야기했습니다. 그래서 이것이 에이전트 어 자신의 계산을 관리하는 것이 의미가 있는 이유입니다. 기본적으로, 만약 우리가 알 수 있다면, 추론 공급업체로서, 우리는 미리 알 수 있습니다 어 세션의 토큰 프로필, 그러면 우리는 더 잘 요청을 제공할 수 있고, 우리는 기본적으로 우리의 어 함대 활용률을 최대화할 수 있고 더 많은 사람들에게 더 많은 요청을 제공할 수 있습니다 어 더 적은 실패로.

이제 당신이 알다시피, 이런 어 이런 요구는 인간에게는 다소 많습니다. 왜냐하면 당신이 상상한다면, 알다시피, 당신이 코덱이나 클라우드를 사용하고 있다면, 각 세션 전에 당신은 베이비 공급업체에게 말해야 합니다 어 당신이 구체적으로 어떤 종류의 워크로드를 하고 있는지 당신이 얼마나 오래 하려고 하는지 당신의 토큰 분포. 내 생각에는 나는 내 토큰 분포에 신경을 쓰지 않습니다. 그래서 이것은 인간을 위해 요구하는 것이 너무 많습니다. 하지만 자율 에이전트에게는 실제로 꽤 합리적일 수 있습니다. 이는 더 많은 관찰입니다. 하지만 에이전트는 점점 더 많은 도구를 소유하고 있습니다. 그래서 컨텍스트 관리에서 도구는 과거에 어 엔지니어에 의해 하드 코딩된 것이었습니다. 하지만 이제 에이전트는 기본적으로 어 이러한 리소스를 관리하고 있습니다.

하지만 한 가지 에이전트는 실제로 관리하지 않는 것은 그들의 계산과 그들의 지능입니다. 그래서 기본적으로 우리는 정말 에이전트에게 선택의 능력을 주지 않았습니다 어 첫째 그들의 모델의. 비록 실제로 우리 어 우리는 보고 있습니다, 알다시피, 에이전트가 원할 때 그들의 뇌를 바꾸는 방법. 하지만 더 중요한 것은 그들의 계산입니다. 그들이 실제로 작업을 수행하고 추론을 실행하기를 원하는 시간입니다. 그래서 어 이것은 자율적 장시간 실행 에이전트 이전에 의미가 없었습니다. 왜냐하면 당신이 단지 인간과 쌍을 이루고 있을 때, 일정을 짜야 할 것이 아무것도 없습니다. 기본적으로 인간이 에이전트와 대화하고 프로그래밍할 때, 당신은 그 추론을 지금 원합니다. 당신은 작업을 즉시 완료하기를 원합니다. 그래서 일정을 짜야 할 것이 많지 않습니다. 정말로 단지 탐욕스러운 최선의 노력입니다.

하지만 agents가 더욱 자율적이 되면서, 당신이 이들을 백그라운드 작업에 맡기고 백그라운드에서 작업하게 할 수 있을 때, 실제로는 컴퓨팅을 스케줄링하는 많은 방법이 있습니다. 예를 들어, 제 agent에게 마감기한을 주고서, 주말 전에 어떤 일을 완료하고 싶다면, 저는 단순히 이들에게 목표와 예산을 주지 않습니까? 그러한 제약들을 가지고, agent는 음 agent가 할 수 있는 많은 것들이 있는데 기본적으로 계산이 가능한 다양한 시간 간격에서 그것이 해야 할 다양한 유형의 작업을 분산시킬 수 있습니다. 빠른 예시라면 어 당신이 알다시피 당신의 agent가 전체 애플리케이션을 구축하고 있다고 가정해봅시다. 좋아, 아마도 첫 번째 계획 단계에서는 즉시 뛰어들 필요가 없습니다. 계획을 기다릴 수 있습니다.

우선 정말 좋은 계획 모델을 선택할 수 있고, 아마도 좋은 구현은 아니겠지만, 그러면 그 모델이 계획을 하도록 합니다. 아마도 자정처럼 음 추론 비용이 가장 낮을 때 또는 높은 성공률이 있을 때처럼요, 그러면 나중에 당신이 알다시피 아마도 프로젝트 끝을 향해 품질 보증을 해야 하고 음 자신의 애플리케이션을 검토해야 합니다. 음 정말 강력한 VLM 모델로 전환해야 할 수도 있고 음 낮은 지연 시간 작업을 수행하여 실제로 실시간 애플리케이션을 테스트할 수 있습니다. 따라서 이미 당신은 서로 다른 워크로드에 대해 실제로 매우 다른 음 token profiles과 그 특정 워크로드에 대한 요청 profiles이 매우 다른 음 계산 클러스터에 맞을 수 있음을 볼 수 있습니다.

따라서 이것은 최근에 음 Ben Thompson이 Strat에 작성한 블로그 기사입니다. 그는 기본적으로 음 이 점을 음 answer 추론을 agentic 추론에서 분리함으로써 제시합니다. 이제 answer 추론은 음 현재 대부분의 사람들이 신경 쓰는 것입니다. 이는 당신이 당신의 코딩 agent에 들어가고 당신이 단지 음 agent와 쌍 프로그래밍할 때입니다. 당신은 출력이 더 빠르게 나오기를 원합니다. 당신은 그것이 더 빠르게 생각하기를 원합니다. 당신은 실시간 지연 시간처럼 원합니다. 이것이 answer 추론입니다. 음 하지만 agentic 추론이 다른 점은 실제로 agentic 추론에 대해 지연 시간이 그렇게 중요하지 않다는 것입니다. 음 제가 이전에 말했던 것처럼, 당신은 정말로 단지 목표와 계산 예산을 전달하거나 미국 달러 예산 같은 예산을 전달합니다. 그러면 agent는 사용 가능한 리소스에 따라 음 당신의 예산과 목표 주위를 최적화할 수 있습니다.

또한 지적해야 할 음 한 가지 의미가 있는데, answer가 실제로 agentic 추론의 일부로 나타나는 경우가 있습니다. 왜냐하면 당신은 쉽게 상상할 수 있기 때문입니다. 가끔 모델 agent는 여전히 자신의 백그라운드 기간 동안 낮은 지연 시간 작업을 수행하고 싶을 수 있습니다. 예를 들어, 제가 앞서 언급한 예시 때문에 음 애플리케이션 끝의 GUI 검토에 대해, 당신은 실시간 지연 시간을 원하기 때문에 거기서 아무도 보지 않더라도요. 따라서 극한에서 음 우리는 추론 교환 같은 것이 이 모든 백그라운드 agents에서 시작되기를 기대합니다. 당신이 알다시피 그들은 야생에서 실행되고 음 그들의 워크로드 전에 그들은 기본적으로 그들의 session 정보를 음 추론 교환에 제출합니다. 따라서 가장 중요한 것은 사용된 모델이고 그 다음 token profile입니다.

따라서 당신의 음 범위는 캐시된 input tokens 수, 캐시되지 않은 input tokens과 output tokens 및 음 유사한 기타 메타데이터입니다. 그러면 교환이 당신의 session, agent session을 최적화된 배치 처리에서 최적화된 노드에 맞춥니다. 그 워크로드 유형에 대해 음 당신이 알다시피 기본적으로 음 최고의 최고 적합과 최고의 구성을 찾아서 그 시간에 그 워크로드를 제공하는 계산 및 하드웨어를 찾습니다. 이제 이것에 대해 좋은 점은 당신이 알다시피 어떤 종류의 시장 메커니즘처럼 추론 교환이 음 미충분하게 활용되는 계산 용량을 사용자와 제공자 잉여로 변환할 수 있다는 것입니다.

음 최적 매칭이 있다고 가정하면 우리가 사용하는 우리는 기본적으로 음 최고의 우리가 세계 계산의 최고 사용을 하고 있는 모든 추론 제공자의 각 GPU당 당신이 알다시피 그들의 MFU는 최대화될 것입니다. 왜냐하면 음 그들이 그 클러스터에서 특별히 실행할 워크로드가 그 클러스터의 구성에 맞게 최적화될 것이기 때문입니다. 음 그러면 음 fleet 활용도 다양한 기간처럼 달라질 것입니다. 따라서 지금 우리는 제공자들이 이런 것을 봅니다. 예를 들어 오후에 그들이 과다 사용되는 것처럼 모두가 그 시간에 그들의 agents를 사용하고 있기 때문입니다. 하지만 자정처럼 당신이 알다시피 이것은 그들입니다 그들입니다 그들의 GPU는 사용되지 않습니다. 이는 제공자에게 좋지 않습니다. 왜냐하면 그들은 자신의 GPU를 항상 실행하길 원하기 때문입니다.

음, 따라서 이 추론 교환과 agents가 자신의 계산을 자율적으로 관리하면서, 우리는 더 나은 매칭을 할 수 있고, 기본적으로 피크 시간과 비피크 시간을 부드럽게 할 수 있습니다. 전반적으로, 이것이 추론 제공자들이 하는 일은 초당 더 높은 처리량입니다. 따라서 당신의 전체 시스템의 처리량이 더 최적화되도록 변할 것입니다. 이는 추론 제공자들에게 좋습니다. 왜냐하면 이것이 그들이 돈을 버는 방법이기 때문입니다. 그들이 서빙할 수 있는 token이 많을수록, 그들이 음 가져올 수 있는 수익이 많아집니다.

하지만 이것은 소비자들에게도 좋습니다. 왜냐하면 음 다시 한 번, 제가 시작할 때 말했던 것처럼, 이제 소비자들이 우리가 많은 문제에 직면하고 있습니다. 음 우리의 요청이 단순히 음 속도 제한을 받거나 음 그들이 단지 음 제공자에게 잘 제공되지 않습니다. 그것은 그들이 자신의 GPU를 최대로 최적화된 방식으로 사용하지 않기 때문입니다. 따라서 소비자들에게, 우리가 보게 될 것은 음 전체적으로 더 나은 요청 처리입니다.

또한 비용 문제가 있습니다. 왜냐하면 당신이 상상할 수 있기 때문입니다 제공자들이 비피크 시간대에 비용을 낮릴 수 있고, 그렇게 하면 agents가 그런 저비용 계산 용량을 사용하도록 유인될 수 있습니다. 우리는 이미 서비스 측면에서 이것을 봤습니다. 예를 들어, 저는 많은 제공자들이 다양한 서비스 수준을 가지고 있다고 생각합니다. 저지연, 고지연, 배치 처리. 이들은 모두 다양한 가격 책정을 가지고 있습니다. 마지막으로, 이는 우리의 MMX CLI에 대한 약간의 광고처럼 느껴집니다. 이 CLI는 사람이 사용하는 것이 아닙니다. 이것은 정말로 agents가 자율적으로 우리의 모델 API를 호출할 수 있게 하는 방식입니다. 우리가 가지고 있기 때문에 일련의 모델들, 당신이 알다시피, 음성부터 이미지부터 비디오 생성까지, 물론 우리의 LMS까지요. 따라서 이제, 이것은 정말로 단지 agents가 효과적으로 우리의 모델 끝점을 호출할 수 있게 하는 방식입니다.

그러나 미래에, 우리는 이것을 확장할 계획입니다. 기본적으로 제가 앞서 말한 것 중 agents가 더 포괄적으로, 더 복잡한 방식으로 자신의 계산을 관리할 수 있게 하는 필요성을 충족합니다. 따라서 아마도 그들은 하루의 다양한 시간대에 많은 비디오 워크로드를 실행하기로 결정할 것입니다. 그러면 비용을 절약하고, 그러면 계산을 최대화합니다. 오, 그렇습니다. 감사합니다. 오, 좋습니다. 정말 감사합니다. 정말 감사합니다. 그것은 정말 멋진 연설이었습니다. 음, 다음으로 우리는 Sid와 Daniel을 가지고 있습니다. 그들이 자신들의 회사를 소개할 것입니다. 로봇 회사요. 우리는 agents, 그들을 배포, 코딩 agents에 대해 많은 이야기를 해왔습니다. 하지만 agent를 현실 세계에 배포하는 데 무엇이 필요합니까? 따라서 그들은 물리적 환경에서 원격 제어 로봇을 배포하는 방법을 연구할 것입니다. 안녕하세요. 안녕하세요. 안녕하세요. 안녕하세요. 이것이 작동합니까? 오, 그것이 작동합니다. 좋은 오후입니다.

제 이름은 Daniel입니다. 음, 그것은 Sid입니다. 우리는 Robot Company에서 왔습니다. 우리는 오늘 원격 제어 로봇을 배포하고, 내일 자율성을 실현합니다. 좋습니다. 당신이 여기서 보는 것은 영국 Cambridge의 곤충 양식장에 배포된 원격 제어 로봇입니다. 당신이 그 작은 상자에서 꿈틀거리는 작은 것들을 봅니까? 그들은 검은 귀뚜라미들이고, 도마뱀과 파충류를 먹이기 위해 사용됩니다. 당신이 상상할 수 있듯이, 많은 사람들이 이런 환경에서 일하고 싶어하지 않습니다. 이것이 그것이 상당히 좋은 로봇 사용 사례인 이유입니다. 저는 지난 1년 동안 영국에서 로봇을 배포했습니다. 따라서 곤충 양식장 외에도, 세탁 시설, 음식 준비 및 호텔 접객 환경이 있습니다. 따라서 우리는 원격 제어 로봇 배포에 집중합니다. 이제 당신이 Daniel에게 물어볼 수 있습니다. 왜 원격 제어 로봇을 배포합니까?

당신이 알다면, 당신은 알다시피 최근의 뛰어난 연구원. 죄송합니다. 제 원격 제어 장치입니다. 뛰어난 연구원이 최근에 언급했습니다. 원격 조종이 데이터 수집 수단으로서 구식이 되었습니다. 그리고 이 관점에 많은 장점들이 있습니다. 첫째, 저는 첫 손 경험을 가지고 있습니다. 원격 조종은 선형 확장입니다. 원격 조종은 1대 1 확장입니다, 맞습니까? 한 사람이 한 로봇을 제어합니다. 이런 식으로요. 다른 것은 운영자 교육이 실제로 매우 어렵다는 것입니다. 저는 약 100명의 운영자를 교육했습니다. 그 중 약 30%에서 40%만 실제로 온보딩을 통과했습니다. 이는 확장하기 어렵습니다. 또 다른 문제는 원격 조종을 사용할 때 하드웨어 지연의 모든 기술적 제약과 모든 이 문제들에 직면한다는 것입니다. 그러면 우리가 한 두 번째 부분은 배포가 매우 어렵다는 것입니다.

당신은 새로운 환경을 만납니다. 이것은 새로운 조명, 새로운 테이블, 새로운 크기, 물론 새로운 고객 요구를 의미합니다. 당신은 실패를 만납니다. 우리의 경우에는 곤충 양식장 때문에, 우리는 실제 오류를 만났습니다. 하지만 우리는 또한 많은 소프트웨어 오류와 오류를 만났습니다. 그리고 어떤 하드웨어에 대해서도, 물건들이 부러집니다. 그러면 왜 원격 제어 로봇을 배포합니까? 제가 우리의 논증을 말씀드리기 전에, 모델이 어떻게 확장되는지 빠르게 살펴보겠습니다. 이것이 우리에게 무엇을 의미하는지요. 따라서 매우 빠르게, 모델은 먼저 사전 훈련을 통해 확장되었습니다. 따라서 많은 양의 데이터, 일반 지능, 광범위하지만 정제되지 않은 것입니다. 그러면 감독 미세 조정이 있고, 모델이 데이터를 수신하고 훈련을 받습니다. 따라서 모델은 작업 특정 전문성을 가집니다. 그러면 엄청난 돌파가 있습니다. RLHF, 강화 학습, 인간 피드백 포함입니다.

인간들은 황금 진실 답변을 제공하고, 따라서 모델은 정말 유용하고 좋은 출력을 제공합니다. 이 모든 것은 물론 고품질 데이터에 의해 지원됩니다. 로봇 세계에서, 고품질 데이터 또는 더 일반적으로는 데이터는 일반적으로 네 가지 범주로 나뉩니다. 당신이 y축과 x축을 가리키면, y축은 확장성입니다. 확장성은 일반적으로 데이터 품질 및 하드웨어와 반비례합니다.

따라서 왼쪽에는 시뮬레이션 데이터가 있습니다. 모든 것이 시뮬레이션에서 실행되고, 소프트웨어에서, 물리적 세계가 없고, 물리적 로봇이 없습니다. 약간의 시뮬레이션에서 현실로의 간격이 있습니다. 그러면 당신은 자아 중심적인 데이터를 가지고 있습니다. 본질적으로 눈 높이에 배치된 카메라인데, 이것도 상당히 확장 가능합니다. 왜냐하면 그것을 하는 것이 초급일 정도로 복잡하지 않기 때문입니다. 하지만 데이터가 로봇 액추에이터와 서보 시스템에 직접 매핑되지 않을 수 있습니다. 따라서 데이터 품질이 초급일 정도로 높지 않습니다. 당신은 웨어러블 장치를 가지고 있습니다. 이것은 UMI — Universal Manipulation Interface에 의해 홍보됩니다. 이는 상당히 유용합니다. 왜냐하면 당신이 관절 위치 또는 어떤 인수 위치를 얻을 수 있기 때문입니다. 그러면 당신은 일부 물리학과 수학 연산을 수행하여 로봇에 매핑되는지 확인할 수 있습니다. 따라서 데이터 품질은 꽤 좋고, 또한 상당히 확장 가능합니다. 그러면 스펙트럼의 다른 쪽 끝에는 원격 조종이 있습니다.

원격 조종——매우 높은 품질의 데이터인데, 실제 로봇이 현장에서 데이터를 수집하기 때문입니다. 하지만 확장할 수 없습니다. 일대일이기 때문이고, 로봇을 여기저기 가지고 다니는 것도 좀 번거롭습니다. 이제 이해 모델에 대해 말씀드리겠습니다. 제가 말하는 것은 데이터를 이해하는 것입니다. 우리는 어떻게 유용한 배포를 얻을 수 있을까요? LLM 분야에서 어떻게 유용한 배포와 유용한 작업을 얻을 수 있을까요? 그것이 어떻게 보일까요? 여기서 극도로 단순화했는데, 어, API 호출처럼 보일 텐데요? 당연히 아래에 많은 것들이 있습니다만, 로봇에 대해 생각해 보세요. 배포는 훨씬 더 어렵고 훨씬 더 힘듭니다. 사람들은 어떻게 문제를 처리할까요? 로봇 공학은 좀 이렇게 보입니다.

LM 접근 방식——데이터를 가져오고, 컴퓨팅을 가져와서, 그것을 던지고, 문제에 던집니다. 사전학습과 SFT(지도 미세조정)를 하면, 이는 정말 좋은 결과를 낳습니다. 최근 모델들은 실험실에서 정말 멋진 유망한 결과를 보여줬습니다. 보통 시뮬레이션 데이터, 자기중심적 데이터에 의존하고, 보통 일부 세계 모델이 포함되어 있으며, 그리고 많은 것들, 알다시피, 높은 품질의 실험실 평가가 있습니다. 하지만 우리는 어떻게 자율성 격차를 해결하고 실현할 수 있을까요? 단지 실험실에서뿐만 아니라 현실 세계에서도 말입니다. 우리의 주장은, 우리는 상업 환경에 로봇을 배포하고 싶다는 것입니다. 이것에는 두 가지가 있습니다. 먼저, 원격 조종 로봇을 배포할 때, 당신은 실제로 고객을 위해 정말 유용한 일을 완료하는 것입니다. 맞나요? 이 경우, 티셔츠를 접는 것이죠. 하지만 이 과정은 또한 극도로 유용한 일을 합니다. 로봇이 완료한 작업을 기반으로 매우 귀중한 데이터를 수집합니다.

LLM과 자동운전에서 우리가 배운 대로, 가장 가치 있는 데이터 세트는 정말 유용한 작업 완료의 부산물입니다. 그래서 이것이 우리를 첫 번째 단계로 이끌었습니다. 실제로, Chenise는 여기에 있었는데, 제게 물을 가져다줄 예정이었지만, 배포가 어렵고, 오늘은 정말 작동하지 않았습니다. 하지만 내가 말하고 싶은 것은, 우리는 기본적으로 시도하고 있다는 것입니다. 우리는 매 배포마다 원격 조종 로봇을 실제 환경에 놓는 것으로 시작합니다. 그래서 당신은 여기서 이 사람들이 옷을 접는 것을 볼 수 있고, Daniel이 그것이 어떻게 보이는지에 대한 라이브 데모를 하는 것도 볼 수 있습니다. 그 위에, 당신이 얻는 것은 우리가 알다시피 사전학습 모델과 함께 계층화해서 쌓은 것입니다. PI 0.5, Groot를 생각해 보세요. Daniel이 이미 공유한 일부 모델들입니다.

당신이 얻는 데이터는 기본적으로 당신이 얻을 수 있는 최고 품질의 구현 데이터입니다. 맞나요? 형태학적 일치, 환경 일치, 작업도 일치하기 때문이고, 당신이 결국 얻는 것은 정말 좋은 기초 데이터 세트입니다. 당신이 실제로 배포 가능한 상업 로봇을 배포할 수 있도록 말입니다. 그리고 당신은 이것을 기억해야 합니다. 이 모든 것은 단지 시작점일 뿐입니다. 맞나요? 일단 깊이 있는 미세조정을 시작하면, 진짜 일이 시작됩니다. 나는 두 번째 단계가 이 방에 있는 모든 사람들이 이미 어떻게 하는지 아는 부분이라고 생각합니다. 어, 당신은 원격 조종 데이터를 가져와서, 지도 미세조정할 수 있습니다. 이미 알고 있는 일부 모델을 사용해서 말입니다. 맞나요? 그리고 당신은 약 80%의 자율성을 달성할 수 있습니다. 우리는 모두 80%의 자율성이 어떻게 보이는지 압니다.

어, 당신이 마지막에 얻는 것은 정말 멋진 비디오인데, 약간의 과장이 있고, 알다시피, 주의를 끌고 싶을 때, 이것은 잘 작동합니다. 하지만 일단 당신이 현실 세계에 들어가기 시작하면, 나는 여기에 많은 기업 사람들이 있다고 확신합니다. 80%는 생산에 충분하지 않습니다. 당신이 80%를 얻기 시작할 때, EVAL에서 80%를 들을 때, 우리가 생산을 시작할 때, 고객을 위해 이것이 정말 의미하는 바가 무엇인지 아십니까? 이것은 다섯 개의 옷 중 하나가 고객의 위치에서 떨어지고 있다는 의미입니다. 옷을 접으려고 할 때 말입니다. 맞나요? 이것은 전혀 작동하지 않습니다. 그래서 당신이 정말로 가진 것은 배송할 수 없는 격차입니다. 맞나요? 이 격차를 자율성 격차라고 부릅니다. 당신은 봤을 수 있습니다. 그들은 실제로 최근 데모를 했습니다. 그들의 로봇이 소포를 정렬하는 라이브 스트림에 대한 것입니다.

이것은 매우 인상적이었고, 그들은 8시간 동안 했습니다. 하지만 그들은 또한 문제에 직면했습니다. 그리고 우리는 매우 구체적인 메커니즘——인간 개입, 실시간——이 이 문제를 대규모로 해결할 수 있다고 믿습니다. 그래서 이것이 우리를 세 번째 단계로 이끌었습니다. 원격 조종 플러스 인간 개입입니다. 이것을 말하는 용어가 있습니다. 이것을 원격 감독이라고 합니다. 원격 감독은 기본적으로 로봇이 실수할 때 누군가가 개입하는 개념을 포함합니다. 당신은 미세조정을 하고, 그러면 로봇이 혼자 가게 하고, 실수할 때마다 계속 반복합니다. 그리고 당신은 우리가 지금 가진 원격 조종 천장 문제를 어떻게 해결할까요? 이 원격 감독을 수행하고 싶을 때 말입니다. 글쎄, 우리는 일대일에서 일대다로 확장하기 시작할 수 있습니다. 그리고 이것은 새로운 것이 아닙니다. 자동운전 세계는 한동안 이렇게 해왔습니다.

Waymo는 원격 감독의 사례가 있습니다. 우리는 같은 접근 방식이 로봇 공학으로 확장될 수 있다고 생각합니다. 다른 한편으로는 먼 거리 원격 조종입니다. 우리는 대역폭에서 낮은 지연을 통해 원격 조종을 구현할 수 있는 스택을 가지고 있습니다. 이것은 싱가포르에서 런던까지 데모를 수행한 예입니다. 당신은 지금 추론할 수 있습니다. 싱가포르에서 미국으로, 인도에서 싱가포르로, 중국에서 싱가포르로 할 수 있습니다. 우리의 스택에서 모두 100밀리초 미만입니다. 이제 기업에서 이것은 중요한데, 배포가 어렵지만, 이것은 매우 필요합니다. 로봇 공학의 긴꼬리는 현실 세계에 존재합니다. 그리고 그 80%는 절벽의 가장자리입니다. 그래서 우리가 말하고 싶은 것은, 원격 조종이 배포 계층으로 사용되고, 당신이 해야 할 사소하고, 지루하고, 육체적인 일과 결합되면, 이것이 성공적인 배포의 원인입니다.

그리고 당신이 이것을 하는 방식은 당신이 다르게 생각해야 한다는 것입니다. 기업은 연구 실험실처럼 생각할 수 없습니다. 실제로, 당신은 완전히 다르게 생각해야 합니다. 그리고 당신은 원격 조종으로 시작해야 합니다. 당신의 기본 출발점으로서 말입니다. 그러면 당신은 풍부한 데이터를 수집하기 시작합니다. 그러면 당신은 배포 가능한 상업 모델과 로봇을 배포하기 시작합니다. 이것이 우리를 마지막으로 이끕니다. 그래서 이것이 Daniel과 내가 로봇 회사에서 하는 것입니다. 우리는 오늘 진정한 일을 하는 로봇을 배포하는 동시에, 우리는 내일의 자율 로봇을 위한 데이터 엔진을 구축합니다. 그래서 당신이 우리에 대해 더 알고 싶다면, robot company.ai에서 우리를 찾을 수 있습니다. 감사합니다. 그것은 놀라운 데모였고, 나는 생각합니다 어, 알다시피, 이것은 단지 야생에서 로봇을 배포하는 것이 얼마나 복잡한지에 대한 증거일 뿐입니다.

그래서 우리는 우리가 어떻게 로봇을 원격 조종할 수 있는지에 대해 이야기했습니다. 알다시피, 실제로 도움을 주는 사람을 말입니다. 하지만 우리가 그것을 우회하고 직접 뇌로 들어간다면 어떨까요? 그래서 이 특정 부분에서, 우리는 Justin Bar에 대해 이야기할 것입니다. 그는 당신이 BCI——뇌컴퓨터 인터페이스로 이것을 어떻게 하는지 공유할 것입니다. 안녕하세요, 시작할게요. 어, 모두 감사합니다. 오늘 함께해주셔서 감사합니다. 우리는 어, 다른 흥미로운 로봇 실험이 있어서 당신들에게 보여줄 것입니다. 그래서, 우리는 바로 도착할 것입니다. 하지만 그들이 연결할 때, 나는 먼저 시작하겠습니다. 우리는 다음 10분 동안 당신들에게 보여줄 것이 많습니다. 그래서, 어, 어, 준비해주세요. 하지만 다시 모두 감사합니다. 싱가포르에서 이것을 실현할 수 있어서 감사합니다. 내 말은, AI. Jack이 싱가포르에 온 것이 정말 대단했고, Agram과 Sherry, 그리고 65 실험실 팀이 이 모든 것을 함께 모았다는 것이 정말 대단했습니다. 당신이 그냥 놔둘래요?

어, 당신이 방금 최소화한 그것. 당신들은 그것을 얻었어요? 아니면 안 했어요? >> 잠깐. 확대됨. >> 네, 확대됨. 이것은 확대되었습니다. 그것은 확대되었습니다. >> 이제 당신이 그것을 얻었어요. >> 좋습니다. 3, 2, 1. 좋습니다. 좋습니다, 모두 감사합니다. 그래서, Tessact의 일부로서, 우리는 시스템을 구축했습니다. 우리는 이것을 Tessact.art라고 부릅니다. 어, 우리가 이것으로 한 것은, 우리는 사람들이 AI를 통해 자신을 표현할 수 있도록 하는 시스템을 구축했습니다. 이것은 라이브 음악 공연을 수행하는 것으로 시작했고, 그 라이브 음악 공연을 그림으로 변환했습니다. 어, 하지만 그 이후로, 우리는 이것을 훨씬 더 멀리 밀어붙였습니다. 그래서 나는 큰 소리로 외치고 싶습니다 어, Kaiming을. Kaiming, 당신이 우리와 함께 나올 수 있을까요, 우리는 일부 장치를 출시하기 시작할 것입니다? 감사합니다. 어, 여러분, 저는 Kai Ming을 소개하고 싶습니다.

어, 우리는 함께 상당히 흥미롭고 특별한 일들을 했습니다. 감사합니다. 그래서 네, 그래서 지난 2년 동안 부탁합니다. 당신들이 출시할 수 있다면——당신들이 출시할 것입니다. 죄송합니다, 우리는 출시할 것이 많이 있습니다, 친구들. 죄송합니다, 당신들이 출시를 도와주실 수 있을까요? 감사합니다. 좋습니다, 죄송합니다. 10분 연설 같은 것에서 이것은 상당히 어렵습니다. 우리가 완전한 로봇 시스템, 그림, 그리고 이 모든 다른 것들을 가지고 있을 때 말입니다. 그래서 우리가 이 과정을 진행하면서 조금 기다려주세요. 하지만 어, 당신이 볼 수 있듯이, 우리가 출시한 것은 우리가 tessoract.org라고 부르는 시스템입니다. Tessa는 무엇입니다. 로봇 팔, Tessa, 로봇 팔, 우리는 지난 2~3년 동안 이것을 개발해왔습니다. 어, 일부 협력자들과 함께 말입니다. 어, 제 협력자, 박사.

Richard Savory, 나는 약 3년 전에 이것을 시작했습니다. 우리는 로봇을 다중모달 AI와 함께 사용할 수 있는 시스템을 구축하고 싶었습니다. 한 가지 창의적 형태를 다른 형태로 변환할 수 있는 능력이 있습니다. 그것이 우리가 시작한 곳입니다. 음악을 함께 모으는 것이었고, 우리가 이것으로 한 것은 정말 인간의 상상력을 취하고, 그것을 지능형 시스템을 통해 확장하는 것이었습니다. 그것이 우리가 오늘 하고 있는 것의 의도입니다. 이제, 우리가 무대에 또 무엇이 있습니다. 우리는 또한 여기에서 온 Jackie가 있습니다 >> 마음 인터페이스 회사, >>그리고 우리는 또한 Tessact에서 온 Ivy가 있습니다. 그리고 Ivy, 나는 아마 당신에게 어 올라와 도와주도록 물어보겠습니다.

그래서 Kaiming의 경우, 우리가 한 것은, 당신이 무대에서 라이브로 본 것입니다. Kaiming이 처음으로 뇌 조종을 사용해 자신의 얼굴에 그림을 그린 것입니다. 그래서, 당신들 뒤에 있는 사람들을 위해, 아마 보기 어렵겠지만, 그녀는 실제로 어, 앞에 걸친 머리띠를 착용하고 있습니다. 어, 이것은 Muse 머리띠입니다——관객 중에 Muse 머리띠를 알고 있는 사람이 있다면 말입니다. 하지만 이것이 그렇게 놀랍고 경탄스러운 것은, 이 기술이 지금 그런 수준에 도달했다는 것입니다. 그것은 2시간을 착용한 필요가 없습니다 헬멧, 이 모든 비싼 장비들. 우리는 직접 이것을 쓸 수 있습니다. Kaiming은 단지 그녀가 제어 인터페이스 측면에서 무엇을 하고 싶은지 생각할 수 있습니다. 그리고 실제로 그림을 통해 일이 일어나게 합니다. 어, 그래서 Kaiming, 나는 당신에게——어, 몇 가지 질문을 물어보기를 기뻐합니다.

흠, 아마 당신은 우리에게 오늘 어떻게 여기에 도착했는지에 대해 조금 말해줄 수 있을까요. >> 좋습니다. 흠, 안녕하세요. 그래서 저는 Kaiming입니다. 흠, 저는 Alist 증후군이라고 불리는 질환을 가지고 있습니다. 그래서 저는 Red Disorders 어, 싱가포르 협회의 일부입니다. Justin은 그것과 협력해왔습니다. 흠, 그래서 저는 인공지능 정책 연구원입니다. 네, 그것이 우리가 어떻게 알게 되었는지입니다. >> 네. 그래서, 흠, 당신은 과거에 일부 미술 작품을 만들었습니다. 흠, 그리고 흠, 우리가 지금 할 수 있는 것은 이것을 통해 인공지능을 사용하고 우리의 다중모달 시스템 과정을 사용합니다. 예를 들어, 당신의 일부 창의성을 되돌립니다. 그래서, 우리가 계획하는 것은 우리가 이 그림을 그려오고 있습니다. 아마 당신은 이 그림에 대해 조금 말해줄 수 있을까요. >> 계속하고 싶어요? >> 당신이 그것을 들 수 있어요? >> 네. 네, 문제없습니다. 감사합니다. 그래서 네, 저는 어릴 때부터 그림을 그리기 시작했습니다. 제 할아버지와 제 누나와 함께 말입니다. 그들은 또한 모두 예술가입니다.

흠, 그것은 정말 나를 세상과 연결했습니다. 흠, 제 질환으로 인해 저는 손의 유연성을 크게 잃었습니다. 그래서 저는 더 이상 쓸 수 없습니다. 지금 저는 여전히 좀 할 수 없습니다. 그래서 저는 더 이상 그림을 그릴 수 없습니다. 저는 인류학으로 들어갔습니다. 어떻게든 그것을 통해 살고 싶어서 말입니다. 그것이 제가 결국 인공지능 정책으로 들어가게 된 방식입니다. 하지만 알다시피, 저는 제 손을 위해 슬펐습니다. 저는 제 열정을 위해 슬펐습니다. 갑자기 이 출구가 있었는데, 이것은 정말 대단했습니다. 그것은 좀 생명으로 돌아가는 것 같았습니다. >> 훌륭합니다. 감사합니다. 감사합니다. 네. 좋습니다. 그래서 이제, 이 순간 우리가 기다려온 것은, 우리가 실제로 어떻게 얻을 수 있는지 볼 것입니다——우리가 실제로 이것을 가져왔기 때문에, 우리는 이 전체 것을 지난 한 달 동안 모았습니다. 그래서 우리는 어, 어, Kaiming이 마지막 선을 완성하도록 시도하게 할 것입니다.

그럼 이 그림은 RDSS의 Hope 나무늘보 그림이군요. 이것에 대해 얘기하고 싶으신가요? >> 아, 그렇습니다. >> 그래서 Hope는 두 개의 손가락만 가지고 태어난 나무늘보입니다. 싱가포르 동물원에 살고 있으며, 어떤 면에서는 우리와 비슷합니다. 우리는 천천히 그리고 꾸준하게 살아갑니다. 음, 이것은 어 Hope의 사랑이 코드를 중심으로 한 한 손가락의 그림입니다. 그리고 음 이 두 가지를 보실 수 있는데요 심장과 날개 위의 색상들은 부모님들입니다. 우리 어 당신 알다시피 우리를 지원하는 음 빨간색은 희귀 질환 어린이 어 맞습니다. >> 맞습니다. 그래서 Hope 나무늘보입니다. 그럼 시도해봅시다. 준비됐나요? 좋습니다. 그럼, 어 아마도 여기 개념에 대해 말씀해주실 수 있을까요 마음이 있고, 둘러싸고 있고, 맞습니다. >> 맞습니다.

이 심장은, 당신 알다시피, 한 획은 아빠, 한 획은 엄마입니다. 왜냐하면 당신 알다시피 우리는 자주 잊는데요, 우리 지역사회의 부모들이 희귀 질환을 앓고 있는 우리 환자들을 얼마나 지원하는지요, 그들은 정말 많은 것을 합니다. 이것은 정말 믿기 어려운 일입니다, 당신 알다시피, 나는 정말로 감사를 드리고 싶습니다 Justin과 그의 팀에게 우리에게 이것을 돌려줬어요, 이 자유와 자율성을 우리 삶에 대해 우리가 원하는 일을 할 수 있도록. 예, 감사합니다. 정말 감사합니다.

그리고 저는 실제로 우리가 아직도 대화를 마무리하기 위해 3분이 남아있다는 것을 놀라운 마음으로 발견했습니다. 이것은 좋은데요, 어쨌든 그래서 저는 이것이 정말로 영감의 한 가지가 되었다고 생각합니다, 그리고 저는 중요한 메시지라고 생각하는 한 가지가 되었습니다, 저는 당신이 아는 모든 사람이 이것을 처음 봤을 때 정말로 중요하다는 것을 알고 싶습니다, 어 우리는 이 과정을 시작했을 때 어 AI를 사용해서 사람들에게 창의적 슈퍼파워를 만들고 싶다고 생각했습니다, 맞나요? 우리가 원하지 않는 것은 AI가 창의성을 빼앗는 것입니다. 우리가 원하는 것은 AI가 사람들에게 슈퍼파워를 주는 것입니다, AI 슈퍼파워, 창의성과 재미있는 것들입니다. 그리고 우리는 음악으로 이것을 시작해서 했습니다. 그리고 우리가 지금 하고 있는 것은 뇌-컴퓨터 인터페이스로 돌아서는 것이고, 이 무선 시스템이 일어날 수 있게 하는 능력입니다. 하지만 당신이 물을 수 있듯이, 예를 들어 창의성, 이것은 훌륭합니다. 이것은 자기표현의 한 부분입니다.

이것은 음 당신 알다시피 이것은 매우 인간다운 일입니다, 자신을 표현할 수 있다는 것, 이 의사소통 형태를 가지는 것. 하지만 더 영감을 주는 것은, 저는 한 가지를 보여주고 싶습니다, 음 그것도. 더 영감을 주는 것은, 우리가 이 기술로 무엇을 할 수 있는가입니다. 음 우리는 AI가 사람들의 일자리를 빼앗는다고 이야기합니다. 음, 저는 이것과 우리의 협력으로부터 본 것은, 우리가 아마도 장애가 있거나 다른 사람들처럼 움직일 수 없어서 고용되지 못했을 수 있는 사람들을 위해 새로운 고용 기회를 만들었다는 것입니다. 그래서 지금 이 기술이 발전할 때를 상상해 보세요, 이것은 정말로 이 일들이 일어나기 시작하는 시작입니다.

우리는 고용을 볼 수 있습니다 음 뭔가 되고, 우리가 AI가 필요하기 때문입니다 어 당신 알다시피 AI는 오늘 대부분의 이러한 시스템에서 루프에 사람이 필요합니다, 맞나요, 그래서 만약 당신이 AI를 그것이 무언가를 할 기회를 제공하는 것으로 생각할 수 있다면, 당신 알다시피, 예를 들어, 이것은 어두운 공장이고, 그것은 완전 자동입니다, 하지만 그것을 감독할 사람이 필요합니다, 일부 작업을 할 사람이 필요합니다, 단지 오늘, 이 과정을 통해, 저는 발견했습니다 어 매우 특별한 어 장소를 어 죄송합니다, 그 매우 특별한 장소를 세웠습니다 일본에서 어 이것은 이미 일어났습니다. 저는 어제 방금 발견했습니다. 그래서 이것은 아바타 어 아바타 로봇 카페입니다. 하지만 이 경우에 흥미로운 점은 로봇 어 완전히 일들을 관리합니다, 하지만 사람이 이 로봇들을 작동시킵니다. 그리고 로봇은 고객을 위해 봉사하고 있습니다.

로봇이 고객을 위해 봉사하고 있습니다, 하지만 그들은 실제로 어 그들은 침대에서 나갈 수 없거나 집을 떠날 수 없는 사람들을 고용하고 있습니다 어 실제로 유리한 고용을 가지기 위해. 그래서 저는 이것이 훌륭한 완벽한 사용 사례 예 어 기회, 이 기술이 시간이 지남에 따라 제시할 수 있는 예라고 생각합니다. 그래서 저는 이것이 정말로 놀랍고 영감을 주는 어 기회라고 생각합니다 인공지능이 어떻게 완전히 새로운 기회를 열지, 새로운 노동력을 어 아마도 과거에 고용될 수 없었던 사람들을 위해. 어쨌든, 그래서 정말 감사합니다 우리가 여기 있어서. 정말 어 AI 엔지니어의 일부가 될 수 있었습니다. 어 감사합니다 어 Jackie 어 뇌 인터페이스를 발생시킨 것에 대해. 음, 마지막 말씀이 있으신가요?

저는 우리 모두가 모든 두려움과 돈 추구에서 휴식을 취해야 한다고 생각합니다 좀 더 긍정적인 것으로. >> 정말 감사합니다. 감사합니다 모두에게. 고마워 AI 엔지니어들. 감상. 감사합니다. >> 우리가 이렇게 무대에서 내려올 때 도와드릴까요? 좋은 것들에 대해 말씀하시고 있다는 것을 확인하세요, 그것은 놀라운 강연이었습니다. 저는 특히 인공지능의 종말론과 우울증 속에서, 이것이 얼마나 많은 희망을 제공했는지 생각합니다. 그래서, 우리는 이미 BCI를 어떻게 사용하는지 봤습니다, 그리고 다음 강연을 위해, 우리는 Bifrost의 Arvin을 가지고 있을 것입니다. 그들은 모델을 훈련하기 위한 합성 환경을 구축합니다. 그들은 일반적으로 세계에서 가장 큰 로봇 회사 중 일부와 협력해 왔으며, 화성 착륙 로봇에서부터 시작하는 것들을 하는 데 도움을 주고 있습니다. 그들은 Sequoia의 지원을 받고 있으며, CIA 벤처 펀드의 지원도 받고 있습니다.

정말 멋진 사실은 전에의 로봇 회사와 Bifrost 모두 싱가포르에서 시작되고, 인큐베이션되고 정말로 탄생한 싱가포르 회사라는 것입니다. 그리고, 정말 Arvin을 무대에 올리게 되어 행복합니다. 정말 멋집니다. 유감스럽게도 저는 여러분을 위해 멋진 로봇 데모를 가지고 있지 않지만, 그것은 정말 놀랍습니다. 음, 안녕하세요 여러분. 저는 Bifrost의 CTO이자 공동창립자인 Arvin입니다. 그리고 오늘 저는 로봇 상태에 대해 조금 공유할 것입니다, 맞나요? 확실히 여러분은 온라인에서 로봇들이 음력설 춤을 추고, 백플립을 하고 이 모든 멋진 것들을 하는 정말 멋진 비디오들을 많이 볼 것입니다. 하지만 한편으로는, 여러분은 또한 로봇들이 많은 이상하고 둔한 것들을 하는 것을 보게 됩니다. 그들은 거울로 뛰어들고, 단지 많은 혼란을 일으킵니다, 맞나요?

그리고 유감스럽게도, 이것이 우리가 로봇 개발 격차라고 생각하는 것입니다, 맞나요? 본질적으로, 일어나는 것은 여러분이 실험실에서 정말 정말 좋은 성능을 얻습니다, 맞나요? 그것은 모든 이 미친 일들을 할 수 있습니다, 하지만 여러분이 실제로 그것들을 실제 세계에 배포할 때, 여러분이 발견하는 것은 이러한 모델들의 성능이 정말 정말 심각하게 떨어진다는 것입니다, 맞나요? 그래서 정확히 이 배포 격차가 왜 실제로 존재하는가입니까? 그래서 여러분이 화면에서 보는 것, 저는 오늘 많은 차트가 없을 것이라고 보증합니다, 하지만 두 개의 차트가 있습니다. 이것이 첫 번째입니다. 어 여러분이 x축에서 보는 것은 모든 다양한 유형의 시나리오입니다, 맞나요? 그리고 이것은 당신 알다시피 당신의 훈련 데이터, 당신의 테스트 데이터, 그리고 좋아하는 당신의 배포 데이터입니다. 그리고 y축에는 당신의 훈련 데이터에서의 시나리오 수입니다, 맞나요?

그래서 여러분이 나갈 때, 당신 알다시피, 여러분은 많은 훈련 데이터를 모으고, 이것은 보통 배포가 어떻게 보이는지 같습니다. 어, 물론, 이것은 단순화된 것입니다. 그러면 여러분은 당신의 테스트 분포를 가집니다, 맞나요? 그래서 여러분은 훈련 데이터 세트를 가지고 있고, 여러분은 테스트 데이터 세트를 가지고 있으며, 약간의 겹침이 있지만 그들이 겹치지 않는 곳도 있습니다. 그러면 여러분이 실제로 로봇을 배포할 때, 여러분이 발견하는 것은 그것이 실제로 마주치는 환경의 유형과 모든 다양한 상태들이 실험실에서 일어나는 것과 실제로 매우 다르다는 것입니다. 실험실에서는 모든 것이 매우 깔끔하고 매우 조직화되어 있지만, 실제 세계에서는 많은 동적 혼란이 있습니다. 그것은 사람이 장면에 들어오는 것처럼, 거울의 반사처럼, 카메라 눈부심처럼.

이것들 모두는 우리가 분포 외의 시나리오라고 생각하는 것들이고, 이것이 로봇이 실패하는 곳입니다, 맞나요? 그래서, 당신 알다시피, 대부분의 사람들은 말할 것입니다, 예를 들어, 이봐, 우리는 그것에 더 많은 데이터를 던질 뿐입니다. 좋아하는, 당신 알다시피, 쓴 약의 교훈, 단지 더 많은 데이터, 그것은 더 나아질 것입니다. 하지만 현실은 여러분이 실제로 로봇 시스템으로부터 수집하는 많은 데이터들이 실제로 공칠로 간주됩니다, 맞나요? 왜냐하면 그들은 새로운 추가 신호를 추가하지 않기 때문입니다. 많은 시간에 여러분은 같은 시나리오를 계속해서 수집합니다. 고속도로에서 주행하는 자율주행차를 생각해 보세요. 여러분은 더 많은 고속도로 시나리오가 필요하지 않습니다. 여러분이 필요로 하는 것은 더 많은 엣지 케이스 시나리오입니다. 이것은 복잡한 교차로를 지나가는 소처럼, 플라스틱 봉지가 당신의 백미러 앞에 있는 것처럼, 주차 공간에 백스할 때처럼입니다, 맞나요?

이것들이 여러분이 실제로 원하는 것들입니다, 맞나요? 그래서 현실에서, 여러분이 이 시스템들을 테스트할 수 있기를 원할 때, 여러분은 단지 작은 분포나 한 가지 유형의 테스트만이 필요하지 않습니다. 여러분은 안으로 들어갈 수 있어야 합니다, 예를 들어 모든 이러한 다양한 유형의 분포를 얻고 가능한 한 많은 시나리오를 커버해야 합니다. 그래서 좋아하는 모든 조명 상태, 모든 다양한 어 시나리오의 공간 배치 같은 것입니다, 맞나요? 하지만 이것을 얻는 것은 정말 정말 어렵습니다, 그리고 만약 여러분이 할 수 있다면, 여러분은 어 현장에서 실패하는 것을 방지할 수 있습니다. 이것은 극도로 까다로워집니다, 왜냐하면 지금 우리는 범용 정책의 시대에 들어가기 때문입니다. 무엇이든 그리고 모든 것을 할 수 있다고 약속하는 로봇들. 식기세척기를 채우는 것부터 세탁물을 접는 것부터 의료, 의료 서비스 및 과학에서도 일을 하는 것까지.

그리고 지금 여러분이 이 시스템들을 검증하려고 할 때, 그것은 훨씬 더 까다로워집니다. 맞나요? 그래서 현장에서 우리는 정말 간단한 어 그들에게 같은 본질적으로 좋아하는 신뢰성 점수 같은 방법을 가집니다. 그리고 이것은 이것은 사람들이 로봇을 배포할 때 대부분의 사람들이 관심 있어 하는 것이 무엇인가입니다 내가 이 시스템들을 실제 세계에 배포할 때의 실제 신뢰성이 무엇입니까? 그리고 신뢰성은 정말로 단지 좋아하는 당신이 취할 수 있다는 성공률처럼 입니다, 이것은 만약 내가 이 일을 100번 하면, 나는 몇 번을 올바르게 할 것입니까? 그리고 여러분은 또한 모든 여러분이 할 수 있고 싶은 다양한 시나리오를 가로질러 그것을 하고 있습니다. 맞나요? 그래서 만약 여러분이 1,000개의 다양한 시나리오를 처리할 수 있기를 원한다면, 여러분은 이것을 1,000번 1,000번 해야 하고, 그것은 매우 매우 빠르게 확장됩니다. 맞나요. 그리고 모든 이 회사들이 지금 경쟁하고 있습니다.

그들은 경쟁하고 있습니다 내가 경쟁자보다 더 빠르고, 시장보다 더 빠르게 신뢰성을 달성할 수 있는 방법을 향해. 그리고 그들은 신뢰성 자체의 확장 법칙이 무엇처럼인지 알아내고 싶어합니다. 맞나요? 그래서 첫 번째 방식 그들이 로봇을 테스트하는 것은 상당히 직접적입니다. 저는 확실히 여러분이 일부 강연을 들었을 것 같습니다, 당신 알다시피, 그들은 수동으로 무언가를 단계합니다. 그들은 인간을 얻습니다, 그들은 로봇을 얻습니다, 그들은 실시간으로 모든 것을 하고 있습니다, 맞나요? 그들은 수동으로 장면을 설정하고, 그들은 실제로 로봇이 이것을 하도록 합니다. 하지만 이 경우에, 여러분이 실제로 테스트할 수 있는 시나리오의 수는 병목이 되었습니다 인간, 로봇, 그리고 시간. 맞나요? 그래서 여러분이 실제로 차트에 올렸을 때, 이것은 다양한 차트이지만 아래쪽 축에 여러분은 계산을 보고 다른 축에 여러분은 신뢰성을 봅니다.

매번 여러분이 추론을 할 때, 여러분은 일부 계산을 소비합니다, 하지만 여러분은 여전히 병목이 됩니다 여러분이 얼마나 많은 사람을 가지고 있는지, 여러분이 얼마나 많은 로봇을 가지고 있는지, 그리고 여러분이 얼마나 많은 실제 세계 시간을 가지고 있는지에 의해. 결과로서, 여러분은 여전히 확장합니다 어 선형적으로, 맞나요? 하지만 그러면 사람들이 돌아다니고, 좋아하는, 좋습니다, 아니요, 저는 단지 몇 가지 다양한 테스트 사례를 샘플링할 것이고, 저는 약간의 추가 새 테스트를 얻을 수 있습니다. 이것은 좋습니다만, 그렇게 좋지 않습니다, 왜냐하면 여러분은 많은 분포를 얻을 수 없기 때문입니다, 왜냐하면 그들은 여전히 수동으로 많은 것을 하고 있기 때문입니다. 그리고 그러면 사람들은 말합니다, 좋습니다, 당신 알다시피, 만약 우리가 평가 주기에서 인간을 제거한다면, 맞나요? 그래서 지금 사람들은 Gemini 같은 것을 사용하고 있습니다.

음, 그래서 Gemini 로봇을 보면 한 시나리오를 살펴볼 수 있고, 정성적 피드백을 제공할 수 있습니다. 예를 들어 음, 그것이 실제로 작업을 완료했는지, 성공했는지, 얼마나 진행되었는지 같은 것입니다. 또한 시나리오를 자동 재설정할 수 있고 다른 큰 시각 언어 모델이나 시각 행동 모델을 사용할 수도 있습니다. 알겠죠? 그래서 그들은 인간을 제거했지만, 여전히 병목이 있습니다. 얼마나 많은 로봇이 있는지, 그리고 얼마나 많은 시간이 필요한지에 의해 여전히 제한되어 있습니다. 알겠죠? 그래서 조금 더 빨라졌습니다. 왜냐하면 이제 조금 더 많은 계산을 투입하고 속도를 높일 수 있기 때문입니다. 인간에 의존할 필요가 없지만, 여전히 선형으로 확장됩니다. 알겠죠? 그것은 약간 더 많은 테스트만 할 수 있다는 뜻입니다.

그 다음 당연히 당신도 알다시피, 음, 우리가 현실 세계에서 다리를 지을 때, 우리는 먼저 시뮬레이션에서 테스트하고, 그 다음 우리는 다리를 짓습니다. 우리는 음, 기계 설계와 응력 같은 것들을 위해 모든 시뮬레이션을 합니다. 왜 로봇도 같은 방식으로 하지 않을까요?

그래서 로봇에는 시뮬레이션에서-현실 간격이라는 것이 있습니다. 이는 시뮬레이션에서 할 때 그것들이 항상 현실과 일치하지 않는다는 뜻입니다. 알겠죠? 이는 산업이 해결하려고 하는 큰 문제입니다. 그리고 놀랍게도 지난 해에 우리는 이것을 해결하기 위한 많은 새로운 방법을 가지고 있습니다. 가장 큰 것, 음, 우리가 하고 있는 것은 실제로 현실 세계를 사용하여 시뮬레이터 자체를 생성하는 것입니다. 알겠죠? 그래서 실제로 어떻게 보이는가 하면 현실 데이터를 가져올 수 있습니다. 알겠죠? 그래서 현실 데이터를 가져와서, 그 현실 데이터에서 것들을 생성할 수 있고, 그 다음 그 세계를 다시 시뮬레이션할 수 있습니다. 알겠죠? 그래서 이 전체 아이디어, 당신은 매번 당신의 특정 영역에 대해 유사한 시뮬레이터를 생성하고 있습니다. 알겠죠? 그것은 단지 물체만이 아닙니다. 당신은 당신의 특정 영역에 대해 전체 세계를 생성할 수 있습니다.

예를 들어, 캘리포니아 사막에서 운영되는 자율 주행 자동차가 있다면, 빠르게 전체 가상 세계를 생성하고 그 시뮬레이션에서 훈련할 수 있습니다. 알겠죠? 이것이 바로 시뮬레이션과 현실 사이의 간격을 좁혀나가는 방식입니다. 이렇게 하면 실제 테스트 세트의 분포를 복제하고 그것의 시뮬레이션 버전을 가질 수 있습니다. 이것은 이미 매우 가치 있습니다. 왜냐하면 이제 당신은 이 분포로 폐쇄형 루프 테스트를 할 수 있기 때문입니다. 하지만 우리는 어떻게 더 나아갈까요? 알겠죠? 이것은 매우 좋은 커버리지가 아닙니다. 알겠죠? 구체적인 시나리오 하나를 살펴봅시다. 이것은 우리가 생성한 데이터 유형의 예입니다. 당신도 알다시피, 여기 배가 붐비는 부두로 접근하고 있습니다. 화면에는 눈부심이 있고, 음, 카메라 위에, 모든 것이 약간 혼란스럽습니다. 알겠죠? 하지만 이것은 단지 하나의 구체적인 시나리오입니다.

당신은 어떻게 이것을 더 많은 시나리오로 확장할까요? 알겠죠? 그래서 우리가 실제로 할 수 있는 것은 시뮬레이터로 들어가서, 모든 다른 운영 조건을 통해 매개변수 스캔을 할 수 있다는 것입니다. 마치 당신이 매우 매우 빠르게 천 개의 다른 현실을 보고 있고, 당신이 이 모든 다른 현실을 바탕으로 모델을 테스트하고 있는 것처럼 말입니다. 음, 동시에 말입니다. 알겠죠? 그곳에서 당신은 그것을 더 확장할 수 있습니다. 알겠죠? 그래서 이것은 단지 n*n 테스트가 아닙니다. 당신은 이것을 많은 다른 영역과 기준으로 확장할 수 있습니다. 이 측면에서 멋진 점은 당신이 이것을 바탕으로 당신의 AI 모델을 테스트할 수 있다는 것입니다. 당신은 즉시 당신의 AI 모델이 어디서 실패할지 볼 수 있습니다. 로봇을 프로덕션 환경으로 배송하기도 전에 말입니다. 여기의 전체 아이디어는 단순합니다. 알겠죠? 시뮬레이션에서 빠르게 실패하고, 이러한 실패를 활용하여, 현실 세계 테스트에 사용하세요.

그래서 당신은 모든 것을 테스트하지 않고, 시뮬레이션에서 당신이 실패한 매우 구체적인 곳에서 테스트합니다. 이런 식으로 당신은 더 적은 자본을 사용하고, 당신이 가진 리소스에 더 최적화되고 효율적입니다. 그리고 당신도 알다시피, 우리는 또한 현실 세계 시간으로만 제한됩니다. 알겠죠? 알겠죠? 그래서 우리는 이것에서 이것으로 갔습니다. 왜냐하면 이제 우리는 더 많고 더 넓은 영역을 커버할 수 있기 때문입니다. 도메인 랜덤화라고 불리는 용어가 있습니다. 하지만 기본적으로 당신은 진정한 데이터가 커버할 수 있는 것보다 훨씬 더 넓은 범위의 영역을 커버합니다. 이것은 음, 이러한 테스트를 수행하는 매우 좋은 방법입니다. 당신도 알다시피, 데이터 플라이휠이라는 것을 본적이 있다고 확신합니다. 그것은 이미 밈이 되었습니다. 모든 회사가 「네, 우리는 데이터 플라이휠을 가지고 있습니다.」라고 하듯이 말입니다. 하지만 플라이휠은 실제로 가장 중요한 것을 캡처하지 못합니다.

그리고 가장 중요한 것은 당신이 실제로 이 데이터를 정제해야 한다는 것입니다. 데이터는 초고품질이어야 합니다. 당신은 가장 가치 있는 것을 찾는 방법을 생각해야 하고, 당신은 또한 현실 세계에서 무엇을 수집해야 하는지를 주도할 수 있어야 합니다. 알겠죠? Bifrost에서, 우리는 세계의 가장 엄격한 고객 중 일부가 대규모로 이를 수행하도록 도와줍니다. 우리는 기본적으로 이 모든 것을 가져와서, 우리는 당신의 브라우저에서 시뮬레이션합니다. 그래서 우리는 세계를 가지고 있고, 당신은 이 세계를 시뮬레이션할 수 있고, 당신은 그 안에서 당신의 AI 모델을 부술 수 있습니다. 모두에게 감사합니다. 그것은 정말로 훌륭한 연설이었습니다. 특히 데이터 정제와 같은 것에 대해 말입니다. 데이터가 모든 다른 엣지 케이스를 포함하도록 하려는 시도입니다.

그래서, 저는 Open Graph Labs의 Julia Kim을 초대하는 것에 매우 흥미롭습니다. 그들이 어떻게 내부 기술 스택을 구축했는지에 대해 논의하기 위해서입니다. 거기서 당신은 많은 다른 멀티모달 동기화 데이터 수집 전반에 걸쳐 보장할 수 있습니다. 이것은 정말로 어렵습니다. 왜냐하면 마이크로초 수준의 드리프트도 당신이 로봇을 훈련하기 위해 데이터를 수집할 때, 당신이 실제로 이것을 가져와서 당신의 모델을 훈련할 때, 실제 손상을 초래할 수 있기 때문입니다. 그래서 저는 정말로 흥미롭습니다. 음, 우리가 이러한 음, 기술적 어려움의 무리를 마주할 때 어떻게 될지 봅시다. 당신도 알다시피, 저는 당신들이 오늘 이 회의에 대해 어떻게 느끼는지 궁금합니다. 당신도 알다시피, 저는 개인적으로 이것이 절대적으로 놀라웠습니다. 마치 방금 Justin이 뇌 컴퓨터 인터페이스와 같은 것으로 그리기의 능력을 보여줬을 때, 저는 정말로 충격을 받았습니다.

마치 저는 그것이 가능할 거라고 생각해본 적이 없습니다. 왜냐하면 저는 에이전트로 많은 실험을 해왔습니다. 알겠죠? 저는 본 것 같습니다. 마치, 텍스트 입력 텍스트 출력, 오 맙소사, 마치, 우리가 갈 거에요, 음, 모든 사람의 일이 자동화될 겁니다. 인공 지능이 좋은 일에 사용되는 것을 보는 것은 정말로 멋있고 영감을 주었습니다. 그래서 저는 생각합니다, 마치, 그것이 항상 흥미로웠던 것이었습니다. 사람들이 하고 있는 관점과 프로젝트의 절대적 다양성을 보는 것. 저는 생각하기로 하죠. >> 음, 우리는 팀으로서, 음, 많은 것, 음, 화자와 스폰서가 구축한 도구를 사용했습니다. 음, 그래서 우리는 그것을 기록해 둘 것입니다. 오, 괜찮습니다. 저는 우리가 돌아온 것 같습니다. 네. >> 그것을 드래그합니다. 네, 이것은 확장입니다. 그래서, >> 우리는 방금 있었습니다. >> 오, 그것이 돌아왔습니다. 그것이 돌아왔습니다. >> 네. 좋습니다. 매우 좋습니다. >> 감사합니다. >> 안녕하세요. 모두 오후가 좋습니다. >> 모두 오후가 좋습니다.

음, 저는 Julia입니다. Open Graph Labs의 공동 창립자이자 공동 최고 경영진입니다. 음, 오늘 저는 우리의 일상적인 인간 경험이 실제로 차세대 인형 로봇의 유용한 훈련 데이터가 될 수 있는 방법에 대해 이야기하고 싶습니다. 그렇다면, 당신 중 몇 명이 「일인칭 데이터」라는 용어를 들어본 적이 있습니까? 네, 몇 명이 보이고, 또는 아마도 당신들은 최근에 애플리케이션에서 이 핫한 비디오를 보았을 것입니다. 공장 근로자가 모자에 카메라를 착용하고 일하고 있습니다. 음. 그래서 지난 1년에 이 분야에서 정말로 이상한 일이 일어났습니다. 수백 개의 회사가 대규모로 인간 행동 데이터를 수집하기 시작했습니다. 사람들은 일인칭 관점으로 비디오를 녹화했고, 음, 카메라가 일상 업무를 하고 있고, 실제로 그렇게 함으로써 인센티브를 받았습니다. 그렇다면 우리는 왜 이런 짓을 하나요? 그렇다면 인간이 왜 갑자기 로봇 공학의 핵심 데이터 세트가 되었을까요? 이것은 우리가 방금 그것이 작동한다는 증명을 얻었기 때문입니다.

NVIDIA는 최근 자기 규모에 대한 연구에서 인간 일인칭 데이터 규모를 확대하는 것이 실제로 로봇 훈련을 돕는다는 것을 보여주었습니다. 그래서 그들은 실제로 일인칭 비디오를 그들 모델의 사전 훈련, 사전 훈련 데이터 세트로 사용하고, 인간 로봇 정렬 데이터 세트에 대해 미세 조정했으며, 또한 원격 조작, 음, 로봇만의 데이터가 있었고, 로봇이 실제로 작업을 완료할 수 있었습니다. 예를 들어, 일회용 헤드락에서 셔츠를 접기 같은 것이죠. 언어 모델처럼, 더 많은 데이터를 입력하여 확장하면서, 그들은 또한 음, 이것이 물리적 인공 지능에도 가능하다는 것을 보여주었습니다. 그래서 그것은 현저한 확장 법칙을 보여주었습니다. 사전 훈련에 유용한 것으로 증명되었기 때문만이 아닙니다. 하지만 실제로 솔직히 말하자면, 일인칭 인간 비디오는 근본적으로 두 가지 측면에서 매우 중요합니다. 먼저, 우리는 이제 인간 수준의 능력을 갖춘 로봇을 구축하고 있습니다.

그것은 같은 형태 계수를 의미합니다. 그들은 우리처럼 보입니다. 비슷한 자유도를 가지고 있습니다. 이것은 우리가 인간과 인형 로봇 사이의 구체화 간격을 최소화하려고 노력하고 있다는 의미이고, 실제로 매우 빠르게 가까워지고 있으며, 그리고 간격이, 간격이 닫혀감에 따라, 인간 행동은 실제로 로봇에 직접 전이될 수 있습니다. 이것은 세상에서 가장 직접적인 감독 신호입니다. 음, 둘째, 일인칭 데이터는 현실 세계에서 포착됩니다. 왜냐하면 그것이 실제로입니다. 물리 세계, 우리가 아는 대로는 연속적입니다. 음, 그것은 동적이고 물리적으로 근거가 있습니다. 그래서 우리가 일인칭 데이터에서 얻는 모든 데이터는 실제로 매우 높은 충실도 데이터입니다. 음, 그것은 어떤 로봇이든 배울 수 있는 더 많은 정보를 포함하고 있습니다. 하지만 그때, 음, 우리는 정말로 완료했습니까?

음, 그래서 우리는 더 많은 일인칭 비디오 데이터를 가질 수 있고, 더 많은 문제를 해결할 수 있습니다. 음, 그래서 단순히 충분한 인간 비디오 데이터를 수집하면, 일부 나쁜 것들이 있으면서, 로봇이 결국 인간 수준의 물리적 지능에 도달할지 아니할지입니다. 글쎄요, 저는 실제로 이것이 당신이 향하고 있는 미래에 달려 있다고 생각합니다. 그 미래는 우리가 필요할 수 있는 로봇의 지능 수준을 정의합니다. 그래서 하나의 미래는 로봇이 유틸리티입니다. 그래서 창고의 도구, 공장의 기계 팔, 작업을 완료하는 기계인데, 그들은 우리와 공간을 공유하지 않습니다. 또 다른 미래는 로봇이 실제로 우리와 함께 살고 있다는 것입니다. 그들은 우리 집에서 우리의 옷을 접고, 이것은 또한 우리의 부모를 동반하는 데 도움이 되며, 그들은 우리에게 물잔을 줍니다.

음, 이것은 그들이 실제로 우리와 세계를 공유한다는 의미이고, 만약 우리가 그들이 우리와 함께 살기를 원한다면, 그들은 물리적 지능을 가져야 합니다. 그래서 그들은 우리와 같은 방식으로 이러한 것들을 배워야 합니다. 그렇다면 매우 기본적인 것으로 돌아갑시다. 음, 우리가 아기일 때 처음 이러한 것들을 배운 방법을 생각해봅시다. 우리는 물건을 집었고, 물건을 눌렀고, 물건을 떨어뜨렸고, 물건을 만졌고, 물건을 당겼고, 때때로 그리고 자주 우리는 물건을 입에 넣고 맛을 봤습니다. 우리는 그것과 상호 작용함으로써 배웠고, 접촉과 내 행동 후에 그것이 실제로 어떻게 반응하는지 관찰함으로써 배웠습니다. 이것이 우리가 감각운동 학습이라고 부르는 것입니다.

그렇다면 자연스러운 질문이 따라옵니다. 인간의 감각운동 학습 자체가 우리의 물리적 지능을 형성하는 기초라면, 우리가 로봇에도 같은 것을 할 수 있다면 어떨까요? 우리는 로봇이 우리가 아기였을 때 배운 것과 같은 방식으로 배우도록 합니다. 그래서 다시 말하면, 이 아기는 이전 슬라이드의 아기와 동일합니다. 실제로는 한 번에 모든 이러한 감각운동 신호를 생성하고 있습니다. 시각, 촉각, 본체 감각, 청각, 행동 및 피드백 루프. 이러한 상호 작용을 통해 아기는 물리적 세계의 구조를 점차 배웁니다. 그래서 질문은 만약 우리가 이 모든 데이터를 캡처하고 로봇 공학의 훈련 데이터 세트로 사용할 수 있다면, 우리는 로봇이 우리와 정확히 같은 방식으로 모방하고 그것을 바탕으로 배울 수 있도록 할 수 있다는 것입니다. 네, 저는 정말로 그런 미래를 믿습니다. 우리는 인간을 센싱화함으로써 그것을 실현할 수 있습니다.

오늘날 인간의 감각-운동 회로의 많은 부분이 이미 매우 측정 가능해졌습니다. 우리는 1인칭 카메라를 통해 시각 체계를 포착했습니다. 우리는 또한 영상에서 직접 운동 정보를 재구성할 수 있으며, 3D 손 자세, 손목 자세, 신체 운동 궤적과 같은 고유수용감각도 영상에서 재구성할 수 있습니다. 또한 오디오도 자연스럽게 카메라 시스템을 통해 포착될 수 있습니다. 따라서 현재 명백히 하나의 주요 감각 채널이 남아 있습니다 - 현재 우리가 부족한 것은 촉각입니다. 물리적 상호작용의 경우, 우리는 현실 세계에서 수집해야 할 가장 중요한 신호가 촉각일 수 있다는 것을 모두 알고 있습니다.

오늘날 우리가 여전히 매우 적은 촉각 데이터를 가지고 있는 한 가지 이유는 많은 다른 인간 신호가 이미 1인칭 시각에서만 추론될 수 있기 때문입니다. 따라서 1인칭 영상입니다. 따라서 1인칭 카메라를 통해, 우리는 이미 운동 궤적, 손 자세, 신체 운동, 동작 구조, 심지어 고유수용감각도 추론할 수 있습니다. 솔직히 말해서, 이제는 수십 년에 걸친 카메라 하드웨어 시스템의 진전과 표준화된 RGB 시스템 위에 구축된 전체 생태계에 감사를 표할 때입니다. 왜냐하면 일단 세계가 RGB 카메라 주위에 수렴하면, 컴퓨터 비전이 확장 가능해지고, 이제 우리는 촉각의 그 정확한 순간을 기다리고 있기 때문입니다. 촉각은 그런 순간을 가져본 적이 없기 때문입니다. 따라서 우리는 비디오 시스템이 어떻게 개선되는지, 어떻게 확장되는지를 따라야 합니다. 왜냐하면 그들이 카메라와 RGB 픽셀이라는 하나의 것 주위에 수렴하기 때문입니다.

우리는 또한 통일된 하드웨어 스택이 필요합니다. 모든 사람이 그 위에 촉각 데이터를 구축할 수 있고, 동일한 데이터 형식을 공유하는 데이터 기반 구조도 필요합니다. 이것이 바로 우리가 존재하는 이유입니다. Open Grab Labs는 감각-운동 시스템에서 누락된 부분인 촉각에 대한 표준을 확립하기 위해 여기에 있으므로, 우리는 마침내 로봇 학습에서 도약을 이룰 수 있습니다. 우리는 두 가지 주요 계층을 통해 이를 달성합니다. 첫째는 지끝에서 고충실도 접촉 신호를 생성할 수 있는 고도로 확장 가능한 하드웨어이고, 둘째는 촉각 인코더로, 이는 그 하드웨어 위에 구축된 해석기로서 촉각 신호를 섭취하고 이를 의미로 변환합니다.

고도로 확장 가능한 하드웨어를 통해, 우리는 확장 가능한 데이터 세트를 포착할 수 있으며, 이러한 데이터 세트에서 우리는 이제 의미 있는 촉각 인코더를 구축할 수 있습니다. 따라서 우리는 완전한 인간 감각-운동 회로의 포착 파이프라인을 처음으로 구축하기 시작했으며, 이를 훈련 가능하게 만들었습니다. 수천 명의 사람, 수백만 번의 상호작용, 인간과 물리적 상호작용 사이의 모든 접촉 순간이 이제 포착되고, 디지털화되며, 다음 세대 로봇에게 전달될 준비가 될 수 있습니다. 인간을 감지하도록 함으로써 인간 감각을 훈련합시다. 감사합니다. 인간 촉각 데이터 수집을 확장하는 것에 대한 이 논의는 훌륭했습니다. 이제, 실제로 데이터를 수집하는 것의 큰 부분은 우리가 실제로 데이터 작업을 확장해야 한다는 것입니다, 맞죠? 우리는 단순히 데이터를 수집하기만 하면 되는 것이 아닙니다.

우리는 운영자, 전체 인프라 및 물류 처리를 보유하고 있는지 확인해야 합니다. 따라서 우리는 Cortex의 Suin이 있고, 그들은 로봇과 다른 형태의 데이터를 통해 규모 있게 이를 수행하는 방법에 대해 많이 논의합니다. 안녕하세요, 저는 Suin입니다. 저는 Cortex AI에서 왔으며, 거기서 창립 엔지니어입니다. 오늘 저는 우리가 이 로봇들이 하는 멋진 일들, 우리가 직면한 일부 도전 과제, 그리고 우리가 배운 일부 교훈에 대해 논의할 것입니다. 여기서 당신은 우리가 협력하는 일부 로봇을 볼 수 있습니다. 우리는 주로 양팔 로봇을 사용하여 조작 작업을 수행하고, 우리는 또한 편의점과 같은 보다 현실적인 환경에서 작업을 수행하기 위해 이동 로봇도 사용합니다. 당신은 이 로봇들이 어떻게 그렇게 똑똑해졌는지 궁금해 할 것입니다. 이 영상에서도 당신은 마지막 우유 한 방울을 컵에 붓고 있는 것을 볼 수 있습니다.

실제로 이러한 학습 시스템들은 단지 픽셀을 받아들이고 동작을 출력합니다. 보통 우리는 상단 카메라와 손목 카메라를 가지고 있습니다. 우리는 또한 로봇의 관절 데이터를 전달합니다. 간단한 언어 명령입니다. 그러면 모델이 일부 동작을 예측합니다. 우리는 로봇에서 동작을 실행합니다. 당신은 다음 상태로 들어가고, 루프가 계속됩니다. 이 차트는 실제로 현대 로봇 학습 스택을 생각하는 좋은 방법입니다. 당신은 카메라 번들과 관절을 데이터로 가지고 있습니다. 소프트웨어는 데이터 수집, 훈련, 추론을 주도합니다. 하드웨어는 팔과 카메라입니다. 모델은 우리가 실행하는 정책 모델입니다. 이러한 정책이 작동하는지 테스트하기 위해, 당신은 평가해야 합니다. 다시 이 모든 것이 발생하기 위해, 당신은 좋은 운영 계층이 필요합니다.

로봇 학은 일반적으로 하드웨어 문제, 소프트웨어 문제 또는 모델 문제로 간주되지만, 그것은 또한 거대한 데이터 및 운영 문제입니다. 최근 우리는 Alen 인공지능 연구소와 그들의 Mulmo act 2 논문에서 협력했으며, 우리는 그들의 데이터 세트를 위해 700시간 이상의 양팔 로봇 데이터를 수집했으며, 이는 지금까지 가장 큰 오픈 소스 양팔 데이터 세트입니다. 우리는 원격 조작을 통해 데이터를 수집합니다. 여기서 당신은 내 동료를 볼 수 있고 그는 우리가 주 팔이라고 부르는 것을 제어하고 있습니다. 팔로부터 복제 동작입니다. 재미있어 보이지만, 실제로 매우 어렵습니다. 주된 이유는 인간의 직관입니다. 그것은 실제로 새로운 구현 형태로 잘 전이되지 않습니다. 당신은 손으로 컵을 잡는 방법을 알고 있습니다. 하지만 로봇 팔을 통해 생각해야 할 때는 모르게 됩니다. 그것은 정말 어렵습니다. 하지만 그것은 배울 수 있는 기술입니다.

뿐만 아니라, 데이터 수집을 시작하기 전에 할 일이 많습니다. 수건을 접는 것과 같은 가장 간단한 작업이라도, 당신은 그것을 두 부분으로 접을 수 있고, 당신은 그것을 세 부분으로도 접을 수 있습니다. 당신은 작업 전략을 생각해내야 합니다. 그 후 당신은 동작을 연습해야 합니다. 그러면 당신은 수집된 데이터가 각 에피소드와 다른 운영자 사이에서 일관되는지 확인해야 합니다. 우리가 이 데이터 작업을 수백 시간으로 확장하기 시작했을 때, 우리는 우리가 추가한 일부 작은 워크플로우 변경사항을 깨달았습니다. 그들은 복합되기 시작했습니다. 처음에는 각 에피소드 인코딩이 2~3분 동안 기다려야 하는 마찰이 있었습니다. 그러면 우리는 인코딩 프로세스를 세션의 끝으로 옮겼습니다. 그러면 갑자기 전체 인코딩 지속 시간이 훨씬 더 길어집니다. 이제 우리는 다음 세션을 시작하기 위해 30~40분을 기다려야 합니다.

그러면 우리가 한 것은 매우 작은 코드 변경을 했습니다. 우리는 모든 하드웨어 연결을 끊었습니다. 이렇게 하면 이전 세그먼트가 이미 인코딩되었을 때 새 세션을 실행할 수 있습니다. 결국 발생한 일은 데이터 수집, 인코딩 및 업로드 프로세스가 완전히 분리되었다는 것입니다. 내가 이야기하고 싶은 또 다른 것은 로봇 학에서 「호흡」의 중요성입니다. 내가 「호흡」이라고 말하는 것은 기술 스택의 다양한 수준 사이에서 지식을 가지고 있고 로봇 스택에서 위아래로 작동할 수 있다는 의미입니다. 내가 이렇게 말하는 이유는 문제 공간과 해결책 공간이 대부분의 경우 동일한 수준에 있지 않을 수 있다는 것을 깨달았기 때문입니다. 당신이 다양한 수준에 대해 더 직관적으로 알수록, 당신은 문제를 더 빨리 해결할 것입니다. 내가 몇 가지 예로 이를 설명하겠습니다.

따라서 우리가 이 로봇 팔에서 정책을 실행하기 시작했을 때, 로봇이 항아리를 집어야 하는 작업이 있었는데 집게가 망가져 있었고, 당신은 영상에서 집게가 날아가는 것을 볼 수 있습니다. 나는 생각했습니다, 좋아, 아마도 모델이 뭔가를 잘못 배웠거나, 나는 코드에서 집게의 힘을 낮출 수 있습니다. 하지만 내 동료는 좋아, 우리가 직접 집게를 설계하자고 했습니다. 우리는 그때 제3자 하드웨어를 사용하고 있었지만, 우리는 여전히 그 위에서 혁신할 수 있었습니다. 이것은 내가 소프트웨어 문제의 하드웨어 솔루션으로 생각하는 좋은 예입니다. 유사하게, 이 카메라를 사용한 사람이라면 누구나 알 것이지만, 그들은 종종 연결이 끊기고, 당신은 그것을 뽑았다가 다시 꽂으면, 그러면 그것은 신기하게 작동하기 시작합니다. 그리고 나서 한 번은, 우리의 한 운영자가 실수로 카메라를 기울였고, 상단 카메라의 시각이 벗어났습니다.

그래서 그날 우리가 수집한 모든 데이터를 버려야 했습니다. 왜냐하면 시각이 올바르지 않았기 때문입니다. 우리는 카메라 스탠드를 더 견고하게 하려고 시도했지만, 나는 상단 카메라 시각이 좋은지 확인하는 스크립트, 도구를 작성했습니다. 그래서 우리가 한 것은 각 세션마다 시작할 때 2~3분을 소비하고 나서 카메라 시각이 올바른지 확인하는 것입니다. 이렇게 하면 우리가 수집한 데이터가 정말로 유효한지 확인할 수 있습니다. 따라서 이것은 우리가 하드웨어 문제로 생각하는 소프트웨어 솔루션의 좋은 예입니다. 이것이 기술 스택에서 움직이고 모든 이 수준에서 생각하는 것이 정말로 큰 도움이 되는 이유입니다. 나는 또한 로봇 학에서 평가가 어려운 이유에 대해 이야기하고 싶습니다. 소프트웨어와 유사하게, 당신은 시뮬레이션에서 로봇을 평가할 수 있고, 당신은 그것을 병렬화할 수 있습니다. 하지만 현실 세계가 상황이 혼란스러워지는 곳입니다.

예를 들어, 조명이 변할 수 있습니다. 간섭이 있을 수 있고, 실행기와 카메라 노이즈가 있을 수 있습니다. 따라서 당신은 이 모든 요소를 고려해야 합니다. 최근에 우리가 Malm act를 사용할 때, 우리가 malmarmac 2를 처리했을 때, 우리는 5개의 정책에서 수천 번의 현실 세계 평가 전개를 수행했고, 이것은 우리에게 이것이 얼마나 어려운 문제인지를 가르쳤습니다. 따라서 당신이 현실 세계 평가를 실행할 때, 이것은 실패할 때 발생할 수 있고, 그러면 그것은 다시 발생합니다. 로봇 학에서, 각 전개 이후에, 당신은 수동으로 환경을 재설정해야 합니다. 소프트웨어에서처럼 당신은 병렬로 실행할 수 없습니다. 그것이 엉망이 되면, 당신은 수동으로 정리해야 합니다. 나는 이것을 수백 번 했고, 나는 당신에게 이것이 매우 재미있지 않다는 것을 보장할 수 있습니다. 그리고 나서 우리는 자주 이것을 하는 것이 매우 비싸다는 것을 깨달았습니다. 하지만 이것이 현재 황금 표준입니다.

평가에 대한 또 다른 어려운 점은 로봇이 뭔가를 할 수 없을 때, 어디서 실패했는지 파악하기가 정말 어렵다는 것입니다. 몇 가지 예로 이를 설명하겠습니다. 그것은 데이터일 수 있습니다. 아마도 다른 운영자가 다른 전략을 사용합니다. 아마도 내가 두 번 접었습니다. 누군가가 수건을 세 번 접었습니다. 아마도 훈련 설정입니다. 당신이 원하는 적응, 예를 들어 LoRA가 완전한 미세 조정과 비교했을 때입니다. 그러면 설정일 수 있습니다. 나는 모델을 로드하려고 시도한 경우가 있었고, 모델의 일부가 무작위 가중치로 초기화되었으며, 모델이 미쳤던 것처럼 행동했습니다. 그것은 또한 잘못된 동작 청크 크기일 수 있으며, 당신이 훈련에서 사용한 크기와 비교했을 때, 아마도 평가 설정 자체가 잘못되었을 수 있습니다. 아마도 당신은 분포 내에서 평가하려고 시도했지만, 객체의 배치가 약간 벗어났습니다.

마지막으로, 나는 안전에 대해 이야기하고 싶습니다. 이 영상 클립은 내가 실수로 기록했습니다. 당신은 관절이 반 초 미만에 90도를 하는 것을 볼 수 있습니다. 만약 누군가의 손이 그곳에 있다면, 그들은 다칠 것입니다. 우리는 로봇 배포 시 안전에 대해 자주 이야기하지만, 나는 개발 시에도 많은 안전 문제가 있다고 생각합니다. 예를 들어, 데이터 수집에서, 리더 팔이 갑자기 실패하면 (이것은 때때로 발생합니다), 전체 무게가 데이터 운영자에게 떨어질 수 있습니다. 평가에서, 우리는 시험관이 포함된 작업을 테스트하는 경우가 있었고, 로봇 중 하나가 시험관을 깨뜨렸고, 당신은 유리 파편이 사방에 산재되어 있었습니다. 그리고 오래된 동작 프롬프트는 갑작스러운 팔 움직임을 초래할 수 있으며, 이것도 안전 문제입니다. 이러한 경우가 많이 있습니다.

나는 또한 로봇에서 인공지능 작성 코드를 실행하는 것에 대해 이야기하고 싶습니다. 특히 인공지능 코딩 도구가 점점 더 주류가 되고 있기 때문입니다. 배경을 제공하기 위해, 우리가 인공지능 코딩 도구를 사용한 로봇의 한 시나리오는 기본적으로 우리가 Hugging Face에서 layer robot을 사용할 때입니다. 우리는 layer robot의 충실한 팬입니다. 따라서 우리가 그 라이브러리를 우리가 사용하는 로봇 팔에 적응시키고 싶을 때, 많은 스캐폴딩, 많은 인터페이스 작업이 완료되어야 합니다. 따라서 우리는 인공지능을 사용하여 이를 수행하고 더 빨리 진행했습니다. 하지만 우리가 실행해 보려고 했을 때, 그것은 실패할 수 있습니다. 우리는 정상적인 소프트웨어 검사, 기본 검사, 정상적인 풀 요청 검토를 수행합니다. 그러면 우리는 시뮬레이션에서 검사하려고 시도합니다. 우리는 로그에서 테스트해 봅니다. 당신은 로봇에 동작을 보낼 수 있지만 그것들을 실행하지는 않습니다. 먼저 로그를 봅니다. 그러면 당신이 실제 로봇에서 테스트하고 싶을 때, 당신은 한 번에 하나의 관절만 움직일 수 있습니다.

당신은 속도를 낮출 수 있습니다. 그런데 네, 이것들은 우리가 따르는 일부 것들입니다. 네, 내가 강조하고 싶은 한 가지는 당신이 기술 스택의 모든 계층의 전문가일 필요는 없다는 것입니다. 하지만 당신이 다양한 계층에 대해 더 알고 있다면, 정말 문제를 해결하기 쉽고 더 빨리 진행할 수 있습니다. 이제 끝입니다. 감사합니다. 좋아요 여러분, 음 이것은 끝입니다. 음, 그런데, Savine에게 감사합니다. 정말 감사합니다. 음, 이것은 우리 오후 AIE 전반부의 끝입니다. 음, 당신들이 지난 이틀 동안 오후 9시부터 6시까지의 프로그래밍에서 그렇게 참여해 주셨다는 것을 잘했습니다. 음, 우리는 마지막 스프린트에 있고, 음 더 많은 정말 멋진 연설이 곧 올 것 같습니다. 음, 휴식 후. 음, 세계의 많은 최고의 스타트업들이 음 그들이 실제로 구축하고 있는 것을 공유할 것입니다.

음, 그 중 많은 것들은 실제로 내 Twitter 친구들이고, 나는 오래 알고 있었으며, 나는 그들을 초대하고 직접 만날 수 있어서 좋았습니다. 이것도 정말 멋졌습니다. 음, 그래서 제발 머물러 주세요. 음, 그리고 이 휴식이 진행되는 동안, 음 나는 초록색 옷을 입은 내 친구 Kazaya에게 약간의 배경을 주고 싶습니다. 음, 손을 흔들어 주세요. 음, 그래서 Kazaya는 한 명의 사람입니다. 음, 당신은 알다시피, 우리 다른 사람들처럼 컨설팅 일의 일상적인 직업을 가지고 있지만, 그녀는 또한 정념 코치이고, 더 많은 사람들을 그 관행으로 가져올 수 있는 방법을 찾고 싶었습니다. 특히 너무 많은 일이 일어나는 장소에서, 우리 많은 사람들은 압도당하고, 불안해하고, 단지 체계적인 방식을 찾고 싶습니다. 일시 중지할 수 있고, 당신은 알다시피, 조금 느려질 수 있습니다.

이것이 우리가 휴식 시간에 더 신중하게 만들어진 경험을 만들고 싶었던 이유입니다. 당신은 알다시피, AIE 로고를 올려놓고 음악을 몇 곡 하고, 당신에게 커피를 제공하는 것이 아니라, 맞죠? 음, 우리는 프로그래밍의 모든 분마다 의도성을 짜넣고 싶었습니다. 그래서, 음, 이것이 우리가 그녀를 초대한 이유입니다. 하지만 나는 또한 이 모든 것이 어떻게 시작되었는지에 대한 또 다른 이야기를 공유하고 싶습니다. 왜냐하면 나는 이것이 「AI 엔지니어」의 정신과 매우 부합한다고 생각하고, 「빌더」와 「엔지니어」의 지속적으로 변화하는 정의에 관해서입니다. 음, Kazaya는 실제로 코딩 배경이 없었습니다. 하지만 실제로 그녀는 vibeCode를 통해 전체 경험을 코딩했습니다. 그녀는 화면에서 입자 시각화 도구를 만드는 것을 도움을 주는 GitHub 저장소를 찾았고, 그녀는 지난 4주 동안 이 모든 것을 완료했습니다.

내 말은, 나는 우리가 기본적으로 그녀에게 AI에 대해 주입했다고 느낍니다. 그러면 그녀는 계속해서 그것을 구축하기로 결정했습니다. 그래서, 나는 다양한 다른 분야와 산업에서 온 사람들이 이 도구를 통해 권한을 부여받고 이러한 놀라운 것들을 만들 수 있는 것을 더 행복하게 볼 수 없습니다, 맞죠? 그리고 이 모든 것이 명상과 정념 같은 것을 우리가 오늘 무대에서 보여줄 수 있는 실제 기술 경험과 연결시키는 것을 가능하게 합니다. 따라서, 다음 약 15분을 즐기시고, 속도를 늦추고, 우리가 이날을 끝내기 전에 저장해놓은 에너지를 회복하세요. 감사합니다. 헤이, 헤이, 헤이. 헤이, 헤이, 헤이. 헤이, 헤이, 헤이. 헤이, 헤이, 헤이. 헤이, 헤이, 헤이. 헤이, 헤이, 헤이. 헤이, 헤이, 헤이. 헤이, 헤이, 헤이. 헤이, 헤이, 헤이.

헤이, 헤이, 헤이. 헤이, 헤이, 헤이. 헤이, 헤이, 헤이. 헤이, 헤이, 헤이. 헤이, 헤이, 헤이. 헤이, 헤이, 헤이. 헤이, 헤이, 헤이. 헤이, 헤이, 헤이. 헤이, 헤이, 헤이. 헤이, 헤이, 헤이. 헤이, 헤이, 헤이. 헤이, 헤이, 헤이. 헤이, 헤이, 헤이. 헤이, 헤이, 헤이. 우리의 프로그래밍이 매우 빠르게 진행되고 있습니다. 음, 우리의 다음 연설자 Jay가 준비할 때, 이것은 놀라운 연설이 될 것입니다. 나는 그것을 기다리고 있었습니다.

나는 배후에서 Jay와 조금 이야기했고, 이것은 사람과 AI 인간성 측면에 관한 연설입니다. 팀에서 일하고 있고, 사람들이 AI에 참여하고, 그들이 업그레이드하고, 그들이 다른 사람들을 위해 설계하기를 원한다면, 보통 우리는 결국 일반적인 프롬프트와 일반적인 결과를 얻으며, 우리는 어떻게 정말로 충분히 활용하는지 알지도 못할 수도 있습니다. 그래서 이번 Jay로부터의 연설은 그의 이전 Canva 경험에서 나오며, Canva는 우리와 이것에 대해 이야기할 것이고, 나는 이것에 매우 흥분했습니다. 그래서, 당신이 준비가 되었다면, 당신이 회복되었다면, 그가 준비가 되었다면? 그는 아직 준비가 되지 않았습니다. 아니요. 그는 나에게 대답했습니다. 그는 방금 아니라고 말했습니다. 그것은 좋습니다. 나는 아니를 볼 수 있습니다. 그들이 준비할 때, 당신은 어떻게 느끼세요? 당신은 괜찮습니까? 박수 수준으로 나에게 말해주세요. 좋아, 그것은 좋습니다. 아주 좋습니다. 그것은 좋습니다. 나는 행복합니다.

이것은 좋은 회의였습니다. 그것이 거의 끝났다는 것이 유감입니다. 당신이 더 원하거나 끝난 후에 뭔가를 말하고 싶다면, 당신은 더 원하지 않으십니까? 나는 내년에 우리가 하지 않을 것이라고 생각하지 않습니다. 어떨까요? 나는 농담하고 있습니다. 나는 농담하고 있습니다. 상관없습니다. 그들은 배후에서 겁을 먹었습니다. 그가 그것을 말할 수 있습니까? 나는 모릅니다. 우리는 그에게 마이크를 주었습니다. 그렇다면, 이것은 시간이 걸릴 것 같습니다, 맞죠? 이것은 MC를 하는 가장 나쁜 부분입니다. 이제 나는 당신 모두를 즐겁게 해야 합니다. 하지만 그것은 쉽습니다, 맞죠? 헤이, 감사합니다. 그는 나에게 뭐라고 말했어요, 선생님 당신의 이름이 뭐예요? Ari 아트. 테스트 테스트. 그의 이름은 Art입니다. 하느님. 이 친구는 정말 예술 작품입니다. 당신은 준비가 되었습니까? 내 생각에는 우리가 준비가 되었습니다, 친구. 당신의 가장 열정적인 박수. 우리를 시작합시다, 아기. 뭐가 일어났어요? 깨어나세요. 오세요, 아기. 나는 Jay입니다. 나는 Canva에서 일했습니다. 나는 Grab에서 일했습니다. 당신은 어떻게 지내십니까?

오늘, 나는 프롬프트에 관점이 없다는 것에 대해 논의할 것입니다. 당신은 합니다. 그래서, 배경을 위해, 맞죠, 나는 이것이 전파되는 것을 정말 지쳤습니다. 프롬프트는 없습니다. 하지만 단지 트릭을 피우는 것일 뿐입니다. 그래서, 나는 내 휴대폰에 내 메모를 가지고 있습니다. 내가 내 휴대폰을 보고 있다면, 그것은 내가 에이전트를 보고 있는 것이 아니라 내가 내 메모를 보고 있는 것입니다. 그래서 나는 이 설계 인플루언서, 이 지도자, 이 고권력 지위를 가진 사람들이 설계 과정에 대해 이야기하는 것을 정말 지쳤습니다. 하지만 그들은 수백만 사용자를 위해 뭔가를 하거나 전달하지 않았습니다. Jon Snow처럼, 그들은 아무것도 모릅니다. 그래서 나를 믿으세요. 그리고 여기서 실제로 수백만 명을 위해 뭔가를 구축한 사람들입니다. 이 문제에 대해 이야기합시다. 이런. 이런.

그래서, General Mills, 미국의 한 베이킹 회사는 1947년에, 그들은 케이크 혼합물을 출시했고, 사람들은 보통 그것에 대해 좋지 않은 반응을 했습니다. 그들이 단 하나의 추가 단계를 추가했을 때, 즉시 혼합물에 계란을 추가했을 때, 사람들은 뛰어들었습니다. 그들은 그들이 창조하고 있다고 느꼈고, 이것은 재미있습니다, 맞죠? AI도 마찬가지입니다. 나는 AI를 위해 설계하는 누구나, AI가 출력하고 그들을 도울 때, 사람들이 가치를 창조한다고 생각합니다, 맞죠? 이것을 IKEA 효과라고 합니다. AI가 실제로 협력할 때 그리고 파트너로서 행동할 때, 사람들은 뛰어듭니다. 그렇습니다, 이것은 당신이 보는 제품을 위해 재미있습니다. Canva, Google, Figma 또는 일반적으로든요. 당신은 사람들에게 AI를 사용하거나 편집하거나 당신과 함께 생성하는 선택권을 줍니다. 일부 사람들, 당신은 알다시피, 명백히 조금 주저합니다.

당신은 그들이 토큰을 사용해 보려고 하지 않는 것을 볼 것이지만, 이것은 재미있습니다, 맞죠? 오, 그것은 사라졌습니다. 그것이 좋기 때문입니까? 좋습니다. 너무 좋습니다. 좋습니다. 우리는 돌아왔습니다. 우리는 돌아왔습니다. 나는 그렇게 희망합니다. 활동적으로 유지하세요. 오, 우리는 끝났습니다. 이런 일이 일어날 때, 단지 그에게 큰 소리로 박수를 쳐서 어색함을 피하세요. 우리가 갑니다. 이것이 일어납니다. 아무것도 아닙니다. 그래서, 나는 계속할 것입니다. 우리는 괜찮습니다. 좋습니다. 그래서, 나는 AI와 어떻게 협력하는가? 대부분의 사람들은 AI와 어떻게 협력하는가? 나에게, 디자이너로서, 나는 그것을 나의 인턴으로 사용하고, 나의 아트 디렉터가 아닙니다. 그래서, 당신은 아마도 LinkedIn에서 이 영상을 보았을 것입니다. 이것은 재미있습니다, 맞죠? 음, 사람들은 토큰 최대화를 하고 있고 그들의 모든 이 토큰을 사용하고 있습니다. 이것은 분별없습니다. 음, 이것은 보통의 클라우드 코드와 동일합니다, 맞죠? 당신은 모든 토큰을 사용합니다. 당신은 화나고, 당신은 「아, 젠장」이라고 생각합니다.

「마치, 나는, 당신은, 당신은 내 모든 신용을 잃었습니다. 너무 비쌉니다. 왜 나는 구축해야 합니까? 그래서, 나는 대부분의 사람들에게 물을 것이라고 생각합니다, 맞죠? 당신은 의사 결정 권한을 인간 전문가에게 위임할까요 아니면 AI에게 위임할까요? 나는 당신이 실제 사람을 위해 설계할 때, 당신이 기술 거품 밖의 사람들과 이야기하도록 사람들을 격려한다는 것을 알고 있습니다. AI 사용에 대해 일반인들은 주저합니다. 그래서, 당신이 사람들이 실제로 덜 생각하는 데 소비하는 시간으로 프레임화한다면, 그러면 사람들은 AI를 사용할 가능성이 더 높습니다, 이것은 재미있습니다, 맞죠? 그들은 이 문제에 대한 연구를 했습니다.

사람들은 AI를 사용할 가능성이 더 높습니다, 음, 당신이 그것을 시간 손실로, 음, 그리고 일반적인 속도로 프레임화할 때, 그리고 우리, 우리는 그것을 했습니다, 맞죠? 그래서 나에게, 나는 Canva의 워크시트를 구축했습니다, 음, AI 전원 전자 스프레드시트, 다른 경쟁자들이 여전히 이 #error 태그를 사용할 때, 나는 그것이 재미있다고 생각합니다. 그것은 실제로 무엇이 정말 잘못되었는지 전달할 수 없습니다, 음, 당신이 전자 스프레드시트를 일일이 사용하는 일반인과 이야기한다면, 그들은 압도당할 것입니다, 맞죠? 그래서 Canva에서, 우리는 누군가를 위해 공식을 사용하기 쉬워집니다. 우리는 그들에게, 그리고 우리는 인간처럼 그들과 대화하여 수정을 제안하는 조언을 제공합니다. 이것은 그 자체로 재미있습니다, 맞죠? 이것은 내가 한 음성, 음, 조수 것도 동일한 실험입니다. AI는 행복한 길을 구축합니다, 음, 당신이 보는 바와 같이, 음, 사람들은 그것을 깰 것입니다. 그들은 상관하지 않습니다, 맞죠? 그리고 당신은 환경에 대해 제시할 수 없습니다, 당신이 밖에서 길 소음, 아기 울음소리를 처리하든, 맞죠? 이것은 불행합니다. 왜냐하면 나는 당신이 음성에 대해 구축했다면, 길을 나간 것의 비용이 너무 높다고 생각하기 때문입니다.

음, 당신이 전에 한다면, 일반적으로 그것은 하기가 어렵습니다. 그래서 AI는 모든 것을 해결할 수 없습니다. 그래서 나는 당신이 데이터 세트 밖에서 생각하도록 격려합니다, 맞죠? 나는 이 차트를 생각합니다 당신은 아마 많은 것을 봤을 것입니다. 그래서 당신이 설계할 때, 당신이 기업가 또는 설계자 또는 창의적인 사람 또는 개발자라면, 당신이 무엇을 가지고 있는지 생각하십시오. 창의성의 혁신 경쟁 우위를 운전하고, 누가 그것을 운전하는가? 설계. 설계는 항상 경쟁자에 대한 우위를 위해 이 가치를 운전했습니다. 그래서 제임스 다이슨은 또한 좋은 예입니다, 맞죠? 당신이 그의 이야기를 읽으면, 그는 5000과 100개의 진공청소기 프로토타입을 만들었습니다. 그는 한 사람이 그를 위해 벤처할 때까지 전화를 받지 않았습니다, 맞죠? Apple 키보드도 마찬가지입니다.

많은 사람들이 그것을 싫어하지만, 당신은 기억해야 합니다. 그들은 똑똑한 바로가기, 사람들이 말할 내용, 다른 나라, 다른 어휘도 나타날 것을 생각해야 합니다. 나는 그 팀이 Steve Jobs와 계속 반복하여 현재 상태에 도달했다고 확실합니다, 맞죠? 그들은 생각해야 합니다, 맞죠, 그들이 세상을 위해 설계하는 대상, 이 새로운 기능들. 그래서 데이터 세트 밖의 설계, 맞죠? 그래서 나는 느낍니다, 이것은 Josh Newton이 앞에서 말한 것과 관련이 있습니다. AI는 루프를 가속화합니다. 그것은 설계 공예 또는 전반적인 판단을 대체하지 않을 것입니다. 그래서 나에게, 맞죠, 나는 Canva의 설계자와 협력했습니다. 이런. 오 아니오. 다시, >>고전적. 좋아, 좋습니다. 헤이, 헤이, 헤이, 진정해, 진정해. 우리가 이를 처리할 수 있습니다. 그래서 내가 Canva에서 일할 때, 나는 기둥과 레이아웃을 설계했습니다.

제 친구 Simon Lynn에게 경의를 표합니다. 그는 대만에 있고, 전설적이며, 또한 이 프로젝트를 도왔습니다. 이것들은 복잡한 상호 작용입니다, 맞죠? 모든 사람이 이해하지는 않을 것입니다. 그래서 우리가 실제 사용자 및 실제 프로토타입과 깊이 있는 참여를 할 때, 우리는 데이터 세트 밖에서 생각해야 합니다. AI는 복잡한 상호 작용, 복잡한 제품을 해결할 수 없으며, 당신은 여전히 실제 사람과 통신해야 하며, 실제로 AI가 생성하거나 생각할 수 없는 것을 테스트해야 합니다. 워크샵에서 일하는 것도 마찬가지입니다. 음, 우리는 실제로 코드 템플릿을 구축했습니다. 이게 무슨 뜻일까요? 글쎄, 우리는 우리의 제품을 위해 코드 템플릿을 구축했고, 그것은 사람들이 Cursor, Claude로 들어가고 워크샵, 두뇌 폭풍에서 실제로 아이디어를 구축할 수 있도록 도왔습니다. 모든 사람에게 권한을 부여, 맞죠? 우리는 설계자로서 전반적으로 대화를 유지해서는 안 됩니다.

우리는 모든 사람들을 역량화하여 인공지능을 통해 그들의 아이디어를 가져오고 이를 구축하도록 해야 합니다. 그러면 우리는 프롬프트를 입력하고 현장에서 실제로 테스트할 수 있습니다. 이는 매우 중요합니다. 스마트홈과 음성도 마찬가지입니다. 화웨이가 스마트홈의 미래 방향을 보는 것이 매우 흥미롭습니다. 음성과 상황적 요소를 고려해야 하는데, 인공지능은 반응적으로 작동할 수 없기 때문입니다. 학습해야 합니다. 훈련받아야 합니다. 그렇다면 이 문제에 대해 어떻게 생각하고 일반인의 행동에 적응하는 지능형 시스템을 어떻게 소유할까요? 마지막으로, 당신이 실제로 살고 싶은 세상을 구축하세요. 디자이너, 개발자, 그리고 여기 있는 모든 분들, 특히 기업가 여러분, 맞죠? 사람들은 경험에 투자하기 때문에 디자인이 일을 추진하는 지렛대가 될 것입니다. 맞죠? Indigo 항공사의 최고기술책임자도 이것을 언급했습니다.

인공지능은 현재 매우 비싸지만, 직원을 고용하는 것이 더 저렴하다는 것은 흥미로운 말입니다. 특히 인공지능 시대에는 더욱 그렇습니다. 그래서 오늘 제 강연을 마치기 전에, 마지막으로 인기 있는 아이디어와 인기 있는 관점을 몇 가지 제시하겠습니다. 소셜 미디어에서 인공지능 디자인에 관한 쓰레기 정보를 꺼두세요. 솔직하게 말해서, 거기에는 많은 그런 내용이 있습니다. 당신의 네트워크와 원 밖의 사람들과 소통하세요. 일반인들이 현재 인공지능에 대해 상당히 두려워하고 있기 때문입니다. 물론 이는 이해할 만합니다. 괜찮습니다. 사용자는 당신의 제품이 더 나은지 여부를 신경 쓰지 않습니다. 맞죠? 그들은 당신이 경쟁사보다 더 나은 멋진 기능을 가지고 있는지 여부를 신경 쓰지 않습니다. 당신은 이 사람들을 위해, 그들의 필요를 위해 실제로 설계해야 하며, 상황 관련성을 유지해야 합니다.

나는 설계자들이 실제로 충분한 화면을 설계하지 않았다는 비난을 받았고, 인공지능을 사용하는 방법을 몰라서 나쁜 디자인 리더십으로부터 괴롭힘을 당했다는 너무 많은 이야기를 들었습니다. 맞죠? 누군가 내 일이 의미가 없다고 말했지만, 당신은 어떻게 생각합니까? 내가 설계한 제품을 수백만 명이 사용하고 있으니까 그들이 무슨 말을 하는지 모르겠어요. 그래서 솔직하게 말해서, 당신의 팀을 역량화하는 것이 중요하다고 생각합니다. 그래서 마지막에 여기서 언급되지 않은 포인트가 하나 더 있습니다. 크리스티나 코흘이 아르테미스 우주선을 탔는데, 명백히 달을 둘러싸고 있습니다. 그녀는 당신의 팀을 찾는 것에 대해 이야기합니다. 그래서 저는 당신이 당신의 팀, 당신이 여기에서의 네트워크를 찾을 것을 권장합니다. 역량화된 느낌을 받으십시오. 당신이 적응하고 협력하고 있는 인공지능 네트워크와 연결되어 있다고 느껴보세요. 왜냐하면 이것은 중요하기 때문입니다. 우리가 살고 싶은 세상에서 당신은 인공지능에 반대하지 않기를 원하기 때문입니다.

당신은 인공지능에 유창하게 이해해야 합니다. 그냥 쓰레기에 반대하세요. 감사합니다. >>박수. 쓰레기에 반대하세요. 당신들 중 얼마나 많은 사람들이 쓰레기에 반대합니까? 저는 당신에게 말합니다. 저는 반대합니다. 오. 정말로요? 당신은 다른 사람들을 좋아하나요? 그렇죠? 어쨌든, 어, 박수 부탁드립니다. 우리는 공동 진행자가 있습니다. 이것을 봐보세요. 우스만입니다, 여러분. 맞습니다. 우스만, 나보다 훨씬 더 젊습니다. 어, 그것이 무엇인지는 말하지 않겠습니다. 그는 지역 사회에서 매우 활동적입니다. 구축 중입니다. 당신이 마지막으로 구축한 것은 무엇입니까, 친구? >>내가 마지막으로 구축한 것은, 당신이 알다시피, 종교 앱입니다. 맞죠? >>당신이 구축한 것처럼. >>네. >>어, 내 앱은 전 세계 무슬림을 위한 것입니다. 당신은 어, 당신의 기도를 추적할 수 있고 꾸란의 모든 다른 수라, 우리 어의 성서입니다. 네. >>당신의 성경과 유사합니다. >>오, 이것은 정말 멋집니다. 당신이 이것을 구축하셨습니까? >>어, 네. Google AI Studio로 구축했습니다.

>>그냥 Google AI Studio를 사용하세요. 박수. 빌더처럼. 당신은 몇 살입니까? >>저는 13살입니다. >>그는 13살입니다. 뭐요? 이것이 미래입니다. 어떻게요? 마지막으로 한 가지 질문, 그들이 준비할 때. AI Studio로 구축한 경험은 어떻습니까? 당신은 단지 프롬프트를 하고 있습니까? 당신은 코드를 작성하고 있습니까? 이것은 무엇입니까? >>글쎄요, 당연히, 시작할 때, 맞죠, 나는 전혀 코드를 작성할 수 없었습니다. 실제로 사물을 파악하는 데 약 1년 또는 2년이 걸렸습니다. 네. 그리고 나는 결론에 도달했습니다. 코드 작성이 그렇게 어렵지는 않습니다. 당신은 단지 시간을 투자해야 합니다. >>맞습니다. 당신은 단지 시간을 투자해야 합니다. 좋습니다. 그렇다면 다음 연사를 소개하고 있습니까? 그렇죠? >>네. >>시작하겠습니다. 박수, 여러분. >>좋습니다.

이제 우리는 알렉스 리를 가지고 있습니다. 그는 샌프란시스코에서 싱가포르까지 왔고, 인공지능이 설계 시스템을 어떻게 필요로 하는지 소개하려고 합니다. 현재 사용자들은 AI Studio와 이 모든 것들을 좋아합니다. 디자인은 끔찍합니다. 지금 솔직하게 말하겠습니다. 우리는 사용자 브랜드와 일치하는 디자인이 필요합니다. 알렉스 리를 위해 박수를 쳐주세요. >>아, 당신은 마이크가 필요합니다. 죄송합니다, 여러분. 그가 마이크 없이 어떻게 강연할 수 있을까요? 알렉스, 다시 한 번, 여러분 알렉스 리를 위해 박수를 쳐주세요. >>감사합니다. 모두 감사합니다. >>좋습니다, 완벽합니다. 슬라이드가 여기 있습니다. 어, 네, 저는 알렉스입니다. Magic Patterns의 창립 엔지니어 중 한 명입니다. 실제로 나는 빠르게 투표를 하고 싶습니다. 정말 Magic Patterns에 대해 들은 사람이 있습니까? 손을 들어보세요. 아, 실제로 당신들 중 몇 명이 있습니다. 정말 멋집니다.

우리를 모르는 사람들을 위해, Magic Patterns는 몇 분 안에 아이디어에서 제품까지 구할 수 있는 인공지능 설계 도구입니다. 우리는 KPNG, RAMP 등을 포함하여 2,000개 이상의 제품 팀에서 사용되었습니다. 하지만 저는 주로 설계 시스템에 종사하고 있습니다. 인공지능의 세상에서 새로운 기능과 새로운 기능을 구축하는 것은 훨씬 쉬워졌지만, 우리가 여전히 직면하고 있는 어려운 문제는 일관성입니다. 그래서 저는 여기에 와서 설계 시스템이 과거에 필요했을 뿐 아니라 오늘날의 인공지능 세상에서 왜 중요한지 말씀하고 싶습니다. 그래서 시작하기 전에, 먼저 설계 시스템이 왜 필요했는지에 대한 역사를 이야기해봅시다. 그래서 모든 것 이전에, 세상 또는 웹은 황무지였습니다. 모든 페이지는 달랐습니다. 당신의 MySpace 페이지처럼 보였고, 모든 곳에 다른 위젯, 다른 버튼이 있었습니다.

설계자는 다시 구현해야 했고, 엔지니어는 다시 구현해야 했으며, 진정한 공유 시스템이 없었습니다. 이 혼란을 재조직하기 위해, 우리는 설계 시스템을 가지고 있었습니다. 이는 제품 팀이 사용할 수 있는 공유 언어입니다. 당신은 당신의 토큰을 가지고 있고, 당신의 색상, 타이포그래피, 간격을 나타냅니다. 브래드 프로스트의 원자 설계 덕분에, 우리는 컴포넌트에 대해 좋은 계층 구조와 명명법을 가지고 있습니다. 우리는 당신의 원자, 버튼, 레이블, 입력을 가지고 있습니다. 우리는 이 원자들로 구성된 분자를 가지고 있으며, 아마도 당신의 양식 모듈이나 검색 표시줄입니다. 그런 다음 우리는 더 큰 것을 만들기 위한 생물체 수준의 컴포넌트와 템플릿을 가지고 있습니다. 예를 들어 당신의 사이드바 또는 대시보드 레이아웃입니다. 그래서 약속은 간단합니다. 우리는 설계 시스템 덕분에 일관성, 속도 및 규모를 가지고 있습니다. 하지만 아마도 일이 좀 너무 일관되었을까요?

아마도, 당신이 알다시피, 설계 시스템에 새 버튼을 추가하는 데 오랜 시간을 보내는 대신에. 이제 관료주의가 있습니다. 당신은 팀에 물어봐야 하고, 나는 이 새 것을 이 레이아웃에 추가할 수 있습니까? 그리고 우리는 첫 번째 원칙에서 사물을 생각하지 않습니다. 이것은 우리가 사용자의 문제를 처음부터 해결하는 방법에 관한 것이 아니라, 우리가 우리의 설계 시스템 또는 도구 라이브러리의 컴포넌트를 사용하여 이 문제를 해결하는 방법에 관한 것입니다. 이러한 경직은 매우 도움이 되지 않습니다. 그래서 업계는 한 발 물러섰습니다. 설계 시스템이 아마도 좀 너무 강제적이었을 수도 있습니다. 그래서 사물을 규칙 집합이 아닌 프레임워크로 더 많이 생각해 봅시다. 이렇게 하면 당신은 그런 종류의 창의성을 가질 수 있지만, 당신의 일관성과 당신의 브랜드, 당신의 타이포그래피, 색상, 로고, 이미지 등을 보장하기 위한 보호막도 있습니다.

그래서 마지막에 우리는 평화에 도달했습니다. 우리는 창의적으로 구축하는 동시에 파괴적인 영향을 미치지 않는 방식이 있습니다. 맞죠, 친구. 지난 6개월 동안에도 내 워크플로우가 완전히 변했습니다. 나는 당신 각자에 대해 확신합니다. 나는 더 이상 코드를 작성하지도 않습니다. 나는 단지 에이전트가 나를 위해 쓰도록 합니다. 나는 설계, 제품 관리의 모든 사람에 대해 확신합니다. 모든 것이 변했습니다. 나는 이것이 흥미롭다고 생각합니다. 맞죠? 실현의 비용은 이제 기본적으로 무료입니다. 특히 당신의 회사가 이미 이 Opus 4.7 토큰에 대해 지불하고 있다면, 맞죠? 그래서 질문이 우리가 이것을 구축할 수 있는지에서 변경되었습니까? 구축하는 데 시간이 얼마나 걸리는가 하면, 우리는 실제로 이것을 원합니까? 우리는 이것을 추가해야 합니까? 우리는 이것을 유지하고 싶습니까?

이 새로운 기능이 내 설계 시스템에서 컴포넌트를 사용했습니까? 이 새로운 기능이 내 브랜드와 일치합니까? 그래서 그것으로, 우리는 인공지능이 우리를 위해 만든 모든 혼란을 가지고 있습니다. 우리는 설계 시스템을 만든 이유로 돌아갑니다. 특히, 우리는 그 보호막이 필요합니다. 그래서 이것이 인공지능 세상에서 무엇인가요? 당신이 알다시피, 이 종류의 배경이 없는 인공지능 세상에서, 당신은 특히 당신의 브랜드와 반드시 일치하지 않는 것을 가지고 있습니다. 맞죠? 물건이 환각할 수 있습니다. 당신은 환각하는 컴포넌트를 가질 수 있습니다. 당신의 브랜드 지침과 일치하지 않는 색상을 가질 수 있습니다. 전반적으로, 당신은 정말로 당신의 에이전트가 당신의 브랜드에 맞는 것을 구축하는 것과 일치하도록 하기 위해 그 기초와 배경이 필요합니다. 이것은 단지 당신의 Figma 모델이 아닙니다. 이것은 단지 당신의 Storybook도 아니고, 설계 MD도 아닙니다. 우리는 정말로 우리의 에이전트가 당신의 브랜드에 맞는 것을 구축하는 것과 일치하도록 배경이 필요합니다.

그래서 우리는 우리의 끝에서 해결책을 제시했고, 우리는 이것을 인공지능 원주민 설계 시스템이라고 부릅니다. 명백히, 보통 설계 시스템과 너무 큰 차이가 없지만, 핵심은 이제 우리가 이 설계 시스템이 의존하는 두 개의 기둥을 가지고 있다는 것입니다. 당신의 문서와 당신의 코드. 당신은 당신의 시스템 수준 규칙, 토큰을 가지고 있고, 내가 전에 언급했듯이, 당신의 색상, 타이포그래피, 간격을 가지고 있으며, 그 다음 당신의 컴포넌트인데, 특히 코드로 지원되는 것입니다. 왜냐하면 당신의 설계 시스템과 코드의 일치가 높을수록, 당신의 사용자가 실제로 보는 것에 더 가까워지기 때문입니다. 이것은 또한 에이전트가 소품, 변수, 그리고 이 컴포넌트를 직접 사용하는 방법을 이해하도록 허용합니다. 그래서 실제 예제는 어떤 모습입니까? 이것은 우리의 고객 Headway 중 하나입니다.

Headway는 사람들이 면허 치료사를 찾을 수 있도록 도와주는 정신 건강 플랫폼입니다. 그들은 이미 설계 시스템을 가지고 있으므로 우리는 그들을 위해 동기화를 도왔습니다. 우리는 그들의 문서와 코드를 가져왔고 내가 전에 언급한 동일한 구조로 생성했습니다. Storybook을 문서 출처로 사용하면 시스템 수준 규칙과 스토리 기반 컴포넌트 수준 규칙에 적합합니다. 그런 다음 그들의 실제 코드는 NPM 모듈로 섭취되거나 토큰에 대해 GitHub와 동기화되며, 내가 언급한 그 컴포넌트들입니다. 이것은 미쳤어요. 왜냐하면 현장에서 이것을 시연할 수 없기 때문입니다. 너무 오래 걸릴 수 있기 때문입니다. 하지만 차이는 명백합니다. 나는 미리 이것들을 생성했지만, 동일한 일반 프롬프트 「나를 위해 대시보드를 구축하세요」를 사용하면, 당신은 완전히 다른 것을 얻을 수 있습니다. 설계 시스템이 없으면, 당신이 얻는 것은 당신의 UI 작업을 할 수 있습니다. 맞죠?

또는 그것은 좋은 일반 SaaS 대시보드이지만, 아마도 당신의 브랜드 또는 제품과 일치하지 않을 것입니다. 그 설계 시스템 배경을 사용한 동일한 프롬프트로. 이것은 Headway의 브랜드와 매우 유사해 보입니다. 맞죠? 우리는 우리의 로고를 가지고 있습니다. 우리는 우리의 컴포넌트, 색상, 타이포그래피를 가지고 있고, 모두 함께 일치하고 있습니다. 이제 우리는 실제로 더 간단한 프롬프트임에도 불구하고 정말 가깝고 높은 충실도의 코드를 보낼 수 있습니다. 이제 이것은 또한 설계와 엔지니어링 인계가 어떻게 보이는지를 완전히 변화시켰습니다. 맞죠? 예전 세상에서, 나는 이 Figma 모델을 가지고 있었습니다. 엔지니어로서, 나는 그것을 살펴봐야 하고 내 Storybook을 확인해야 하며, 어떤 컴포넌트가 그것과 일치하는지 확인해야 합니다. 색상 토큰이 올바른지 확인해야 합니다. 맞죠? 이것은 어렵습니다. 나는 모든 것을 처음부터 구축해야 합니다. 하지만 이제 우리는 설계와 협력하지도 않습니다. 우리는 코드로 지원되는 프로토타입과 협력합니다.

그리고 이 프로토타입들이 내 실제 설계 시스템 컴포넌트를 사용하기 때문에, 나는 Cursor, Code 또는 Codex와 같은 것에 MCP를 통해 그것을 연결할 수 있고, 그냥 말하면, 오 프로토타입 도구, 설계 도구, 나에게 이 설계를 주세요, 이것에서 새로운 기능을 만드세요, 이 동일한 기초 기초가 두 코드베이스 모두 내 동일한 설계 시스템 컴포넌트를 사용해야 하며, 나는 더 높은 충실도를 얻을 수 있어야 합니다. 하지만 이 프로토타입들도 코드로 지원되기 때문에, 나는 그것을 역으로 할 수 있습니다. 나는 아직 모델에 있거나 코드 작성 세상에 있지 않은 기능을 가질 수 있고, 사람들은 항상 새 기능을 생성하고 있습니다. 지금 내가 할 수 있는 것은 그냥 이 코드를 가져가고 이 페이지를 가져가서 내가 쉽게 반복할 수 있는 프로토타입으로 변환하는 것입니다.

이제 이 MCP 왕복으로, 나는 이제 양방향으로 높은 충실도 전송을 가지고 있습니다. 에이전트가 발전함에 따라, 우리의 워크플로우도 발전합니다. 하지만 나는 우리가 아직 일치할 수 있는 정말 어려운 것이 기술이라고 생각합니다. 인공지능만으로는 기술을 대체하지 못할 것입니다. 왜냐하면 배경이 없으면, 당신은 위대한 제품을 오늘의 상태로 만드는 의도, 촉각, 그런 인간성을 가지지 못할 것이기 때문입니다. 하지만 설계 시스템은 여기에 그 배경을 추가합니다. 그래서 과거에 설계 시스템은 우리가 기술과 함께 구축하는 것을 도와주었지만, 오늘날 그들은 우리의 에이전트가 기술이 어떤 모습인지 이해하도록 도와줍니다. 그래서 이제 설계 시스템이 이제 그 어느 때보다 인공지능 세상에서 더욱 중요해진 이유를 이해하는 데 도움이 되기를 바랍니다. 감사합니다. >>정말 감사합니다, 알렉스. 미국에서 온 다음 연사 우. 네. 어, 음.

어, 다음 연사는 Magic Patterns가 아닌 Magic Path에서 온 사비나입니다. 어, 나는 이 친구들에게 좀 말했는데, 당신이 알다시피, 그들이 존재하고, 그들이 서로 쫓을 것이고, 하지만 나는 그들이 재미있을 것이라고 생각합니다. 하지만, 어, 네. 그래서 나는 사비나에 대해 작은 이야기를 말하는 것이 재미있을 것이라고 생각합니다. 어, 그녀는 실제로 화학을 공부했는데, 나는 믿습니다. 그렇죠? >>네. 하지만 지금 그녀는 디자이너입니다. >>그건 Breaking Bad 같은 건가요? >>Breaking Bad처럼? >>월터 화이트처럼? >>이것은 싱가포르입니다. 우리는 그런 식으로 말할 수 없습니다. >>죄송합니다. >>괜찮습니다. >>하지만 어쨌든, 어, 하지만 이것은 멋집니다. 나는 다시 어 당신이 무엇이든 배울 수 있고 무엇이든 될 수 있다고 생각합니다. 당신은 뭘 배웠습니까? >>없는 것도 없습니다. 나는 아무것도 배우지 못했습니다. 나는 0개의 학위를 가지고 있습니다. 나는 그냥 나는 교육받지 않았습니다. >>네. 그래서 때로는, 여러분, 당신은 무엇이든 할 수 있습니다. 아무도 당신을 막지 않습니다.

그냥 화학인이라면 디자인할 수 있습니다. 어, 그래서 이것은 사비나에 대한 작은 배경입니다. 우. 안녕하세요, 저는 사비나입니다. 저는 뉴욕 시에서 여기까지 와서 당신들과 이야기하고 있습니다. 나는 여기에서 흥분합니다. 저는 Magic Path의 디자이너입니다. 패턴 길이가 아닙니다. 밝은 모드, 어두운 모드 또는 밝은 모드. 어, 그래서 이것은 흥미롭습니다. 나는 실제로 워크숍을 열었습니다. 당신들 중 누군가 이틀 전에 참석했다면, 다시 안녕하세요. 어, 나는 내 강연을 완전히 다시 했습니다. 이 아침, 왜냐하면 나는 깨달았습니다. 오, 내가 대문자 E 엔지니어처럼 사람들과 이야기하고 있습니다. 그래서 이것은 당신을 위한 것입니다. 어, 당신이 일정에 볼 수 있다면, 내 강연은 설계자가 2026년 5월 설계 추세를 여기에 삽입해야 합니다. 어, 3월에 작성되었습니다. 그 당시 나는 생각했는데, Sherly, 이 공간이 너무 빠르게 발전하고 있습니다. 신이 알아요, 뭐든 말이에요. 맞죠?

내 강연을 제출하기 전에도 나는 기술이 일반적이지 않다고 생각했고, 음, 그것은 나중에 발전했습니다. 나는 그렇게 하지 않았습니다. 설계자가 코드를 작성해야 하나요? 물고기가 수영해야 하나요? 그건 안 돼요. 설계자가 설계해야 하나요? 이것은 실제로 좋은 질문입니다. 나는 이것으로 돌아갈 것입니다. 하지만 나는 지금 당신이 디자이너이고 코드를 불행히 만지고 있다면? 네. 좋습니다. 그 다음 내가 깨달았습니다. 기다려, 나는 올바른 청중에게 이야기하지 않고 있습니다. 엔지니어는 설계해야 하나요? 해야 합니다. 그래서 이 강연은 당신 이 책벌레들을 위한 것입니다. 음, 그래서, 어, 엔지니어링은 정말 내게 무섭습니다. 왜냐하면 div 블록이 무섭기 때문입니다. 하지만 당신이 div 블록을 상상한다면, 그것이 flexbox입니다. 당신이 flexbox를 할 수 있다면, 그것이 자동 레이아웃입니다. 그래서 약 90초 안에, 나는 당신이 내 일을 인수하기 위해 알아야 할 모든 것을 당신에게 가르칠 것입니다. 나는 당신이 내 일을 인수하길 바랍니다. 맞죠? 나는 피곤합니다.

그래서 당신이 이렇게 생긴 글꼴을 보면, 당신은 생각할 것입니다. 이것은 매우 깨끗하고, 매우 쉽게 읽을 수 있고, 매우 인간적입니다. 맞죠? 음, 나는 오늘 아침 프롬프트로 이것을 생성했습니다. 이것을 샌스 세리프 글꼴이라고 합니다. 이것은 매우 접근 가능하고 매우 인간적입니다. 당신은 아마도 모든 개발자 웹 사이트의 모달에서 이것을 본 적이 있을 것입니다. 당신이 알다시피, Linear Claw. 그들은 자신의 것을 가지고 있습니다. 그들은 비싼데, Inter은 정말 좋은 견고한 도구입니다. 사람들은 보통 자간과 자간만 조정합니다. 당신이 알다시피, 당신이 그 A 대 A를 본 적이 있다면, 그것은 기댓값 요소처럼입니다. 당신은 그것을 변경할 수 있습니다. 맞죠? 당신이 이 글꼴을 본다면, 당신은 생각할 것입니다. 「오, 나는 이제 기술적입니다. 나는 숫자를 봅니다. 나는 정말 과학적인 것을 봅니다.」이것을 고정폭 글꼴이라고 합니다. 각 경우 Blank mono, 맞나요? 이것은 정말로, 「오, 만약 내가 내 웹사이트에 들어가면, 기술 같은, 맞죠?」

그건 좋습니다.」당신이 이 글꼴을 본다면, 그리고 당신이 차이를 안다면, 주의가 필요한 전부입니다. 라테가 안에 있습니다. 음, 타임즈 로만, 좀 심각한 거 뭐든, 음, Anthropic은 내게 이것 전에 다섯 잔의 테킬라를 마셔야 하는지 묻는 것에 대답했습니다. 매우 권위적이고, 매우 전문적입니다. 이것을 세리프 글꼴이라고 합니다. 만약 당신이 3초 안에 우리가 차이를 가지고 있는 이유를 알고 싶다면, 세리프 글꼴은 언제, 어, 로마나 그리스 시대로 돌아가는 것처럼, 어, 사람들이 그들이 그려낼 것들을 그림으로 그리게 될 것입니다. 템플릿처럼. 이 작은 표시는 사람들이 그렸던 실제 유성펜 획에서 왔습니다. 그래서 그것은 어디서 온 것입니다. 이제 당신은 알고 있습니다. 좋습니다. 당신이 이런 것을 본다면, 셰이더, 상호작용하는 것들. 당신이 본다면, 와우, 그것은 정확히 어떻게 발생했습니까? 나는 WebGL을 모릅니다. 음, 네, 이것은 셰이더입니다.

당신이 알아야 할 전부는 당신이 unicorn.studio에 갈 수 있고, 이것을 마칠 수 있습니다. 당신이 실제로 그것 뒤의 수학을 알고 싶다면, 내 친구 Maxim의 블로그로 가세요. 그는 Linear에서 일합니다. 그는 대단합니다. 음, 그래서 당신이 알아야 할 전부가 있습니다. 그래서, 음, 내가 보자면 또 무엇이 있습니다. 여기에는 게이트키퍼가 없습니다. 당신은 생각할 것입니다. 「오, 나는 영웅 페이지에 있습니다. 이것은 Magic Path의 웹 사이트입니다. 당신들은 곧 볼 것입니다. 이것은 Cursor의 웹 사이트입니다. 그들은 정확히 이 영웅 애니메이션을 어떻게 했습니까?」추측해 봅시다. 친구? 네, 맞습니다. 당신은 그냥 코드베이스를 복제하고, 애니메이션을 집어넣고, 새 분기를 만든 다음, 「헤이, 이것을 멋지게 만드세요. 눈에 띄게 하세요.」음, 보통 사람들은 여기 자신의 제품 녹화를 가지고 있지만, 나는 이것을 옹호합니다. 왜냐하면 어, 당신은 좀 속도를 높이고 싶기 때문입니다.

당신이 알다시피, 누군가가 인공지능이 생성한 것을 기다리도록 할 때 관련해서는 예절이 있습니다. 어, 이것은 그냥 더 빠르고 당신은 정말 멋진 것을 많이 할 수 있습니다. 만약 당신이 내 프롬프트를 본다면, 나는 그냥 말할 것입니다. 이것을 눈에 띄게 하세요, 이것을 더 크게 만드세요, 10초 안에 이것을 팝아웃하게 하세요, 뭐든 상관없습니다. 좋습니다. 마찬가지로, 나는 또한 설계자에 대한 게이트키퍼가 아닙니다. 이것은 당신을 위한 것입니다. 당신이 웹 사이트에서 무언가를 본 적이 있고, 당신은 「나는 정확히 이것을 어떻게 했을까?」라고 생각하고, 당신은 우클릭을 하고, 당신은 검사 요소에 들어갑니다. 그 다음 당신은 계산된 레이아웃을 찾을 때까지 파고든 다음 그것을 음 Magic Path에 복사합니다. 당신은 곧 볼 것입니다. 네, 이것은 음 이 모든 것입니다. 내가 생각하는 것은 정말 흥미롭습니다. 엔지니어는 취향을 가지고 있습니다. 맞죠? 좋은 코드를 작성하는 것이 필요한데 약간 미세 조정하는 것 같습니다.

나는 설계가 엔지니어들에게 항상 검은 상자였다고 생각합니다. 그래서 그들은 깨닫지 못했습니다. 음, 당신도 이런 종류의 것에 취향을 가질 수 있습니다. 당신이 방금 본 모든 것이 그렇습니다. 그것은 2026년 설계자의 개괄입니다. 음처럼, 음, 나는 도구 모음을 논의하지 않았지만 좋습니다. 그래서, 나는 전환하려는 것은 우리가 오늘 설계와 작업을 어떻게 정의하는지입니다. 오늘의 설계, 많은 음 많은 이상한 어, 패턴이 있습니다. 우리가 장려하는 한 가지 행동이 있습니다. 당신은 반복하고, 페이지를 새로 고치고, 반복하고, 페이지를 새로 고쳤습니다.

당신은 좀 단일 뷰포트에 갇혀 있고, 당신이 버전을 보고 싶다면, 당신은 약간 뒤로 가기를 누르거나 무엇이든 이상한 춤을 해야 하고, 당신은 정말 아이디어를 가지지 못합니다. 당신은 좀 충분할 때까지 반복하지만, 당신은 정말로 멈추고 반성하지는 않으며, 와우, 아마도 이 반복이 그 반복과 좋은 무언가를 가지고 있을 수도 있습니다. 맞죠? 당신은 그냥 좀 앞으로 이동합니다. 어, 내성적이 아닙니다. 이것은 명백히 어 남성답지 않으므로, 음 예측할 수 있는 어 오, 그것이 무엇을 말했는지 어 설계의 미래가 얼마나 어려운가, 나처럼 일합니다. 당신이 알다시피, Magic Path에서 나는 많은 설계 도구를 보았습니다. 어 당신이 이것을 내보내야 한다고 하면, 어 뭐든지, 당신이 해야 하는 것처럼, 당신이 해야 하는 것처럼. 나의 주장은 그렇습니다. 당신들이 어떻게 설계하는지 나는 정말로 몰라요.

나는 정말로, 이것이 중요하지 않습니다. 음, 나는 당신이 현재 있는 곳을 충족시키는 당신들을 위해 최고의 도구를 제공할 수 있기를 원합니다. 당신의 설계가 반완성 Next.js 애플리케이션이든, Figma 파일에 있든, 당신의 머릿속에 있든, 당신의 팀원의 머릿속에 있든 상관없습니다. 모두 상관없습니다. 왜냐하면 음, 네, 나는 말하고 있습니다. 창의성은 어디에서든 올 수 있습니다. 나는 창의성이 어디서 오는지 말하려는 사람이 되고 싶지 않습니다. 그래서, 나는 Sher와 이야기하고 있습니다. 그녀는 실제로 3월에 이 강연을 초대했는데, 나는 말했습니다. 「헤이, 그냥 음 나는 무엇을 연설할지 알 수 없었습니다.」그리고, 말 그대로, 이것이 내가 그녀에게 말한 것입니다. 내가 그 날 이 슬라이드를 만들었던 것처럼. 그래서, 게으름 때문이 아니라 정확성 때문입니다. 그래서, 네. 좋습니다. 이것은 모든 사람이 기억해야 할 인용문입니다.

나는 이것이 이 어 회의의 전체 주장 같다고 생각합니다. 어, 큰 목소리로 읽겠습니다. John Collison, 그는 어 Collison 형제 중 하나처럼, Stripe의 일부입니다. 그는 말했습니다. 「당신이 자라면, 당신은 당신 주변의 것들이 항상 그곳에 있었던 것은 아니라는 것을 깨닫습니다. 사람들이 그들을 만들었습니다. 그러나 최근까지, 나는 모든 것이 얼마나 많은 회복력을 필요로 하는지 깨닫기 시작했습니다. 그 호텔, 그 공원, 그 철로, 세상은 열정 프로젝트의 박물관입니다.」그리고 나는 이것을 말합니다. 그냥 그래서, 당신이 알다시피, 어, 당신이 알다시피, 어떤 사람들은 skillmd 파일을 던지고, 그들은 좋아요 당신이 알다시피, 주머니에 감자튀김을 넣습니다. 뭐든. 하지만 나는 미에 있다고 생각합니다. 좀 이해하기에, 좋아요, 기다려, 내가 단지처럼 공원이 skillmd 파일이기 전에 나는 트위터에서 찾았습니다. 내 챗봇에서. 그 안에 무엇이 있습니까? 이런, 내가 모든 것을 원합니까?

마치 나도 정말로 좋아하는 것처럼, 네, 이것은 Airbnb의 설계 시스템입니다. 그러나 모든 것을 원합니까? 아닙니다. 당신은 좀 것을 미세 조정하고 싶습니다. 맞죠? 이것은 누군가가 당신에게 명백히 보지 않은 PR을 줄 때마다 유사합니다. 그들은 모든 코드 라인을 설명할 수 없습니다. 그렇게 말하지는 않지만, 당신이 알다시피, 다른 사람의 인공지능 쓰레기를 처리하는 것은 기쁨을 느끼지 않습니다. 나는 모든 사람이 이것에 동의할 수 있다고 생각합니다. 내가 보자. 좋습니다. 음, 이 모든 것이 그 이유는, 나는 내 마음의 밑바닥에서 이 모든 것을 말하고 있습니다. 음, 당신이 알다시피, 이 앞에, 설계자로서, 나는 인공지능 설계 스타트업을 했고, 나는 사람들을 설계하도록 가르쳤습니다. 어, 그래서 당신이 알다시피, 여기에 회사 빨래가 없습니다. 하지만 이제 기다려 있습니다. 젠장, 나는 더 부드러웠으면 좋겠습니다. 당신이 빨리 가고 싶다면 혼자 가세요. 당신이 멀리 가고 싶다면, 당신은 Magic Path를 사용해야 합니다. 그 다음 당신은 당신의 팀과 함께 사용해야 합니다.

엔터프라이즈 멀티 에이전트에서 사용하세요. 우리는 2일 전에 방금 이것을 출시했습니다. 이것은 Chloe Park입니다. 당신들 중 아는 사람이 있다면, 그녀는 대단합니다. 음, 그래서 당신은 Magic Path에서만 설계할 수 있습니다. 하나는 캔버스입니다. 나는 이것이 올바른 방법이라고 생각합니다. 둘은 여러 에이전트입니다. 당신이 알다시피, 당신의 옆 채팅 바, 음, 셋은 당신의 실제 엔터프라이즈 팀입니다. 그래서, 마케팅 사람들을 초대하세요. CEO를 초대하세요. 부엌에 요리사가 너무 많은 것처럼, 어떤 일이 일어나는지 봅시다. 당신이 알겠어요? 음, 좋은 일은, 당신이 알다시피, 나는 항상 cursor에 대한 모든 사랑과 codeex에 대한 사랑을 보고 있습니다. 나는 정말 경외감을 느낍니다. 좋은 소식은 당신이 실제로 기존 도구로 magic path를 사용할 수 있다는 것입니다.

그래서 나는 워크숍을 진행했고, 나는 cloud code를 사용했지만, 당신은 codeex를 사용할 수 있고, 당신은 Amazon IDE와 같은 무엇이든 사용할 수 있습니다. 나는 누군가가 그것을 사용하는 것을 본 것 같습니다. 그건 Kimmy인가? 또는 음, 어쨌든, 당신은 Magic Path를 이 다른 에이전트에 연결할 수 있고, 말할 수 있습니다. 음, 당신이 알다시피, 당신이 무리를 가지고 있다면, 당신이 아는, pro 구독 크레딧, 그냥 Magic Path에서 사용하세요. 당신이 더 많은 크레딧을 구매해야 한다고 느낄 필요가 없습니다. 나는 이전에 말했듯이, 우리는 당신이 지금 있는 곳을 충족시키려고 노력하고 있습니다.

음, 제 상사 Pietro는 정말 멋진 사람입니다. 혹시 Pro를 아시는 분이 있으면, 그는 이런 식으로 미친 사람인데요. 어쨌든 정말 훌륭한 비디오를 만들었어요. codeex를 사용하는 것을 보여주는 것처럼, 정말 놀라운 디자인을 만들 수 있습니다. 제 생각엔, 차세대 디자인은, 알다시피, 우리는 기술을 가지고 있고, 우리는 사람들에게 그것을 전달해야 합니다. 아니, 이것이 당신이 실제로 할 수 있는 방식인 것 같고, 예를 들어 엔지니어 설계라든지, 디자이너가 엔지니어와 더 잘 협력하는 방법을 배우는 것이죠. 음, 그래서 우리는 모든 기술을 가지고 있고, 할 수 있는 것처럼, 당신은 그것을 사람들의 얼굴 앞에 들이대고 말해야 합니다. 「어이, 어이, 알다시피, 이것을 사용해 보세요.」음, 어디서나 디자인할 수 있습니다. 실제로 누군가가 저한테 말했는데, 「아, 나는 Magic Path에서 내 휴대폰으로 디자인할 수 있으면 좋겠는데요.」저는 절대 그렇게 하지 않을 거예요. 왜냐하면 저는 그것이 너무 많은 인지 과부하라고 생각하기 때문입니다.

하지만 만약 당신이 Telegram이나 WhatsApp, 또는 다른 것에 연결하고 싶다면, 당신의 디자인이 천천히 형성되도록 할 수 있고, 나중에 확인할 수 있습니다. 그래서, 그것을, 음, 인식하세요. 그래서, 다시 한 번, 멋진 점은 디자인과 코드 사이의 루프를 닫는 것입니다. 음, 저는 여기에 없습니다. 아, 아니, 저는 가지고 있습니다. 저는 가지고 있습니다. 음, 하지만 기본적으로, 당신은 Magic Path 디자인을 가질 수 있고, 그것을 코드 저장소에 넣고, 다듬을 수 있습니다. 로컬 파일을 편집하더라도, 당신은 그것을 Magic Path로 다시 가져올 수 있어서, 당신은 항상 깨끗한 파일을 가지고 있습니다. 다시 한 번, 이 모든 것들은 실시간 링크를 가지고 있습니다. 그래서 당신은 Slack을 통해 보낼 수 있고, iMessage를 통해 보낼 수 있고, 잘 모르겠지만, 어쨌든. 음, 네, 그래서 음, 이것은 좀 내가 더 크기를 원하는 것 같기도 한데, 이것은 단지 내가 내 파일 주위에서 노는 것입니다. 마치, 음, 알다시피, 다시, 왜냐하면 그것은 브러시이기 때문에, 나는 당신이 예술을 만들기를 원합니다.

나는 당신이 프로젝트를 만들기를 원합니다. 아마도 절대 출시되지 않을 것들이지만, 최소한 당신은 자신에게 말합니다. 당신은 모든 것을 펼치는 것을 좋아하고, 그 다음 정말로 생각해 봤다는 것 말입니다. 그렇지 않습니까? 왜냐하면 나는 미래에 우리가 우리의 뇌를 조금 주름 잡히게 하는 무언가를 해야 한다고 생각하기 때문입니다. 내 것은 마치 팽창하는 것처럼 보입니다. 그래서, 음, 알다시피, 나는 예술 프로젝트를 가지고 놀고 있을 뿐입니다. 내가 넣은 것처럼, 나는 Twitter에서 일본 텍스처 팩을 샀습니다. 내처럼, 나는 그것을 내 것에 연결했습니다. 알다시피, 로컬이나, 음, 프록시 또는 내 외부 프록시에서, 그리고 나서 그것은 Magic Path에 정말 멋진 것들을 넣었고, 나는 그것이 랜딩 페이지나 다른 창의적인 노력에 사용되는 것을 볼 수 있습니다. 좋습니다, 그래서 내가 마지막으로 말하고 싶은 것은 아, 젠장, 음, 이것은 내 놀라운 팀입니다. 위대한 것은 혼자 만들어지지 않습니다. 두 번째 부분입니다. 우리는 주로 뉴욕시에 위치하고 있습니다.

혹시 그곳에 가시게 되면, 들러서 인사 나누세요. 우리는 맨해튼 다운타운에 있습니다. 정말 멋진 곳입니다. 좋아요, 그래서 이 사진을 찍어 두세요. 왜냐하면 어떻게 되었을까요? 모든 슬라이드가 거기에 있고, 권장 읽을거리도 있습니다. 「종이 없는 업무의 신화」입니다. 몇 가지 블로그도 있습니다. 알다시피, Maxim의 블로그가 거기에 있습니다. 당신을 위한 정말 좋은 자료들이 많이 있습니다. 나는 또한 모든 슬라이드를 가지고 있습니다. 이것이 완전히 정확한 것은 아니지만, 거기에 있습니다. 음, 내 이메일과 Twitter입니다. 거기에 트윗 해주세요. 혹시 음 실제로 뭔가를 만드셨다면, 당신이 나에게 DM을 보내셨다면, 나에게 DM을 보내세요. 또는 일반적으로 나에게 DM을 보내시거나, 나에게 이메일을 보내세요. 마치 나는 개인적으로 당신을 입사시키고 당신의 팀을 설정하는 것을 도울 것 같습니다. 네, 우리는 당신의 디자인 시스템을 호스팅할 수 있습니다. 나는 실제로 이것이 내가 받은 가장 큰 질문이라고 생각합니다. 그들은 마치, 「아, 내 디자인 시스템을 여기로 옮길 수 있습니까?」라고 말했습니다. 네.

음, 나는 그것이 끝이라고 생각합니다. >> 감사합니다, Sabina. >> Sabina에게 큰 박수를 드립니다. 모두 계속하세요. 네. 마이크를 잡으세요, 젊은이. 우리 음 당신들 중에 chat GPT나 Claude나 뭔가를 사용해서 이미지를 디자인한 사람이 몇이나 있는지 봅시다. 네, 많은 사람들이 있습니다. 좋아요, 이것은 대략 방의 10%입니다. 음, 나는 당신들 중 많은 사람들이 그렇게 하지 않는다고 생각합니다. 하나는 그것이 좀 >> 알다시피, 음, 우리는 좀 쓰레기가 무엇인지 알고 있습니다. 음, 또는 그것이, 그것이 실수합니다. 여섯 손가락, 그렇지 않습니까? 누군가 Katy Perry가 Met Gala에서 본 적이 있습니까? 알다시피 뜻입니다? 이것은 멋진 예술입니다. 어쨌든, 음, 이미지 생성은 로고와 같은 브랜드 자산이든, 음, 명함이든, 그런 종류의 것이든 간에, 항상 좀 도전적인 문제였습니다. 왜냐하면 우리는 쓰레기가 무엇처럼 보이는지 알지만, 게다가, 당신은 어디로 갔습니까? 아, 당신은 여기에 있습니다. 당신은 마이크를 얻었습니까? 가져가세요, 친구. 아니, 그들은 아직도 필요하지 않습니다. 가져가세요. 괜찮아요.

어쨌든, 이것은 비하인드 더 씬입니다. 어쨌든, 음, 이것이 거래입니다. 당신이 얻을 때, 당신이 얻을 때, 음, 나는 지금 들어갔습니다. 조금 기다리세요. 아, 저를, 우리는 이것을 사용해서 그녀를 소개할 수 있고, 그 다음 우리는 당신에게 마이크를 줄 수 있을까요? 감사합니다. 음, 어쨌든, 그래서 당신이 AI 모델에서 이미지를 얻을 때, 당신은 이미지를 얻습니다. 그것은 평면 이미지처럼, 알다시피, 하지만 만약 당신이 그래픽 디자이너라면, 당신은 레이어를 사용합니다. 당신은 이것을 알고 있습니까? 마치, 마치 당신이 배경과 전경과 다양한 레이어를 가지고 있는 것처럼. 그거, 만약 AI가 당신을 위해 이것을 할 수 있다면 그것이 얼마나 멋울까요? 당신에게 Figma가 준비된 것 같은 것을 주기, 당신이 사용할 수 있는 모든 레이어들. 이것이 내가 들을 준비가 되어 있는 것입니다. 나는 매우 흥분했습니다. 다음 연사는 누구입니까? >> Priya입니다. 그녀를 소개해, 친구. >> 네, 나 알아요. >> 괜찮아요. 그는 새로운 사람이지만, 우리는 훈련하고 있습니다. 우리는 훈련하고 있습니다. >> 좋아요.

그래서, 이제 우리의 다음 연사는 Priya가 될 것이고, 그녀도, 그녀도 샌프란시스코에서 싱가포르로 왔습니다. 이것은 17.5시간의 비행입니다. 그녀는 AI가 어떻게 당신의 디자인 파트너가 될 수 있는지, 정말 멋진 것들을 만드는 것을 도와줄 수 있는지 이야기할 것입니다. Canva처럼, 하지만 더 나아요. >> 나는 모르겠어요. 어쨌든, 그래서 그것은 무료입니다. 그녀에게 마이크를 주세요. 정말 멋집니다. Priya에게 박수를 드립니다. >> 좋은 저녁입니다. 음, 그 소개에 감사합니다. 나는 당신이 음, 나는 많이 설명했다고 느낍니다. 나는 말하고 싶었던 것 중 많은 것입니다. 음, 내 토크는, 나는 Leica의 공동 창립자이자 CEO입니다. 우리는 창의적인 AI 모델을 훈련하고 평가하기 위한 인프라를 구축하고 있습니다. 이것이 정말로 의미하는 바는 나는 하루 종일 이미지 생성 및 비디오 생성 모델을 향해 소리를 지르고 있다는 것입니다. 왜냐하면 그들은 우리의 프롬프트를 이해하지 못하기 때문입니다.

우리는 그들이 더 잘 이해하도록 하기 위한 인프라를 구축하려고 노력하고 있습니다. 음, 우리는 프롬프트로 넘쳐나는 문제를 피하고 싶습니다. 음, 나는 그가 이 질문을 했다고 생각합니다. 여기 몇 사람이 chat GPT나 나노 바나나를 사용해서 슬라이드, 프레젠테이션, 소셜 미디어 포스터를 생성합니까? 나는 누구도 손을 들지 않는 것을 보지 못했습니다. 당신들은 모두 거짓말하고 있습니까? 좋아요, 이제 더 많은 사람들이 손을 들고 있는 것을 봅니다. 그래서 분명히 당신들 중 대부분은 chat GPT나 나노 바나나를 사용해서 이미지를 생성하고 있습니다. 나는 음, 내가 오늘 하고 있는 일을 공유할 것이고, 당신들 중 많은 사람들이 아마도 내가 겪고 있는 일에 공감할 수 있을 것입니다. 음, 이것은 「악의 의상을 입은 프라다」 포스터처럼 합니다. 나는 음, 나는 Gemini에 물었습니다. 이미지 마스크를 금발 여성으로 바꾸어 달라고 음, 그리고 나서 이것이 그것이 나에게 준 것입니다. 그것은 괜찮습니다. 음, 나는 여전히 나 자신에게 어느 정도 인내심이 있습니다. 그 다음 나는 다시 프롬프트했고, 이것이 그것이 나에게 준 것입니다.

그리고 나서 일들이 더 이상해졌습니다. 이것이 내가 마지막으로 얻은 결과이고, 지금 나는 완전히 실패했습니다. 나 나는 좋아, 이것은 작동하지 않을 것입니다. 그래서 이것은 마치 내가 본 결과들이 점점 더 나빠지고 있는 것 같습니다. 그래서 우리가 Leica에서 하는 것은 좀 다릅니다. 그래서 만약 이것이 이 이미지이고, 그리고 이것이 내가 준 동일한 프롬프트이면, 이미지 품질을 변경하고, 금발 파란 눈을 가진 여성으로 채웁니다. 음, 그것은 모든 것을 레이어로 분리하고, 그 다음 그 레이어를 그 정확한 이미지로 채웁니다. 당신이 할 수 있는 로컬화된 편집의 수준은 미친 것입니다. 당신의 레이어가 공개되어 있다면, 각 레이어를 위임할 수 있다면, 당신도 텍스트를 이동할 수 있습니다. 당신은 여기서 무언가든 변경할 수 있습니다. 당신은 이것이 왜 이렇게 작은지 궁금해할 수도 있습니다.

글쎄요, 내가 생각하는 이유는 우리가 이것을 할 수 있다는 것입니다. 일부 이미지 생성이나 비디오 생성을 하는 회사들은 MP4나 PNG를 출력합니다. 그들은 동결된 파일 형식이고, 레이어가 공개되지 않으며, 모든 프롬프트 설계 상태가 재설정되고, 텍스트는 입력 매체가 매우 흥미롭지 않습니다. 많은 사람들이 그들이 원하는 것을 표현하는 방법을 모르기 때문입니다. 그래서 번역에서 많은 손실이 있고, 오늘 AI 멀티플레이어 경험이 없는 이유는 이 때문이고, 우리가 해결하는 방식은 정말로 이 레이어 수준의 편집성과 레이어 수준의 편집성을 하는 것입니다. 사람들이 것을 이동하도록 하는 것뿐만 아니라 레이어 수준의 편집성, 하지만 아마도 다른 전문화된 모델들이 당신이 다양한 레이어에 사용할 수 있는 것입니다. 텍스트 생성, SVG 생성, 사진 생성에 사용할 수 있습니다.

당신은 항상 모든 것에 하나의 거대한 모델을 사용할 필요가 없습니다. 당신은 왜 스타트업이 이 문제를 해결해야 하는지 궁금해할 수도 있습니다. 왜 큰 실험실들은 이미 해결하지 않았습니까? 정직한 대답은 데이터가 없다는 것입니다. 코드의 경우, 매우 많고 GitHub 저장소처럼 많이 있습니다. LLM은 텍스트 처리에서 매우 잘 수행합니다. 그러나 그래픽 설계의 경우, 당신은 이 세 거대한 회사만 있습니다. 그들은 모두 폐쇄된 정원입니다. Figma, Canva 및 Adobe는 수십억 개의 편집 흔적과 데이터를 소유하고 있고, 어떤 실험실도 액세스할 수 없고, 커뮤니티의 누구도 액세스할 수 없습니다. 그래서 우리가 스타트업으로 이 문제를 직면하기로 결정했을 때, 우리는 첫 번째 원칙에서 생각했고, 또한 시장에서 빠져 있는 것을 해결하기로 결정했고, 그것은 데이터입니다. 그래서 우리는 계속해서 수집했습니다. 초과 1.

500만 개의 계층화된 그래픽 설계 구성입니다. 그래서 이것은 이 중 일부가 오픈 소스된 것처럼 보입니다. 그래서 당신은 실제로 그것을 확인하러 갈 수 있습니다. 이것은 우리가 구축한 흥미로운 탐색기처럼 보입니다. 우리는 많은 다양한 설계 범주에서 데이터를 출시했고, Instagram에서 비즈니스 프레젠테이션에서 포스터에 이르기까지 50개 이상의 범주에서 말합니다. 각 데이터 포인트는 이미지가 어떻게 보이는지, 자르는 방법, 위치에 대한 여러 풍부한 주석이 있고, 의미론적이고 논리적 그룹이 있다면, 당신은 실제로 어떤 요소들이 함께 그룹화되어야 하는지 볼 수 있습니다. 그래서 당신은 AI 모델에 콘텐츠를 다시 흐르게 하는 방법을 가르칠 수 있거나, 종횡비를 변경해야 한다면, 그것은 정말로 배치를 계획하는 방법을 알고 있습니다. 이 모든 것들, 오늘의 모든 최첨단 모델은 능숙하지 않습니다.

그리고 당신은 이 데이터를 가지고 놀 수 있고, 이렇게 하는 방법 중 일부는 오픈 소스되었습니다. 그래서 당신은 또한 클라우드 에이전트에 많은 이런 구성 파일들을 기술로 제공할 수 있고, 그것은 훨씬 더 잘 수행되며, 당신은 또한 모델을 훈련하거나 그 위에 평가를 구축할 수 있습니다. 그래서 우리가 이 문제를 해결하는 방법은 당신이 오늘날 많은 생성 AI 모델에서 얻을 수 있는 한 번의 샷 출력이고, 그 중 일부 결과는 정말 인상적입니다. 하지만 당신이 「AI는 취향이 부족하다」와 같은 논평을 들을 때, 이것이 정말로 의미하는 바는 디자이너들이 세부 사항에 대한 집착입니다. 누군가가 직사각형의 모서리 반지름이 얼마나 되어야 하는지에 대해 생각하고 있습니다. 자르기 유형은 무엇이어야 할까요? 텍스트 상자의 여백 거리는 얼마나 되어야 할까요? 이것들은 수천 개의 작은 결정입니다. 설계를 향상시키는 원인.

그리고 AI 모델들은 이러한 작은 결정들을 어떻게 생각할지 잘 이해하지 못합니다. 그리고 여기 모든 작은 실수는 출력을 매우 텅 빈 것과 엉성하게 만듭니다. 그래서 우리가 대처하는 방식은 정말로 모든 것을 레이어로 분리하는 것이고, 각 레이어는 기업으로부터의 독점 데이터나 다른 곳에서 수집된 다른 데이터에서 매우 다르게 형성될 수 있습니다. 레이어 수준의 데이터는 매우 도움이 될 것입니다. 기업에서 사람들은 지출할 토큰이 무한하지 않기 때문입니다. 특히 마케팅 기능에서, 전자 상거래에서처럼, 당신은 특정 브랜드 지침에 맞는 배너를 생성해야 합니다. 이렇게 많은 다양한 국가에 걸쳐 말입니다. 동남아시아처럼, 수많은 언어가 있고, 당신은 텍스트나 특정 그래픽만 변경하고 싶지만, 다른 모든 요소는 그대로 유지합니다.

당신은 단지 이런 레이어들을 조작할 수 있기를 원합니다. 또는 때로는 당신이 카메라로 생성된 이미지를 인간이 쓴 텍스트의 어떤 부분과 결합하고 싶고 다른 픽셀을 AI 생성 것으로 채우고 싶습니다. 당신도 여러 별자리 모델을 조합할 수 있어야 합니다. 더 많은 모델이 나타남에 따라, 당신은 설계의 다른 측면을 다양한 모델에 위임하고 싶을 수도 있습니다. 이 아키텍처는 그것을 허용합니다. 왜냐하면 오늘날, 만약 당신이 한 번의 샷으로 모든 것을 완료하기를 원한다면, 그것은 창의적인 사람들을 위해 모델이 어떻게 작동해야 하는지에 대한 엔지니어의 생각입니다. 그리고 창의적인 사람들, 창의성은 본질적으로 증분적이고 반복적입니다. 당신은 몇 발 뒤로 물러나고, 그 다음 횡 방향으로, 그 다음 당신은 설계를 긁어내고 다시 시작하기로 결정할 수도 있습니다. 그리고 현재 모델들은 그것을 허용하지 않습니다.

저희는 또한 다중 신호 보상 학습 시스템을 제시했습니다. 이 설계는 인간의 선호도만을 사용하면 조작되기가 매우 쉽습니다. 특히 서로 다른 취향 표현을 갖춘 브랜드와 협력할 때, 부분적인 보상을 제시할 수 있기를 원합니다. 이러한 보상들은 인간의 선호도에 기반하고 있으며, 객관적인 보상으로 강화됩니다. 이러한 객관적 보상들은 결과물이 유효한지 그리고 특정한 설계 원칙들을 준수하는지를 측정합니다. 그런 다음 저희는 두 가지 모델을 갖고 있습니다.

하나는 인공지능 판사인데, 자신의 기준 위에서 지속적으로 자신을 업데이트할 수 있어서 좋은 것과 나쁜 것을 더 잘 구분할 수 있습니다. 그런 다음 그 업데이트된 인공지능 판사를 사용하여 당신의 생성기를 다시 훈련하면, 설계는 유통기한이 있으므로 계속 개선할 수 있습니다. 당신은 항상 정말 좋은 예시들을 공개하고 당신의 모델을 최신 상태로 유지하도록 훈련하기를 원하며, 또한 텍스트 기반 프롬프트를 초월하는 아키텍처를 구축해야 합니다. 이렇게 하면 훈련 루프의 일부가 될 수 있는 상호작용의 다양한 유형들을 캡처할 수 있습니다. 이것은 오늘날 현실이 아닙니다. 어떤 이미지 생성 모델을 평가할 때, 저는 절대 웃지 않습니다. 하지만 이 강연에서 당신이 얻고 싶은 것이 있다면, 그것은 제 슬라이드들이 모두 일관성이 없고 어디든지 흩어져 있다는 것입니다. 이것이 오늘날 인공지능 모델의 모습입니다.

Twitter 과대광고나 LinkedIn 과대광고가 무엇이든 간에, 모델들은 레이아웃 계획 측면에서 매우 형편합니다. 인간의 개입 없이 대규모의 시각적 일관성과 편집성을 획득하는 것, 특히 레이어 수준의 편집성은 매우 매우 어렵습니다. 따라서 관심이 있으시면, 이차원 코드를 스캔할 수 있습니다. 어 저희는 Hugging Face 링크, GitHub 링크를 가지고 있고, 저희의 오픈소스 데이터셋을 사용하고 싶으시면, 저희는 또한 그래픽 설계 워크벤치를 발표했습니다. 당신은 그것을 사용하여 당신의 클라우드 에이전트를 훈련할 수 있고, 어 또는 당신은 또한 그것을 평가로 사용해보기를 시도할 수 있습니다. 당신이 훈련 중인 내부 모델을 가지고 있거나 이 분야에 관심이 있다면 저희에게 연락해주세요. 감사합니다. >> 당신들은 모두 훌륭한 청중입니다. 당신의 연사들이 훌륭한 연설을 할 때 항상 그들을 위해 박수쳐주세요. 이런 일이 항상 일어나고 있습니다. 훌륭합니다. Priya를 위해 다시 한 번 박수쳐주세요, 여러분. 멋집니다. 정말 멋집니다.

저희의 다음 연사는 어 매우 멋집니다. 그, 그 사람은 놀라운 이야기를 가지고 있으며, 저희가 그를 소개할 때 당신이 듣게 될 이야기입니다. 어 저는 심지어 그를 소개할 생각도 없습니다. 저는 그가 지금 전문가라고 생각합니다. 당신들의 또 다른 진행자에게 박수를 보내세요. 여러분, Usman입니다. >> 감사합니다. 좋습니다. 그래서, 지금 저희는 저희의 어 다음 연사를 소개하려고 합니다. 그 분은 샌프란시스코에서 싱가포르까지 다시 한 번 먼 거리를 여행해왔습니다. 그 어 비행은 17.5시간이었으며, 그런데 말이에요. 어쨌든, 그는 여정에서 멀리 왔습니다. 영에서 영웅까지 말이에요. 그는 한때 해커 도미토리에 살았습니다. 어 구체적으로 말하면 옷장 안에서요. 어 그는 12세일 때 어 대학이 아니었어요 어 고등학교 중퇴생이었습니다. 지금 그의 회사 어 당신의 회사 이름이 뭐죠? >> Hyperspell입니다. 어 지금 그의 회사 Hyperspell은 그렇게 멀리 왔으며, 이미 670만 달러 이상을 모금했습니다. 67이 아니라요. >> 좋습니다.

이봐요, 진행자들을 위해 박수를 보내세요, 여러분. 가봅시다. 당신은 정말 훌륭한 일을 했습니다. 좋습니다. 여러분 어떠세요? AI 엔지니어의 마지막 날입니다. 끝까지 버티고 일을 일으켜봅시다. 이봐요 여러분, 저는 Connor Brennan Burke입니다. 저는 샌프란시스코에서 먼 거리를 여행해왔습니다. 17시간의 비행입니다. 저는 지금 극도로 시차 증상이 있지만 우리는 버티겠습니다. 좋습니다. 가봅시다. 좋습니다. 그래서 저희 Hyperspell은 회사 뇌를 구축합니다. 제가 오늘 여러분에게 말씀드릴 것은 회사 뇌를 구축하는 방법입니다. 맞습니다. 에이전트가 당신의 회사가 어떻게 작동하는지 정말로 이해하도록 하는 방법 말이에요. 그리고 이것은 작동하지 않습니다. 좋습니다. 그러면 이렇게 끝입니다. 좋습니다. 그래서 저는 이것이 우리가 오늘 다양한 연사들로부터 들은 주제라고 생각합니다. 음, 솔직히 말하면, 당신의 에이전트들은 무지한 천재들입니다. 맞죠?

그들은 그들처럼 어, 당신 알겠죠, 천재 학자이고, 박사이고, 약간 자폐적인 인턴이며, 절대적으로 영리하지만 당신의 회사에 대해 아무것도 모릅니다. 그들에게는 매일이 일의 첫날 같습니다. 그들은 맹목적으로 따르는데 어 그들이 읽은 모든 것이 뭐든요. 그들은 약간 순진합니다. 그들은 지시를 받으면 그냥 따라갑니다. 그래서 당신은 그들을 감독하기 위해 인간이 필요합니다. AGI에 도달하는 문제와 핵심은, 더 나은 모델이 아닙니다. 모델들은 이미 매우 똑똑합니다. 핵심은 올바른 컨텍스트를 얻는 것입니다. 당신의 에이전트들은 무지한 천재들이고, 컨텍스트의 부족이 그들이 일을 신뢰할 수 있게 완료할 수 없는 이유입니다. 좋습니다. 그럼 문제는 어떻게 이것을 해결하냐는 것입니다. 명백한 답은 커넥터들입니다. 맞죠? 우리는 모두 이것을 했습니다.

저희는 좋습니다라고 말했고, 저는 제 OpenClaw에 제 Slack, 제 클라우드 드라이브, 제 Notion에 대한 접근을 제공하겠습니다. 저는 Anthropic, Claude, ChatGPT의 커넥터들을 사용할 것입니다. 하지만 여기서의 문제는, 우리가 말했듯이, 에이전트들은 약간 순진해서, 그들이 읽은 모든 것을 사실이라고 생각하는데, 그런데 문서 자체가 실제로는 종종 사실이 아니라는 것이 밝혀졌습니다. 어 그래서 그들은 문서를 찾을 것이고, 그들은 수정사항을 놓칠 것이고, 그들은 낡은 구식 버전을 찾을 것입니다. 어 또는 두 가지 다른 출처가 있으면, 그들은 서로 충돌할 것입니다. 그들이 어느 것을 먼저 찾든, 그들은 그것을 사실이라고 해석할 것입니다. 같은 사람이 Slack, Gmail, Notion에서 언급될 수 있습니다. 그들은 이것이 같은 사람이라는 것을 깨닫지 못합니다. 그들은 하나의 Lisa가 아니라 다섯 명의 다른 Lisas가 있다고 생각합니다. 그리고 또한 시의성이 없습니다. 맞죠?

당신은 낡은, 폐기된, 구식 문서들을 찾을 것이고, 그들은 그것에 기반하여 작동하려고 시도할 것입니다. 음, 그래서 연결은 접근을 제공합니다. 하지만 이해를 제공하지 않습니다. 그래서 여러분, 저는 모든 사람이 일하고 있지 않다는 것을 알지만, 일하는 사람들, 당신은 새로운 일자리를 시작하고, 문서를 읽고, 그런 다음 마치 새로운 일자리를 시작했을 때 얼마나 자주 그렇게 하셨습니까? 「좋습니다. 이것이 우리의 전략이거나 이것이 프로세스입니다. 그런 다음 당신은 가서, 당신은 누군가와 이야기하고, 마치 좋아요. 오, 아니요, 그것은 이미 구식이 되었습니다. 그것은 더 이상 관련이 없습니다. 당신은 Bob과 이야기해야 합니다. Bob은 모든 것을 알고 있습니다. 이 사람과 이야기하는 것처럼요.」 이것을 겪은 사람이 몇 명이나 됩니까? 여기 거의 모든 사람이 겪었습니다. 맞죠? 그래서 이 일의 요점은, 에이전트들에게 커넥터들을 제공함으로써, 우리는 진실이 문서 안에 있다고 가정합니다. 하지만 일은 실제로 그렇게 작동하지 않습니다.

그래서, 우리가 「진실의 근원」이라고 부르는 것은, 실제로는 거의 절대 진실입니다. 정보가 생성되는 그 순간 그것은 구식이 되기 시작한다는 것이 밝혀졌습니다. 문서 자체는 지연 지표입니다. 당신은 조직 개편, 고객 예외 또는 새 배포를 가질 수 있습니다. 따라서 현실과 문서 사이의 거리는 점점 더 멀어지고 있으며, 문서를 최신 상태로 유지하기 위해 인간이 문서를 업데이트해야 합니다. 따라서 회사가 실제로 작동하는 방식은, 당신은 Slack 스레드, 회의, 이메일, 예외 및 모든 이런 것들이 일어나는 극히 혼란스러운 현실을 소유하고 있다는 것입니다. 그런 다음 당신은 이 문서를 소유하고 있습니다. 그래서 사람들은 일을 기록하려고 시도하지만, 우리는 모두 문서를 업데이트하고 기록하는 것에 서툽니다. 그런 다음 당신은 실제로 진실인 것을 소유하고 있습니다. 따라서, 우리가 방금 말했듯이, 실제 진실을 얻는 방식은 보통 누군가에게 묻는 것입니다. 맞죠?

당신은 당신의 상사에게 묻고, 당신은 약 5년을 머물렀고 모든 배경 정보를 가진 그 사람에게 묻습니다. 그래서, 인간은 이것을 이해하는 것이 좋습니다. 당신 알겠죠, 당신이 어떤 프로세스에서 얻는 어떤 문서도 맹목적으로 신뢰하지 마세요. 당신은 그 사람에게 묻지만, 에이전트들은 이렇게 하는 방법을 모릅니다. 그들이 읽은 것은 모두 그들이 진실이라고 생각합니다. 이것이 당신이 그들을 당신의 조직에서 마음대로 실행할 수 없는 이유입니다. 대규모로 에이전트들을 배포하려면, 우리는 그들에게 「진실의 근원」을 주어야 합니다. 그렇다면 이 문제를 어떻게 해결합니까? 당신은 「회사 뇌」를 만듭니다. 그래서 모든 조직은 에이전트들을 위해 하나의 「진실의 근원」을 제공해야 합니다. 한 개의 「회사 뇌」 말이에요. 지금 그것이 무엇입니까? 그것은 단지 커넥터가 아닙니다. 그것은 단지 여러 출처에 걸친 검색 증강 생성이 아닙니다. 그것은 자신감 있는 「진실의 근원」입니다. 그것은 누가 이 문서를 만들었는지 이해합니다.

그것은 이메일, Slack, 노트, 혼란스러운 회의의 스레드들을 모아서, 갈등을 떠올리고, 그리고 인식하고—좋습니다, 두 가지 다른 출처가 다른 것을 말했고, 우리는 그것들 사이에서 어떻게 해결합니까? 그것은 이유를 알아냈고, 에이전트들이 실제로 신뢰할 수 있는 「진실의 근원」을 만들었습니다. 그것이 당신에게 무엇을 줍니까? 그것은 당신에게 더 좋은 답변을 줍니다. 그것은 당신에게 일관된 에이전트를 줍니다. 그것은 당신에게 지속적인 지식을 줍니다. 그것은 당신의 조직이 인공지능을 배포할 준비를 갖추게 합니다. 많은 엔터프라이즈 인공지능 배포가 실패하는 이유는 그들이 에이전트들을 배포하려고 하지만, 에이전트들은 문서를 읽고, 그들이 작동할 수 있는 회사 뇌가 없기 때문입니다. 이것은 인공지능을 진정하게 작동하게 만들기 위해 우리에게 필요한 것입니다. 이제 여기 또 다른 미묘한 점은 우리는 배경이 인간에 의해 생성된다고 가정했지만, 이것은 더 이상 진실이 아닙니다.

전통적으로, 당신 알겠죠, 당신은 회의, Slack, 문서, 이메일에서 사람들이 있습니다. 하지만 지금 당신은 혼합 배경을 가지고 있습니다. 맞죠? 당신은 인간과의 회의를 가지고 있습니다. 당신은 또한 모든 에이전트의 프롬프트를 소유합니다. 당신은 또한 열린 배경 메모리를 가지고 있습니다. 당신은 또한 흔적과 추론을 가지고 있습니다. 이것도 배경입니다. 당신은 Claude Code를 사용하여 최종 결과물의 루프를 얻습니다. 이 모든 배경은 매우 유용합니다. 당신이 그것을 뇌에 넣지 않으면, 당신은 최종 결과물을 얻기 위해 많은 양의 배경을 놓칠 것입니다. 따라서, 우리는 모두 주로 인간으로 구성된 조직에서 혼합형으로 이동하고 있으며, 수년 안에, 대부분의 배경은 실제로 에이전트들에 의해 생성될 것이고, 이 모든 것은 뇌에 있어야 합니다. 이제, 당신은 이 뇌에 다양한 유형의 회사 지식을 넣어야 합니다.

안정적인 사실들이 있습니다. 예를 들어 법적 정체성, 당신의 조직 구조, 당신의 브랜드 색상 같은 것들이 있습니다. 그런 다음 프로세스 지식이 있습니다. 우리는 어떻게 온보딩을 합니까? 우리는 거래 검토를 어떻게 합니까? 우리는 어떻게 사건에 대응합니까? 그리고 또한 암시적 지식이 있습니다. 사람들의 머릿속에만 존재하는 것들 말이에요. 그래서 기억해주세요. 좋습니다. 이 고객을 어떻게 폐쇄하거나 더 나은 판매 전략이 무엇인지 또는 이 특정한 테스트는 불안정할 것입니다 또는 이 통합은 그렇게 잘 작동하지 않습니다. 이것들은 모두 암시적 지식입니다. 그것은 거의 작성되지 않으며, 또한 거의 당신이 그것을 작동하게 할 수 있는 「진실의 근원」에 있지 않습니다. 그리고 나서 마지막으로, 당신은 상태를 가진 현실을 가지고 있습니다. 그래서 당신은 미결 거래, 활성 사건, 오늘의 방해물을 가지고 있습니다. 회사 뇌는 이것들 각각을 가져야 하고 그들을 다양한 방법으로 저장해야 합니다.

진실의 근원을 찾기 위해서는, 당신은 사물이 진화하는 속도와 그 중심 위치가 무엇인지를 이해해야 합니다. 소규모 스타트업에서 대형 포춘 500대 기업까지 다양한 고객들과 협력한 경험을 바탕으로, 이 시스템을 실제로 구축하는 방식은 당신이 모든 데이터 수집을 시작해야 한다는 것입니다. 따라서 모든 진실의 정보 출처를 수집해야 합니다—당신의 Slack, 당신의 Gmail, 당신의 Notion, 당신의 GitHub, 지금 점점 더 자주, 우리는 또한 회의 녹음기를 가지고 있습니다. 당신은 또한 당신의 에이전트 추적을 가지고 있습니다. 맞죠, 에이전트가 생성한 컨텍스트 말이에요. 예를 들어, Meta가 이것을 시작하고 있습니다. Meta는 심지어 키 입력을 기록하고 있고, 어떤 사람들은 화면 녹화기를 가지고 있습니다. 당신은 이 모든 것을 임베드해야 합니다. 다음으로 당신이 해야 할 일은 컨텍스트 그래프를 만드는 것입니다.

컨텍스트 그래프가 무엇입니까? 그것은 조직 내의 모든 사실을 찾을 수 있는 하나의 그래프 엔티티이고, 그것이 언제 진실인지를 이해하고, 누가 그것을 만들었는지를 이해하고, 우리가 그것에 대해 얼마나 자신감이 있는지를 이해하고, 이 모든 것을 한 곳에 임베드합니다. 하지만 문제는, 컨텍스트 그래프와 일반적인 그래프 데이터베이스는 에이전트들에게 매우 좋은 사용자 경험이 아니라는 것입니다. 에이전트들은 그것들을 사용하기 위해 사후 훈련되지 않았습니다. 그들은 그래프 데이터베이스가 어떻게 작동하는지를 이해하지 못합니다. 따라서 실제로, 에이전트들을 위한 최고의 표현 방식은 파일 시스템입니다. 따라서 당신은 파일 시스템을 만듭니다. 예를 들어, 회사 수준의 데이터 안에서요. 당신의 회사에 누가 있습니까? 누가 잠재적 고객입니까? 누가 고객입니까? 당신은 당신의 결정들을 가지고 있습니까? 당신은 사건들을 가지고 있습니까? 그 아래에는 각 팀의 파일들을 가지고 있습니다. 그리고 나서 당신은 각 개인을 가지고 있습니다. 훌륭한 점은 파일 시스템이 보편적이기 때문입니다.

Cloud Code에서 이들을 사용할 수 있습니다. Cursor에서도 사용할 수 있습니다. open claw, nano claw, 내부 에이전트, 심지어 당신 자신의 개인 에이전트에서도 사용할 수 있습니다. 이제 뇌가 어떻게 구축되는지에 대해 논의해봅시다. 음, 첫 번째 단계는 컨텍스트 캡처입니다. 따라서 이런 모든 복잡한 소스들이 있습니다. 모든 역사 데이터를 섭취해야 하지만, 실시간으로도 이를 얻어야 합니다. Slack과 같은 것들은 실시간 컨텍스트를 가지고 있으며, 발생하는 중에 그것을 놓친다면 당신의 에이전트는 최신 정보를 가지지 못할 것입니다. 두 번째는 이를 정규화하는 것입니다. 따라서 우리는 당신의 이메일의 Lisa와 Slack의 Lisa가 동일한 엔티티라는 것을 이해하고, 중복을 제거하고, 이를 구조화하는 것에 대해 논의했습니다. 다음은 종합입니다.

따라서 데이터가 충돌할 때가 있고, 데이터가 충돌할 때, 실제로 인간에게 「좋아, 우리는 이 트레이드오프를 가지고 있고, 우리는 어느 것을 선택하는가」라고 말해야 합니다. 그리고 마지막으로 당신은 에이전트에게 이를 제공하고 진정한 단일 출처를 가집니다. 올바른 시간에 에이전트에게 올바른 컨텍스트를 제공하여 그들이 일을 완료할 수 있도록 합니다. 어려운 부분은 실제로 검색이 아니라 종합입니다. 모든 이 정보를 함께 모으는 것입니다. Karpathy의 제2의 뇌 개념에 대해 알고 있는 사람이 있나요? 좋습니다. 이미 제2의 뇌를 가지고 있는 사람이 있나요? 여기서 Obsidian을 개인의 진정한 출처나 제2의 뇌로 사용하고 있는 사람이 있나요? 따라서 이것이 바로 그것인데, 당신의 전체 회사, 당신의 전체 팀, 당신의 조직의 모든 사람과 당신의 조직의 모든 에이전트를 위한 것입니다.

당신이 취하는 모든 행동은 컨텍스트를 생성합니다. 인간이 실행하고, 에이전트가 실행하고, 작업이 완료되고, 새로운 컨텍스트가 생성됩니다. 이 모든 것이 추적된 후 종합되어 뇌에 들어가고, 그러면 향후 실행이 더 나아집니다. 이제 모든 Claude Code 인스턴스가 이러한 학습과 그 새로운 획득물을 취하고 전체 조직과 공유할 수 있다고 상상해보세요. 모든 영업 담당자가 더 나은 판매 방법을 배웠다면, 그것이 즉시 모든 사람과 공유됩니다. 이것이 가능하게 하는 것은 회사가 시간이 지남에 따라 재귀적으로 개선되는 것인데, 더 나아집니다. 모든 사람, 모든 에이전트가 계속해서 그것을 더 나아지게 하며, 다른 회의를 추가할 필요가 없습니다. 따라서 우리는 Hyperspell입니다.

우리는 모든 회사가 뇌를 필요로 한다고 믿습니다. 우리는 당신을 위해 그것을 구축합니다. 우리는 인공지능 에이전트를 위한 계약 기반 구조입니다. 만약 이것이 당신이 해결하고 싶은 문제라면, 당신은 나중에 나를 찾아야 합니다. 나에게 이메일을 보내거나 Twitter에서 나를 찾으세요. 감사합니다. >> 와. 정말 멋있습니다. 정말 천재네요, 친구. >> 이 사람을 위해 박수를 쳐줍시다. >> 그런 평범한 사람이 이런 걸작을 만들어낼 수 있다는 게 믿기지 않습니다. 음, 저는 모든 사람의 브랜드나 회사가 그처럼 뇌를 가질 자격이 있다고 믿습니다. 다음 연사를 환영해주세요. 그의 이름은 Hangong hang hong Lee이고, 그는 우리에게 우리가 모두 코드로 빠르게 변환할 수 있다는 것을 보여주려고 합니다. 당신이 그처럼 좋은 것을 할 수 있는 방법입니다. 감사합니다. Hangong을 위해 박수를 쳐줍시다.

오늘 나는 우리가 클라우드 에이전트로 빠르게 배포하기 위해 필요한 세 가지 기본 요소에 대해 이야기하려고 합니다. 맞죠? 모든 사람이 빠르게 배포하고 싶어합니다. 저는 뒤에 있는 사람들에게 말하고 있습니다. 우리는 자신을 복제하는 것처럼 할 수 있어야 합니다. 맞죠? 우리가 모든 사람을 어떻게 복제할 수 있을까요? 지금 바로요? 우리는 Light Sprint처럼, 우리는 현재의 YC 회사입니다. 우리는 세 명의 싱가포르 창업자이고, 우리는 호기심이 많은 세 명의 싱가포르 창업자입니다. 우리는 AI 시대에 일의 본질이 어떻게 될 것인지를 파악하려고 추구합니다. 맞죠? 일의 본질이 매우 빠르게 변하고 있습니다. 우리 세 명처럼, 우리는 제품 만드는 것, 엔지니어링 하는 것의 많은 경험을 가지고 있고, 우리는 그것이 무엇을 의미하는지 파악하려고 합니다. 맞죠? 따라서 지금 우리는 클라우드 에이전트 환경을 구축하고 있습니다. 맞죠?

우리는 팀들이 그들의 환경을 구축하도록 돕고 있으며, 그래서 그들의 전체 팀이 배포할 수 있고, 음, 기존 코드베이스에 변경을 할 수 있으며, 음, 안정적으로, 빠르게, 그리고 안전하게 할 수 있습니다. 맞죠? 클라우드 에이전트가 뭐죠? 맞죠? 이 슬라이드는 당신이 아마 알 수도 있습니다. 모든 사람이 클라우드 에이전트에 대해 이야기하고 있습니다. 오늘, 음, 어제 그리고 그 전날도요. 단순히 말해서, 대부분의 클라우드 에이전트는 대부분 호스팅 환경에서 나옵니다. 보세요, 그들은 기본적으로 클라우드에서 나온 것 같고 서비스인데, 보통은 회사에 의해 설정된 서비스입니다. 맞죠? 그들은 또한 비상호 작용적입니다. 따라서 당신은 그들을 시작하고, 그러면 그들은 돌아다니고, 무언가를 만들고, 그러면 그들이 만든 것을 반환합니다. 그들은 백그라운드에서 작동합니다. 때때로 그들은 백그라운드 에이전트라고 불립니다. 어떤 사람들은 클라우드 에이전트와 백그라운드 에이전트를 혼동합니다. 그들은 같은 것입니다. 그들은 단지 백그라운드에서 작동합니다.

빠르게, 빠른 것처럼 안내하는 것, 모든 사람을 우리가 여기에 어떻게 도달했는지의 장소로 데려가는 것입니다. 맞죠? 시작할 때, 우리는 컴퓨터 내부의 에이전트를 가지고 있었고 Cursor에서 우리가 입력하도록 도왔습니다. 나는 Cursor의 초기 사용자였고, 그것은 정말 재미있었습니다. command K와 모든 것처럼요. 그러면 우리는 코딩 에이전트 Cloud Code Cursor를 가지고 있었고, 다시 말해서 맞죠? 모든 사람이 우리의 컴퓨터 내부에 있었습니다. 그것은 우리가 일할 때 작동했습니다. 불행하게도, 우리가 멈출 때 그것은 멈췄습니다. 하지만 지금 오늘처럼 클라우드 에이전트처럼, 기본적으로 그들은 모든 곳에 있습니다. 그들은 항상 우리를 위해 일하고 있습니다. 음, 만약 당신이 그들을 제어하는 방법을 안다면요. 따라서 오늘 우리는 그것에 대해 말하고 있습니다. 약속은 훌륭합니다. 클라우드 에이전트처럼 당신의 조직을 재편성하기를 원합니다. 그들은 원합니다, 음, 당신의 백로그처럼 것을 구축하기를, 기본적으로 당신의 백로그를 완성하기를, 당신이 알 수 있는 것처럼, 그들은 무엇이든 구축할 수 있습니다. 음, 누구든 할 수 있고, 음, 것들을 함께 구성할 수 있습니다.

마지막 것은 Hyperspell이 하고 있는 것처럼입니다. 당신이 알 수 있는 것처럼, 그들은, 약속은 그들이 당신의 조직을 배우고 당신이 운영을 개선하도록 도와줄 것입니다. 이런 회사들 중 최고는 이미 클라우드 에이전트를 사용하고 있습니다. 따라서, 음, 그들은 세 배에서 다섯 배의, 개선처럼 얻었습니다. 때때로 그 이상도요. 음, 우리가 대화하고 있는 일부 초기 단계 회사는 그들을 매우 효과적으로 사용하고 있습니다. 많은 사람들이 그들을 보고 있습니다, 병합된 PR의 수처럼 좋아합니다. 방금 생성된 코딩 에이전트가 생성한 PR이 놀라운 속도로 증가하고 있습니다. 좋습니다. 따라서 지금, 클라우드 에이전트를 당신을 위해 작동하게 하는 방법은 당신에게 대항하게 하는 것이 아니라, 맞죠?

따라서 어, 많은 시간에, 당신이 아마 클라우드 에이전트에게 올바른 컨텍스트를 제공하지 않을 수도 있기 때문에, 어, 우리는 확인하고 싶습니다. 당신이 올바른 에이전트에게 올바른 컨텍스트를 제공하고 싶은 것처럼, 당신은 어, 그들에게 올바른 계획과 컨텍스트를 제공하는 것을 확인하고 싶습니다. 당신이 하고 싶은 또 다른 것은 어느 시점에서든 에이전트가 어디에 있는지 알고 있는지 확인하는 것입니다. 맞죠? 따라서 당신은 당신이 가진 클라우드 에이전트가 당신이 그들에게 하도록 요청한 일을 하고 있는지 확인하고 싶습니다. 당신은 에이전트가 어디에 고착되어 있는지 확인할 수 있습니다. 아니면 그들이 현재 고착되어 있는지 아니면 그들이 여전히 작동하는지 확인할 수 있습니다.

마지막 점은 엔지니어로서, 나는 어, 이것이 정말 중요하다고 느낍니다. 내 전체 팀이 나에게 코드를 제출하고자 한다면, 나는 그들을 검토해야 하고, 내가 그들을 검토해야 한다면, 나는 어, 코딩 환경을 위해 그것을 구축해야 하고, 그리고 나는 그것이 작동하는지 확인해야 합니다. 최악의 경우 그것이 작동하지 않으면, 그러면 나는 돌아가서 그들에게 그것이 작동하지 않는다고 말해야 합니다. 그들은 어, PR을 다시 구축해야 합니다. 이것은 나 스스로 할 수 있습니다. 맞죠? 따라서 Lightream에서, 우리는 세 가지 기본 요소로 생각합니다. 당신은 에이전트가 최고의 어, 것을 가지도록 적절하게 계획해야 합니다. 당신은 편성이 필요합니다. 당신은 에이전트가 어디에 있는지 알고 있는지 확인해야 합니다. 당신은 미리 보기가 필요합니다. 따라서 나는 어, 당신이 알고 있는 것처럼 우리의 애플리케이션으로 빠르게 뛰어들 것입니다. 나는 많은 것을 말했다고 느껴지지만 나는 아무것도 보여주지 않았습니다.

어, 지금 나는 어, 우리의 애플리케이션을 당신에게 소개할 것입니다. 오, 이것은 중간 부분입니다. 아, 예. 따라서 이것이 Lightprint 플랫폼입니다. 그리고 Lightprint 플랫폼은 기본적으로 당신의 팀이 협업하는 작업대입니다. 맞죠? 따라서 당신은 볼 수 있습니다, 어, 많은 보드와 많은 작업 같은 것들만 말이에요. 그러면 예, 당신은 측면에 계획을 볼 수 있습니다. 따라서 기본적으로 여기서 일어나는 것은 우리가 기본적으로 작업을 생성하도록 도움을 주는 것입니다. 따라서 우리는 프롬프트를 작업 형식으로 배치하므로, 기본적으로 코드베이스 배경으로 정착하고, 기본적으로 빠르게 어, 많은 정보로 당신의 작업을 풍부하게 할 수 있으므로, 코딩 에이전트가 어, 시작될 수 있습니다. 우리는 전체 코딩 에이전트 세트를 지원합니다. 우리는 cursor, entropic, codex를 가지고 있으며, 이것들은 단지 우리 시스템 아래의 도구들입니다.

그리고 기본적으로 우리는 우리 자신의 lights 클라우드 에이전트를 가지고 있으며, 그것도 그 주변의 도구입니다. 맞죠? 일단 클라우드 에이전트를 시작하면, 당신은 기본적으로 클릭하여 코드베이스로 들어가거나 내부의 코드로 들어갈 수 있습니다. 당신이 지금 보는 것은 계획 모드입니다. 맞죠? 우리는 이 화면을 변경하고 싶습니다. 그것은 좀 지루합니다. 그것은 AI가 아닙니다. 단지 기본적으로 당신의 최근 작업과 최근 계획의 목록일 뿐입니다. 맞죠? 따라서, 어, 우리가 어 지금 우리의 계획 모드를 사용해봅시다. 따라서, 우리는 이제 Gstack과 우리 자신의 Lightrint 계획 모드를 지원합니다. 맞죠? 따라서, 우리는 우리의 현재 light 계획 모드를 사용합니다. 그리고 기본적으로 그것이 하는 것은 어, 여기서 아이디어는 우리는 추천 옵션과 다른 것으로 다중 선택을 생성하고 싶습니다. 맞죠? 그것은 정말 우리의 가장 좋아하는 어, 사용 사례처럼입니다. 맞죠?

사람들이 좋아하는 것처럼, 모든 사람이 선택을 좋아합니다. 모든 사람이 좋아합니다, 어, 당신이 알 수 있는 것처럼, 어, AI가 그들을 위해 선택을 생각했습니다. 맞죠? 하지만 우리는 또한 시각을 좋아합니다. 맞죠? 우리는 좋아합니다, 어, 모델을 보려고, 따라서 우리는 또한 AI가 좀 제한되도록 하고, 어, AI는 좀 「사용자를 위한 좋은 경험을 만들어주세요. 그들에게 시각적으로 뭔가를 보여주세요」라고 말합니다. 맞죠? 따라서 우리는 사용자가 다른 옵션을 선택할 수 있도록 허용하고, 심지어 더 많은 옵션을 만들 수 있도록 합니다. 맞죠? 「좋아, 당신은 알 수 있고, 두 개의 다른 새로운 옵션을 주세요」라고 말한 다음 그 두 옵션이 함께 추가되고, 그러면 당신은 그것들 중에서 선택할 수도 있습니다. 맞죠? 따라서 우리는 정말 에이전트에게 하지 말라고 많이 말하지 않습니다. 하지만 우리는 기본적으로 그들에게 어, 어, 지침이 되는 원칙의 집합을 주었습니다.

따라서, 당신이 모든 선택을 한 후에, 당신은 실제로 완전한 어, 것처럼, 애플리케이션 어, 어, 당신의 기능이 어떻게 보일지 미리보게 됩니다. 때때로 그것은 좀 상호작용적입니다. 그것은 AI가 선택한 것에 따라 달라집니다. 그러면 여기에, 당신은 또한 우리의 경우 색상을 변경할 수 있습니다. 그 이후에, 우리는 완전한 어, 명세서를 생성할 것이고, 그것은 코딩 에이전트에게 보낼 것입니다. 맞죠? 그것은 우리의 머신에 그것을 놓을 것이고, 그러면 우리는 그것을 보낼 것이고, 그러면 어, 우리는 20분 후에 어, 정리를 확인할 수도 있습니다. 맞죠? 따라서 지금은 에이전트 선택과 배송처럼입니다. 네. 한 순간 이후에. 따라서 지금 완료되었습니다. 따라서 지금 우리는 실제로 우리 시스템의 미리보기 부분으로 들어갈 수 있습니다. 맞죠?

어, 그것은 애플리케이션을 보고 클릭할 수 있는 능력입니다. 그리고 이것은 기본적으로 일단 모든 소프트웨어 팩토리에 대해 설정됩니다. 만약 그들이 미리보기 모드를 가지지 않으면, 당신은 그들에게 물어봐야 합니다. 「어, 내 친구들, 나는 PR을 위해 만든 애플리케이션을 어떻게 미리볼 수 있죠」? 왜냐하면 그것은 너무 중요하기 때문입니다. 왜냐하면 누구도 작동하지 않는 PR을 검토하는 것을 싫어하는 사람이 아니기 때문입니다. 맞죠? 따라서 우리가 어, 전체 팀 멤버가 우리가 그것을 보내기 전에 애플리케이션을 미리볼 수 있도록 했습니다. 따라서 우리는 항상 light sprint를 사용하는 light sprint를 해왔습니다. 우리는 많은 성공을 얻었고, 평행한 것을 하는 것은 정말 재미있었습니다. 또한 약간 어, localhost에서 것을 하는 것. 따라서 우리는 주로 클라우드 에이전트입니다.

따라서 만약 어, 이동 버그 또는 당신이 알 수 있는 어, 작은 문제 같은 것이 있다면, 그 사람들은 우리에게 말합니다. 우리는 그것을 보드에 넣습니다. 그러면 우리는 클라우드 에이전트를 시작하여 그렇게 합니다. 맞죠? Lightrint는 먼저 클라우드 에이전트를 구축할 것입니다. 맞죠? 우리 어, 우리는 사람들이 어, 계획으로 계획해야 한다고 생각합니다. 당신은 우리의 시각적 계획 가이드를 사용할 수 있습니다. 맞죠? 그들은 편성해야 합니다. 그들은 미리보기 어, 그것은 너무 중요합니다. 맞죠? 따라서 이것이 나의 소셜과 light sprint 어, 링크입니다. 따라서 언제든 스크린샷을 찍고 그것들을 사용하세요. 매우 감사합니다. 이 어, 에 참가해주셔서, 우우. 감사합니다. Hang은 이런 멋진 제품입니다. 나는 그곳에서 데모를 봤습니다. 나는 「와우, 나는 어, 지금 완전한 제품 관리자가 될 수 있습니다」라고 했습니다. 맞죠? 그것은 너무 멋있었습니다. 많이 감사합니다. 당신은 지난 몇 번의 연설에서 내가 뭘 알아냈나요?

나는 어, 일관된 색상 구성을 알아냈습니다. 당신도 알아냈나요? 어, 맞죠? 그것은 어, 전부 매우 교활했습니다. 아니요. 어쨌든, 어, 아니, 아니, 존경이 없는 것이 아니라. 모든 사람이 이 주황색 것을 가지고 있습니다. 나는 「와우」라고 했습니다. 그것은 어, 어, 이것은 좀 재미있습니다. 그것은 좀 파생된 것입니다. 어쨌든, 어, 우리의 다음 대화입니다. 나는 이것에 흥분합니다. 왜냐하면 어, 우리는 조직자들을 위해 박수를 칠 수 있을까요? 그들은 정말 잘했습니다. 그들은 너무 잘했습니다. 정말, 정말 어, 정말 멋진 Sherry입니다. 모든 사람이 정말 잘했습니다. 왜냐하면 당신은 아마 이것을 알지 못할 것이기 때문입니다. 하지만 연설의 구조는 그들이 서로를 설정하도록 만듭니다. 좋습니다? 그것은 정말 멋있었습니다. 여기에는 자연스러운 순서가 있습니다. 따라서 이전의 연설은 어, 어, 어, 프로젝트 관리 측면에 대한 것이었습니다. 다음 연설도 그것에 대한 것입니다.

여기 뜨거운 점이 있을 수도 있습니다. 어, 당신은 알 수 있고, Louis, 우리의 다음 연사가 명확히 할 것입니다. 하지만 뜨거운 점은 미래에입니다. 우리는 아마 계획과 편성 쓰고 배포 에이전트만 할 수도 있습니다. 따라서 따라서 쓰고 배포하는 일의 코드가 이동했습니다. 우리는 그냥 계획자와 편성자가 되었습니다. 어, 그리고 그것은 좀 동물 같습니다. Lou는 우리에게 이야기를 할 것입니다. 그의 이전 업무에 관해서, 어, 견인력을 얻으려고 시도했지만 실패했습니다. 어, 당신이 알 수 있는 것처럼, 나는 이것을 말할 것입니다. W는 승리를 나타내고, L은 교훈을 나타냅니다. 따라서 그는 여기서 몇 가지 교훈을 배웠습니다. 어, 제발, Louie를 위해 가장 큰 박수를 주세요. 좋아. 우리는 어떤가요? 싱가포르? 우우. 가자. 오, 일요일 오후 5시. 에너지를 높게 유지합시다. 좋아. 마지막 것은 당신과 차가운 맥주 사이에 있습니다. 아마도. 어, 좋아. 나는 Louie입니다.

음, 나는 최근에 Vibe Camban이라는 초기 단계 회사의 공동 창립자가 아닙니다. 음, 나는 여전히 런던에서 AI tinkerers라는 인공지능 커뮤니티를 운영하고 있습니다. 따라서, 당신이 런던에 있었다면, 이벤트에 참가하세요. 당신은 정말 좋은 시간을 가질 것입니다. 음, 나는 오늘 말하고 싶은 것은 내가 왜 이 초기 단계 회사를 시작했는지, 그리고 내가 왜 그것을 닫았는지입니다. 기본적으로, 소프트웨어 엔지니어링의 업무는 인공지능이 생성한 코드에 대한 계획과 검토로 빠르게 진화하고 있습니다. 음, 나는 방에 얼마나 많은 사람들이 이것에 관심이 있는지, 또는 누가 초기 단계 회사 창립자인지, 또는 누가 그들의 삶의 어느 시점에서 초기 단계 회사를 시작할 것인지 모릅니다. 좋아, 좋아. 좋아, 나는 우리가 결국 회사를 닫은 몇 가지 이유를 논의하려고 시도할 것이고, 그리고 최후에 아마 이것에서 취하고 배울 수 있는 것입니다.

음, 나는 빠르게 우리가 무엇을 개발하고 있었는지 당신에게 말할 것입니다. 따라서 당신은 고대 역사로 돌아가야 합니다. 그것은 2025년 5월이었고, 나의 데스크톱이 이렇게 보이기 시작했습니다. 나는 많은 탭을 열었습니다. Claude Code가 방금 시작되었고, 나는 동시에 여러 에이전트를 실행하려고 시도했습니다. 나는 이것이 완전히 새로운 작업 방식이라고 생각하기 시작했습니다. 정확성이 100%에 도달하고 나는 더 이상 에이전트가 무엇을 하는지 봐야 할 필요가 없을 때 무엇이 일어날까요? 나는 그 인터페이스가 어떻게 보일지 상상하기 시작했습니다. 본질적으로, 그것은 소프트웨어 엔지니어링의 모든 부분처럼입니다. 코드 쓰는 부분을 제외하고.

음, 만약 당신이 우리가 debugger, 테스팅을 위한 UI, 네트워크 요청 등처럼 많은 소프트웨어가 있다고 생각한다면, 우리가 사용하는 대부분의 소프트웨어는 실제로 코드를 쓰는 데 사용됩니다. 따라서 만약 당신이 업무에서 그 부분을 제거한다면, 당신은 단지 계획 부분과 검토 부분만 남길 것입니다. 음, 당신은 그에 대해 완전히 다른 UI를 생각해낼 수 있습니다. 따라서 우리는 Vibe Canban을 구축하기 시작했습니다. 그것의 이름은 기본적으로 그렇게입니다. 그것은 kanban 보드인데, 당신은 티켓을 생성할 수 있고, Jira에서 하는 것과 비슷합니다. 음, 하지만 차이는 당신이 이 티켓들 중 어느 것이든 클릭할 수 있다는 것입니다. 그리고 재생 버튼을 클릭하면, 당신은 Codex, Claude Code, 또는 다른 여섯 개의 에이전트에서 그것을 실행하도록 선택할 수 있습니다. 일단 무언가가 실행을 완료하면, 당신은 그 작업을 검토하기 위한 좋은 인터페이스를 얻습니다.

명백하게 하는 방법 중 하나는 코드를 검토하는 것입니다. 음, 또 다른 방법은 어떤 것을 테스트하는 것입니다. 만약 그것이 웹사이트나 애플리케이션 같은 것이라면요. 음, 따라서 이 모든 것은 고대 역사입니다. 지금 그것은 명백한 것처럼 보입니다. 2025년 6월에, 그것은 명백하지 않았습니다. 우리가 당시에 한 많은 일들은 새로운 아이디어를 개척했습니다. 우리는 많은 것들을 시작했고, 나중에 애플리케이션에서 제거했습니다. 나는 보여주지 않았습니다. 따라서 이것은 그것을 구현하기 위해 약간의 실험을 필요로 했습니다. 그렇다면 우리가 왜 이렇게 했을까요? 좋아, 이것은 모든 것이 계획과 검토가 되고 있기 때문입니다. 음, 만약 당신이 GitHub Copilot이 2021년에 나오기 전에 소프트웨어 엔지니어링에 참여한 다른 작업에 대해 시간을 할당할 수 있는 방법에 대해 생각한다면, 우리의 시간 대부분은 IDE에서 보냈습니다. 신중하게 코드를 검토하고 어느 정도까지 코드를 보고 있습니다.

시간이 지남에 따라, 이 부분은 우리가 한 총 작업의 백분율로 축소되었습니다. 따라서 당신은 Copilot 순간을 얻습니다. 그러면 당신은 알고, 갑자기 자동 완성이 많은 코드를 완성합니다. 그러면 당신은 ChatGPT를 얻습니다. 당신은 코드를 붙여넣을 수 있고, 또 다른 함수를 얻을 수 있습니다. 그러면 당신은 그것을 다시 붙여넣거나, 또는 당신은 더 이상 Stack Overflow로 갈 필요가 없습니다. 이것은 좀 당신이 알 수 있는 것처럼, 반복 속도를 훨씬 빠르게 만듭니다. 그러면 당신은 2024년에 Cursor를 얻습니다. 그것은 거의 당신이 여전히 코드를 보고 있는 것처럼 보입니다. 하지만 당신은 한쪽에 이런 채팅이 있습니다. 그러면 결국 당신은 오늘 우리가 있는 곳에 도달할 것입니다. 그것은 Claude Code입니다. 솔직히 말해서, 나는 당신이 알 수 있는 것처럼 많은 vibe 코딩이 일어나고 있다고 생각합니다. 당신은 거의 어, 무슨 일이 일어나고 있는지 볼 필요가 없습니다.

음, 따라서 나는 우리가 코드를 쓰는 데 소비한 모든 시간을 되찾았는지, 아니면 그것이 개발 프로세스의 다른 부분으로만 이동했는지 여부를 포기합니다. 나는 답변이 둘 다일 수도 있다고 생각합니다. 나는 그것이 소프트웨어 엔지니어링의 전체 작업을 가속화했다고 생각합니다. 하지만 동시에 나는 이제 나는 나는 나는 내가 해야 할 작업에 대해 계획과 검토에 많은 시간을 보내고 있습니다. 이것은 달라집니다. 따라서 방법 중 하나는, 이것은 더 많은 실제적인 생각 방식입니다. 계획과 검토의 틀이 어떻게 유용한지를 설명하고, 나는 만약 당신이 에이전트를 매우 정확하게 하는 방법을 파악하면, 당신이 실제로 에이전트로 당신의 작업을 가속화할 수 있다고 생각합니다. 음, 코딩 에이전트 정확성을 얻는 방법 중 하나는 계획에 더 많은 시간을 소비하는 것입니다. 따라서 나의 의미는 무엇입니까?

내 의미는 이 가장 기본적인 버전은 Codex 또는 Claude Code 계획 모드처럼입니다. 따라서 그것을 사용하세요. 나는 그것을 절대 모든 것에 사용합니다. 음, 이것은 좀 더 복잡한 버전은 프레임워크를 사용하는 것입니다. 따라서 많은 훌륭한 spec-driven development 프레임워크들이 있으며, 나는 이미 논의되었을 것이라고 믿습니다. 음, 당신은 이 심문 방법을 사용할 수 있으며, 당신이 처리하는 작업에 대해 철저히 당신에게 질문하게 하여, 당신이 작업이 올릴 수 있는 모든 질문에 이미 답변할 때까지입니다. 하지만 핵심은 당신은 기본적으로 에이전트에게 어떤 것을 요청하기 전에 계획에 더 많은 시간을 소비하는 것입니다. 그 결과는, 대부분의 시간 당신의 에이전트는 정확하게 일을 완료할 것입니다. 아마 단지 한 번의 개정, 두 번의 개정.

또 다른 방식은, 나는 우리가 모두 좀 죄책감을 느끼는 것입니다. 당신은 계획에 많은 시간을 소비하지 않으면, 당신은 당신이 많은 검토가 필요하기 때문에 그 결과를 겪을 것입니다. 따라서, 당신이 알 수 있는 것처럼, 우리가 얼마나 많은 시간 느슨하게 정의된 특성을 던졌고, 당신이 알 수 있는 것처럼, 모델이 우리에게 돌려줬을 때 불평했고, 그것은 반반성 또는 완전히 포인트를 놓쳤습니다. 따라서 만약 당신이 계획에 더 적은 시간을 소비한다면, 당신은 모델과 더 많은 번 왕복할 필요가 있을 가능성이 더 높습니다. 나는 이 질문의 또 다른 측면은 실제로 업무의 유형입니다. 이것은 내가 정말 많은 논의를 본 것이 아닙니다. 이것은 좀 반은 완성된 생각입니다. 하지만 만약 당신이 엔지니어 업무의 유형에 대해 생각한다면, 기능 개발은 마이그레이션과 완전히 다릅니다.

따라서 이 모든 다른 업무 흐름은 계획에 많은 시간을 소비하거나, 당신이 알 수 있는 것처럼, 어, 아마 만약 당신이 그렇게 하고 있다면, 당신이 동시에 여러 에이전트를 실행할 수 있습니다. 한 번에 하나씩이 아니라, 더 많은 검토의, 더 많은 인간 참여의 업무 흐름을 좋아하면, 당신은 동시에 일들을 실행하지 않습니다. 그것은 아마 더 어, 더 많은 전면 업무 쪽으로 기울어질 것입니다. 따라서 당신이 알 수 있는 것처럼, 때때로 복잡한 전면 기능의 모든 요구 사항을 표현하기는 정말 어려울 수 있습니다. 많은 상호 작용이 있습니다. 많은 시각적 어, 당신이 알 수 있는 것처럼 전달할 필요가 있는 것들이 있습니다, 어, 반대로 백앤드를 하면, 당신이 논리를 설명할 때, 당신이 백앤드 논리를 설명할 때 공통 언어를 찾는 것이 훨씬 더 쉽습니다. 나는 발견합니다. 따라서 당신이 알 수 있는 것처럼 계획과 동시에 여러 개를 실행하는 것은 이 경우에 대해 나를 위해 더 잘 작동하는 경향이 있습니다.

따라서, 어, 요약하자면, 기본적으로 만약 당신이 계획에 5분을 소비한다면, 당신은 자신을 많은 검토 시간을 절약할 수 있습니다. 나는 항상, 당신이 알 수 있는 것처럼, 가능한 한 그 방향으로 슬라이더를 밀어붙이라고 제안합니다. 좋아. 그러면 우리는 역사를 사용하여 일들이 어떻게 진전했는지 알아낼 수 있습니다. 따라서, GitHub Copilot은 몇 초 후에 실행되어 당신에게 결과를 줍니다.

어, 당신이 알 수 있는 것처럼, 2024년 Cursor의 원래 버전은 결과를 산출하기 위해 30초 이상 실행될 것입니다. 우리는 Claude Code에서, 그것은 좀 평균 5분 후 실행되어 나에게 결과를 주는 것처럼입니다. 따라서 그것이 일어나는 이유는 도구 사용이 증가했기 때문입니다. 따라서 우리는 에이전트가 당신에게 응답을 주고, 에이전트가 유형 검사기를 실행하고, 그러면 당신에게 응답을 주고, 에이전트가 유형 검사기를 실행하고, 그러면 Playwright를 사용하고, 그러면 당신에게 응답을 줍니다. 당신은 추론할 수 있습니다. 당신이 알 수 있는 것처럼, 더 많은 일이 루프에 추가될 때. 기본적으로, 코딩 에이전트가 소비하는 시간은 증가하고 있습니다. 따라서, 우리는 코딩 에이전트 역사의 흥미로운 순간에 있습니다. 그것은 관찰하는 것이 편안한 범위를 정말 넘어서려고 합니다.

예를 들어, 코딩 에이전트가 20분을 실행할 때 당신은 어떤 일을 합니까? 당신은 그곳에 앉아 있지 않을 것입니다. 당신의 터미널을 보세요. 당신이 알 수 있는 것처럼, 엄지 손가락으로 원을 돌립니다. 내 의미는, 당신은 아마 미루고, 마지막에 Twitter 또는 다른 것과 같은 것으로 갈 것입니다. 하지만 나는 이것이 내 시간의 좋은 사용이라고 생각하지 않으며, 그리고 그것은 빠르게 지루해질 것입니다. 따라서, 당신이 알 수 있는 것처럼, 만약 나는 예측해야 한다면, 나는 1년 후에, 당신이 알 수 있는 것처럼, 우리는 아마 보고 있을 것이라고 말할 것입니다. 당신이 알 수 있는 것처럼, 이 것들은 30분을 실행하고 있습니다. 우리는 어, 많은 것을 평행화할 방법을 찾아야 합니다. 음, 좋아. 나는 아마 거의 시간이 없다고 생각합니다. 따라서 나는 몇 가지 빠른 관찰과 함께 정리할 예정입니다. 나는 기본적으로 나타나고 있는 업무는 관리적이라고 생각합니다.

따라서 소프트웨어 엔지니어 팀에서 당신의 업무가 많은 양의 코드를 작성하는 것이지만 많은 검토를 수행하지 않고 많은 아키텍처 작업도 하지 않으며, 더 상급 또는 기술 리드 역할과 관련된 다른 모든 것들을 알고 있다면 말입니다. 모든 다른 것들은 기본적으로 사라져야 하고, 코드 작성 부분만 남게 되며, 남은 것은 모두 전통적인 관리 기능이 될 것입니다. 네, 제 말은 우리가 개발자의 집중도를 최대화하는 경험과 인터페이스를 구축해야 한다는 뜻입니다. 따라서 그들이 계획과 검토와 같은 중요한 것들에 집중하도록 하십시오. 좋습니다. 저는 여기서 멈춰야 합니다. 시간이 없기 때문입니다. 하지만 정말 감사합니다. 여기에 올 수 있어서 기쁩니다. 감사합니다. 싱가포르. >> Louie를 위해 계속 박수를 보내세요. 여러분. >> 그것은 정말 놀라운 연설이었습니다. 저는 이제 관리자입니다. 우리는 다음 연사에게 넘기겠습니다.

저는 이제 관리자입니다. 안녕하세요. 우리는 어떻게 지내고 있습니까? 어떤 기분이세요? 뭐요? 당신은 왜 여기에 있는 거예요? 자거나 어쨌든 그가 뭔가 하고 싶어 하는군요. >> 좋습니다. 그럼 작은 게임을 해봅시다. 다음 연사가 누구인지 맞힐 수 있을까요? 잠깐, 아니요. >> 뭐요? >> 저는 뭔가를 말하는 게 아니야. 내 >> 맞힐 수 있을까요? >> 아니요. 다음 연사가 어디에서 왔는지 맞힐 수 있을까요? 어, 그런데 당신의 답변을 크게 외쳐 주세요. 당신의 선택지는 싱가포르입니다. 제 말은, 그는 당연히 싱가포르에 남아있고, 그 다음 스리랑카, 아니면 다시 샌프란시스코입니다. 답변을 외쳐 주세요. 자, >> SF. 그녀가 말했어요. 어디예요? >> 샌프란시스코. 얘, 우리는 샌프란시스코 기차 위에 있어요. 네. 샌프란시스코의 모든 사람을 위해 박수를 보냅시다. >> 샌프란시스코에서 온 사람이 너무 많아요. >> 그것은 그곳에서 일어나는 일이야. AI 엔지니어. >> 그것은 꿈이 현실이 되는 곳이야. >> 네. 네. 정말 훌륭한 질의응답이네요. 감사합니다.

감사합니다. COC를 위해 모두 박수를 보내세요. Usman, 우리의 다음 연사 >> Interphase에서 일하는 Harsha에서 나왔습니다. 그것은 AI 연구 랩실이며, 그는 전문적인 코딩 모델을 훈련하는 방법과 transformer를 넘어선 새로운 아키텍처에 대해 이야기할 것입니다. 따라서 Harsha를 위해 가장 따뜻한 박수를 보내 주세요. >> 감사합니다. 감사합니다. 그런데 좋은 소개였어요. 여러분 안녕하세요. 제 이름은 Harsha입니다. 저는 Interphase의 공동 창립자이자 CTO입니다. 우리는 transformer를 다시 발명하는 연구 랩실입니다. 오늘 저는 우리가 결정론적 개발자 작업을 위한 새로운 아키텍처를 구축하는 방법에 대해 이야기하고 싶습니다. 지난 20년 동안 인공지능은 경직된 기계학습 모델에서 더 큰 규모의 일반화 가능한 지능으로 발전해 왔다는 것은 비밀이 아닙니다. 이것은 오늘 인공지능 워크플로우를 수행하는 데 사용할 수 있는 것입니다.

우리는 구조화된 미세 조정 모델 구축에서 오늘날의 프롬프트로 발전했으며, 이를 통해 에이전트를 구축할 수 있습니다. 더 구체적으로, 2010년대 초부터 2015년까지 생각해 보세요. 당신은 은행입니다. 광학 문자 인식을 수행하고 싶습니다. 어떻게 처리하시겠어요? 대규모 데이터 세트를 구입하거나 획득해야 합니다. 그뿐만 아니라, 그 모델을 구축하고 배포한 다음 유지 관리할 재능 있는 팀을 구성해야 합니다. 이것은 수백만 달러, 심지어 수백만 달러까지 쉽게 소비할 수 있습니다. 대형 언어 모델의 발명 덕분에 우리는 프롬프트로 이것을 할 수 있게 되었습니다. 그러나 여전히 문제가 존재합니다.

환각의 문제입니다. GPT와 같은 모델이 이제는 거대한 멀티모달이지만, 우리는 Gemini를 통해 여전히 환각을 일으킬 수 있음을 알 수 있습니다. 이것이 발생하는 이유는 대규모 데이터 입력에 대해 결정론적으로 작동하기를 원할 때 컨텍스트 드리프트가 환각을 일으키기 때문입니다. Interphase에서 우리는 새로운 아키텍처를 설계하여 이 정확한 문제를 해결합니다. 우리는 훈련을 하므로 우리는 기계학습 모델과 대형 언어 모델의 유연성의 엄격성을 가져왔습니다. 그럼 우리는 어떻게 이 문제를 처리했을까요? 매우 특정한 작업을 위한 강력한 인코더로 기계학습 모델을 사용한 다음 대형 언어 모델을 사용하여 이것의 디코딩 단계를 만듭니다. 오늘 저는 이 모델이 할 수 있는 일들을 보여주고 싶습니다. 저는 빠르게 세 가지를 보여주고 싶습니다. 저는 그것에 대해 논의할 것입니다.

저는 그냥 빠르게 실행할 것이므로 우리는 그것에 대해 논의할 시간이 있습니다. 그래서 먼저 이것은 실제 파일입니다. 저는 여기서 데이터를 추출하고 싶습니다. 단순히 텍스트뿐만 아니라 위의 얼굴을 감지하고 싶으며 그의 나이도 계산하여 검증하고 싶습니다. 따라서 우리는 이를 위해 Interphase를 실행합니다. 이것이 Interphase가 우리에게 준 것입니다. 그것은 텍스트를 추출했을 뿐만 아니라 이미지에서 텍스트를 본 바운딩 박스, 실제 픽셀 좌표를 제공했습니다. 두 얼굴을 모두 찾았습니다. 더 중요하게는, 그것은 나이를 정확하게 계산하는 데 성공했습니다. 이것이 사실입니다. 이제 구체적인 모델 공급자 또는 광학 문자 인식 공급자를 보여드리겠는데, 그것도 광학 문자 인식을 합니다. 그것은 Redu입니다. 당신 중 많은 사람들이 그것에 대해 들었을 것입니다. Redu는 텍스트를 정확하게 추출했지만 다른 부분에서 실패했습니다. 텍스트가 어디에 있는지 감지하고 나이를 계산합니다.

이제, 이것이 발생하는 이유는 인코더가 더 강력하기 때문입니다. 다음 것을 진행해 봅시다. 우리는 이 특정 LinkedIn 페이지를 스크래핑하고 싶습니다. 놀랍게도 Gary는 아직 저를 따르지 않았지만 좋습니다. 따라서 우리는 Gary의 경험을 추출하고 싶습니다. LinkedIn은 그들이 가진 차단 및 봇 확인 때문에 스크래핑하기 어려울 수 있습니다. 저는 이 버튼 너머의 그의 경험을 추출하고 싶습니다. 이제 그것은 흥미로울 것입니다. 따라서 Interphase가 무엇을 했는지 봅시다. 그것은 우리에게 첫 페이지에서 본 것뿐만 아니라 그의 인턴십까지 계속 돌아갔습니다. 우리가 이것을 할 수 있었던 이유는 우리 자신의 스크립팅 모델 때문에 LinkedIn을 스크래핑할 수 있기 때문입니다. 마지막으로, 저는 PDF, 밀도 높은 PDF에 대해 논의하고 싶습니다. 죄송합니다. 어, 그래서 저는 한 번 더 실행해야 합니다. 따라서 이 화면에서 당신은 밀도 높은 PDF를 볼 수 있으며, 이것은 이 특정 모델의 연구 논문이어야 합니다.

우리는 이 전체 텍스트를 추출하고 힌디어로 번역하고 이 PDF의 문자 수를 계산하고 싶습니다. 그것이 실행되는 동안 저는 프레젠테이션으로 돌아가고 싶습니다. 그것은 시간이 필요하기 때문입니다. 그러면 그것에 대해 논의합니다. 따라서 이제 우리는 Interphase가 할 수 있는 것의 데모를 보았으므로, 저는 우리가 어떻게 그렇게 했는지에 대해 이야기하고 싶습니다. 저는 우리가 실제로 훈련한 것에 대해 이야기하고 싶습니다. 우리는 광학 문자 인식을 어떻게 수행합니까? 그 전에, 나는 우리의 지위를 보여주고 싶습니다. 당신의 화면에서. 이것은 M OCR bench이며, 이것은 연구 논문뿐만 아니라 복잡한 필기, 대규모 다국어 광학 문자 인식을 위한 복잡한 파일을 처리할 때 모델이 얼마나 잘하는지 알려줍니다. Chundra OCR과 같은 전문적인 모델과 Redu와 같은 특정 공급자와 비교해도, 우리는 1위입니다. 이것은 당신이 본 예제이며, 이것은 당신이 본 출력입니다.

무대 뒤에서 일어나는 것은 이 이미지가 우리가 훈련한 인코더에 입력되며, 이것은 텍스트 영역이 어디에 있는지 알려주는 CNN 스택입니다. 각 텍스트 영역은 자르기 위치가 됩니다. 따라서 텍스트가 있는 곳에서 이미지를 자르고 디코더에 입력하여 출력을 생성합니다. 이제 이것은 신뢰도 점수를 제공합니다. 이것은 바운딩 박스와 메타데이터를 제공하며, 단순한 텍스트가 아니라 실제로 신뢰할 수 있습니다. 우리는 더 나아가서 이 정보를 더 큰 모델인 디코더에 입력할 수 있으며, 우리도 구조화된 출력을 얻기 위해 그것을 조건화했습니다. 이것이 나이 방면에서 나온 것입니다. 정보를 얻은 다음 그 위에 조건을 지정합니다. 이것이 OCR입니다. 이제 물체 감지로 돌아갑니다. 얼굴을 감지하는 데 어떻게 성공했을까요?

이제 이것은 자연언어를 사용한 객체 감지입니다. YOLO 모델은 좋지만 훈련된 특정 객체만 감지합니다. 우리는 자연언어 객체 감지에서 1위입니다. 이것은 프롬프트를 입력한다는 의미입니다. 이 방을 예로 들어봅시다. 저는 제 앞에서 본 것의 그림을 제공하고 검은색 티셔츠를 입은 모든 사람을 감지하라고 말합니다. Interface는 이것을 할 수 있었습니다. 이것은 복잡한 일입니다. 우리는 이것을 어떻게 할 수 있었을까요? 따라서 당신은 같은 이미지를 가지고, 텍스트 인코더가 있어서 텍스트 방면을 인코딩하고, 사용자가 원하는 것을 이해합니다. 당신은 이미지 인코더가 있어서 이미지의 위치 방면을 이해하거나 표현하며, 그 후 대조 분할을 만듭니다. 이것은 픽셀을 서로 더 가깝게 당기는 것을 의미하며, 당신이 정확하게 객체를 감지할 수 있게 합니다.

만약 당신이 이 정보를 더 활용한다면, 당신은 이제 이 픽셀들을 분할할 수 있습니다. 같은 것—이미지 인코더, 프롬프트 인코더, 그 후에 당신은 모든 픽셀을 분류하여 잠재적 마스크를 주는 마스크 디코더를 가집니다. ASR 멀티모달은 거대한 일입니다. 많은 모델이 기본적으로 음성을 지원하지는 않으며, 저는 오늘 그것에 대해 이야기하고 싶습니다. 우리는 가장 빠른 ASR 모델 중 하나이며, 우리는 또한 각 오류당 가장 낮은 VR를 가집니다. 그래서 우리는 어떻게 이것을 했을까요? 경보 형식의 오디오를 제공할 때, 우리는 먼저 음성이 어디서나 발생하는지 감지한 다음 그 오디오 조각들을 자릅니다. 따라서 우리는 청크를 얻고, 그 후에 이러한 청크를 사용하여 인코더에 음성 특징을 추출하며, 이 인코더는 또한 특징 추출 임베딩을 위해 훈련됩니다. 이제 이 임베딩은 클러스터링에 사용됩니다.

클러스터링을 통해 우리는 특징을 그룹으로 분할할 수 있으며, 이것은 우리에게 dization 출력을 제공합니다. 따라서 이제 당신은 어느 오디오가 어느 발화자에 의해 생성되었는지 알고 있지만, 텍스트는 다시 인코딩 부분에서 나오며, 당신은 오디오를 스펙트로그램으로 변환합니다. 스펙트로그램은 기본적으로 오디오의 시각적 표현이며, 그 후에 당신은 그것을 프레임으로 사용하여 텍스트를 생성하거나 분류합니다. 따라서 발음이 무엇이든 간에 그것은 특별히 텍스트로 분류됩니다. 따라서 다음 것으로 넘어가기 전에, Interface가 번역을 위해 제공한 것을 봅시다. 따라서 이것의 경우, 당신은 Interface가 모든 텍스트를 성공적으로 추출했고 힌디어로 번역했을 뿐만 아니라 그렇지 않아야 할 곳에서 관련성과 안전성을 유지했음을 볼 수 있습니다. 예를 들어 그것은 주소를 번역하지 않았고, 저자 이름을 번역하지 않았으며, 또한 문자 수를 올바르게 계산했습니다.

이제 우리는 이것을 Claude 4.7 Opus와 대조합니다. Claude가 무엇을 할지 봅시다. 우리는 그것에게 세 번 시도할 기회를 주었고, 이것이 제가 이것으로 돌아온 이유입니다. Claude는 세 번 모두 실패했습니다. 이것은 타임아웃 때문입니다. 하지만 그것이 할 수 있었더라도, 이것이 장기 작업이라면, 다국어성에 문제가 있을 것이며, 특히 남아시아 언어에서 그럴 것입니다. 이전으로 돌아가봅시다. 따라서 우리는 세 가지를 보았습니다—비전, 오디오 및 텍스트. 이 세 인코더를 사용할 때, 우리는 같은 디코더와 함께 작동하도록 이 어댑터들을 훈련합니다. 따라서 당신은 정확한 데이터를 얻지만 당신은 그 데이터가 어디서 나왔는지 알 수 있습니다. 당신은 이러한 방식으로 멀티모달 문제를 해결할 수 있습니다. 오늘 저는 내가 방금 이야기한 세 모달에 대한 우리의 데이터를 보여주기에 매우 흥분했습니다.

우리는 이것들을 대조합니다—우리는 Interface를 당신이 생산에서 통상 사용하는 모델과 대조합니다. 이 모델들은 경제적이고 한 번에 작업을 완료할 수 있습니다. 하지만 우리는 결정론적 작업을 위해 대조합니다. 즉, 하나의 출력만 있는 작업입니다. 이미지를 보면 제 이름은 마법처럼 바뀔 수 없습니다. 그것은 여전히 hersa가 될 것입니다. Yoan, 저와 제 팀은 지난 약 1년 동안 우리가 특정 작업 모델을 어떻게 구축하는지에 대해 연구해 왔습니다. 우리는 같은 일을 했습니다. 우리는 작은 언어 모델을 선택했습니다. 우리는 대규모 데이터 세트 획득에 많은 비용을 들였고 우리는 계속해서 결정론적의 같은 문제에 직면했습니다. 모델이 환각을 일으킵니다. 이것이 우리가 회의실로 돌아가야 하고, 아키텍처를 다시 설계하고, 다시 생각해야 한다고 생각한 곳입니다. 우리는 데이터가 병목이 아님을 관찰했습니다.

아키텍처가 바로 그것입니다. 이것이 Interface가 해결해야 할 문제입니다. 마지막으로, 이렇게 놀라운 청중 앞에서, 그리고 이렇게 아름다운 국가 앞에서 발표하는 것은 정말 영광입니다. Interface에 감사합니다. 솔직히 말해서, 그 벤치마크들은 깊은 인상을 남겼습니다. 감사합니다. 그것은 정말 믿을 수 없었습니다. 어, 얼마나 훌륭한 벤치마크였나요. 어때요, Usman? >> 안녕하세요. >> 진행 상황은 어떤가요? >> 좋습니다. >> 여러분, 진행 상황은 어떻게 되나요? >> 당신 알아요, 저는 맹세합니다. 당신들은 청중으로서 저를 Michael Scott처럼 느끼게 합니다. 당신들은 《오피스》를 봤어요. 당신들은 제 의미를 알고 있나요? 저는 여기 있습니다. 저는 당신들을 즐겁게 해주고 있나요? 당신들은 마치 「아니, 저는 집으로 돌아가려고 합니다.」 집으로 돌아가지 마세요. 지금은 아직 때가 아닙니다. 좋습니다. 저는 당신들이 영감을 받기를 원합니다. 당신들은 영감을 받았나요? >> 이렇게 더 나아요. 더 나아요. Usman, 다음은 뭐예요? >> 좋습니다. 이제 우리에게 Harishi라고 불리는 사람이 있습니다. 흥미롭게도, >> 이것은 정말 좋습니다.

이번에 그는 실제로 싱가포르에 있었습니다. >> 싱가포르 기술. >> 우리는 싱가포르를 사랑합니다. >> 네, >> 그것이 바로 그것입니다. 에너지가 끝났어요. >> 흠, >> 계속하세요. >> 좋습니다. 흠, 그는, 어, 그의 애플리케이션은 실제로 AI, 특히 코딩에서 그의 개인적인 오류를 기반으로 합니다. 저는 확신합니다. 여기 모든 vibe 코더들은 우리가 모두 경험한 오류, 버그 또는 오류의 양과 관련이 있을 수 있습니다. >> 그런데 이 벽지를 봐요. >> 오와. >> 그래. 이 벽지는 그것이 슈퍼 대작이 될 것임을 알 수 있는 방법입니다. 너무 멋져요. 당신은 준비가 됐나요? 안녕, >> 당신은 시작할 수 있어요. 여러분, 다시 Hish를 위해 가장 따뜻한 박수를 보내세요. >> 좋습니다 여러분. 좋습니다. 그래서 이것은 실제로 저가 비공식 회의 「Greenfield를 떠나는 방법」이라고 불리는 연설에서 만든 Bliss의 사용자 정의 버전입니다. 따라서 당신이 Bliss를 모른다면 적어도 당신은 Greenfield를 알고 있습니다.

그래서 「국가 없는 모든 코드」에 환영합니다. 맞나요? 이것은 작업 제목입니다. 저는 모든 사람이 계속 제목을 바꾸고 있다고 생각합니다. 따라서 이것은 코딩 에이전트에 관한 이야기가 아닙니다. 이것은 코딩 에이전트에 관한 이야기가 아닙니다. 이것은 큰 기존 시스템 내에서 에이전트를 구축하는 것에 관한 이야기입니다. 맞나요? 구 코드, 조직 및 데이터를 포함합니다. 왜냐하면 이것이 우리가 결국 해야 할 일이기 때문이며, 이것은 다시 구축이 아니라 수정, 생성이 아니라 업데이트, 새로운 것이 아니라 구 코드 및 조직에 관한 것입니다. 사실 증명이 되면, 이러한 기본 선행 지식에서 시작하면 엄청나게 다른 원시적 것들이 떨어져 나옵니다. 맞나요? 당신은 컨텍스트 창을 한 번에 채우려고 하기보다는 더 간단한 재사용 가능한 작업 단위를 선호합니다. 맞나요? 컨텍스트에 것을 추가하기보다는 제거합니다. 컨트롤 흐름과 프롬프트를 분리하고, 프롬프트와 코드를 분리합니다.

단계별 성공 및 실패보다는 행동을 조정합니다. 구축 및 런타임을 분리하도록 비용 인식 시스템을 구축하여 효율적으로 리소스를 할당할 수 있습니다. 사실 증명이 되면, 당신이 이 모든 것을 잘하면, 당신은 결과를 배송할 수 있고, 당신은 한 가지를 할 수 있고 그것이 완료된 상태로 유지할 수 있습니다. 당신은 무너진 것들을 고칠 수 있고 그것들이 고정된 상태로 유지할 수 있습니다. 당신은 언제든지 vibe를 할 수 있습니다. 맞나요? 이것이 그것을 더 재미있게 만듭니다. 따라서 이것은 정말로 이 연설의 주요 부분입니다. 저는 단지 이것을 설명하는 데 시간을 할애할 것입니다만, 그것이 좋다면, 어, 우리는 바로 들어갈 수 있습니다.

따라서 이 전에, 저는 전자 및 소프트웨어 분야에서 몇 년을 보냈고, 병목은 항상 데이터였습니다—어떻게 의사 결정에 유용한 형식으로 데이터를 형성할까요. 십년간의 사고 끝에, 저는 Southbridge를 설립했으며, 당시의 신념은 3.5 Turbo가 그 잠금 해제 힘이며 우리가 필요로 한 마지막 범용 지능 단위이고 그 후에 우리는 다른 모든 것을 구축할 수 있다는 것이었습니다. 그 이후로, 우리는 데이터 시스템을 위한 커넥터를 구축했으며, 자체 치유하고 재생할 수 있습니다. 우리는 의료, 금융, 에너지 등의 산업을 위한 ETL 시스템을 구축했습니다. 저는 우리가 종으로서, 그리고 회사로서 섭취 문제를 해결하기 시작했다고 생각합니다. 수평 카테고리로서의 섭취, 새로운 고객, 새로운 데이터 세트, 또는 사용자가 업로드한 데이터든지 상관없이. 우리가 설립 이후로 한 모든 일은 AI로 데이터의 첫 마일 문제를 해결하기 위한 것입니다.

하지만 문제는 데이터로 시작하는 것의 어려움은 당신이 기본 선에서 시작 첫날부터 어려움이 11로 설정되어 있다는 것입니다. 맞나요? 왜냐하면 당신은 시작부터 중요 경로에 있기 때문이고, 당신의 일은 기본 선에서 시작부터 장기 관점과 신뢰성을 필요로 하기 때문입니다. 1 GB와 같은 작은 데이터에서 한 번 실행되더라도 형식 확인, 데이터 검증, 엔티티 구문 분석은 모두 수백만 번의 연산이 필요하며, 이 오류들은 누적됩니다. 컨텍스트 창—당신이 Gemini를 기억한다면 200만에서 100만으로 떨어졌고 실제로 여전히 감소하고 있습니다. 맞나요? 하지만 그것이 100배 증가했더라도, 우리가 하루 동안 가지고 있는 데이터의 양은 여전히 당신이 처리할 수 있는 양을 훨씬 능가합니다. 하지만 다시 말해서, 제가 본 가장 큰, 가장 치명적인 데이터 회사 문제는 다양성입니다. 맞나요? 데이터는 전체 스택으로 정말 매우 다양합니다. 거시든 미시든 상관없습니다.

미시 수준에서, 인간으로서, 우리는 우리가 생각할 수 있는 모든 것을 캔버스로 변환했습니다. 문서, 엑셀 스프레드시트, PDF, 내부적으로 우리는 엑셀의 병합 셀 버튼이 인류에 대한 가장 큰 범죄 중 하나라는 농담이 있습니다. 거시 수준에서, 회사들은 정말 독특한 눈송이입니다. 왜냐하면 당신은 다른 스택, 프로그램, SOP, 보안 경계를 가지기 때문입니다. 같은 데이터베이스여도, 작은 Postgres의 경우, 다른 네트워크와 권한 시스템을 통해 보면 완전히 다른 시스템으로 보입니다. 하지만 저는 여기서 중요한 구별을 하고 싶습니다. 온라인과 오프라인 에이전트 시스템 간의 구별입니다. 맞나요? 이것은 이런 것들을 생각하는 유용한 방법입니다.

흠, 온라인과 오프라인이 의미하는 것은 누군가가 모니터링하는 것과 아무도 모니터링하지 않는 것입니다. 맞나요? 물론 저는 생각해요, 우리는 생각해요 우리 모두 원합니다. 대부분의 실제 시스템은 실제로 온라인 구성 요소보다 훨씬 더 큰 오프라인 구성 요소를 가집니다. 특히 우리가 모두 했던 프로젝트입니다. 맞나요? 당신은 매번 처음부터 구축해야 할 때만 활성, 지연 시간에 민감한 인간 개입을 정말로 필요로 합니다. 만약 당신이 시간이 지남에 따라 신뢰할 수 있게 되고 당신의 선호도를 기록하는 시스템을 구축할 수 있다면, 이 모든 일은 오프라인에서 수행할 수 있으며, 밤에 로컬 모델을 실행하여 비용을 더 낮출 수 있으며, 에이전트는 세탁기처럼 작동할 수 있습니다. 그들은 같은 작업을 수천 번 반복 실행할 수 있습니다. 맞나요? 당신은 밤에 자기 전에 식기세척기를 가득 채웁니다. 다음은 우리가 여전히 코딩 에이전트가 에이전트 일의 기초 기질이 될 것이라고 믿는 것입니다. 맞나요?

모든 에이전트 일이 코딩이기 때문만은 아닙니다. 맞나요? 사실 저는 우리가 곧 코딩에서 포화될 것이라고 생각합니다. 하지만 코딩 에이전트 루프가 가장 많은 리소스, 가장 많은 강화 학습, 가장 많은 배포 압력을 가지고 있는 것이기 때문이고, 그리고 그것은 범용 원시를 가지기 때문입니다: 읽기, 쓰기, 편집, shell. 맞나요? V8과 브라우저가 실제로는 웹사이트가 아닌 많은 소프트웨어의 기반 물질이 된 것처럼, 우리는 코딩 에이전트 프레임워크가 많은 에이전트 일의 엔진 계층이 될 것이라고 믿습니다. 좋습니다. 물건의 전반적인 구조에 대해서는 충분합니다. 우리가 실제로 무엇을 배웠을까요? 맞나요? 첫 번째 것은 단일 호출을 푸시하는 것을 중단하는 것입니다. 맞나요? 단일회성 성능은 저는 물건을 구축할 때 매우 흥미로울 수 있다고 생각합니다. 여기처럼, 당신 알아요, 복잡한 지시, 장기 계획, 거대한 기술.

저는 Sabina가 압축에서 칩과 더 많은 칩에 대해 이야기한다고 생각합니다. 하지만 반복 가능한 작업입니다. 이것은 우리가 이 모든 본능과 반대되는 곳입니다. 맞나요? 이것이 당신이 물건을 구축하는 방식이 아닙니다. 당신이 자율 주행 에이전트를 원한다면 맞나요? 왜냐하면 당신이 하고 싶은 첫 번째 일은 작은 원자 조각으로 물건을 분해하는 것이고, Hankqu에서 (이것은 우리가 사용하는, 오랫동안 사용해온, 최근 오픈 소스한 런타임입니다) 이런 작은 상자들을 「codons」이라고 부릅니다. 맞나요? 당신은 당신이 원하는 행동을 얻기 위해 이것들을 연결하고 그것들을 재사용 가능하고 구성 가능하게 만듭니다. 당신이 이런 식으로 분해하면, 장시간 실행에 대해 추론하기가 더 쉬워집니다. 이것이 결국 병목이 됩니다.

당신이 20시간 또는 25시간에 무엇이 발생할지 추론할 수 있는 능력은 당신처럼, 인간이, 결국 복잡한 소프트웨어를 구축하는 병목이 됩니다. 맞나요? 다음 것은 컨텍스트에서 것들을 제거하는 것입니다. 맞나요? 얼마나 많은 프레임워크, 시스템 또는 그 문제에 대해서는 프레임워크가 컨텍스트에서 것들을 제거할 방법이 없는지에 대해 여전히 놀랐습니다. 맞나요? 우리가 항상 가져온 기본 동작은 컨텍스트를 제거하고 당신이 필요하지 않은 것을 보관하는 경계를 가지는 것이었습니다. 맞나요? 우리가 내부적으로 「세계선 부패」라고 부르는 것을 방지합니다—당신 알아요, Ted Lasso가 「금붕어가 되어」가 결국 좋은 일이라고 말했습니다. 다음은 단지 유형별로 구성 요소를 분리하면 됩니다.

산업으로서, 우리는 계속 이것을 다시 배우고 있습니다. 맞나요? 제가 대학에 있을 때, 우리는 von Neumann 아키텍처를 가지고 있었고, 코드와 데이터가 분리되는 것이 한 가지 일이 되었습니다. 나중에 우리는 PHP와 CGI를 가졌고, 다시 모델, 뷰 및 컨트롤러를 분리해야 한다는 것을 배우는 데 4년이 걸렸습니다. 에이전트에서, 같은 이야기입니다. 맞나요? 당신이, 신뢰할 수 있는 시스템을 구축하려면, 당신은 이 다섯 가지를 가능한 한 분리하기를 원합니다. 데이터, 프롬프트, 컨트롤 및 다른 것들처럼. 맞나요? 지난 1년 동안, 우리는 많은 사람들과 함께 일했고, 우리는 많은 정보에 접했으며, 우리는 수백만 개의 AI 생성 결과 단어를 읽었습니다. 제가 말했듯이, 그것이 우리의 초능력입니다—우리는 출력을 읽습니다. 우리는 당신을 위해 출력을 읽습니다. 우리는 이 모든 것에서 나타나는 것을 읽습니다. 십 번 중 아홉 번, 무언가가 깨지면, 그것은 당신과 에이전트 사이에 잘못된 추상화 공유가 있기 때문이거나 컨텍스트에 거기에 있어야 하지 않은 무언가가 남아있기 때문입니다.

그래서 더 많은 것으로 들어가세요. 맞나요? 우리는 일반적으로 「최선의 부분은 부분이 없다는 것」 원칙을 기반으로 구축합니다. 맞나요? 따라서 간단한 도구는 순서대로 작동합니다. 우리가 이야기한 것처럼, 당신은 절대 필요한 때만 것들을 추가합니다. 따라서 저는 우리가 진짜 평행 에이전트를 필요로 하지 않았다고 말할 때 당신을 놀라게 하지 않기를 바랍니다. 맞나요? 우리가 신뢰성 일에서 하는 일의 경우, 단일 주 에이전트 스레드는 우리가 포기할 수 없는 너무 많은 이점을 가집니다. 맞나요? 많은 프로그래밍 언어, Python, JavaScript, 많은 동의할 것입니다. 우리는 곧 우리 쪽에서 일부 이점을 볼 것입니다. 하지만 우리 버전의 이벤트 루프의 경우, 그 작은 트릭은 우리가 「sentinel」이라고 부르는 것입니다. 따라서 우리는 원래 이 것들을 설계했으며 장시간의 에이전트 실행을 모니터링하기 위해, 하지만 그들은 우리의 가장 강력한 원시가 되었습니다.

따라서 sentinels는 주 루프의 이벤트 조합에서 트리거되는 대형 언어 모델 호출입니다. 맞나요? 그들은 트리거하고, 그들의 컨텍스트를 템플릿화하고, 결과를 파일에 씁니다. sentinel은 모든 50개의 도구 호출마다 깨어날 수 있으며, 무엇이 발생했는지 요약하고, 그 후에 다시 잠들 수 있습니다. 맞나요? 하지만 사실 증명이 되면, 그들은 행동을 포착하는 데 좋으며, 당신이 평가 시스템을 추적해야 하는 많은 복잡성을 생성하지 않으면서 말입니다. 따라서 게으르고, 모의, 나쁜 데이터 위생, 파일 권한, shell 오류입니다. 당신은 우리가 sentinel이라고 부르는 재사용 가능한 것에서 당신이 원하는 패턴을 정의하고, 그 후에 주 스레드에서 고칩니다. 맞나요? 훨씬 더 많은 hook 이상입니다. 이것은 행동을 병합하기 위해 훨씬 더 낫습니다. 따라서 저는 한 가지 더, 그냥 한 가지 더를 합니다. 그것은 예산입니다. 맞나요?

우리 쪽의 장기 시스템은 모든 중요한 축에서 비용 인식을 유지할 필요가 있습니다. 하지만 내가 지금까지 말한 모든 것을 했다면, 당신은 선언적 예산 시스템을 만들 수 있으며, 이것은 정말로 최선의 종류입니다. SQL처럼. 당신이 가진 것을 표현할 수 있고 시스템은 중간 간격을 파악할 것입니다. 맞나요? AI처럼 빠르게 진화하는 분야에서, 모델, 프레임워크, 구현 세부 사항이 항상 변경되고 있으며, 선언적이 실제로 우승합니다. 왜냐하면 당신이 것들을 다시 쓸 필요를 방지할 수 있기 때문입니다. 따라서 우리는 모든 다른 축을 가지고 있습니다—돈, 토큰, 시간, 데이터 액세스—심지어 올바른 시간에. 당신은 구축할 때 이것들이 어떻게 할당되어야 하는지 표현합니다. 런타임에서, 당신은 실제로 당신이 가진 리소스를 알 수 있습니다. 따라서 당신은 이 두 것을 해결할 수 있습니다. 맞나요? 마지막으로, 당신이 이 모든 것을 하면, 당신은 도구가 아닌 결과를 배송할 수 있습니다. 맞나요?

저는 이것을 공예, 도구를 신경 쓰는 사람들이 있는 방에서 말하고 있습니다. 맞나요? 하지만 대부분의 사람들은 그들의 식기세척기가 어떻게 작동하는지 신경 쓰지 않습니다. 그들은 그들의 자동차가 어떻게 기름칠되는지 신경 쓰지 않습니다. 그들은 깨끗한 접시를 원합니다. 그들은 그들이 가야 할 곳에 도착하려고 합니다. 그래서, 우리의 North Star는 항상 결과를 배송할 수 있는 시스템을 배포했습니다. 맞나요? 이것은 가능한 한 빨리 고객을 온보드, 연구 가설 검증, 통합 시간 단축일 수 있습니다. 맞나요? 또는 단지 우리가 당신의 데이터에 Achilles라고 부르는 것을 포함하지 않고 이것의 모든 것을 하는 것입니다. 이를 위해, 에이전트는 인프라여야 합니다. 그들은 평범하고, 반복 가능하고, 예측 가능해야 합니다. 따라서 그것이 정말로 우리의 목표입니다. 맞나요? 유산이 될 수 있는 것을 구축합니다. 유산은 코드에서만 정말 나쁜 단어입니다.

어떤 면에서는 그걸 되돌려놓으려고 노력하고 있습니다. 강연에 담을 수 없는 많은 것들이 있지만, 여기서 더 긴 버전을 찾을 수 있습니다. 감사합니다. 와! 아, Hershi, 정말 감사합니다. 정말 훌륭한 강연이었습니다. 알다시피, 저는 무대 뒤에서 Hishi와 얘기했고, 준비가 되었습니다. 와, 정말 놀라운 강연입니다. Hishi를 위해 다시 한 번 열렬히 박수를 부탁드립니다, 여러분. 정말 대단합니다. 우리의 다음 강연은 또 다른 흥미진진한 강연입니다. 저는 무대 뒤로 가서 그에게 물었습니다. 저는 「이봐요, 너의 강연이 뭐에 대한 거야?」라고 말했습니다. 그는 세 개의 단어를 말했습니다. 그는 정말로 겨우 세 개의 단어만 말했습니다. 그 이상은 없었습니다. Henry, 더 이상의 말은 없었습니다. 음, 그 단어들은 MCP versus CLI입니다. 그것이 그 강연입니다. 저는 여러분 중 매일 MCP를 사용하고 있는 분이 몇 명인지 매우 궁금합니다. 거의 모두입니다. 와. 당신은 그것을 어디에 사용하세요? 당신, 저기 안경을 쓴 사람.

당신은 그것을 어디에 사용하세요? 프로덕션 환경을 디버깅합니다. 정말 좋습니다. 그것은 실제로 아주 좋은 사용 사례입니다. 저희가 일하는 곳에서는 Monday라고 하는 프로젝트 관리 도구를 사용합니다. 여기서 Monday를 사용하는 사람이 있습니까? Monday monday.com. 음, 저는 뭐라고 말할 것도 없습니다. 어쨌든, 음, 그들은 웹 UI 같은 UI를 가지고 있지만, 그들은 또한 MCP 서버를 가지고 있는데, 그것이 정말 놀라운 이유는 저는 제 선호 IDE인 Cursor에서 작업할 수 있기 때문입니다, Spawn이 아니라요. 음, 저는 그 안에 Monday MCP 서버가 있고, 저는 「내가 이 회의를 Monday에 에이전트에 추가하고 싶어」라고 말할 수 있고, 그것이 그렇게 해주는데, 너무 멋집니다. 그래서 저는 Team MCP의 충실한 팬입니다. 음, 하지만 물론 CLI도 존재할 이유가 있습니다. 제 말은, Claude Code는 CLI 에이전트, MCP 클라이언트 기능을 가진 코딩 에이전트죠? 그렇다면, 이것이 어떻게 작동하나요? 글쎄요, 우리는 곧 보게 될 것입니다.

Henry는 지금 여기 설정 중이고, 1분이 더 지나면 MCP versus CLI에 대한 강연을 들을 것입니다. 이것이 반대가 아닐 수도 있습니다. 이것이 MCP와 CLI일 수도 있습니다. 음, 당신은 CLI가 좀 낡은 것 같다고 생각하세요? 누구든 생각합니까? 아니오. 맞습니다, 물론 아닙니다. 왜냐하면 우리가 사용하지 않으면 에이전트가 사용할 것이기 때문입니다. 저는 그것이 매우 훌륭한 사용자 인터페이스라고 생각합니다. 저는 천천히 말할 게 없어지고 있습니다. 오, 좋습니다. 그것을 봐요. 이봐요. 우리가 곧 회의의 끝에 다다르고 있습니다. 이것이 훌륭한 강연이 될 것입니다. Henry를 위해 가장 열렬한 박수를 부탁드립니다. >> 아니요, >> 우리는 아직 조금 있습니다. >> 괜찮습니다. 오, 그는 당신이 해야 합니다 당신은 연장해야 합니다. 연장 표시를 선택하세요. 저는 이제 기술 지원입니다. 우리 준비가 되었습니까? 아니오. 거의 다 되었습니다. 좋습니다. 아니요, 그들이 하는 것을 보세요. 그들이 연장하고 있지만 그는 아직 창을 드래그하지 않았습니다. 이것은 이제 논평입니다, 여러분.

이것이 제가 좋아하는 것입니다. 감사합니다. 오, 정말 유감입니다. 알다시피, 이것이 바로... 이것이 바로... 당신은 이것을 뭐라고 부르나요? 당신은 이것을 「불쌍한 박수」라고 부릅니다. 감사합니다. 저는 이것을 필요로 합니다. 그런데 내 모자에도 동전을 하나 넣어 주세요. 좋습니다. 이번에는 연장되었습니다. 그들이 길게 뽑았습니다. 좋아요, 다시 해봅시다. 가장 열렬한 박수는 Henry Mau입니다. >> 소개해주셔서 감사합니다. 제 이름은 Henry입니다. 어, 여러분 안녕하세요. 저는 Smithery의 공동 창립자입니다. 어, 오늘 제가 이야기할 내용은 MCP, CLI 생태계, Smithery에서 우리가 보는 것들, 그리고 이것이 당신의 에이전트에 더 많은 자율성을 부여하는 것과 어떤 관련이 있는지입니다. 그래서, 좀 더 배경을 설명하겠습니다. 어, 이전의 스타트업 Jenny AAI에서, 저희는 학술 연구자들을 위한 AI 학술 어시스턴트를 개발했습니다. 제가 사용자들이 우리 제품을 사용하는 것을 볼 때 정말 저를 괴롭혔던 한 가지는 그들이 자주 여러 개의 창을 열었다는 것입니다.

어, 그들은 다양한 응용 프로그램을 사용하고 track GBT를 사용했고, 그들은 이러한 응용 프로그램과 그들이 선택한 AI 사이에서 많은 시간을 소비하면서 복사하고 붙여넣었습니다. 이것은 모든 지식 근로자에게 영향을 미치는 더 광범위한 문제입니다. 당신이 터미널 사이를 점프하든, 당신의 코딩 에이전트 사이를 점프하든, 또는 당신의 CRM과 Google Docs 사이를 점프하든, 우리는 모두 복사 붙여넣기의 지옥에 빠져 있습니다. 왜냐하면 인간은 본질적으로 AI의 어댑터 계층으로 기능하기 때문입니다. 당신은 루프에서 모델에게 서로 다른 서비스에 대한 모든 읽기 및 쓰기 액세스에 대해 프롬프트를 제시합니다. 프롬프트는 실제로 모델이 당신의 데이터에 접근하거나 당신을 대신하여 안전하게 조치를 취할 수 없을 때 당신이 지불하는 세금입니다. 이 세금은 상당히 비쌉니다. 그래서 약 1년 전, 저는 이 문제를 해결하기 위해 Smithery를 창립했습니다.

MCP가 무대에 등장했고, 저는 그것을 에이전트와 서비스 사이의 간격을 해소하는 데 도움을 주는 방법으로 봤습니다. 그래서 우리는 Smithery를 개방 MCP 레지스트리로 시작했고, 수천 명의 개발자로 이루어진 커뮤니티를 추적했으며, 그들은 여기에 그들의 MCP 서버를 게시했습니다. 우리는 이러한 서비스를 통합하고 인증을 통일하는 게이트웨이를 구축했으므로 에이전트는 편리하게 모든 당신의 API에 접근할 수 있으며, 하나의 도구 상자로 그룹화됩니다. 우리는 현재 우리의 사용자들을 위해 매일 약 100,000개의 도구 호출을 처리합니다. 하지만 우리의 여정은 전혀 순조롭지 않았습니다. 어, 솔직히, 어 MCB는 출시 후 많은 과장이 있었지만 많은 문제도 있었습니다. 그 프로토콜은 절대적으로 야심적입니다. 에이전트가 도구를 어떻게 잘 호출하는지 파악하는 동시에 표준을 수립하려고 시도했으며, 2025년 초에 신속하게 그 사양을 변경해야 했습니다.

MCP 클라이언트와 서비스의 구현이 좋지 않아서 사용자들에게 많은 좌절감을 초래했습니다. 그래서 2025년 말쯤, 저는 많은 사람들이 MCP가 기본적으로 죽었다고 주장하기 시작했다고 생각합니다. 마치 그것이 빠르게 폭발했던 것처럼요. 사실, 이 컨퍼런스에서 적어도 5명이 저에게 지난 2일 내에 같은 질문을 물었다고 생각합니다. MCP가 죽었나요? 우리가 이 문제를 철저히 해결하겠습니다. 왜냐하면 많은 사람들이 제시한 많은 비판이 타당하기 때문입니다. MCP에 대해 좋지 않은 경험을 한 사람들의 주요 이유는, 2025년으로 소급되는 대부분의 장치들이 그들에게 도구를 추가하는 데 있어 매우 유치한 접근 방식을 취했다는 것입니다. 모델 컨텍스트에 추가하세요. 그들은 단지 모든 도구를 컨텍스트 창에 던져 버렸고, 마치 오른쪽의 이 차트처럼요.

상상해 보세요, 알다시피, 당신이 Chrome으로 웹을 탐색하고 있다고 상상해 보세요. 하지만 Chrome이 마치 Chrome이 HTML을 전혀 렌더링하지 않는다고 상상해 보세요. 그것은 단지 원시 HTML과 CSS를 당신에게 던져 버리고 당신이 뭐를 클릭할지 알아내도록 합니다. 이것이 기본적으로 우리가 모델에 대해 한 일입니다. 한 장치가 모든 도구를 모델에 던지고 그것이 잘 수행되기를 기대합니다. 그것은 모델에 정보 과부하를 주었고, 오히려 사용 가능한 상호 작용 계층을 제시하는 대신입니다. 그래서 이것은 많은 토큰을 낭비했습니다. 컨텍스트 쇠퇴를 초래했으며, 모델 성능을 현저히 감소시킵니다. 더 나쁜 것은 많은 2025년 MCP 서버 구현이 좋지 않아서 기본적으로 그들의 공식 API의 약화된 버전입니다. 그 중 많은 것이 적절한 인증을 구현하지 않았습니다.

개발자들은 기본적으로 더 약한 모델에 프롬프트 주입을 시도하려고 도구 설명에서 이러한 프롬프트들을 수작업으로 제작했습니다. 이것들은 모두 안티 패턴이며, 특정 작업의 행동을 도구 설명에 결합시키는데, 이러한 행동들은 원래 기술에 속했을 것입니다. 따라서 좋은 개발자 경험의 부족이 결국 사람들이 대안을 찾도록 했습니다. 코딩 에이전트는 bash에서 잘 수행합니다. 그래서 사람들이 물어본 자연스러운 질문은, CLI를 직접 사용하지 않으면 어떨까요? CLI에는 많은 장점이 있습니다. 첫째, CLI는 점진적인 공개 기능이 내장되어 있습니다. 파이프라인이 있어서 다양한 하위 명령을 조합할 수 있습니다. 그리고 그것은 성숙한 Unix 스택 위에 구축되어 있습니다. 하지만 우리가 여기서 저지른 숨겨진 범주 오류가 있습니다. 우리는 CLI를 MCP와 비교하고 있습니다. MCP는 Model Context Protocol을 나타냅니다. 그래서 그것은 프로토콜이지 인터페이스가 아닙니다.

그것을 CLI와 비교하는 것은 사과와 오렌지를 비교하는 것과 조금 비슷합니다. 이 차트가 이것을 더 잘 설명할 수 있기를 바랍니다. 왜냐하면 프로토콜의 작업(REST와 GraphQL처럼)은 어떻게 통신할 것인지의 표준을 정의하는 것이지, 반드시 도구를 모델에 렌더링하는 방법을 정의하는 것이 아니기 때문입니다. 부족한 것은 MCP를 에이전트에 잘 렌더링할 수 있는 좋은 도구입니다. 우리가 그것을 원본 MCP 렌더링이라고 부르는 것. 좋은 소식은, 2026년 초까지, Claude와 Codeex 같은 주요 도구들이 MCP를 렌더링할 올바른 방법을 구축했다는 것입니다. 그래서 우리는 Smithery에서 이것을 테스트하고 싶었습니다. 원본 MCP 렌더러를 사용할 때 현대의 도구들은 Bash와 CLI와 비교하여 어떻게 수행하나요? 그래서 이것이 우리가 한 실험 설정입니다. 우리는 3개의 핵심 API(GitHub, Linear, 그리고 싱가포르 공중 교통 API)에서 벤치마크를 실행했습니다.

우리가 이러한 API들을 선택한 이유는 그들이 다양한 API 스타일과 훈련 데이터 오염 문제를 나타내기 때문입니다. 우리는 또한 여기에 나열된 3개의 서로 다른 모델을 선택했습니다. 우리가 변경한 주요 사항은 우리가 에이전트에 제공한 인터페이스입니다. 그래서 우리는 이러한 API들을 에이전트 도구에 MCP 서버로 설치하거나 그들의 bash 인터페이스를 위한 CLI를 제공했습니다. 우리의 목표는 정확성과 토큰 효율을 측정하는 것입니다. 그래서, 청중을 위한 질문입니다. 손을 올려주세요. 원본 MCP가 CLI보다 더 잘 수행할 것이라고 생각하는 사람이 몇 명입니까? 좋습니다, 우리는 몇 명이 있습니다. CLI가 MCP보다 더 잘 수행할 것이라고 생각하는 사람이 몇 명입니까? 좋습니다, 더 많은 사람들이 있습니다. 이것이 상관없다고 생각하는 사람이 몇 명입니까? 마치 평점이라고 말하는 것처럼. 좋습니다, 우리 여기도 몇 명이 있습니다.

그래서 우리를 놀라게 한 것은, 원본 MCP가 정확성과 토큰 효율 모두에서 이겼다는 것입니다. 이것은 정말 우리가 지난 1년 동안 믿어왔던 신화를 깨뜨렸습니다. 이것은 주로 모델 도구가 스스로를 업데이트하고 더 효율적이 되었기 때문입니다. 하지만 저는 여기서 더 관심이 있습니다: 에이전트 경험 설계의 어느 원리가 정말 중요합니까? 예를 들어, 우리가 CLI를 개선하기 위해 무엇을 할 수 있습니까? 또는, 도구의 어느 원리가 MCP를 이렇게 잘 수행하게 합니까? 그래서 우리는 어떤 소거 실험을 수행했습니다. 우리 CLI의 구성을 변경하여 우리가 원본 MCP의 성능을 일치시킬 수 있는지 보았습니다.

그래서 우리는 한 실험에서 CLI에 더 나은 설명을 추가했습니다. 우리는 또한 CLI에 검색 기능을 추가하는 것에 대해 몇 가지 실험을 수행했습니다. 우리는 이 두 가지가 우리가 시도한 많은 다양한 방법 중에서 가장 중요하다는 것을 발견했습니다. 첫 번째는 자체 문서화입니다. 그래서 당신이 에이전트에 발견 가능하고, 설명이 잘 된 도구를 제공하면, 성능이 더 좋습니다. 두 번째는 검색입니다. 당신이 에이전트에 CLI에서 하위 명령을 검색하거나 MCP에서 도구를 검색하는 기능을 제공하면, 성능이 현저히 향상됩니다. 왜냐하면 이것은 올바른 도구를 찾는 데 필요한 단계의 수를 줄이기 때문입니다. 그래서, 만약 당신이 이 두 원리를 당신의 CLI에 적용하면, 기본적으로 당신은 원본 MCP의 성능 차이를 메울 수 있습니다. 완전한 실험 세부 사항은 우리의 블로그에 있습니다.

그래서, 이 시점에서, 당신은 생각하고 있을 것입니다. 음, 저는 사실 토큰 비용에 그다지 신경 쓰지 않습니다. 제 회사가 돈을 지불할 것입니다. 또는 모델이 더 저렴해질 것입니다. 음, 알다시피, 결과가 충분히 가까웠습니다. 저는 그냥 CLI를 사용할 것입니다. 당신도 맞잖아요, 맞죠? 당신이 로컬로 물건을 실행하는 엔지니어라면, 당신은 아마도 CLI를 그냥 사용해야 합니다. 그런데, 저는 MCP의 스폰서십을 받지 못했습니다. 음, 우리는 Smithery에서 CLI 제품을 출시한 후 이 벤치마크를 실행했습니다. 그래서, 우리는 둘 다 사용할 수 있습니다. 하지만 저는 정말 MCP에게 마땅한 인정을 주고 싶습니다. 첫째, CLI는 당신이 샌드박스를 설정하고 싶을 때 작동합니다. 하지만 좋은 harness가 있다면, MCP는 바로 기본적으로 작동합니다. 그래서 이것들은 당신이 실제로 클라우드 에이전트를 실행하려고 하는 사용 사례입니다. 음, 이것은 샌드박스가 없습니다.

당신이 이것을 하고 싶은 이유는, 그것이 코딩과 무관한 가벼운 작업을 위해 더 경량이고, 지연 시간이 더 낮다는 것입니다. 그래서 이식성은 MCP의 한 이점입니다. 또 다른 장점은 MCP가 컨텍스트 엔지니어링의 책임을 harness에 놓았다는 것입니다. 이는 Cloud Code가 업데이트되고 그것의 harness를 개선했다면, 그리고 그것이 도구를 어떻게 해석하는지, 당신의 도구도 개선될 것임을 의미합니다. 하지만 MCP에는 또 다른 더 미묘한 이점이 있습니다. 이것은 당신이 에이전트에 더 많은 자율성을 가진 세계로 진화하려고 할 때 중요합니다. 그것은 권한 관리입니다. 왜냐하면 우리가 발견한 CLI의 주요 약점은 그것이 보통 너무 광범위하다는 것입니다. 왜냐하면 그것은 개발자를 위해 만들어졌기 때문입니다. 당신이 거의 감독 없이 그것을 실행하려고 할 때, 그것은 거대한 공격 표면을 가집니다. CLI는 당신에게 왕국의 열쇠를 주었습니다.

그래서, 언제든지 당신이 백그라운드에서 오래 CLI 에이전트를 실행할 때마다, 당신은 실제로 두 가지 나쁜 선택에 갇혀 있습니다. 당신은 승인을 요청해야 합니다. 이것은 정말 확장할 수 없습니다. 또는 당신들 대부분이 아마 저지른 것처럼, 당신은 위험하게 권한을 건너뜁니다. MCP는 여기서의 한 이점은 그것이 명확한 입장을 가진 작은 표면을 정의한다는 것입니다. 그래서 그것이 의미하는 것은, 음, 그것이 그것을 보호하기가 더 쉽다는 것입니다. 이 병목 지점은 우리가 당신의 에이전트에 정책과 보호 장치를 적용할 수 있게 합니다. 예를 들어, 당신이 Smithery의 게이트웨이를 사용하고 있다면, 우리는 정책 DSL을 제공하여 당신이 당신의 에이전트가 할 수 있는 것 또는 할 수 없는 것에 대한 세분화된 권한을 실행할 수 있습니다. 그래서 이 원시 도구는 우리가 에이전트를 완전히 자율적인 상태로 업그레이드할 때 당신에게 안심을 줍니다. 그래서, 질문에 답하면, MCP가 죽었나요? 저는 그렇게 생각하지 않습니다.

하지만 이것도 이 강연의 요점이 아닙니다. 제 생각에는, MCP와 CLI 모두 각각의 용도가 있으며, 에이전트 경험, 보안 및 인증 뒤의 원리가 계속될 것입니다. MCP는 아마도 더 이상 시대 정신의 일부가 아닐 것입니다. 이것은 좋은 일입니다. 왜냐하면 프로토콜에 일어날 수 있는 최고의 일은 그것이 HTTP처럼 지루해진다는 것이기 때문입니다. 충분히 지루워서 우리가 더 야심 찬 문제들을 계속 해결하고 에이전트가 성과 주도적인 것이 아니라 프롬프트 주도적인 세계로 나아가도록 추진할 수 있습니다. 에이전트는 완전히 챗봇을 졸업하여 동료가 될 수 있습니다. 이것이 우리가 루프에서 사람에서 루프 위의 사람으로 전환하는 방법입니다. 감사합니다. 당신의 에이전트를 연결하는 데 관심이 있다면, 나중에 밖에서 나와 대화하세요. >> 네. Henry와 대화하세요. 한 번 더 박수를 부탁드립니다, 여러분. Henry Mau, 우리는 루프에서 사람에서 루프 위의 사람으로 이동합니다.

솔직히 말해서, 저는 준비가 되었습니다. 이봐요, 이봐요. 우리의 다음 연사, 저는 말했습니다. 저는 오늘 처음 만났지만, 저는 말했습니다 그는, 저는 직접 인용합니다. 싱가포르의 모든 엔지니어 중 가장 재능 있는 사람입니다. 당신 들었어요? 그들 그래서, 이봐요, 저는 심지어, 저는 그를 소개할 자격도 없었습니다. 그래서, 저는, 저는 도움이 필요합니다. Ivan, Ivan, Ivan를 위해 박수를 부탁드립니다, 여러분. 그래서 Raj, 저는 Raj를 한동안 알고 지내는 행운을 얻었고, 그가 하는 것은 절대적으로 놀랍습니다. 우리는 한 번 해커톤이 있었습니다. 그는 들어와서 말했습니다, 「오, 내가 에이전트가 협업할 수 있는 방법을 만들거야.」 그러면 우리, 그는 완료했습니다, 우리는 말했습니다, 「오, 당신은 주말에 뭐 하고 계세요?」 그는 말했습니다, 「오, Mistro 해커톤이 있습니다. 당신은 그때 뭐 하고 계세요?」 그는 말했습니다, 「오, 저는 다음 해커톤을 위한 제 제출을 구축하도록 도와주는 도구를 이미 구축했습니다.」

그러면 그는 Gemini 해커톤을 우승했습니다. 그는 거의 Mistro 해커톤을 우승했습니다. 그러면 그는 말했습니다, 「오, 저는 항상 이 Kim 2.5 thinking에 대해 들어왔습니다. 그것은 상당히 멋집니다.」 저는 말했습니다, 「오, 그것은 좋습니다.」 그러면 그는 다음에 뭐 했을까요? 그는 자신이 포스트 트레이닝을 수행했고, 결국 그것을 이겼고, 그것을 그의 주요 지능체로 사용했습니다. Raj는 절대적으로 놀라운데, 솔직히, 나는 그의 발견을 듣기를 고대하고 있습니다. >> 고마워요, Ivan, 그 감사를 위해... 음, 네, 저는 Raj이고, 오늘 저는 진화 프레임워크 생성과 일반적인 진화 알고리즘에 대한 저의 여정에 대해 논의할 것입니다. 나는 어떻게 여기에 도달했는지에 대해, 나는 간단한 개요를 하겠습니다. 원래, 이것은 제 친구와 제가 하고 있던 종이였습니다. 우리는 처음부터 확산 모델을 만드는 방법을 생각하고 있었습니다. 우리는 특히 체스 활동을 위한 의료 확산 모델을 생성하는 것에 대해 생각하고 있었습니다.

우리가 이 프로젝트를 하고 있을 때, 우리는 처음에 데이터가 매우 적다는 것을 깨달았습니다. 우리가 다양한 논문을 살펴볼 때, 우리는 모델이 인간의 「취미」 개념을 가지고 있다는 것을 논의하는 논문을 우연히 발견했습니다. 이 논문은 기본적으로 개방식 강화 학습 커리큘럼을 위한 판사로서 언어 모델을 사용했습니다. 이것이 저를 개방성과 알고리즘의 전체 세계에 노출시켰습니다. 저는 자연스럽게 다음의 질문이 부상하는 것이라고 생각합니다. 만약 우리가 에이전트가 개방식이 될 수 있다고 주장하고 그들이 영원히 새로움을 생성하고 있다면, 우리 자신의 생태계, 우리 자신의 생물학에서, 그것이 어떻게 보일 것입니까? 나는 태양이 이 질문의 좋은 답이라고 생각합니다.

기본적으로, 태양에서 오는 에너지 입자가 지구로 들어오고, 그러면 우주로 배출되고, 더 높은 엔트로피의 광자, 기본적으로 이 모든 것을 가능하게 하는 경사도는 생명 그 자체입니다. 생명은 더 많은 엔트로피를 창조하는 것이고, 이것은 매우 특별한 엔트로피이며, 30억 년이 더 오래 걸렸으므로 생성 및 생산하는 데 걸렸습니다. 그래서 질문은, 우리가 이것을 에이전트 자체와 같은 비슷한 시스템에 어떻게 매핑할 수 있을까요? 그래서 이것이 제가 하려고 하는 것입니다. 마치, 만약 태양 자체가 계산이라면, DNA는 이러한 작은 세포 생물이 우리 같은 복잡한 생물로 진화하도록 하고, 우리가 코드를 작성하고, 코드를 사용하고, 생각할 수 있고, 물건에 반응하고 더 많은 엔트로피를 만들 수 있습니다. 이것은 기본적으로 이러한 에이전트들의 궤도입니다.

음, 선택 편견 자체가 프레임워크입니다. 기본적으로 모델이 진화함에 따라 진화합니다. 내가 나중에 읽은 매우 흥미로운 논문은 기본적으로 에이전트가 시간이 지남에 따라 점차 자신을 개선한다는 것을 보여주었습니다. 그것은 omni epic이라고 불리는데, 그 안에서 당신은 다양한 환경을 가지고 있고, 에이전트는 원래 단일 환경에서 매우 전문화되어 있었고, 시간이 진행되면서, 그것은 점점 더 일반적이 됩니다. 그 에이전트의 일반성이 그것이 창발 행동을 보여주는 작업을 수행할 수 있게 합니다. 이것은 매우 흥미로운 피드백 루프이고, 그 후 같은 저자가 쓴 또 다른 논문의 생성으로 이어졌습니다. 그 안에서 코드 자체는... 그들이 그것을 코드로 바꾼 때 코드가 되었습니다.

음, 그것은 실제로 성능의 상당한 개선을 보여주었고, 에이전트는 Swenge에서 겨우 20% 성능 향상에서 기본적으로 50%로 이동했습니다. 바로 그때, 저는 깨달았습니다. 만약 당신이 당신이 이러한 에이전트들을 놓는 환경을 진화시킬 수 있다면, 그리고 도구들을 진화시킬 수 있다면, 음, 이 둘은 당신이 활용할 수 있는 레버들이고, 결국 전체 에이전트의 성능을 개선할 수 있습니다. 만약 당신이 모든 것의 궤도를 본다면, 우리는 우리가 가진 프레임워크보다 훨씬 더 나은 모델을 가지고 있고, 모든 회사가 사용자 정의 프레임워크를 만들려고 노력하고 있습니다. 저는 이것이 올바른 방법이라고 생각하지 않습니다. 자체 진화 프레임워크가 있다면 어떨까요? 이미 이것에 대한 논문이 있습니다. 예를 들어 메타 프레임워크, ROM, 그리고 많은 다른 문헌들입니다.

다음 단계는 에이전트 자체일 것입니다. 만약 당신이 메모리 상태를 다른 곳에 저장하고 그 에이전트를 진화시킬 수 있다면 어떨까요? 다음에는 세계 모델 같은 것이 올 것입니다. 물리적 세계 모델이 아니라, 코드와 유사한 환경이나 상당히 다를 수 있는 다양한 코드와 유사한 환경과 상호 작용하는 세계 모델입니다. 저와 상당히 흥미로운 세계 모델 논문을 다루고 있는 친구가 말한 것은, 더 흥미로운 것은 이러한 세계 모델에서 에이전트의 아키텍처가 어떻게 보일지를 보는 것입니다. 그들은 새로운 것일 수 있으며 손으로 만들어진 것이 아닐 수 있습니다.

그것은 우리가 사용하는 동일한 기술을 사용하지 않을 수 있지만, 그것은 볼 가치가 있는 것입니다. 그리고 우리는 오늘날 이것도 보고 있습니다. 원래 모델 증대의 규모가 우리가 MMLU와 다른 벤치마크를 포화시키는 데 오래 걸렸지만, 몇 주마다 새로운 소다 모델이 나타나는 것을 보게 됩니다. 이것은 우리가 더 많고 더 나은 또는 단지 더 나은 품질의 데이터만 있기 때문이 아니라, 훈련 루프가 더 빨라졌기 때문이고, 모델이 어느 정도 자신의 루프를 폐쇄했기 때문입니다. 음, 제 지점은 스케일 법칙이 어느 정도 여전히 유지된다는 것입니다. 인간이 에이전트 또는 프레임워크 자체보다 더 흥미로우면서, 그들은 유지될 것이고 계속 유지될 것입니다. 이것은 손으로 만들어지지 않은 다양한 아키텍처의 형태로 나타날 수 있습니다. 그들이 반드시 손으로 제작될 필요는 없습니다.

이것은 제가 계속 존재할 것이라고 믿는 것입니다. 제 여정에서 지금까지, 저는 발견한 것은 더 큰 메타 프레임워크를 만들 때, 일반적으로 모델 성능을 개선하는 것은 궤도입니다. 이것은 절대 가중치가 아닙니다. 이것은 DNA가 동일하게 유지되고 우리가 특성을 나타내는 방식이 변경된다는 것과 유사합니다. 음, 연구할 가치가 있는 아티팩트는 경로와 추론 궤도이고, 모델이 뭔가를 한 이유이며, 최종 상태가 아닙니다. 네, 만약 그것이 의미가 있다면. 음, 내가 코드 그래프를 구축할 때 배운 또 다른 것은 반복 루프가 이에 매우 중요하다는 것입니다. 가장 성공적인 생명 형태는 매우 빨리 적응하는 것들입니다. 매우 빨리 죽는 것들입니다. 만약 당신이 그 루프를 더 빨리 닫을 수 있다면, 그것은 당신이 더 많은 일을 하게 합니다. 이것은 많은 형태를 가질 수 있습니다.

이것의 좋은 예는 언어입니다. 당신이 코드를 어떤 언어로 작성하는가? 저는 생각합니다. 저에게, 제 현재 작업의 대부분은 zig 또는 rust로 둘러싸여 있거나 작성되었지만, 저는 깨달았습니다. 결국, 당신이 점점 더 나은 도구를 만들려고 할 때, 음, 더 작은 컴파일 시간을 가진 언어가 실제로 결국 더 나은 도구를 만듭니다. 당신은 이러한 도구에 대한 더 나은 테스트를 만들 수 있습니다. 비록 그 언어가 메모리 안전하지 않더라도. 나는 확실히 믿습니다. 결국 아마도 이 해나 내년쯤, 거의 모든 회사가 자신의 메타 에이전트 언어를 쓰기 시작할 것입니다. 무슨 일이 있어도, 이러한 모델들은 계속 더 나아질 것입니다. 그들이 반드시 인간이 읽을 수 있을 필요는 없습니다. 그래서 이것들은 제가 제 자신을 위해 구축한 도구 중 일부일 뿐입니다. 내가 내부적으로 계속 사용해왔습니다. 예를 들어 muanry처럼, 그것은 단지 더 빠른 rip grab이고, 제 에이전트가 더 많은 컨텍스트를 얻을 수 있게 합니다.

음, 코드의 정확한 라인을 검색합니다. Code DB, 이것도 완전히 오픈 소스입니다. 이것은 제 자신의 프레임워크에 대한 삼각형 검색입니다. 에이전트는 그들이 변경해야 하는 코드의 정확한 라인을 얻으므로, 그들은 컨텍스트 부패를 갖지 않습니다. 음, nanobrew는 그 후에 생성되었습니다. 왜냐하면 일단 당신이 샌드박스에 이러한 에이전트들을 놓기 시작하면, 당신은 음 코딩 환경 설정을 얻는 한 가지 방법을 깨달았습니다. 당신은 그것을 스냅샷할 수 있습니다. 또 다른 것은 당신이 abt get 같은 것을 계속 끌어당길 수 있다는 것입니다. 당신이 필요한 패키지와 의존성을 가져옵니다. 하지만 저는 생각했습니다. 만약 당신이 이것도 더 빠르게 했다면 어떨까요? 그래서 당신은 그 환경을 분석할 수 있었습니다. 이것이 nanobrew가 어떻게 탄생했는지입니다. 그것은 appget과 homebrew 자체보다 훨씬 빠릅니다.

바로 그래서, 저는 깨달았습니다 저는 또한 제 에이전트를 위해 또 다른 병렬 도구를 만들어야 했습니다. 그것이 웹을 더 잘 탐색할 수 있도록. 그것은 에이전트 브라우저와 유사하지만, 동시에 A1Y처럼 확장을 사용합니다 (CDP 또는 사람들이 Chrome에 노출하는 것) 토큰 사용을 줄이기 위해. 이것은 실제로 에이전트가 대규모로 웹을 탐색할 능력을 증대시켰습니다. 마지막으로, 다시 전체 진화 루프로 돌아와서 - Dev Swarm이 이렇게 탄생했습니다. Dev Swarm에서, 오케스트레이션의 본질은 기본적으로 모양을 바꿀 수 있는 도구 또는 모델의 집합입니다.

그래서 당신은 몇 개의 Opus 컨텍스트 창 더하기 몇 개의 ChatGPT 창을 가질 수 있으며, 전체 멀티 에이전트 프레임워크와 함께, 진실의 출처는 terminal bench 또는 legacy bench 같은 더 엄격한 것입니다. 점점 더 많은 사람들이 이것을 사용하기 시작하면서, 저는 무엇이 효과가 있고 무엇이 효과가 없는지에 대한 더 많은 텔레메트리 데이터를 얻습니다. 빠른 참고 사항, 이 모든 것은 어떤 종류의 적합성 함수로 통합되었습니다. 코딩 에이전트에서, harness는 매번 다시 작성됩니다. 마지막으로, harness는 Code Graph입니다. 그것은 terminal bench에서 실행되곤 했지만 이제는 더 이상 그렇지 않습니다. 그것은 본질적으로 이러한 사실에 따라 생성되었습니다 - 그것은 자체 진화 harness이고, 시간이 지남에 따라 다양한 모델을 더 많이 사용하면서, 그것도 점점 더 좋아져서 자신의 도구를 만들었습니다. 이 모든 작업도 오픈 소스입니다.

이 궤도들도 오픈소스이지만, 저는 아직 대규모로 공개하지 않았습니다만, 당신은 확실히 확인할 수 있습니다. 왜냐하면 그것은 여전히 진행 중입니다. 그래서 네, 제가 결국 구축한 것은 harness이지만, 그에 따른 도구들도 진화 순환을 형성했으며, 이 다섯 항목 모두 본질적으로 이 harness를 더 좋게 만들었습니다. 이것들로, 저는 올해 AIE에 참석해 주신 모든 분들께 감사드리고 싶습니다. 저는 올해가 당신이 계속해서 「쓰디쓴 교훈」을 보게 될 몇 안 되는 해 중 하나가 될 것 같습니다. 쓰디쓴 교훈. 네. 감사합니다. 정말, 저는 여기서 인사를 해야 할 것 같습니다. 오, 정말 멋진 강연입니다. 감사합니다. 이 분께 다시 한 번 박수를 드립시다. 제 생각이 흔들렸습니다. 제 생각이 완전히 흔들렸습니다. 설정해 주실 수 있을까요? 먼저 요약하고 싶은데, 괜찮을까요?

우리는 무대 위에서 충돌했습니다. 무슨 뜻이에요? 오, 정말 미쳤어요. 정말 멋진 강연이었어요. 어... 여기 있는 사람들이 미쳐서 환호했어요. 모르겠어요. 다들 잤어요? 그러나 그렇습니다. 당신의 이름이 뭔가요? Daryl. Daryl. 아, 맞다, 저는 당신을 봤습니다. 네, 조명. 음, 들어보세요, 저는 정말 그가 공유한 오픈소스 프로젝트 중 하나를 찾고 있었습니다. 그것 없이는 저는 막혔을 것입니다. 그는 제 전체 아이디어를 구했습니다. 정말 미쳤습니다. 그리고 그는 이렇게 젊은데도 이것을 만들었습니다. 저는 정말... 우리는 다시 명상 수업을 할 수 있을까요? 그래서 저는 그것에 대해 생각할 수 있습니다. 무슨 뜻이에요? 오, Raj, 정말 믿을 수 없습니다. 음, 우리는 회의의 끝에 도달했습니다. 아, w가 여기 있습니다. 네. 안타깝습니다. 안타깝습니다. 음, 하지만 우리는 그곳에 경의를 표해야 합니다. 아무도 죽지 않았습니다.

우리는 반드시 그곳에 경의를 표해야 합니다... a grim의 마지막 강연에 대해 어느 정도의 주의와 존경을 바칩니다. 그를 봐보세요. 그는 싱가포르에서 가장 많은 해커톤을 우승했습니다. 누군가는 저에게 그가 이 생태계에서 성장한 사람이고, 회의, 팀, 자원봉사자를 통해 자신의 기여를 했으며, 정말로 이것을 행동으로 옮기고 인공지능이 싱가포르에서 계속 주목을 받고 비전을 갖도록 했다고 말했습니다. 그래서, 회의 뒤의 두뇌, 회의 뒤의 심장, 저는 하루 종일 그와 함께 돌아다녔고, 분명히 모든 사람이 그를 알고, 모든 사람이 그를 좋아합니다. 우리가 그를 알고 좋아한다는 것을 그에게 보여줍시다. a grim sank를 위해 따뜻한 박수를 드립시다. 테스트. 여러분, 안녕하세요. 음, 이것은 오늘의 마지막 강연이므로 신선하게 유지하겠습니다.

음, 이것은 3개월 안에 회의를 조직하는 방법에 관한 것입니다. 이 이야기는 2025년 7월 16일로 거슬러 올라갑니다. 음, Rachel, Sherry와 저는 점심을 먹고 있었고, 저는 싱가포르 주변의 인공지능 사건에 대한 것 상황에 대해 광범위한 불만을 느꼈습니다. 많은 대화가 있었지만, 정말로 빌더 친화적인 순간은 발생하지 않았습니다. 그 당시 우리는 아직 정말로 무엇이든 시작하지 않았지만, 우리가 결국 하는 무엇이든 우리가 회의를 개최하도록 이끌 것이라고 느꼈습니다. 그 당시 저는 우리가 「자유 범」 방식으로 도시의 가장 큰 회의를 운영할 것 같다는 메시지를 보냈습니다. 그것이 일어날 것이라고 생각하지 않았지만, 이 주말을 봐보세요, 그것은 성공한 것 같습니다. 그렇죠? 하지만 명백히 당신은 이것을 「자유 범」할 수 없습니다. 그렇죠?

음, 생각해 보세요. 우리는 1,000명을 강당에 밀어넣고, 우리가 찾을 수 있는 모든 인공지능 것들을 그들에게 줄 수 있습니다. 하지만 당신은 청중을 테스트해야 합니다. 생태계가 반응하지 않아서입니까? 아니면, 당신 알다시피, 생태계가 매우 적극적으로 반응하지만 행사가 그들을 위해 역할을 하지 않습니까? 그래서 우리는 몇 가지를 시도했습니다. 그 메시지를 보낸 후 일주일 후, 우리는 Cursor를 위한 모임을 개최했습니다. 그 당시 우리는 생각했습니다. 좋아요. 아마도 이것은 이 규모의 첫 번째 중 하나이고, 인공지능 도구와 관련된 개발자 모임입니다. 아마도 100명이 나타날 것입니다. 아마도 200명이 있을 것입니다. 저는 우리가 결국 900개의 등록을 얻었다고 생각합니다. 우리는 결국 500명을 들여보냈습니다. 그 당시 저에게는 꽤 미쳤습니다.

몇 개월을 빨리 감으면, 우리는 생각했습니다. 좋아요. 해커톤을 하자. 해커톤은 내가 이 산업에 들어올 때 매우 인기가 있었습니다. 우리는 생각했습니다. 좋아요. 24시간 해커톤을 해봅시다. 얼마나 많은 사람들이 등록할지 봅시다. 아마도 사람들이 올 것입니다. 아마도 그들은 올 것입니다. 1,200명이 등록했습니다. 우리는 약 500명이 참가했습니다. 음, 사람들은 네덜란드처럼 멀리서, 전체 지역에서 비행기를 타고 왔습니다. 이것은 우리에게 큰 자신감을 주었고, 아마도 문제는 행사 자체가 아니라 사람들이 정말로 모일 공간이 필요하다는 것입니다. 90일 전, 우리는 Swix를 만났고, 우리는 Swix에 「우리는 AIE 싱가포르를 운영할 것입니다」라고 말했습니다. 저는 그 당시 그가 우리를 비웃을 생각을 했다고 생각합니다. 왜냐하면 그는 「당신들이 진지합니까? 저는 당신들을 그렇게 많이 도와줄 수 없습니다. 저는 다른 AIS를 운영해야 합니다. 이전에 회의를 개최한 적이 있습니까? 사람들이 돈을 낼까요?

당신들은 이 모든 것을 어떻게 할 생각입니까?」우리의 반응은 보통 「네, 저는 우리가 길을 찾을 것 같습니다」였습니다. 이것은 항상 전체 행사 뒤의 좌우명이었습니다. 그래서 주변에 거친 곳이 있으면, 저는 그것에 대해 사과드립니다만, 우리는 정말로 노력했습니다. 이것이 진행된 방식입니다. 이 모든 것은 높은 의도를 중심으로 진행되었습니다. 우리의 의도는 이것이 우리가 할 수 있는 가장 빌더 친화적인 행사가 되도록 하는 것입니다. 우리는 방에 있는 사람들이 여기 오기를 원했는지 확인하고 싶었습니다. 티켓 가격이 저렴하지 않습니다. 저는 이해하고 있습니다만, 우리는 정말로 여기 오기를 원하는 사람들이 여기에 있는지 확인하고 싶었습니다. 우리는 여기 오기를 원하는 연사자들이 여기에 있는지 확인하고 싶었습니다. 그래서 우리는 그들을 비행기로 데려왔습니다.

우리는 여기 오기를 원하는 후원자들이 여기에 있는지 확인하고 싶었습니다. 그리고 그들은 이 회의를 기꺼이 후원하고 참여했습니다. 그래서 모든 것이 이런 식으로 합쳐졌고, 오늘이나 전체 주말 동안 이 방에 있기를 정말로 원하는 모든 사람들이 여기에 있습니다. 우리는 무료 티켓을 배포하지 않았습니다. 많은 사람들이 일어날 수 있는 것을 기다리고 있습니다. 그들은 다른 회의와 마찬가지로 무료 티켓을 찾을 수 있습니다. 여기서는 그렇지 않습니다. 그래서 당신들 모두 이 방에 있습니다. 당신들은 돈을 지불했고, 당신들은 정말로 여기 오기를 원했습니다. 그래서 당신들 모두에게 따뜻한 박수를 드립니다. 당신들은 계속 나타났고, 방은 하루 종일 가득 찼고, 지금은 오후 6시이고, 당신들은 여전히 여기입니다.

명백히, 대화의 품질, 일어나고 있는 것들은 모두 잘 작동했고, 당신들은 하루 종일 매일 여기 있기를 원합니다. 어, 강연은 종종 만석입니다. 모든 연사자는 무대 위에서 좋은 시간을 보냈다고 말했습니다. 왜냐하면 청중이 그들이 공유하기를 원했던 모든 것에 적극적으로 반응했기 때문입니다. 그리고 우리는 이전에 싱가포르 청중이 샌프란시스코나 런던의 청중과 같을지 완전히 확실하지 않았습니다. 매일 만석 강연장을 보는 것은 정말로 고무적이었습니다. 하지만 문제는, 당신이 해외에서 온 회의를 복사해서 싱가포르에 붙여넣을 수 없다는 것입니다. 맞죠? 우리에게는 「AIE를 직접 복사해서 싱가포르에 붙여넣자」고 말하기가 쉬웠을 것입니다. 하지만 싱가포르는 다른 청중입니다. 싱가포르는 다양한 유형의 사람들을 가지고 있습니다.

싱가포르는 회의에 대해 다른 기대를 가지고 있습니다. 만약 이것이 연구 집약적인 회의라면, 아마도 우리는 당신들 중 절반을 잃을 것입니다. 만약 이 회의가 너무 단순하다면, 아마도 그것은 당신이 인공지능 엔지니어 회의에서 기대했던 엄밀함을 얻었다는 것을 당신에게 느끼게 하지 않을 것입니다. 그래서 그 균형점을 찾는 것은 매우 독특한 싱가포르 사항입니다. 더욱이, 당신은 이 회의를 당신 자신의 것으로 만들어야 합니다. 왜냐하면 당신이 무언가를 완전히 복사할 계획이 아니라면, 프로그래밍 면모에 당신의 기여가 무엇입니까? Sherry는 제 생각에 약 21개 버전의 연사자 목록을 만들었습니다. 당신은 어떻게 연사자를 분류합니까? 당신은 어떻게 openclaw 관련 강연을 들을 때 동시에 여러 개를 들었는지 확인합니까? 왜냐하면 이렇게 하면 여러 연사자의 관점을 볼 수 있고 스스로 판단을 내릴 수 있기 때문입니다.

아마도 당신은 오늘 아침 일찍 magic path와 magic pattern이 연달아 나타나는 것을 들었을 것입니다. 이름은 비슷하고, 분야는 비슷하지만, 그들은 제품을 생각하는 방식이 완전히 다릅니다. 이것은 당신이 사물이 어떻게 작동하는지에 대해 자신의 견해를 형성할 수 있게 해줍니다. 하지만 또한, 우리는 AIE 행사에 우리 자신의 맛을 더하기를 원했습니다. 여기 있는 모든 사람이 워크숍 티켓을 가지고 있습니다. 이것은 보통 다른 AIES의 기본값이 아니지만, 우리는 싱가포르에서 「빌더 중심」 행사를 처음 개최하려면 누군가가 빌드해야 한다고 생각했습니다. 이것이 생각 지도력 행사가 아닙니다. 이것은 인공지능의 미래에 대한 아늑한 대화 패널 토론이 아닙니다. 이것은 빌더 행사입니다. 이 날들 중 적어도 하나에서 빌드하지 않으면, 우리는 이 모든 것의 목적을 잃었습니다. 그래서 워크숍이 그 부분입니다.

우리는 감정 해소 수업을 추가했습니다. 왜냐하면 우리는 인공지능 불안, 토큰 불안이 요즘 기정사실이라고 느꼈기 때문입니다. 물건이 변화하는 속도가 너무 빨라서, 사람들은 인공지능과의 관계를 이해하고 매일 30개 이상의 강연 사이에서 감정을 해소할 방법이 필요합니다. 이 부분이 중요합니다. 명백히, 진정한 싱가포르 스타일에 따라, 우리는 당신들이 즐거움을 가지도록 하고 싶었습니다. 그래서 우리는 어제 밤 큰 파티를 개최했고, Jeff Huntley와 저는 결국 리드 DJ가 나타나기 전에 DJ 역할을 했습니다. 하지만 이것도 우리가 싱가포르에서 행사를 개최하려면 우리가 우리가 이곳에서 일하는 방식을 따라야 한다고 생각한 것입니다. 하지만 명백히, 강연이 훌륭하고, 프로그래밍이 훌륭하지만.

이런 행사를 운영하는 전체 의미는 복도 충돌이 일어나는 것, 당신이 전시회에서 만나는 사람, 당신이 대화할 수 있는 사람, 당신이 대부분의 후원자로부터 주요 팀을 직접 현장에 가지고 있다는 것입니다. 당신이 언제든지 만날 수 있는 연사자들이 있습니다. 당신이 커피를 마시든, 점심을 먹든, 어, 당신이 그들을 보고 싶든 그들이 당신 옆에 앉아 강연을 들으면. 연사자에 대한 접근 권한을 제공하고, 팀에 대한 접근 권한을 제공하는 것은 싱가포르에서 매우 드문 일입니다. 만약 당신이 어떤 회의든 가면, 인공지능이든 다른 것이든, 당신은 주로 마케팅 담당자가 앉아 있는 것을 볼 것입니다. 브랜드에 대해 말하고, 명함을 교환하고, 그것뿐입니다. 당신이 회사를 만나려고 할 때, 이것은 완전히 체험이 아닙니다. 이 중 일부는 싱가포르에 있었던 적이 없습니다.

이 중 일부는 이런 회의 중 어느 것도 참석한 적이 없습니다. 그래서 극장 밖에서 그런 순간을 만드는 것은 정말로 우리에게 중요했습니다. 저는 당신들 많은 사람들이 전시회 구역을 걸어다닐 기회가 있었고 팀을 만났다고 믿습니다. 이 중 일부는 여기에 오기 위해 17시간 이상을 비행했습니다. 이 중 일부는 이전에 싱가포르에 온 적이 없습니다. 그래서 당신을 위해 그런 체험을 만드는 것은 정말로, 정말로 중요했습니다. 우리는 AI처럼 당신이 주말 동안 그런 체험을 얻을 수 있기를 원했습니다. 하지만 여기 중요한 것은 단순히 방에 이미 있는 사람들이 아닙니다. 그것이 다음 세대도 그로부터 이득을 얻도록 어떻게 자리 잡는가입니다. 제가 언급했듯이, 티켓 가격이 비싸요.

하지만 경제적 어려움 때문에 장면에서 곧 오는 아이들, 대학 학교에 그런 수준의 회의에 대한 기회를 닫지 말아야 합니다. 왜냐하면 그들이 빌더가 될 것이기 때문입니다. 그래서 우리는 장학금을 제공했습니다. 밖에 이것에 대한 정보가 있지만, 기본적으로 우리는 우리가 들었던 큰 조직인 후원자가 있었습니다. 우리가 장학금을 발표해야 하기 2일 전에 철수했습니다. 이것은 우리를 위해 상당히 심장 아팠습니다. 왜냐하면 우리는 아이들을 참여시키기를 원했기 때문입니다. 그래서 Rachel, Sherry와 저는 우리가 우리 자신의 주머니에서 이것을 하기로 결정했습니다. 하지만 현장의 많은 빌더들이 자신의 개인적 역할로 참여하기로 결정했고, 우리는 20명의 학생을 데려올 수 있었습니다.

20명의 학생들은 연사자들을 만났고, 그들과 함께 어울렸고, 그들로부터 배웠고, 아마도 그들은 다른 어떤 상황에서도 가지지 않을 평생의 기회가 있었을 것입니다. 우리는 무대 옆에 몇 명의 학생이 있었습니다. 우리는 그들을 무대에 올리는 것을 기꺼이 했습니다. 그래서, 당신들이 그들을 올려줄 수 있을까요? 우리는 우리가 조직한 모든 해커톤, 우리가 한 모든 행사를 통해 이 학생들을 찾았습니다. 이 사람들은 우리가 한 모든 행사에 나타났습니다. 명백히, 우리의 모든 행사는 설계상 무료입니다. 왜냐하면 우리는 그들이 방에 들어오길 원했기 때문입니다. 하지만 이것은 우리가 제공할 수 있는 기회의 정점입니다. 이들은 명백히 우리가 후원한 20명 중 4명입니다. 당신들은 주변에서 그들을 본 적이 있을지도 모릅니다.

그들은 Twitter에서 모든 요약을 하고 있었습니다. 관련 내용을 게시하고 있었습니다. 그들의 경험을 기록하고 있었습니다. 비행해온 모든 사람들을 만나고 있었습니다. 이것은 우리가 적어도 아이들이 이것을 즐기도록 하기 위해 할 수 있는 놀라운 일입니다. 그래서 다시 한 번, 여러분들께 감사합니다. 저는 정말로 기여한 사람들을 외치고 싶습니다. 저는 Arise에서 온 Patrick Kelly입니다. Arise는 실제로 이 회의의 후원자이지만, Patrick은 아이들을 지원하기 위해 자신의 주머니에서 추가로 돈을 내기로 결정했습니다. Neil Chang, Ivan, Leo, Casper, Iterative에서 온 Suken, Zayn, 저 자신, Sher, Rachel, 20명의 학생을 후원하기로 결정한 많은 익명의 빌더들. 그래서, 다시 한 번, 모든 사람을 위해 따뜻한 박수를 드립시다. 그래서, 우리는 여러 번 들었습니다. 특히 싱가포르에서. 여기는 장면이 없습니다. 아무것도 일어나고 있지 않습니다. 저는 회의에 참석하기 위해 샌프란시스코로 날아가야 한다고 생각합니다.

하지만 저는 주말이 끝날 때 모든 사람이 당신들이 이 장면이라는 것을 느껴주길 원합니다. 당신들은 정기적으로 나타났습니다. 모든 강연, 모든 워크숍, 전시회 주변에서, 어제처럼 오전 8시 30분, 오늘 아침 9시, 비를 뚫고, 당신들을 막을 수 있는 어떤 조건을 뚫고서도. 당신들은 우리가 이를 위해 준비한 모든 부수적 행사에 나타났습니다. 모든 행사가 초과 구독되었습니다. 모든 행사에 수백 명의 사람들이 나타났습니다. 이 회사들을 알지 못했어도, 누가 갈지 알지 못했어도, 단지 당신이 더 큰 무언가가 진행 중이고 당신이 그 일부가 될 수 있다는 것을 알았기 때문에. 저는 그것이 당신들이 기억할 것이라고 생각합니다. 왜냐하면 이것은 단순히 싱가포르 인공지능을 초월했기 때문입니다. 이것은 앞으로 몇 년 동안 이 나라의 인공지능 빌더 장면을 구축할 것입니다.

이것이 이것이 고립된 순간이 아닌 이유입니다. 저는 당신들이 계속 나타나기를 원합니다. 저는 당신들이 계속 빌드하기를 원합니다. 저는 당신들이 주말을 통해 친구를 사귀었고, 당신들이 연락을 유지할 것을 원합니다. 저는 당신들이 빌드하기 위해 해커톤에 가기를 원합니다. 아마도 함께 무언가를 시작하기도. 저는 당신들이 그것에 대해 게시하기를 원합니다. 저는 당신들이 당신이 하고 있는 일을 공유하기 위해 허락을 요청하지 않기를 원합니다. 왜냐하면 이것이 사람들이 싱가포르가 행동이 일어나는 도시라는 것을 아는 방식이기 때문입니다. 단지 샌프란시스코가 일어나는 장소가 아니라. 단지 런던이 일어나는 장소가 아니라. 하지만 싱가포르, 단지 아시아에서가 아니라, 세계에서, 주목할 가치가 있는 도시입니다.

이 시점에서, 저는 정말로 온 모든 연사자들, 후원자들, 우리의 주요 후원자들, 다이아몬드 후원자들과 플래티넘 후원자들, OpenAI, ZAI, Google Deep Mind, Cursor, Arise, 잠을 자지 않은 자원봉사자들, 그것을 계속 유지하는 팀에게 감사드리고 싶습니다. 수천 명의 당신들. 저는 조직 팀과 자원봉사자들 모두를 무대에 부르고 싶습니다. 왜냐하면 이 사람들은 전체 주말 동안 운영이 매끄럽게 실행되도록 한 주추였기 때문입니다. 이 사람들은 당신들이 먹을 음식이 있는지 확인했습니다. 이 사람들은 당신들의 배지와 접근 권한이 해결되었는지 확인했습니다. 이 사람들은 당신이 균열을 통해 미끄러지는 것을 보지 않도록 했습니다. 단지 당신들이 최고의 회의 체험을 가질 수 있도록 하기 위해. 우리는 완료되지 않았습니다. 잠깐. 그래서 명백히 진정한 마블 영화 스타일에서처럼, 당신 알다시피, AI 엔지니어가 돌아올 것입니다.

어, 우리는 관심 있는 사람들을 위한 서명 시트를 가지고 있습니다. 어, 우리는 조만간 몇 가지 얼리 버드 티켓과 유사한 정보를 보낼 것입니다. 왜냐하면 저는 우리가 그것을 알아낼 것 같기 때문입니다. 하지만 우리는 정말로 당신의 의도를 기록했는지 확인하고 싶습니다. 그래서 만약 그리고 우리가 불원간에 발표할 때, 당신들이 먼저 알기를 원합니다. 왜냐하면 당신들이 우리를 위험에 빠뜨렸기 때문입니다. 당신이 들었던 적이 없는 사람들, 세계 이 곳에서 회의를 개최한 적이 없는 회의, 위험을 감수하고 정기적으로 나타났다는 것은 우리가 당연하게 받을 수 없는 것입니다. 우리는 정말로, 정말로, 정말로 당신들의 모험에 감사드립니다. 그래서 다시 한 번 감사합니다. 우리는 여기서 음악을 재생할 수 있을까요? 네, 우리는 다시 사진을 찍겠습니다. 우리는 다시 사진을 찍겠습니다. 음악이 없습니다. Swig는 어디에 있나요? Swix, 올라오세요. Swix, 올라오세요.

Swix는 전 세계 AI 엔지니어 뒤의 사람입니다. 만약 당신이 어제 들었다면, 그는 또한 싱가포르 사람이고, 그는 우리에게 이것을 하도록 한 사람입니다. 이것이 일어나고 있는 이유. 그래서 Swix에게 감사합니다. Swix 안녕히 주무세요. 단지 당신과 나뿐입니다. 단지 당신과 나뿐입니다. 좋습니다. 3 2 1 우리는 춤을 출 수 있을까요? 우리는 어떻게 사진을 찍을까요? 이봐요, 이봐요, 이봐요. 이봐요, 나를 느껴봐요. 이봐요, 이봐요, 이봐요. 이봐요, 이봐요, 이봐요. 이봐요, 이봐요, 이봐요. 이봐요, 이봐요, 이봐요. 이봐요, 이봐요, 이봐요.