ShowUI

ShowUI は、人間が毎日実際に使用するソフトウェアインターフェイスに焦点を当てています：ウェブページ、アプリケーションウィンドウ、ボタン、入力フィールド、メニューです。モデルが視覚インターフェイスから操作対象を特定し、Computer Use および GUI 自動化に対応しています。

これはテキストのみの agent とは異なります：多くの実在するソフトウェアはクリーンな API も完全な DOM もアクセシビリティツリーも備えていません。ShowUI は画面から直接操作を理解しようとしています。

Agent の実装における 1 つのボトルネックはインターフェース操作です。モデルが計画を述べることは難しくありませんが、本当に難しいのは複雑なソフトウェア内で正確な位置をクリックすること、状態の変化を理解すること、失敗から回復することです。

ShowUI は GUI の視覚理解をモデルタスクに変え、agent が会話から実際のコンピュータ操作へ移行するための重要なルートです。

ShowUI がシンガポールにとって重要な意義を持つのは、企業オートメーションと agent ツールチェーンに的確に対応しているからです。シンガポールでは多くの AI 実装が金融、行政、医療、ロジスティクスなどの複雑なシステムで実施されており、多くのプロセスが依然として古いインターフェースを通過する必要があります。

GUI Agent が汎用能力になれば、ShowUI などの研究はモデルと実際のソフトウェアワークフローを接続する基礎モジュールになるでしょう。