專案檔案
ShowUI
面向 GUI Agent 與 Computer Use 的視覺-語言-動作模型
GitHub Stars
1.8k+
論文
CVPR 2025
方向
Computer Use
- 機構
- NUS Show Lab
- 分組
- 大學與研究機構
- 類別
- GUI Agent 模型
- 狀態
- 活躍研究線
- 啟動
- 2024-10
- 語言 / 形態
- Python / Models
- 協議
- Apache-2.0
- GitHub Stars
- 1,880
- 資訊更新
- 2026-05-04
ShowUI 是面向 GUI Agent 的開源模型,讓模型通過截圖理解介面,並輸出可點選座標或動作。
是什麼
ShowUI 關注的是人類每天實際使用的軟體介面:網頁、應用視窗、按鈕、輸入框、選單。它讓模型從視覺介面中定位操作目標,服務於 Computer Use 和 GUI 自動化。
這和純文本 agent 不同:很多真實軟體沒有乾淨 API,也沒有完整 DOM 或 accessibility tree。ShowUI 試圖直接從畫面理解操作。
與 AI 的關係
Agent 落地的瓶頸之一是介面操作。模型會說計劃不難,真正難的是在複雜軟體裡點選對地方、理解狀態變化、從失敗中恢復。
ShowUI 把 GUI 視覺理解變成模型任務,是 agent 從對話走向真實電腦操作的一條關鍵路線。
與新加坡的關係
ShowUI 對新加坡的意義在於它切中了企業自動化和 agent 工具鏈。新加坡大量 AI 落地發生在金融、政務、醫療、物流等複雜系統裡,很多流程依然要穿過舊介面。
如果 GUI Agent 變成通用能力,ShowUI 這類研究會成為連線模型和真實軟體工作流的基礎模組。
關鍵里程碑
- 2024-10ShowUI 倉庫建立
- 2025-02ShowUI 接收為 CVPR 2025 論文