返回產學研開源生態 GUI Agent 模型 活躍研究線

專案檔案

ShowUI

面向 GUI Agent 與 Computer Use 的視覺-語言-動作模型

GitHub Stars
1.8k+
論文
CVPR 2025
方向
Computer Use
機構
NUS Show Lab
分組
大學與研究機構
類別
GUI Agent 模型
狀態
活躍研究線
啟動
2024-10
語言 / 形態
Python / Models
協議
Apache-2.0
GitHub Stars
1,880
資訊更新
2026-05-04

ShowUI 是面向 GUI Agent 的開源模型,讓模型通過截圖理解介面,並輸出可點選座標或動作。

是什麼

ShowUI 關注的是人類每天實際使用的軟體介面:網頁、應用視窗、按鈕、輸入框、選單。它讓模型從視覺介面中定位操作目標,服務於 Computer Use 和 GUI 自動化。

這和純文本 agent 不同:很多真實軟體沒有乾淨 API,也沒有完整 DOM 或 accessibility tree。ShowUI 試圖直接從畫面理解操作。

與 AI 的關係

Agent 落地的瓶頸之一是介面操作。模型會說計劃不難,真正難的是在複雜軟體裡點選對地方、理解狀態變化、從失敗中恢復。

ShowUI 把 GUI 視覺理解變成模型任務,是 agent 從對話走向真實電腦操作的一條關鍵路線。

與新加坡的關係

ShowUI 對新加坡的意義在於它切中了企業自動化和 agent 工具鏈。新加坡大量 AI 落地發生在金融、政務、醫療、物流等複雜系統裡,很多流程依然要穿過舊介面。

如果 GUI Agent 變成通用能力,ShowUI 這類研究會成為連線模型和真實軟體工作流的基礎模組。

關鍵里程碑

  1. 2024-10
    ShowUI 倉庫建立
  2. 2025-02
    ShowUI 接收為 CVPR 2025 論文

資源入口

更多產學研專案