# 面向電商應用的語義感知多模態多語言深度學習系統

- 日期: 2025-07-01
- 相關方: AI Singapore (AI 研究與人才培養機構) · AI Singapore
- 來源: https://www.youtube.com/watch?v=9ONmek-BRWE
- sgai: https://sgai.md/zh-tw/videos/v050/
- 許可：sgai 自產內容（摘要、譯文、分析）CC BY 4.0，署名並連結 sgai.md 即可；逐字原文（國會記錄、演講、字幕、政策原文）© 原權利人，僅供引用。條款：https://github.com/meltflake/sgai/blob/main/DATA-LICENSE.md

## 為什麼重要

AISG 100E 專案將勝率從 18% 拉到 56% 的模型送進 Shopee 產線，證明新加坡應用型 AI 資助能補上全球大廠忽視的東南亞小語種缺口

## 摘要

AISG 100E 專案針對電商場景的多語言、多模態環境,解決低資源語言標註資料稀缺與複雜語義學習兩大挑戰。

## 要點

- AISG 100E 專案與 Shopee 合作，用微調 LLM 替換原有手工任務流，提升 Taskbot 完成率與糾錯率。
- 改進版 Shopee 聊天機器人把負反饋也納入微調，客戶滿意度提升、失敗互動下降。
- NUS 自訓東南亞多語言 LLM，用雙向負反饋損失讓勝率從 18% 躍升到 56% (對 GPT 基線)。

## 全文

© AI Singapore — 僅供引用。

電子商務正經歷指數級增長，在全球經濟中扮演著越來越重要的角色。近年來，深度學習在各種電子商務應用中被越來越廣泛地採用。然而，現有的深度學習模型在面對多語言和多模態資訊時，難以有效理解和處理。我們與C公司合作，開發了先進的多語言多模態模型，在頂級會議上發表了研究成果，併成功在C公司的平臺上驗證了我們的模型。此前，shopp嚴重依賴手工構建的任務流程，導致成本高昂且覆蓋範圍有限。但現在，我們通過利用微調的大型語言模型的力量，徹底改變了客戶互動方式。

如今，Taskbot超越了所有預期，達到了令人印象深刻的完成率和糾正率。結果是，客戶互動變得比以往任何時候都更智慧、更快速、更可靠。在另一個應用中，shoppy聊天機器人最初採用傳統機器學習，僅在成功案例上進行微調，忽略了失敗案例。我們的解決方案改變了這一點，將正面和負面反饋都納入大型語言模型的微調中。這種增強的方法顯著提升了客戶滿意度，並顯著降低了失敗互動的發生率。我們還從零開始訓練了自己的大型語言模型。針對東南亞的多語言大型語言模型面臨獨特挑戰，尤其是低資源語言的資料有限。在國立臺灣師範大學電腦科學系（NTUNC），我們正在構建一個專門針對該地區的模型。

我們的關鍵創新是雙向負反饋損失函式，即使在監督稀缺的情況下也能實現穩定的偏好對齊。這帶來了顯著的提升。相較於GPT基線，勝率從18%躍升至50%。通過策略取樣，我們進一步提升至56%。對於shopppee使用者來說，這直接轉化為一個更智慧的大型語言模型，真正理解他們的需求，使每次使用應用時的互動都更加有幫助且準確。