面向電商應用的語義感知多模態多語言深度學習系統

AISG 與 Shopee 合作，用先進的多語言、多模態深度學習模型解決電商場景的語義理解。原本 Shopee 嚴重依賴手工搭建的任務流，成本高、覆蓋窄。團隊用微調過的大型語言模型重做 Taskbot，完成率和糾錯率都明顯提升。

另一個應用把傳統機器學習的 Shopee 聊天機器人升級——原版只用「成功案例」微調，新方案把失敗案例的負反饋也納入訓練，客戶滿意度提升、失敗互動減少。NUS 還從零訓練了一個面向東南亞的多語言 LLM。關鍵創新是雙向負反饋損失函式，即使監督資料稀缺也能穩定對齊偏好；對 GPT 基線的勝率從 18% 提升到 50%，加上策略取樣進一步到 56%。研究成果已在多場頂級會議發表，模型成熟後會進入 Shopee 生產環境。

字幕語言： zh-Hant · 抓取日期： 2026-05-02

電子商務正經歷指數級增長，在全球經濟中扮演著越來越重要的角色。近年來，深度學習在各種電子商務應用中被越來越廣泛地採用。然而，現有的深度學習模型在面對多語言和多模態資訊時，難以有效理解和處理。我們與C公司合作，開發了先進的多語言多模態模型，在頂級會議上發表了研究成果，併成功在C公司的平臺上驗證了我們的模型。此前，shopp嚴重依賴手工構建的任務流程，導致成本高昂且覆蓋範圍有限。但現在，我們通過利用微調的大型語言模型的力量，徹底改變了客戶互動方式。

如今，Taskbot超越了所有預期，達到了令人印象深刻的完成率和糾正率。結果是，客戶互動變得比以往任何時候都更智慧、更快速、更可靠。在另一個應用中，shoppy聊天機器人最初採用傳統機器學習，僅在成功案例上進行微調，忽略了失敗案例。我們的解決方案改變了這一點，將正面和負面反饋都納入大型語言模型的微調中。這種增強的方法顯著提升了客戶滿意度，並顯著降低了失敗互動的發生率。我們還從零開始訓練了自己的大型語言模型。針對東南亞的多語言大型語言模型面臨獨特挑戰，尤其是低資源語言的資料有限。在國立臺灣師範大學電腦科學系（NTUNC），我們正在構建一個專門針對該地區的模型。

我們的關鍵創新是雙向負反饋損失函式，即使在監督稀缺的情況下也能實現穩定的偏好對齊。這帶來了顯著的提升。相較於GPT基線，勝率從18%躍升至50%。通過策略取樣，我們進一步提升至56%。對於shopppee使用者來說，這直接轉化為一個更智慧的大型語言模型，真正理解他們的需求，使每次使用應用時的互動都更加有幫助且準確。