# 面向电商应用的语义感知多模态多语言深度学习系统

- 日期: 2025-07-01
- 相关方: AI Singapore (AI 研究与人才培养机构) · AI Singapore
- 来源: https://www.youtube.com/watch?v=9ONmek-BRWE
- sgai: https://sgai.md/zh/videos/v050/
- 许可：sgai 自产内容（摘要、译文、分析）CC BY 4.0，署名并链接 sgai.md 即可；逐字原文（国会记录、演讲、字幕、政策原文）© 原权利人，仅供引用。条款：https://github.com/meltflake/sgai/blob/main/DATA-LICENSE.md

## 为什么重要

AISG 100E 项目将胜率从 18% 拉到 56% 的模型送进 Shopee 产线，证明新加坡应用型 AI 资助能补上全球大厂忽视的东南亚小语种缺口

## 摘要

AISG 100E 项目针对电商场景的多语言、多模态环境,解决低资源语言标注数据稀缺与复杂语义学习两大挑战。

## 要点

- AISG 100E 项目与 Shopee 合作，用微调 LLM 替换原有手工任务流，提升 Taskbot 完成率与纠错率。
- 改进版 Shopee 聊天机器人把负反馈也纳入微调，客户满意度提升、失败互动下降。
- NUS 自训东南亚多语言 LLM，用双向负反馈损失让胜率从 18% 跃升到 56% (对 GPT 基线)。

## 全文

© AI Singapore — 仅供引用。

电子商务正经历指数级增长，在全球经济中扮演着越来越重要的角色。近年来，深度学习在各种电子商务应用中被越来越广泛地采用。然而，现有的深度学习模型在面对多语言和多模态信息时，难以有效理解和处理。我们与C公司合作，开发了先进的多语言多模态模型，在顶级会议上发表了研究成果，并成功在C公司的平台上验证了我们的模型。此前，shopp严重依赖手工构建的任务流程，导致成本高昂且覆盖范围有限。但现在，我们通过利用微调的大型语言模型的力量，彻底改变了客户互动方式。

如今，Taskbot超越了所有预期，达到了令人印象深刻的完成率和纠正率。结果是，客户互动变得比以往任何时候都更智能、更快速、更可靠。在另一个应用中，shoppy聊天机器人最初采用传统机器学习，仅在成功案例上进行微调，忽略了失败案例。我们的解决方案改变了这一点，将正面和负面反馈都纳入大型语言模型的微调中。这种增强的方法显著提升了客户满意度，并显著降低了失败互动的发生率。我们还从零开始训练了自己的大型语言模型。针对东南亚的多语言大型语言模型面临独特挑战，尤其是低资源语言的数据有限。在国立台湾师范大学计算机科学系（NTUNC），我们正在构建一个专门针对该地区的模型。

我们的关键创新是双向负反馈损失函数，即使在监督稀缺的情况下也能实现稳定的偏好对齐。这带来了显著的提升。相较于GPT基线，胜率从18%跃升至50%。通过策略采样，我们进一步提升至56%。对于shopppee用户来说，这直接转化为一个更智能的大型语言模型，真正理解他们的需求，使每次使用应用时的互动都更加有帮助且准确。