面向电商应用的语义感知多模态多语言深度学习系统

AISG 与 Shopee 合作，用先进的多语言、多模态深度学习模型解决电商场景的语义理解。原本 Shopee 严重依赖手工搭建的任务流，成本高、覆盖窄。团队用微调过的大型语言模型重做 Taskbot，完成率和纠错率都明显提升。

另一个应用把传统机器学习的 Shopee 聊天机器人升级——原版只用「成功案例」微调，新方案把失败案例的负反馈也纳入训练，客户满意度提升、失败互动减少。NUS 还从零训练了一个面向东南亚的多语言 LLM。关键创新是双向负反馈损失函数，即使监督数据稀缺也能稳定对齐偏好；对 GPT 基线的胜率从 18% 提升到 50%，加上策略采样进一步到 56%。研究成果已在多场顶级会议发表，模型成熟后会进入 Shopee 生产环境。

字幕语言：zh-CN · 抓取日期：2026-05-02 · 翻译日期：2026-05-02

电子商务正经历指数级增长，在全球经济中扮演着越来越重要的角色。近年来，深度学习在各种电子商务应用中被越来越广泛地采用。然而，现有的深度学习模型在面对多语言和多模态信息时，难以有效理解和处理。我们与C公司合作，开发了先进的多语言多模态模型，在顶级会议上发表了研究成果，并成功在C公司的平台上验证了我们的模型。此前，shopp严重依赖手工构建的任务流程，导致成本高昂且覆盖范围有限。但现在，我们通过利用微调的大型语言模型的力量，彻底改变了客户互动方式。

如今，Taskbot超越了所有预期，达到了令人印象深刻的完成率和纠正率。结果是，客户互动变得比以往任何时候都更智能、更快速、更可靠。在另一个应用中，shoppy聊天机器人最初采用传统机器学习，仅在成功案例上进行微调，忽略了失败案例。我们的解决方案改变了这一点，将正面和负面反馈都纳入大型语言模型的微调中。这种增强的方法显著提升了客户满意度，并显著降低了失败互动的发生率。我们还从零开始训练了自己的大型语言模型。针对东南亚的多语言大型语言模型面临独特挑战，尤其是低资源语言的数据有限。在国立台湾师范大学计算机科学系（NTUNC），我们正在构建一个专门针对该地区的模型。

我们的关键创新是双向负反馈损失函数，即使在监督稀缺的情况下也能实现稳定的偏好对齐。这带来了显著的提升。相较于GPT基线，胜率从18%跃升至50%。通过策略采样，我们进一步提升至56%。对于shopppee用户来说，这直接转化为一个更智能的大型语言模型，真正理解他们的需求，使每次使用应用时的互动都更加有帮助且准确。