大语言模型的多语言机器翻译能力评估
基于XGLM、OPT、BLOOMZ、ChatGPT等模型，在102种语言和202个翻译方向上系统评测多语言机器翻译能力。ChatGPT表现最佳，但在83 33%方向上仍落后于有监督基线NLLB。任务示例可提升指令微调模型性能；随机选择示例与语义检索效果相当；跨语言示例可用于低资源翻译。数据泄漏风险需警惕。
总起
近年来，以ChatGPT为代表的大语言模型（Large Language Models，LLM）在机器翻译（Machine Translation，MT）任务上展现出了惊人的潜力。通过情景学习（In-Context Learning，ICL），大语言模型可以根据任务示例和任务指令，在不更新模型参数的情况下完成特定下游任务。然而，这些模型主要基于大规模通用语料进行语言模型任务的学习，并未经过大规模多语言翻译数据的专门训练。那么，大语言模型的多语言机器翻译能力究竟如何？哪些因素会影响它们的翻译表现？ 本文基于XGLM、OPT、BLOOMZ、ChatGPT等热门模型，在百余种语言上系统评测了其翻译能力，并深入分析了情景学习中各种因素对翻译效果的影响。
一、研究动机
以ChatGPT为代表的大语言模型在机器翻译任务上展现了惊人潜力。通过情景学习，大语言模型可以根据任务示例和任务指令，在不更新模型参数的情况下完成特定下游任务。然而，这些模型主要基于大规模通用语料进行语言模型任务的学习，并未经过大规模多语言翻译数据的专门训练。我们非常好奇于以下两个问题：
- 大语言模型的多语言机器翻译能力如何？
- 哪些因素会影响大语言模型的翻译表现？
为了深入探究这些问题，本文评测了XGLM、OPT、BLOOMZ、ChatGPT等众多热门大语言模型在百余种语言上的翻译能力，并分析了情景学习中各种因素对翻译效果的影响。
二、主要贡献
- 1. 全面评测： 本文在102种语言以及202个以英文为核心的翻译方向上，全面评测了包括ChatGPT在内的热门大语言模型的多语言机器翻译能力。
- 2. 系统报告： 本文系统报告了一系列大语言模型以及两个有监督基线的翻译表现，为后续大语言模型和多语言机器翻译研究工作提供了有力参照。
- 3. 新发现： 本文还发现了在机器翻译任务上，大语言模型展现出了一些新的工作模式。
三、实验设定
为了全面衡量大语言模型的多语言机器翻译能力，本文选用Flores-101数据集进行实验。在应用大语言模型进行情景学习的过程中，本文设置任务示例数目为8，任务指令模板为“
你是一名 AI 行业编辑，请围绕下面这条热点输出一份资讯解读：
热点：大语言模型的多语言机器翻译能力评估要求：
1. 先用一句话解释这条热点在讲什么
2. 再总结它为什么重要
3. 说明会影响哪些 AI 产品或内容方向
4. 最后给出 3 个适合资讯站使用的标题
游乐网为非赢利性网站，所展示的游戏/软件/文章内容均来自于互联网或第三方用户上传分享，版权归原作者所有，本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容，请联系youleyoucom@outlook.com。
相关热点QuickieAI是一款轻量级Chrome插件，核心逻辑是快速准确。在写作、社交媒体运营、营销活动场景中，一键完成内容研究与文案生成，支持侧边栏即时响应。可辅助写作、生成多平台文案及营销话术，擅长冷启动，最终质量需人工微调。
快手开源图像生成模型可图Kolors，采用GLM文本编码器支持中英文双语理解，可处理256token长文本。基于数十亿文本图像对训练，专门优化中国文化元素，能稳定生成中文文字，英文文字偶有缺漏。
Hebbia是一款专为金融、法律、政府和制药等行业设计的AI搜索引擎，其Matrix产品通过拆解复杂文档实现自动化信息提取与分析，已获3000万美元融资。它适用于研究人员、商业人士及学生，提供全面、精准的检索与洞察。
Penf1是一款AI驱动的博客创作工具，专注于简化从构思到发布的全流程。它支持即时内容生成、创意破题和SEO优化，帮助创作者快速获得高质量初稿，从而将精力集中于打磨观点和注入个人风格。
- 日榜
- 周榜
- 月榜
热点快看