您可以使用哪些开源语言学习模型和翻译模型？

上次审核日期：2026年9月8日

Meta 和 Unbabel 等翻译模型之间有何区别？

Meta 和 Unbabel 代表了开放翻译模型的两种不同方法：Meta 发布广泛的、专门构建的机器翻译模型作为研究成果，而 Unbabel 构建针对翻译进行调整的 LLM，以及业内大部分人用来对其进行评分的开放评估工具。

• Meta 的 NLLB-200 优化了覆盖面。“不让任何语言掉队”模型可翻译 200 种语言，包括大多数商业引擎跳过的低资源语言，参数数量从 6 亿到 545 亿不等——但其 CC-BY-NC 4.0 许可将其限制为研究和非商业用途。
• Unbabel's Tower 针对深度进行了优化。Tower 是一个基于 Llama 2 构建的多语言 LLM，发布了 7B 和 13B 两种规模，涵盖 10 种高流量语言（英语、德语、法语、西班牙语、中文、葡萄牙语、意大利语、俄语、韩语和荷兰语）；发布时，Unbabel 报告称，它在翻译任务上的表现优于规模更大的模型，包括 NLLB-54B 和 ALMA-R。与 NLLB 一样，其 CC-BY-NC 4.0 许可协议阻止了商业部署。
• Unbabel 更广泛的应用领域是评估。Unbabel 还开发了 COMET，这是一个开源的质量评估框架，它已成为机器翻译评分的事实行业标准——例如，Smartling 的 AI 团队在对引擎进行基准测试时，会将 COMET 与 MetricX 和 BLEU 一起使用。
• 这种比较在实践中意味着什么。两者都不是您需要订阅的托管产品。Meta 的模型回答了“我们可以覆盖多少种语言”；Tower 回答了“在最重要的语言中，开放翻译能达到什么水平”——商业团队只能将两者用于内部研究，除非他们安排不同的许可或选择像 Opus-MT 或 MADLAD-400 这样的许可替代方案。

开源翻译模型概览

许可证和承保范围详情已于2026年9月核实。部署前务必在模型的官方仓库中确认当前的许可文本。

在为项目选择翻译模型时，应该考虑哪些因素？

具体来说，对于开源候选模型，以下序列会优先加载最快排除模型的限制条件；关于跨商业引擎路由的更广泛问题，在“选择合适的 LLM 进行翻译的最佳系统是什么？”中得到了解答。

1. 首先定义您的语言对和内容类型——模型质量因语言对和领域而异，因此，在确定您发布的是日语技术文档、西班牙语营销文案还是 40 种语言的支持内容之前，“最佳模型”是无法回答的。
2. 在运行任何基准测试之前，请先检查许可证——CC-BY-NC 4.0 会立即将 NLLB-200 和 Tower 从商业候选名单中移除，而 Apache 2.0 (MADLAD-400, T5) 和 CC-BY 4.0 (Opus-MT) 通过法律审查的速度要快得多；对无法部署的模型进行基准测试会浪费工程时间。
3. 将您自己的内容与商业基准进行比较——使用 COMET 或 MetricX 将候选输出与您可以直接购买的引擎（例如 DeepL、Google 或 GPT 类模型）进行比较；只有当开源模型在您的配对上达到或超过该基准时，它才能收回其运营成本。
4. 规划服务和集成路径——决定谁托管模型以及您的翻译平台如何使用它；基础设施方面在“什么是本地大型语言模型？”中有所介绍，集成方面通常意味着公开一个 REST 端点，您的 TMS 可以将其作为自定义提供程序调用。
5. 设定更新节奏——每季度与新发布的开放重量级引擎和当前商业引擎进行重新基准测试，因为在采用时就确定的选择会在几个季度内失去优势，而不是几年。

开源翻译模式适合以下团队……

• 遵循数据控制策略，禁止将源内容提供给外部 AI API，使得自托管模型成为机器翻译唯一合规的途径。
• 需要长尾语言覆盖——MADLAD-400 支持 400 多种语言，覆盖了大多数商业引擎未列出的市场。
• 在几个高流量对上运行持续的流量，其中每个方向大约 300MB 的 Opus-MT 模型可以以接近零边际成本超越更大的多语言替代方案。
• 具备内部机器学习工程能力，能够持续负责服务、监控和质量评估。
• 正在进行研究或原型制作，其中 NLLB-200 和 Tower 等非商业许可证是可以接受的。

何时开源翻译模型可能并非最佳选择

• 以非商业模式进行商业生产——CC-BY-NC 4.0（NLLB-200，Tower）是一个法律障碍，而不是一个可以绕过的技术问题。
• 对于没有机器学习运营能力的团队来说，服务堆栈、质量监控和刷新周期都是永久性的工程成本，而这些成本已经包含在按字数计费的商业定价中。
• 面向客户的营销或创意内容需要达到前沿模型的质量——最强大的专有模型仍然只能托管。
• 翻译量低或突发性强，商业按字计费比 GPU 容量在任务间隙闲置更便宜。

评估清单：采用开源翻译模型前需要提出的问题

该许可证是否允许商业用途？
CC-BY-NC 4.0 型号（如 NLLB-200 和 Tower）仅限于非商业用途，而 Apache 2.0（MADLAD-400、T5）和 CC-BY 4.0（Opus-MT）允许商业部署——在花费任何工程时间之前，请务必仔细阅读具体的许可文本。

该模型已在你们实际使用的哪些语言对上进行过验证？
标题报道数量掩盖了每对内容之间的差异；应该对你的内容实际发布的对内容进行质量评分，而不是对模型中最强的对内容进行评分。

你将如何衡量质量与你目前使用的产品相比如何？
使用 COMET 或 MetricX 对候选引擎的输出与当前引擎在相同内容上的输出进行评分，并在切换之前用人工 LQA 样本验证自动评分。

该模型的生命周期由谁掌控？
总得有人负责服务器正常运行时间、安全补丁以及每季度针对新版本进行的重新基准测试——没有负责人的开放模式会悄无声息地退化。

该模型将如何融入您的翻译工作流程？
翻译记忆库、术语表和人工审核仍然需要应用于模型的输出——这通常意味着将其公开为 REST 端点，翻译管理系统可以将其作为自定义提供程序使用。

Smartling 如何支持开源翻译模型？

Smartling 通过其自带机器翻译或语言学习管理服务，支持开源和定制模型作为翻译提供商：托管自己模型的团队在 Smartling 的 AI Hub 中添加凭据，并通过通用 REST API 提供程序连接模型，使其输出在托管翻译工作流程中运行，并自动应用翻译记忆库、词汇表和质量检查。

这个排名很重要，因为开源引擎很少能在所有地方都获胜。Smartling 的 AI Hub 提供对 20 多个语言学习模型 (LLM) 和机器翻译 (MT) 引擎的访问，其自动选择路由功能会将每个字符串发送到针对该语言对和内容类型测量质量最高的引擎——因此，自托管的开放模型可以在其表现最佳的地方获得流量，并在商业引擎得分更高的地方获得收益，而这些得分是根据 Smartling 的 AI 团队持续运行的 MetricX、COMET 和 BLEU 评估来判断的。对于想要定制引擎但又不想拥有服务堆栈的团队，Smartling 还提供自定义机器翻译引擎训练，这至少需要 6,000 个翻译单元的训练数据。通过 Smartling 的 MT API 翻译的内容不会存储在平台上——这对于最有可能首先评估开源模型的、对数据敏感的团队来说，是一个相关的控制措施。

帮助文档：自带MT或LLM服务
帮助文档：支持的MT和LLM服务提供商

相关问题

• 选择适合翻译的法律硕士的最佳系统是什么？
• 什么是本地部署的大型语言模型？
• 什么是机器翻译？如何评价这项技术？