How do you benchmark translation quality across GPT, Claude, and DeepL?

Benchmarking translation quality across AI engines means scoring the same source content translated by each engine against a shared framework, combining automated metrics (BLEU, COMET, MetricX) with structured human evaluation (MQM) rather than relying on a single score or a vendor's claim.

如何对 GPT、Claude 和 DeepL 的翻译质量进行基准测试？

对 AI 引擎的翻译质量进行基准测试，意味着使用共享框架对每个引擎（GPT、Claude、DeepL 或其他引擎）翻译的相同源内容进行评分，然后将结果与自动化指标和人工评估进行比较。两个组成部分是自动评分（BLEU、COMET 或 MetricX，它们根据参考翻译来评估质量）和结构化的人工审核（多维质量指标，或 MQM，它按类型和严重程度对错误进行评分）。没有哪个引擎能在所有语言对和内容类型上都胜出，因此真正的基准测试必须针对你的团队实际翻译的特定语言和内容测试多个引擎。

为什么翻译质量基准难以准确评估

引擎性能因语言对和内容领域而异——在西班牙语营销文案上表现出色的模型，在日语技术文档上可能会表现不佳。
自动化指标并不总是相互一致的。BLEU 和 COMET 对同一组发动机的排名可能不同，因为它们衡量的是不同的指标。
一次性的抽查无法扩展成可重复的流程，因此团队最终只能获得质量的印象，而不是可比较的分数。
如果没有统一的评分标准，不同的评论员对同一输出的评判标准就会不一致，导致引擎之间的比较不可靠。
LLM 提供商会频繁更新模型，因此一次基准测试运行的结果很快就会过时，这比大多数团队预期的要快得多。

用于对人工智能翻译引擎进行基准测试的框架

自动评分层——BLEU、COMET 或 MetricX 可以在投入任何人工时间之前，对大型测试集进行快速、低成本的定向读取。
人工评估层——基于 MQM 的评分卡才是真正验证输出是否可发布的依据，因为自动化指标可能会遗漏流畅但错误的翻译。
分割层——按语言对和内容类型分别评分，而不是采用混合平均值，因为引擎性能在两个维度上都不一致。
循环层——将基准视为与模型更新相关的持续检查，而不是一次性做出的决定并保持不变。

指标	它测量的是什么	基准参考
MQM（多维质量指标）	来自结构化人工或人工智能辅助审核的误差加权质量评分	Smartling 的 AI 驱动人工翻译 (AIHT) 工作流程平均 MQM 得分达到 98 分或以上，而传统机器翻译后编辑 (MTPE) 的行业基准得分为 95-97 分。
BLEU	机器翻译输出与人工参考翻译之间的 N 元语法重叠	行业标准自动化指标；分数越高，表示与参考值的表面匹配度越高。
彗星	基于参考的神经质量评估得分与人类判断相关	行业标准的自动化指标，通常被认为比BLEU更能准确反映含义。
HTER（人工目标翻译编辑率）	将机器翻译输出进行后期编辑以达到人工质量所需的工作量，以词编辑距离来衡量。	行业标准指标；分数越低，意味着所需的人工编辑工作量越少。

如何逐步运行翻译质量基准测试

基准测试的有效性取决于其背后的测试集和评分卡。无论比较两台发动机还是六台发动机，这些步骤都适用。

定义一个具有代表性的测试集——从你实际翻译的语言对和内容类型（营销、产品用户界面、支持、法律）中提取真实的源内容，而不是通用的示例文本。
将同一组文本通过每个候选引擎（GPT、Claude、DeepL 以及任何其他正在考虑的引擎）进行翻译，不进行任何编辑，以便比较结果反映引擎的原始输出。
首先使用自动化指标进行评分——在花费人工审核时间之前，对整个数据集运行 BLEU、COMET 或 MetricX 以快速获得方向性解读。
运用结构化的人工评估——使用基于 MQM 的评分卡对具有代表性的样本进行评分，评分范围包括准确性、流畅性、术语和风格，以便结果反映真实的错误，而不仅仅是统计上的重叠。
按计划重新运行基准测试——发动机性能会随着模型更新而变化，因此应将其视为定期检查，而不是一次性决定。

评估清单：基准测试前需要提出的问题

您将测试哪些内容类型和语言组合？
仅对英译西营销文案进行基准测试无法告诉你引擎在日语技术文档上的性能——因此需要相应地细分测试集。

您将采用自动化指标、人工审核还是两者结合的方式进行评分？
BLEU 和 COMET 等自动化指标速度很快，但结果可能不一致；真正验证输出是否可发布的，需要结构化的人工或 MQM 层。

谁来定义“足够好”的内容，以及何时定义？
在看到结果之前，设定一个与 MQM 等评分卡挂钩的质量阈值，这样就不会在事后为了证明某个供应商是首选而设定标准。

你们多久会重新运行一次基准测试？
LLM 提供商经常更新模型；六个月前的基准可能不再反映当前的引擎性能。

Smartling如何支持翻译质量基准测试

Smartling 的 AI Hub 让团队能够在一个平台上访问 20 多个 LLM 和机器翻译引擎，包括 GPT（通过 OpenAI 和 Microsoft Azure）、Claude（通过 Amazon Bedrock）、Google Gemini 和 DeepL，这样就可以针对相同的内容和翻译记忆库测试引擎，而不是在单独的、不相连的试验中进行测试。

Smartling 的 LQA 仪表板应用 MQM 框架对翻译输出进行评分，并跟踪每 1,000 个单词的错误密度随时间的变化，为结构化的人工评估层提供真正的基准，以及自动化指标。

不愿维护手动基准测试程序的团队可以使用 Smartling 的自动选择功能，该功能会自动将每个字符串路由到其语言对和内容类型的最佳引擎——了解该方法如何为翻译选择合适的 LLM 。