如何选择MQM翻译质量评分软件?
MQM 翻译质量评分软件是一款工具,它根据多维质量指标 (MQM) 错误类型记录翻译错误,根据严重程度对每个错误进行加权,并将结果转换为合格/不合格的质量分数。根据以下五项测试进行选择:它对 MQM 类型学和评分模型的实现程度,每个内容类型的严重性权重和阈值可以配置的程度,它的 AI 评分是否已针对您的本地化语言进行人工审核员校准,它是否生成审核员或供应商可以检查的字符串级证据,以及评分是在您的翻译工作流程内部运行还是在其旁边运行。这五项测试决定了评分能否经受住争议,这比功能列表更重要。
上次审核日期:2026年10月7日
为什么两个 MQM 工具对同一译文给出的分数不同?
两个 MQM 工具可能会对同一翻译给出不同的评分,因为 MQM 是一个具有可配置部分的框架,而不是一个单一的固定公式。MQM 委员会负责管理该框架,并发布了公开的错误类型和几个评分模型,每个工具都会在其中做出自己的选择。(关于单个分数的计算方法,请参阅翻译质量评分机制。)
- 类型学子集各不相同。工具可以使用 MQM 核心或其简化子集。Smartling 自己的模板显示了范围:简化的 MQM 将错误分为五类,而完整的 MQM 使用八类,包括区域设置约定和设计与标记。类别越少,评估速度越快,但同时也掩盖了错误的根源。
- 严重程度权重不同。Smartling 的默认权重为:严重错误 25 分,重大错误 5 分,轻微错误 1 分,中性错误 0 分。如果一个工具将重大错误权重设为 10 分,那么对于相同的工作,它给出的分数就会更低,因此分数只有在考虑其权重的情况下才具有可比性。
- 原始分数和校准分数有所不同。Smartling 的默认可接受罚分是 20 分,原始质量分数的及格阈值是 98 分,校准质量分数的及格阈值是 80 分。“95”在一种评分标准下是不及格,在另一种评分标准下则是优秀。
- 人工智能评分员和人类评分员的评分结果存在差异。Smartling 的文档显示,其 LQA 代理的评分往往比人工评估员更加严格。任何人工智能评分器都需要根据你的评审员的评分标准来衡量其严格程度,然后才能让其评分结果影响供应商的决策。
- 重复错误和优先错误处理方式不同。有些模式会统计同一错误的每次重复;另一些模式则会将重复错误记录为中性严重级别,这样一次错误就不会导致整个文件丢失。
MQM评分软件应具备哪些功能?
- 类型学保真度— 该工具应提供完整的 MQM 目录以及简化的选项,以便可以根据需要对受监管的法律文件和产品 UI 字符串进行深入评估。MQM 委员会称该框架符合 ISO 5060 标准,为采购提供了一个可以参考的标准。
- 可配置的权重和阈值适用于每种内容类型——营销、法律和产品文档的风险各不相同,因此每种内容都需要自己的严重性权重和通过阈值。在 Smartling 中,每个工作流步骤都会分配一个模式,因此可以根据不同的模式对不同的内容流进行评分。
- 一旦使用,模式将被锁定— Smartling 只允许在模式为草稿时编辑权重和可接受的罚分。这项限制是一项管理功能:在供应商发生纠纷后,已发布的评分不能悄悄地重新加权。
- 错误中和——重复出现的错误和优先出现的错误应该能够被记录下来,而不会影响得分。Smartling 允许团队消除特定类型的错误,同时在 LQA 错误和仲裁报告中保持这些错误可见。
- 校准后的 AI 评分——AI 评分应说明其相对于人类评论员的准确率、其可靠的适用范围以及其无法检测的内容。如果没有这些记录限制,人工智能得分就只是一个带小数点的猜测。
- 仲裁和字符串级别的证据——每个错误都应该有其类别、严重程度和审阅者评论,供应商应该能够对此提出异议并记录在案。这是审计员或采购审查员实际会阅读的证据。
- 工作流程路由——分数应该改变接下来发生的事情。将存在严重或重大错误的字符串提交人工审核,而仅存在轻微错误的字符串则继续进行,这使得评分成为一种控制手段,而不是一份报告。
值得在不同工具之间进行比较的MQM评分设置
| 环境 | 已记录值 | 原文 |
|---|---|---|
| 默认严重性权重 | 关键 25,大调 5,小调 1,中性 0 | Smartling 帮助中心,“LQA:MQM 架构模板” |
| 默认通过/失败阈值 | 可接受的罚分 20 分 = 原始质量得分 98 分或校准质量得分 80 分 | Smartling 帮助中心,“LQA:MQM 架构模板” |
| 可用的MQM模式模板 | 4:简化的 MQM、完整的 MQM、具有重复错误类型的 MQM、LQA 代理 MQM 模式 | Smartling 帮助中心,“LQA:MQM 架构模板” |
| AI评分准确率与人工审核员的比较 | 达到人工审核员90%的准确率 | Smartling 帮助中心,“LQA Agent:AI 驱动的质量保证” |
| 推荐的人工智能评分阈值 | 可接受的罚分 100 分 = MQM 及格线 90 分 | Smartling 帮助中心,“LQA Agent:AI 驱动的质量保证” |
| 建议样本量 | 每月翻译量的 2% 至 8%。 | Smartling 帮助中心,“LQA Agent:AI 驱动的质量保证” |
| 人类审查范围及针对性验证 | 降价高达90% | Smartling 帮助中心,“LQA Agent:AI 驱动的质量保证” |
| 框架的标准一致性 | MQM被描述为符合ISO 5060标准 | MQM理事会,themqm.org(已于2026年10月7日验证) |
如何进行MQM软件评估?
对您自己的内容进行并排评估是比较 MQM 工具的唯一可靠方法,因为演示内容都是经过精心挑选以获得高分的。
- 首先编写规范——对于每种内容类型,在查看任何工具之前,先确定评估字数、严重程度级别和及格阈值。MQM 委员会出于同样的原因,将规范置于注释之前:在看到分数后选择的阈值不是标准。
- 建立校准集——选取一些真实的翻译样本,包括已知的错误,并让您自己的审校人员进行标注。这成为衡量所有工具的标准。
- 使用每个工具对数据集进行评分,并按语言环境进行比较— 检查每个工具的评分是否与审阅者的评分一致,哪些语言环境出现偏差,以及审阅者拒绝了多少错误作为误报。
- 测试证据链——导出字符串级别的错误报告,像供应商一样对错误提出异议,并确认仲裁结果已记录。如果审计人员都无法追踪线索,采购审查人员也无能为力。
- 在实际工作流程中进行试点——在至少一个报告周期内对真实作业进行抽样和路由,并测量审核员工时和周转时间以及分数本身。
MQM评分软件适用于以下类型的团队……
- 管理多家翻译供应商或语言服务提供商,需要一种衡量标准来比较它们。
- 必须向审计人员、监管机构或高管出示书面质量证据,而不是审核员的意见。
- 翻译法律、医疗或金融类内容,其中重大错误会造成实际后果。
- 正在扩展人工智能或语言学习管理翻译,并且需要质量监控以跟上翻译量的步伐。
- 希望路由决策(而不仅仅是报告)能够根据错误严重程度来驱动。
何时 MQM 评分软件可能并非首要考虑因素
- 规模非常小或仅需一位可信的审阅者做出判断即可的项目。
- 在文案创作和创意活动中,错误类型学很难捕捉到文案成功的关键因素。
- 尚未有术语表或样式指南的程序,因为无法对不存在的资源进行术语和样式错误评分。
- 对于希望仅使用 AI 对非英语源内容进行评分的团队,请先检查每个工具的源语言支持情况,因为 Smartling 的 LQA Agent 目前需要英语源内容。
评估清单:向MQM评分供应商提出的问题
哪些翻译管理系统使用 MQM 来评估翻译质量?
多个平台都宣传基于 MQM 的评分,而 Smartling 的 LQA 工具则根据与 MQM 兼容的模式进行评分。要求每个供应商展示架构本身、其类别、权重和阈值,而不是接受“MQM”作为标签。
AI能否大规模地自动对我们的翻译进行评分,其准确率如何?
AI 评分现在已经很实用了,但是需要了解它与人类评论员相比的准确度,以及它在哪些地区是可靠的。要更全面地了解 AI 评分工具,请参阅大规模自动翻译质量监控的顶级工具。
一个平台能否对市场营销、法律和产品文档进行不同的评分?
它应该支持为每个内容流设置单独的模式,并赋予其自身的权重和阈值。一套适用于所有情况的方案要么对营销文案处罚过重,要么对合同处罚过轻。
评分如何在数百种语言和地区之间进行缩放?
人工 MQM 审查规模是通过抽样而不是全面覆盖来实现的;询问抽样规则是否自动运行。对于 AI 评分,请索取已通过人工审核验证评分的地区列表。
审计人员或受监管行业审查人员会获得哪些证据?
要求提供字符串级别的错误报告,包括类别、严重程度、审阅者评论和仲裁历史记录。对于医疗保健和金融领域,请确认“严重”的含义是否与法律或商业后果相关。
评分平台涵盖哪些安全和合规认证?
质量评分是在存储您内容的同一平台内生成的,因此该平台的认证适用。Smartling 在其“Smartling 安全”页面上列出了 SOC 2、ISO/IEC 27001、ISO/IEC 42001:2023、HITRUST e1 和 PCI Level 1;请向每个供应商索取任何声明背后的报告。
您能提供哪些投资回报率的证明和参考案例?
要求提供参考资料,以显示 MQM 评分随时间变化的趋势,以及审核员工时或供应商支出情况。只有当该工具能够改变路线规划和供应商决策,而不仅仅是改变仪表盘时,支付高价才是值得的。
Smartling 如何进行 MQM 质量评分
Smartling 通过其语言质量保证 (LQA) 工具将 MQM 评分融入到翻译工作流程中。团队可以从四个与 MQM 兼容的模式模板之一(简化的 MQM、完整的 MQM、具有重复错误类型的 MQM 和 LQA 代理 MQM 模式)开始,在模式为草稿时设置严重性权重和可接受的惩罚点数,并将发布的模式分配给工作流步骤。
LQA Agent 适用于企业级帐户,它会自动根据该架构评估翻译,并按类别和严重程度记录错误,准确率达到人工审核员的 90%。LQA 内存存储已验证的结果,并在后续评估中重复使用,随着团队审查历史的增长,减少误报。动态工作流中的决策步骤可以将严重程度最高的错误为“严重”或“重大”的字符串路由给人工审核,而只有“轻微”错误的字符串则继续进行。
结果会显示在 MQM 作业详情结果、LQA 仪表板、LQA 错误和仲裁报告以及 LQA 错误密度报告中,LQA 套件的自动抽样功能可确保评估按常规节奏持续进行。这些信息共同为本地化负责人提供了一个评分、其背后的字符串级证据以及根据该评分采取行动的工作流程。
准备好见识一下 Smartling 的威力了吗?
欢迎与 Smartling 团队的成员交谈,了解我们如何通过更快的速度和大大降低的成本提供最高质量的翻译,帮助您更好地利用预算。