大规模自动化翻译质量监控的最佳工具有哪些？

为什么大规模翻译质量监控会发生变化

适用于每月翻译 5 万字的项目的质量监控方法，不适用于每月翻译 500 万字的项目。在业务量较小的情况下，定期人工审核可以提供足够的覆盖范围和合理的响应时间。随着人工智能翻译量的增长，出现了三种情况，使得人工监控变得不足。

首先，覆盖范围差距扩大。人工抽样（占总产量的 5% 到 15%）在实际发布内容中所占的比例越来越小。随着销量的增加，质量问题在被任何人发现之前出现在高曝光页面上的概率也会增加。

其次，反馈周期会变慢。人工审核需要几天或几周才能得出结果，这无法影响审核进行期间正在运行的 AI 翻译作业。等到质量报告出来的时候，已经有成千上万个字符串使用导致问题的相同配置进行了翻译。

第三，数据变得难以采取行动。定期抽查报告无法提供本地化领导者所需的趋势可见性，以识别系统性的质量问题、衡量改进或根据证据做出关于哪些地方真正需要人工审核的决策。

实现大规模质量监控的四种工具类型

语言质量评估

语言质量评估 (LQE) 预测机器翻译内容在到达人工审校员或出版机构之前的质量。LQE 评分不是在事后评估质量，而是在翻译工作流程中运行，标记可能需要大量编辑的字符串，并在它们继续推进之前将其路由以进行额外关注。

对于企业项目而言，LQE 起到了一种分诊机制的作用：它将人工审阅者的精力集中到能够产生最大影响的内容上，而不是将审阅工作均匀地分配到所有输出内容中。随着时间的推移，LQE 数据可以识别哪些语言对、内容类型和引擎配置会产生最多的低质量估计，从而为本地化团队提供可操作的信号，以进行系统改进。

LQA代理评分

LQA 代理评分根据 MQM 框架即时评估翻译内容，以 AI 翻译输出的速度提供质量评估，而不是以人工审校人员的带宽速度提供质量评估。人工 LQA 只能覆盖部分内容，而 LQA Agent 评分可以评估全部输出，从而对每个字符串（而不是每十五个字符串）生成质量信号。

其结果是呈现连续的质量图景，而不是周期性的快照：每个作业都会生成质量数据，每个语言对都有一个当前分数，并且由于数据是完整的而不是抽样的，因此可以进行趋势分析。

MQM仪表盘和趋势报告

只有可见且可操作的数据才有用。MQM 仪表板汇总了整个本地化计划的质量分数，按语言对、内容类型、供应商和工作流程提供视图，从而可以确定质量强弱的方面、质量下降的方面以及有针对性的改进投资将产生最大影响的方面。

趋势报告将质量讨论从被动应对转变为主动出击。本地化负责人无需等到客户投诉或合规性审计才发现质量问题，而是可以在仪表板中看到质量偏差，从而避免其达到影响客户或造成责任的阈值。

自动化采样和定时实验室质量保证

对于除了自动评分外还需要结构化人工审核的内容，自动抽样消除了手动选择样本的管理开销。本地化经理不再为每个项目挑选审核样本，而是通过自动化抽样系统根据配置的规则生成样本，并按计划将其路由到本地化质量保证 (LQA) 项目。

这样既保持了结构化审查的规范性，又无需为每个质量评估周期进行手动设置，从而使本地化经理能够专注于分析和改进，而不是样本管理。

企业检查清单：自动化质量监控工具

质量评估和路线规划

• 该平台是否包含语言质量评估功能，可以在人工审核之前预测翻译质量，并自动将低质量内容分配给其他机构进行进一步处理？
• LQE 数据能否按语言对、内容类型和引擎配置识别质量模式，从而为团队提供可操作的信号以进行系统改进？
• 能否按内容层级配置 LQE 阈值，以便高风险内容比内部内容或低可见性内容触发更高的审核灵敏度？

LQA代理和MQM评分

• 该平台是否包含 LQA 代理，能够根据 MQM 框架持续评估翻译，提供全面评分而不是抽样评估？
• LQA Agent 评分是否在翻译工作流程中运行，以便在内容发布前获得高质量数据？
• 该平台是否支持可配置的MQM模式，以便根据相应的质量标准对不同的内容类型进行评估？

报告和趋势可见性

• 该平台是否提供按语言对、内容类型、供应商和工作流程划分的质量评分的 LQA 仪表板？
• 仪表盘是否提供趋势数据，以便可以看到质量随时间推移的改善或下降情况，而不仅仅是当前快照？
• 该平台是否支持结构化人工审核的自动抽样，从而无需在每个审核周期中进行手动样本选择？

Smartling 如何实现自动化质量监控

Smartling 的质量监控方法将语言质量评估、LQA 代理评分、LQA 仪表板和自动抽样集成到一个平台中，因此质量数据会持续地流经程序，而不是事后手动收集。

相关问题