如何选择翻译能力预测方法并衡量其准确性?
翻译能力预测方法分为三类:根据以往实际字数统计建立的历史基线、根据源内容自下而上逐项生成的估算,以及预测每行编辑工作量而不是未来字数的 AI 辅助估算。每个家庭需要不同的数据,失败的方向也不同,评分方式也不同——历史基线是通过每个地区的周期性预测误差来衡量的,而每个工作的估计值则是与同一工作后来产生的实际字数进行比较的。这种区别并非学术上的:Smartling 成本估算是对在运行估算时翻译作业的最终字数总数的实时预测,而不是对未来一个季度的计划(Smartling 帮助中心,字数和估算说明)。因此,选择一种方法就是选择你每个时期实际能够产生哪些数据,以及你愿意承担哪种类型的误差。
上次审核日期:2026年9月21日
为什么翻译能力预测会出现偏差?
大多数翻译能力预测失败的原因与算术无关。它们之所以失败,是因为在选择方法之前没有人检查它需要哪些数据,或者是因为没有人保留原始预测数据进行比较。五种模式占了大部分:
- 该方法的选择是出于习惯,而不是基于现有数据。历史平均值法至少需要一年的按地区和工作流程步骤细分的干净实际数据;自下而上的方法需要源内容在期间开始之前存在。一个只有六个月历史且没有内容积压的团队两次选择了错误的方法,再多的电子表格处理也无法弥补这一点。
- 估算值会被用作预测值。每个作业的估算值是对当前情况的快照,Smartling 文档指出,在作业生命周期的不同阶段重新运行相同的估算值可能会产生截然不同的结果,因为翻译记忆库、作业内容、工作流程和配置都会发生变化(Smartling 帮助中心,“字数统计和估算解释”)。将第一次估算值视为承诺,会将一个已知波动较大的数字变成一个无法兑现的承诺。
- 没有任何数据用于对预测结果进行评分。预测准确性需要一个固定的先前数值。Smartling 自己的指导原则是保存原始估算副本、内容进入其工作流程时进行的估算副本以及任何重大更改后运行的估算副本——只有当有人后来将这些副本与字数统计报告进行比较时,这种做法才有意义。
- 误差是以总体来衡量的,因此真正的误差是不可见的。一个预测能生成 40 万字,并且实际也生成 40 万字的程序看起来很准确,直到细分结果显示德语高出 30%,日语低 30%。容量是按语言对购买的,因此仅在帐户级别进行评分的预测恰恰掩盖了造成金钱损失的误差。
- 偏差永远无法与方差分离。预测值总是偏高 15% 与预测值随机偏差 15% 是不同的问题;前者可以用系数进行修正,后者可以用更大的缓冲进行修正。Smartling 记录了实际字数统计与估计值出现偏差的七个具体原因,这意味着大部分误差是可归因的,而不是随机的——而可归因的误差可以从下一个周期中消除。
翻译能力预测的三种方法是什么?每种方法需要哪些数据?
每种方法都针对不同的数据集,在不同的时间段内回答不同的问题。
- 历史基线(前期实际值)。根据过去一段时间的测量数据,按地区和内容流预测下一时期的数据量。输入包括“字数统计报告”(按目标语言、工作流程步骤、模糊配置文件、模糊层级、源词和加权词细分已完成的工作)和“已处理字数报告”(记录项目中首次翻译的每日字数)(Smartling 帮助中心,“字数统计报告”;Smartling 帮助中心,“已处理字数”)。这是唯一能够得出可靠的季度或年度数据的方法,但它的弱点是结构性的:它无法识别没有历史数据支撑的产品发布或新市场。
- 自下而上地估算,按任务,从源内容开始。通过对实际字符串进行估算,确定现有工作量的大小。Smartling 模糊估算会按模糊级别返回作业的字数,而成本估算会添加费率表定价,以预测如果现在翻译,作业的最终字数总数和成本;账户所有者和项目经理在授权之前可以从“作业摘要”窗格中获取这两项功能(Smartling 帮助中心,“获取翻译成本估算”)。接下来几周的准确率很高,之后的准确率则无法确定,因为该方法无法确定尚未编写的内容的大小。
- 人工智能辅助估算,预测的是工作量而不是工作量。因此,需要仔细阅读供应商关于机器学习在产能规划中应用的说法。如今翻译管理系统中的生产机器学习预测的是给定字符串需要多少人工处理,而不是下个季度会有多少单词。Smartling 的语言质量评估代理会为每个机器翻译的字符串分配一个低、中或高标签,以预测其质量,动态工作流可以根据该标签进行路由,以便只有需要人工翻译的字符串才能到达相应的标签(Smartling 帮助中心,机器翻译的语言质量评估代理)。这会实质性地改变人力产能数字,但它是应用于预测的转换系数,而不是预测本身。
- 将这三者按地平线结合起来。可行的模式是:以季度历史基准线为基础,自下而上地估算当前冲刺或活动,并结合人工智能辅助的努力系数对两者进行调整。每个层都有自己的准确度分数,因此当季度出现偏差时,你可以判断是数量错了、单项作业规模错了,还是假设的人工接触率错了——而单一的混合数字却破坏了这种区别。
预测方法输入及其已记录的限制
| 预测输入 | 记录的数字或限制 | 这对预测准确性意味着什么 |
|---|---|---|
| 对源词应用模糊定价层级 | 0–84.9% = 完全按字计算;85–94.9%= 60%;95–99.9%= 30%;100% = 10%(Smartling 帮助中心,《字数统计和估算说明》) | 以原始资料为基础的预测往往会夸大人力投入,尤其是在杠杆作用较高的情况下。预测该数字是否会用于购买产能(以加权词表示)。 |
| 不参与模糊匹配估计的字符串 | 超过 10,000 个字符的字符串被认为没有模糊匹配项(Smartling 帮助中心,《字数统计和估算解释》) | 自下而上的估算方法对于文档和法律文本等长篇内容而言往往偏高,因此,对于某些内容流而言,同样的方法比其他内容流更为保守。 |
| 字数统计报告窗口 | 每份报告最长可涵盖一年的时间范围(Smartling 帮助中心,字数统计报告) | 要构建多年基线,需要从多个导出数据中收集数据,或者通过报表 API 提取数据,这是历史方法带来的实际设置成本。 |
| 尚无法安排交付的基线报告 | 字数统计、智能匹配优势和模糊匹配节省(Smartling 帮助中心,安排报告交付) | 历史方法依赖于某人必须记住的拉取操作,因此应该通过报表 API 实现自动化,而不是使用日历提醒。 |
| 人工智能辅助估算输出 | 每个机器翻译字符串预测三个质量标签:低、中、高(Smartling 帮助中心,机器翻译语言质量评估代理) | 预测是针对每个字符串的,并且与编辑工作量有关,因此它调整的是预测中人为因素所占的比例,而不是预测本身。 |
| 已记录的估算值与实际值差异的原因 | 七个已列出的原因,包括翻译记忆库更改、跳过步骤和动态工作流分支(Smartling 帮助中心,《字数统计和估算解释》) | 预测误差是可归因的,而不是随机的,因此每次预测失误都可以归因于某个原因,并从下一个周期中移除。 |
| 已知估计误差方向 | 偏差通常会导致实际成本低于估算值;但有四种例外情况会导致实际成本高于估算值(Smartling 帮助中心,《字数统计和估算详解》)。 | 偏见有一个已知的标志,这意味着可以有意识地调整缓冲区的大小,而不是凭直觉填充。 |
如何衡量翻译预测准确性随时间的变化?
预测准确性是一种衡量方法,而不是一项功能。五个步骤即可重复操作。
- 在周期开始之前冻结预测——将预测保存为带有日期的文件:导出的基线、“估算详细信息”窗格中的作业级估算 CSV 文件以及两者背后的假设。Smartling 自己的建议是保留原始估价和内容进入其工作流程后所作估价的副本,因为到您想要对其进行评分时,实时估价可能已经发生变化。
- 调整单位和粒度——按目标语言每月加权词数评分,而不是按每季度原始源语言词数评分。加权词才是实际购买的容量,而区域级别的粒度才是真正出现错误的地方;账户级别的数字可能因为错误的原因而是正确的。
- 计算每个地区的误差,然后汇总——对于每个地区和每个时期,取预测值与字数统计报告实际值之间的绝对差值,除以实际值,然后计算这些百分比在各个地区之间的平均值。计算百分比的平均值而不是总数的平均值,可以防止一个大的地区掩盖几个预测不准确的小地区。
- 将偏差与方差分开——跟踪有符号误差和绝对误差。持续为正的符号误差意味着该方法结构性误差较大,需要引入系数;接近于零的符号误差,但绝对误差较大,意味着该方法无偏但不精确,需要引入缓冲。这些都需要相反的修正,这就是为什么一个综合准确度数值是不够的。
- 将每个材料缺失归因于一个命名的原因,然后按一定节奏重新预测——将超过阈值的每一个缺失都归因于一个命名的原因:工作中途添加的内容、工作流程变更、翻译记忆库增长、动态工作流程分支或没有历史记录的市场发布。每月根据相同的冻结数据重新预测,以便准确率趋势(而不是单个季度)决定方法选择。
这种方法适合以下本地化经理……
- 必须为某个产能或预算数字提供资金支持,并且要做好被问及上一季度数字是否准确的准备。
- 已经拥有至少一年的字数统计报告历史记录,需要决定是以历史基准还是以单项作业估算作为主要方法。
- 供应商向他们提供人工智能或预测能力预测服务,而您却想测试一下模型实际的预测结果。
- 运行足够多的语言环境,以至于单个帐户级别的预测数字会掩盖有意义的每种语言的误差。
- 我对已批准工作的预估字数与最终字数之间的差距感到惊讶,并希望找出造成这种差距的原因,而不是让这种差距被掩盖。
选择预测方法并不是正确的问题。
- 预测已经存在,现在的问题是它意味着需要多少语言学家——这是规模计算,在“如何规划本地化人员数量和估算你需要多少翻译人员”中有所介绍。
- 翻译量是已知的,问题是季节性高峰,团队无法应对;请参阅如何针对可变和季节性翻译量规划本地化资源。
- 总产能充足,但分配不均,取决于你现有译员的产能;请参阅如何管理团队中的译员工作量。
- 该程序运行一个或两个区域,每个区域只有一个内容流,其中三个月的滚动平均值足够准确,以至于正式方法选择不会返回任何结果。
评估清单:选择预测方法前需要问的问题
你们实际有多少个月的干净的、本地化的实际数据?
历史基线需要按目标语言、工作流程步骤和模糊层级细分数量,而不是发票总额。如果历史记录仅以消费形式存在,则该方法目前对您不可用。
基线数据能否在无人记得导出的情况下导出?
字数统计报告目前还无法安排交付,因此请询问该平台是否通过 API 公开相同的数据。Smartling 的报告 API 返回字数统计数据,包括一个 CSV 导出端点,这使得手动提取变成了每月一次的例行工作。
当供应商声称其预测是人工智能驱动的或预测性的,那么该模型的输出变量是什么?
询问它预测的是未来的内容量,还是对现有内容的投入。语言质量评估会预测每个机器翻译字符串的质量等级(低、中、高),这既实用又真实,而且与需求预测不同。
该估价是否包含实际工作历史数据,还是全部重新计算得出?
Smartling 文档指出,作业的实际历史数据不会纳入其估算,但有一个例外:对于已翻译的字符串,会使用翻译时可用的模糊分数。了解工具如何解决这个问题,就能告诉你,在工作过程中重新运行估算是否有意义还是会误导人。
哪些具体事件会影响预测结果?你能阻止这些事件发生吗?
翻译记忆库的增长、作业过程中内容的变化、工作流程的变化以及配置的变化都会影响 Smartling 的估算。如果一个工具无法告诉你究竟是哪个人移动了数字,那么它就根本无法支持精度测量。
是否有关于此错误的说明文档?
询问偏差值通常是高于还是低于估计值,以及原因。Smartling 的文档指出,偏差通常会使实际成本低于估算值,但添加内容和动态工作流等情况除外——这就是缓冲区大小应该根据的具体程度来确定的。
你的预测是基于什么:预算还是合同产能?
如果账户包含已处理字数容量包,则预测具有硬性目标,而不是成本曲线。确认平台在周期尚未结束时,能够显示该容量的消耗量。
Smartling 如何支持翻译能力预测和预测准确性
Smartling 为所有三种预测方法提供输入,更重要的是,它还提供实际值,以便与预测结果进行比较,从而提高准确性。对于历史基线,字数统计报告按目标语言、工作流程步骤、模糊配置文件、模糊层级、源词、加权词和字符数细分已完成的工作;一次最多可以生成一年范围的报告,并可以下载为 CSV 文件。已处理字数报告记录了项目中首次翻译的每日字数,并排除了 SmartMatched 字符串(除非译员对其进行了编辑),这使得它成为衡量真正人工翻译效率的更清晰指标。Smartling 的报告 API 以编程方式公开相同的字数统计数据,包括 CSV 导出端点,因此可以自动运行每月基线提取,而无需依赖无法作为计划报告提供的导出功能。
对于自下而上的估算,模糊估算会在授权之前按模糊级别返回作业的字数,而成本估算会添加费率表定价,以预测如果在当时进行翻译,作业的最终字数总数和成本——账户所有者和项目经理可以从“作业摘要”窗格中获取,并在“估算详情”中下载 CSV 文件。Smartling 还公布了该数字背后的机制,而不是让它变得晦涩难懂:如何计算 SmartMatch、内部匹配和重复项,超过 10,000 个字符的字符串被排除在模糊匹配计算之外,估算假设动态工作流内容走默认分支,以及实际字数统计与估算值出现偏差的七个已记录的原因。正是这份已公布的名单使得每一次失误都能被追溯,而不是神秘莫测。
对于 AI 辅助层,语言质量评估代理会为每个机器翻译的字符串分配低、中或高的预测质量标签,动态工作流可以根据该标签进行分支,以便只有可能需要编辑的字符串才会占用人力——这是工作量预测和人力能力预测之间的转换因子。按工作流划分的内容速度和按语言区域划分的内容速度报告单词或字符串从授权到发布在每个步骤中花费的平均时间,而按工作流和按语言区域划分的内容更改显示每个步骤中的内容变化量;这两组数据都可以安排交付。在目标方面,账户仪表板向账户所有者和项目经理显示字数使用情况与账户套餐中包含的处理字数容量的对比情况,因此可以在周期仍然有效时(而不是在续约时)根据合同字数对预测进行评分。
准备好见识一下 Smartling 的威力了吗?
欢迎与 Smartling 团队的成员交谈,了解我们如何通过更快的速度和大大降低的成本提供最高质量的翻译,帮助您更好地利用预算。