SPEECH EVALUATION / COMPARE

换了版本,哪些句子变了?

对照同一份参考文本,查看两个版本的字符错误率与具体差异。

这里的两个版本均为人工设置的合成转写文本,用来演示改善与退步;没有运行真实语音模型,分数不代表模型表现。

2CER 降低
2CER 升高
2CER 不变
0未计入

共 6 条;6 条纳入配对统计。归一化后为空的参考文本不计入任何均值。

计算口径旧版新版新版 − 旧版
样例平均 CER22.39%12.88%-9.51 个百分点
语料级 CER42.55%7.45%-35.11 个百分点

样例平均 CER 对每句等权;语料级 CER = 全部字符编辑次数 / 全部参考字符数。差值为负表示 CER 降低;CER 可以超过 100%。同分可能对应不同错误,不代表语义或任务效果相同。

逐条对照

SYN-0001

CER 升高 · +15.38 个百分点

参考文本

请把今天的会议纪要发给李明

旧版 · CER 0.00%

请把今天的会议纪要发给李明

查看字符差异

归一化参考:请把今天的会议纪要发给李明
归一化输出:请把今天的会议纪要发给李明

操作参考输出
归一化后没有字符差异。

新版 · CER 15.38%

请把今天的会议纪要发给王芳

查看字符差异

归一化参考:请把今天的会议纪要发给李明
归一化输出:请把今天的会议纪要发给王芳

操作参考输出
substitution李王
substitution明芳

SYN-0002

CER 降低 · -6.25 个百分点

参考文本

请把订单 A1007 的数量改成 3 份

旧版 · CER 6.25%

请把订单 A1007 的数量改成 3

查看字符差异

归一化参考:请把订单a1007的数量改成3份
归一化输出:请把订单a1007的数量改成3

操作参考输出
deletion份-

新版 · CER 0.00%

请把订单 A1007 的数量改成 3 份

查看字符差异

归一化参考:请把订单a1007的数量改成3份
归一化输出:请把订单a1007的数量改成3份

操作参考输出
归一化后没有字符差异。

SYN-0003

CER 不变 · +0.00 个百分点

参考文本

请把文件发给王芳

旧版 · CER 25.00%

请把文件发给

查看字符差异

归一化参考:请把文件发给王芳
归一化输出:请把文件发给

操作参考输出
deletion王-
deletion芳-

新版 · CER 25.00%

请把文件发给

查看字符差异

归一化参考:请把文件发给王芳
归一化输出:请把文件发给

操作参考输出
deletion王-
deletion芳-

SYN-0004

CER 降低 · -94.74 个百分点

参考文本

在今天下午的项目评审会上,请先介绍风险清单,再说明每项风险的负责人和预计解决时间。

旧版 · CER 94.74%

在今

查看字符差异

归一化参考:在今天下午的项目评审会上请先介绍风险清单再说明每项风险的负责人和预计解决时间
归一化输出:在今

操作参考输出
deletion天-
deletion下-
deletion午-
deletion的-
deletion项-
deletion目-
deletion评-
deletion审-
deletion会-
deletion上-
deletion请-
deletion先-
deletion介-
deletion绍-
deletion风-
deletion险-
deletion清-
deletion单-
deletion再-
deletion说-
deletion明-
deletion每-
deletion项-
deletion风-
deletion险-
deletion的-
deletion负-
deletion责-
deletion人-
deletion和-
deletion预-
deletion计-
deletion解-
deletion决-
deletion时-
deletion间-

新版 · CER 0.00%

在今天下午的项目评审会上,请先介绍风险清单,再说明每项风险的负责人和预计解决时间。

查看字符差异

归一化参考:在今天下午的项目评审会上请先介绍风险清单再说明每项风险的负责人和预计解决时间
归一化输出:在今天下午的项目评审会上请先介绍风险清单再说明每项风险的负责人和预计解决时间

操作参考输出
归一化后没有字符差异。

SYN-0005

CER 升高 · +28.57 个百分点

参考文本

把客厅空调打开

旧版 · CER 0.00%

把客厅空调打开

查看字符差异

归一化参考:把客厅空调打开
归一化输出:把客厅空调打开

操作参考输出
归一化后没有字符差异。

新版 · CER 28.57%

把客厅空调关闭

查看字符差异

归一化参考:把客厅空调打开
归一化输出:把客厅空调关闭

操作参考输出
substitution打关
substitution开闭

SYN-0006

CER 不变 · +0.00 个百分点

参考文本

请查询明天北京的天气信息

旧版 · CER 8.33%

请查询明天北京的天气信

查看字符差异

归一化参考:请查询明天北京的天气信息
归一化输出:请查询明天北京的天气信

操作参考输出
deletion息-

新版 · CER 8.33%

请查询明天北京的天气信

查看字符差异

归一化参考:请查询明天北京的天气信息
归一化输出:请查询明天北京的天气信

操作参考输出
deletion息-

换成自己的结果

下载 本页输入 CSV,替换四列:sample_id、reference、baseline、candidate。一行对应同一个样例,输出为空时保留空单元格。保存为 UTF-8 CSV,在仓库中运行:

python scripts/compare.py --input your-pairs.csv --output exports/my-comparison

用浏览器打开输出目录的 index.html 即可筛选。计算在本地完成,无需上传数据或配置模型密钥。输出目录必须尚不存在。

完整对比 JSON · 汇总 CSV

计算范围

沿用 cer-v1 / cer-normalize-v1:NFKC、casefold,仅保留汉字、拉丁字母和十进制数字。这里只比较转写文本,不评估音频、语义、翻译、意图或动作,也不设置质量通过门槛。不支持该归一化范围之外的通用多语种评测。

输入 SHA-256:27698b1cb28f2057b1c901d1c17dfec9c259e09b4562c02720c019b31763cf57。完整结果保留每处替换、删除和插入。