SPEECH EVALUATION DEMO

语音转写评测示例

这里展示六条合成样例的评测结果。可以对照参考文本和识别输出,展开查看每处字符差异,以及翻译、意图和动作等字段是否一致。

这是合成文本样例的工程演示。本次运行没有处理真实录音、调用 ASR 或 LLM;识别输出是预设数据。数字仅展示工具行为,不代表模型或业务效果。

6已处理合成样例
22.39%样例平均 CER · 宏平均
4包含字符差异的样例

CER = (替换 + 删除 + 插入) / 参考字符数。上方对每条样例的 CER 等权平均,不是按参考字符数加权的语料级 CER,也不是语义准确率。

样例与字符差异

展开样例查看字符编辑证据。CER 较低也可能漏掉关键实体;下游精确匹配只描述字段一致性。

SYN-0001

普通话口述

短语音/录音转写

0.00%CER
参考文本

请把今天的会议纪要发给李明

识别输出 · 预设合成文本

请把今天的会议纪要发给李明

(0 替换 + 0 删除 + 0 插入) / 13 参考字符

查看字符差异与下游阶段

归一化参考:请把今天的会议纪要发给李明
归一化输出:请把今天的会议纪要发给李明

操作参考输出证据 ID
归一化后没有字符差异。

本样例没有适用的下游阶段。

SYN-0002

噪声/数字英文混合

短语音/录音转写

6.25%CER
参考文本

请把订单 A1007 的数量改成 3 份

识别输出 · 预设合成文本

请把订单 A1007 的数量改成 3

(0 替换 + 1 删除 + 0 插入) / 16 参考字符

查看字符差异与下游阶段

归一化参考:请把订单a1007的数量改成3份
归一化输出:请把订单a1007的数量改成3

操作参考输出证据 ID
deletion份-E-SYN-0002-001

本样例没有适用的下游阶段。

SYN-0003

短句语翻

会议/办公语音翻译

25.00%CER
参考文本

请把文件发给王芳

识别输出 · 预设合成文本

请把文件发给

(0 替换 + 2 删除 + 0 插入) / 8 参考字符

查看字符差异与下游阶段

归一化参考:请把文件发给王芳
归一化输出:请把文件发给

操作参考输出证据 ID
deletion王-E-SYN-0003-001
deletion芳-E-SYN-0003-002

下游阶段 · 精确匹配

  • machine_translation:一致
    参考:"Please send the file to Wang Fang"
    输出:"Please send the file to Wang Fang"
SYN-0004

长句/上下文翻译

会议/办公语音翻译

94.74%CER
参考文本

在今天下午的项目评审会上,请先介绍风险清单,再说明每项风险的负责人和预计解决时间。

识别输出 · 预设合成文本

在今

(0 替换 + 36 删除 + 0 插入) / 38 参考字符

查看字符差异与下游阶段

归一化参考:在今天下午的项目评审会上请先介绍风险清单再说明每项风险的负责人和预计解决时间
归一化输出:在今

操作参考输出证据 ID
deletion天-E-SYN-0004-001
deletion下-E-SYN-0004-002
deletion午-E-SYN-0004-003
deletion的-E-SYN-0004-004
deletion项-E-SYN-0004-005
deletion目-E-SYN-0004-006
deletion评-E-SYN-0004-007
deletion审-E-SYN-0004-008
deletion会-E-SYN-0004-009
deletion上-E-SYN-0004-010
deletion请-E-SYN-0004-011
deletion先-E-SYN-0004-012
deletion介-E-SYN-0004-013
deletion绍-E-SYN-0004-014
deletion风-E-SYN-0004-015
deletion险-E-SYN-0004-016
deletion清-E-SYN-0004-017
deletion单-E-SYN-0004-018
deletion再-E-SYN-0004-019
deletion说-E-SYN-0004-020
deletion明-E-SYN-0004-021
deletion每-E-SYN-0004-022
deletion项-E-SYN-0004-023
deletion风-E-SYN-0004-024
deletion险-E-SYN-0004-025
deletion的-E-SYN-0004-026
deletion负-E-SYN-0004-027
deletion责-E-SYN-0004-028
deletion人-E-SYN-0004-029
deletion和-E-SYN-0004-030
deletion预-E-SYN-0004-031
deletion计-E-SYN-0004-032
deletion解-E-SYN-0004-033
deletion决-E-SYN-0004-034
deletion时-E-SYN-0004-035
deletion间-E-SYN-0004-036

下游阶段 · 精确匹配

  • machine_translation:一致
    参考:"At this afternoon's project review, first introduce the risk list, then explain the owner and expected resolution time for each risk."
    输出:"At this afternoon's project review, first introduce the risk list, then explain the owner and expected resolution time for each risk."
SYN-0005

设备控制

车载/语音助手交互

0.00%CER
参考文本

把客厅空调打开

识别输出 · 预设合成文本

把客厅空调打开

(0 替换 + 0 删除 + 0 插入) / 7 参考字符

查看字符差异与下游阶段

归一化参考:把客厅空调打开
归一化输出:把客厅空调打开

操作参考输出证据 ID
归一化后没有字符差异。

下游阶段 · 精确匹配

  • intent_understanding:一致
    参考:"设备控制"
    输出:"设备控制"
  • slot_filling:一致
    参考:{"位置": "客厅", "设备": "空调"}
    输出:{"位置": "客厅", "设备": "空调"}
  • action_execution:一致
    参考:"turn_on"
    输出:"turn_on"
  • response_generation:一致
    参考:"已打开客厅空调"
    输出:"已打开客厅空调"
SYN-0006

信息查询/多轮任务

车载/语音助手交互

8.33%CER
参考文本

请查询明天北京的天气信息

识别输出 · 预设合成文本

请查询明天北京的天气信

(0 替换 + 1 删除 + 0 插入) / 12 参考字符

查看字符差异与下游阶段

归一化参考:请查询明天北京的天气信息
归一化输出:请查询明天北京的天气信

操作参考输出证据 ID
deletion息-E-SYN-0006-001

下游阶段 · 精确匹配

  • intent_understanding:一致
    参考:"信息查询"
    输出:"信息查询"
  • slot_filling:一致
    参考:{"地点": "北京", "日期": "明天"}
    输出:{"地点": "北京", "日期": "明天"}
  • action_execution:一致
    参考:"query_weather"
    输出:"query_weather"
  • response_generation:一致
    参考:"北京明天晴转多云,最高温度26度"
    输出:"北京明天晴转多云,最高温度26度"

在你的电脑上复现

Python 3.11+,仅使用标准库。无需账号、密钥或额外安装包。

git clone https://github.com/qiangzhang-dev/speech-eval-demo.git
cd speech-eval-demo
python scripts/demo.py

命令会打印本次报告和 SQLite 数据库的位置。需要筛选、人工修订与完整诊断工作台时:

python scripts/demo.py --serve

打开 http://127.0.0.1:8000/,按 Ctrl+C 停止。本页是静态结果预览,完整工作台在本地运行。

结果与计算口径

本例的质量阈值尚未生效,因此没有给出正式通过或失败的判定。

数据:data/fixtures/manifest.csv · 诊断:离线 rules · 指标:cer-v1 · 归一化:cer-normalize-v1(NFKC、casefold,仅保留汉字、拉丁字母及十进制数字)。不适用于所有语言的通用评测。

输入文件与阈值配置的 SHA-256 记录在 summary.json 中。重复运行的指标与样例输出应一致;时间戳与输出目录可以不同。