SFT 改写检查：从示例到审核记录
2026-09-30 · 使用说明 · Qiang (Nate) Zhang
一批答案改得更口语化之后，可以先找出数字、条件和表达上的明显变化，再逐条确认是否符合任务要求。这个小工具把完整输入、原答案和改写答案放在一起，留下处理决定和备注。
页面中的提示来自词面规则。它不会判断答案是否正确，也不会自动批准样本进入训练。
先跑一遍示例
- 打开工具，点击“载入构造示例”。
- 向下进入“逐条复核”，先看完整输入，再对照两个答案。
- 点击“查看提示的依据”，读出触发规则的具体文本。
- 填写处理决定和理由。不要只根据有无提示作决定。
这组示例有 8 条，其中 7 条触发了至少一项规则。这个数字描述的是规则命中情况，不能解释成“7 条错误、1 条正确”。它们是人为构造的教学案例，不是模型实测输出。
完整输入：周末，商品实付满 200 元减 20 元，运费不计入门槛。周六商品实付 190 元、运费 15 元，能参加吗？请说明原因。
原答案：不能。运费不计入门槛，商品实付只有 190 元，没满 200 元。
改写答案：不能，你这单没满 200 元。
这条会提示数字变化、条件线索减少和答案缩短。结合输入可以确认：结论仍然正确，但题目要求说明原因，而改写没有说明为什么运费不算。一个具体的返修备注可以是：“补回运费不计入门槛的依据。”
| 示例 | 工具提示 | 人工还要确认什么 |
|---|---|---|
| 运费条件被省略 | 数字、条件线索和长度变化 | 输入要求解释原因，是否需要补回排除运费的依据。 |
| “不能确定”改成“就是服务端挂了” | 不确定性线索减少、答案缩短 | 输入是否提供了足以确定故障原因的证据。 |
| “1000 米”改成“1 公里” | 数字 / 单位变化 | 两者等价；这条输入允许米或公里，核验后可以保留。 |
最后一例说明了为什么提示不能代替判断。规则看到了不同的数字和单位，单位换算是否成立，仍要由人核验。
导入自己的对照数据
工具接受 JSONL、JSON 数组，以及它自己导出的审核 JSON。每条记录需要三个非空文本字段：
| 字段 | 填写内容 |
|---|---|
input | 实际送入训练的完整输入，包括需要的 system、历史轮次和材料。 |
original | 改写前的答案。 |
rewrite | 改写后的答案。 |
id（可选） | 稳定的样本标识。未提供时按行生成；同批次不能重复。 |
must_keep（可选） | 需要核对的短语数组，例如 ["运费不计入门槛"]。同义改写也可能触发。 |
下面是一条 JSONL 记录。JSONL 的每条记录放在一行，页面中因宽度换行不影响其原始格式：
{"id":"shipping-condition","input":"某项虚构活动规定：周末，单笔商品实付满 200 元减 20 元，运费不计入门槛。周六商品实付 190 元，运费 15 元，能参加吗？请说明原因。","original":"不能。运费不计入门槛，商品实付只有 190 元，没满 200 元。","rewrite":"不能，你这单没满 200 元。"}选择文件后，点击“检查差异”；也可以直接粘贴数据。普通数据单批最多 5000 条、5 MiB。字段不完整或 ID 重复时，页面会指出位置，并保留已有审核结果。
若你的数据使用其他字段名，需要先整理成上面的结构。工具不自动转换聊天模板，也不检查 token 监督范围。
把审核理由留在样本旁边
可以按 ID 或文本搜索，也可以筛选某类提示、未命中规则的样本或尚未复核的记录。提示里的摘录用于定位变化；作决定时仍需看完整输入和两个答案。
| 结论 | 如何使用 |
|---|---|
| 待复核 | 尚未作出处理决定。 |
| 保留 | 结合任务核验后，决定保留这版改写。 |
| 返修 | 明确需要修改，备注写清哪句话、哪个条件或步骤要修。 |
| 搁置 | 材料或任务要求还不足，暂缓决定。 |
备注尽量写成可执行的要求。例如“保留第二次以 120 为基数的计算解释”，比“不够完整”更方便后续处理。原答案如果有错，也要单独指出，不能默认要求改写照搬原答案。
保存记录，下次继续审核
- 点击“导出审核记录”。导出包含整批样本、提示、人工结论和备注，不受当前筛选条件限制。
- 选择“下载 JSON 文件”，或展开“或复制审核 JSON”，点击“选中全部 JSON”后复制完整内容。
- 恢复时选择保存的审核 JSON，或者把完整内容粘贴回“输入数据”，再点击“检查差异”。人工结论和备注会保留，规则提示重新计算。
- 如果继续修改结论或备注，重新导出一次。页面会收起旧的导出入口，提醒保存最新状态。
刷新或关闭页面前，请先保存。当前审核不会自动保存。工具在浏览器内处理导入数据，不上传样本、不调用模型。
审核记录包含提示和备注，因此恢复时允许最多 64 MiB。选择复制方式时，请保留完整 JSON，避免只复制当前屏幕可见的几行。
还需要人工检查的内容
同义改写、中文数词、单位换算、隐含条件和新增事实，可能漏检或误报。短答案是否合适，要看任务有没有要求解释。没有提示，也不代表样本已经合格。
这些规则目前没有在独立人工标注集上测量准确率或召回率。工具适合定位词面变化、整理人工审核记录；要判断一批改写是否改善训练效果，仍需实际训练和独立评测。
更完整的检查思路见《训练答案改写后，怎么检查它还适不适合做 SFT？》。