DESIGN BLUEPRINT · 2026-07

给每个 AI Checker 发一张记分卡

约 100 个判定型 checker 在给专家的题盖章，但没人知道它们盖得对不对。 这套体系给每一个都建考核：数据集攒标准答案、看板出记分卡、调试台改完必过回归。 三个成品都做了可点的演示——这一页是总图。

⚠ 全站演示数据 · 非真实读数
体系总图 · 三层,从白捡到花钱

L1 先零成本跑起来，L2 补盲区，L3 守住改动

L1
生产信号白拿 —— 第一版记分卡零标注
checker 判定日志× 人工 review/qa 事件→ GT 配对表→ 记分卡
零标注 · 一个 JOIN 的 ETL
L2
盲区抽样标注 —— 把误杀率补齐
被拦且无留言的题→ 分层抽样→ 人工标注队列→ golden set
≈9 人时 / 月 / checker
L3
改动回归门禁 —— checker 一改就先考试
改 prompt / 换模型→ golden 回归跑→ 翻转 diff→ 过 → 上线 / 挂 → 打回
改动必过
为什么 L1 能白捡 · 人工写的文字就是标准答案

两种现成的文字，撑起两种错误的证据

FP 误杀专家备注

「参考答案第 2 节已覆盖该点，检查器未读附件，申请通过。」

留言绕过 + 最终质检通过 → 当初拦错了

FN 漏放质检打回评语

「评分标准第 3 条与题面要求矛盾，需重写。」

checker 放过 + 评语点的正是它该管的维度 → 它漏了

TN 正确放行双绿记录

checker 通过 ✓  +  人工质检通过 ✓

最干净的白捡样本，直接进数据集

被拦且没留言的题查不到真实标签 —— 那一侧就是 L2 抽样标注要补的盲区。

三个成品 · 点进去看演示

建成后，团队每天摸到的就是这三样

01 · GOLDEN SET 攒下来的数据集 每条 = 一道题 × 一个维度 × AI 判定 × 人工真值。解剖一条记录、看十行样例、JSONL 长相。 看数据集长相 →
02 · SCORECARD 看板上的记分卡 维度 × 项目热力图一眼看谁在裸奔；点进单 checker 看漏放 / 误杀 / 趋势 / 待裁决队列。 看记分卡演示 →
03 · PLAYGROUND 调 prompt 的调试台 改一行 prompt → golden 试跑 → 看翻转 diff → 过门禁才上线。含选型答案：LiteLLM Key 本周就能开跑。 看调试台演示 →
落地节奏

两周就有第一版，不用等体系建完

WEEK 1–2 · POC
存量数据直出记分卡
L1 配对 ETL + 试点 3 组 checker;不写一行标注 UI 就有第一版准确率。
MONTH 1
扩全项目 + 建仓
17 个可测项目全覆盖;L2 标注队列上线,golden set 开始滚动进账。
QUARTER
门禁 + 动态抽样
L3 改动回归成为默认流程;按记分卡表现加严 / 降频抽样,记分卡连到钱。