设计成品 · 1/3 · GOLDEN SET
攒下来的数据集,长这个样子
每条记录 = 一道题 × 一个 checker 维度 × AI 判定 × 人工真值。全站回答一个问题:golden set 到底是什么形态的东西。
⚠ 演示数据 · 非真实读数
一条记录的解剖
13 个字段,一条误杀判例的全部证据
拿一条真实形态的记录摊开看:左边是存什么,右边灰字是为什么要存。注意 gt_source —— 人工写的文字理由是证据本体,不是附注。
golden_set · 单条记录 FP · 误杀判例
gt_id
gt_000217
主键。回归 diff、争议追溯都靠它定位到条。
item_ref
itm_9f3a7c21…
只存脱敏指针,不存题目原文 —— 标注页按权限现查,防泄漏。
project
146 千寻
记分卡按「维度 × 项目」逐格出,项目是格子的一半。
checker
wide_search_prompt_quality
维度 = 题面质量 check_type 全名 + 维度。同一维度在各项目各有一份实例,不能混着算。
维度 = 题面质量 check_type 全名 + 维度。同一维度在各项目各有一份实例,不能混着算。
ai_verdict
fail
AI 理由摘要:「题干第 2 问未说明输入数据的取值范围,题面信息不完整,建议打回。」
当时的判定 + 它自己给的理由。复盘误判,先看它当时怎么想。
human_verdict
pass
人工终判。跟上一行一对比,四格结论自动出来。
结论
FP · 误杀
由 ai_verdict × human_verdict 推导,不许手填。
gt_source
专家备注 · 强制通过
「参考答案第 2 节已覆盖该点,检查器未读附件,申请通过。」
真值从哪来。专家留言绕过 + 最终质检通过 → 这条备注就是标准答案。
rubric_version
rv3.4-20260618
判定时用的标准版本。标准改版,旧真值要重估,不能拿新尺子考旧账。
labeled_by
项目质检 owner(角色)
只记角色不记姓名。换人可追溯,算标注一致性(κ)按它分组。
labeled_at
2026-06-29
滚动换血、时效过滤都按这个时间戳。
split
校准集
校准集算准召,回归集当门禁判例 —— 两套用途,物理分开。
十行看个感觉
四种来源、六个项目,混在同一张表里
TN 白捡、FN 靠质检评语、FP 靠专家备注、盲区靠 L2 抽样 —— 来路不同,落库同构,只是 gt_source 不同。
| ID | 项目 | checker 维度 | AI 判定 | 人工真值 | 结论 | 真值来源 | 集合 |
|---|---|---|---|---|---|---|---|
| gt_000217 | 146 千寻 | 题面质量wide_search_prompt_quality | fail | pass | FP 误杀 | 专家备注 「参考答案第 2 节已覆盖该点,检查器未读附件,申请通过」 |
校准 |
| gt_000342 | 151 棱镜 | 凑分作弊complex_reasoning_prompt_cheating | pass | fail | FN 漏放 | 质检评语 「第 3 小问权重占 40 分但仅需代入公式,凑分明显,打回」 |
校准 |
| gt_000398 | 145 VLM | AI 痕迹multi_modal_prompt_ai_nature | pass | pass | TN 正确放行 | 白捡 · 双过 checker 过 + 下游人工质检过 |
校准 |
| gt_000415 | 领航 112 | 整体质检 (agent)office_qa_checker | pass | fail | FN 漏放 | 质检评语 「操作轨迹缺第 4 步截图,按记录无法复现,打回」 |
校准 |
| gt_000431 | 97 Excel | rubric 合理性office_excel_rubrics_v3 | fail | pass | FP 误杀 | 专家备注 「评分项已拆到单元格粒度,与拦截理由不符,申请通过」 |
回归 |
| gt_000466 | 68 计算机实操 | 题面 + 答案computer_op_prompt_and_answer_check | pass | pass | TN 正确放行 | 白捡 · 双过 checker 过 + 下游人工质检过 |
校准 |
| gt_000502 | 146 千寻 | 难度区分度wide_search_content_discrimination | fail | fail | TP 正确拦截 | L2 抽样标注 「单步查表即可作答,区分度不足,该拦」 |
校准 |
| gt_000547 | 151 棱镜 | 题面质量complex_reasoning_prompt_quality | fail | pass | FP 误杀 | L2 抽样标注 「题面自洽完整,拦截理由不成立」——被拦后专家未留言,抽样补标 |
校准 |
| gt_000581 | 领航 110 | 指令清晰agent_nav_prompt_clarity | pass | fail | FN 漏放 | 质检评语 「指令未给目标文件路径,专家无法据此作业,打回」 |
回归 |
| gt_000623 | 97 Excel | 题面 + 答案office_excel_prompt_and_answer_check | pass | pass | TN 正确放行 | 白捡 · 双过 checker 过 + 下游人工质检过 |
回归 |
三条来路
同一张表,三种进货渠道
先白捡、再补盲区、最后把每次事故固化成判例 —— 越靠右越贵,量也越少。
① 生产白捡
TN 双过 + FN 质检评语 + FP 专家备注
零标注成本,SQL 直接捞;第一版记分卡全靠这一路。
→
② L2 抽样标注
拦截盲区补标
被拦且没留言的题,真实标签查不到 —— 按比例抽出来人工标(含 skip_review),补齐误杀盲区。
→
③ 判例入库
历史事故 / 边界 case
每次误判复盘后的题固化进回归集,当 L3 门禁的考题。
存储形态
就是 JSONL —— 没有黑科技
// 落库为单行 JSONL,这里展开排版便于阅读;字段与上面解剖图完全一致 {"gt_id": "gt_000217", "item_ref": "itm_9f3a7c21", "project": "146_千寻", "checker": "wide_search_prompt_quality", "dimension": "prompt_quality", "ai_verdict": {"label": "fail", "reason": "题干第2问未说明输入数据的取值范围,题面信息不完整,建议打回"}, "human_verdict": "pass", "outcome": "FP", "gt_source": {"type": "expert_remark_force_pass", "quote": "参考答案第2节已覆盖该点,检查器未读附件,申请通过"}, "rubric_version": "rv3.4-20260618", "labeled_by": "project_qa_owner", "labeled_at": "2026-06-29", "split": "calibration"} {"gt_id": "gt_000342", "item_ref": "itm_4c8be502", "project": "151_棱镜", "checker": "complex_reasoning_prompt_cheating", "dimension": "prompt_cheating", "ai_verdict": {"label": "pass", "reason": "各小问权重与考察点分布合理,未见凑分迹象"}, "human_verdict": "fail", "outcome": "FN", "gt_source": {"type": "qa_review_comment", "quote": "第3小问权重占40分但仅需代入公式,凑分明显,打回"}, "rubric_version": "rv3.4-20260618", "labeled_by": "project_qa_owner", "labeled_at": "2026-07-01", "split": "calibration"}
落地 = 零新系统。
分析库 2 张 PG 表(真值记录表 + 标注任务表)+ insight 上一个标注页,就是全部基建 —— 数据本来就躺在同一个库里,不搬家。
规模与纪律
多大够用、怎么保鲜
200–300 条每 checker × 项目 起步规模,够看出大变化
≈ 1 : 1拦截 : 放行 配平采样,别让集合全是好题
10–20%每月滚动换血,防题型漂移和被摸透
2 套校准集与回归集分开管,用途不混
⚠ 防泄漏纪律
golden 题必须与 checker prompt 里的 few-shot 示例物理隔离 —— 考题一旦进了「教材」,checker 是背答案不是做判断,记分卡整格虚高。