设计成品 · 2/3 · SCORECARD
看板上应该有的数据
记分卡进 insight 之后,每周例会看三样东西:热力图(谁红了)、单卡趋势(在恶化还是在好转)、红黑榜(该触发什么动作)。每个 checker 一张记分卡,按维度 × 项目逐格分级。
⚠ 演示数据 · 非真实读数
总览 · 每周第一眼
维度 × 项目热力图
行 = 项目,列 = 检查维度,一格 = 一个 checker 实例的当期分级。绿的可以当标尺,红的先查数据再动手。
题面质量prompt_quality
题面+答案prompt_and_answer
AI 痕迹prompt_ai_nature
凑分作弊prompt_cheating
难度区分度content_discrimination
rubric 合理性rubrics_v3_* · rf
整体质检office_qa · agent_judge
146 千寻
A
A
B
A
B
A
—
151 棱镜
C
C
B
C
C
C
—
145 VLM
D
D
C
—
D
D
—
68 计算机实操
C
—
B
D
D
C
—
领航 110-114
C
B
C
C
—
C
C
97 Excel
C
C
—
B
C
C
—
A有效标尺
B基本可用
C红旗待查
D实锤失效
—不适用
点击任意格子看单 checker 记分卡(本演示内置 ● 标记的 3 格;正式版每格都可下钻)。
下钻 · 单 checker 记分卡
点一格,看一个质检员的全部体检项
头部四个数看健康度,趋势看方向,混淆矩阵看证据从哪来,裁决队列看这周该人工拍哪几条。
wide_search_prompt_quality
146 千寻
A · 有效标尺
底层:主流大模型 A(演示)
8 周趋势 · 信号率 %(演示)
漏放信号率
误杀信号率
迷你混淆矩阵 · 本月配对(演示)
AI 判「打回」
AI 判「通过」
真坏题
TP 正确拦截41⁺✕ 难观测:仅「留言绕过后又被同因打回」可见
FN 漏放74◐ 真值 = 质检打回评语
真好题
FP 误杀152◐ 真值 = 备注绕过 + 最终质检通过
TN 正确放行3,290✓ 白捡:checker 过 + 人工也过
待人工裁决队列 · AI 与人工信号打架的题(演示,题目内容为编造)
| 题目摘要(编造) | AI 判定 | 人工信号 | 分歧点 |
|---|
Ground Truth 来源构成(演示)
处置 · 看板要能触发动作
红黑榜 + 红线动作
看板不止展示:分级跌破红线,自动进对应处置流程,不等人拍脑袋。
| checker | 项目 | 分级 | 一句话病因(演示) |
|---|---|---|---|
| wide_search_prompt_quality | 146 千寻 | A | 近 8 周漏放稳定 <2%,可当全平台标尺 |
| excel_xhigh_prompt_and_answer_check | 97 Excel | C | 多 sheet 题「答案对不上题面」漏检集中 |
| rubrics_v3_dimension_check | 151 棱镜 | C | 同类型 rubric 重复判定占比高,信号被稀释 |
| vlm_sp_prompt_quality | 145 VLM | D | 图片空响应默认 fail,判定近乎随机 |
| cua_prompt_cheating | 68 计算机实操 | D | 拆步凑分题连续 4 周漏放走高 |
红线 → 动作(草案)
加严采样
误杀信号率 > 20% 且连续 2 期 → 该格 L2 抽样翻倍,优先补拦截侧盲区。
prompt 返工
漏放信号率连续 3 期恶化 → checker prompt 返工,过 L3 回归门禁才准重新上线。
停用 / 降频
D 级经抽样复核坐实 → 停用或降频,流量切人工抽检兜底。
每一格分级都连着钱:误杀 = 专家返修工时与流失,漏放 = 坏题流出的返工与信誉成本 —— 记分卡就是这些开关的依据。
数据链路 · 不用新增任何标注
这些数字从哪来
全部原料都已经在库里,不用等任何人多标一条。
STEP 1ODS check 日志 × 人工事件每次 AI 判定 ⋈ review/qa 结论 + 专家备注 / 质检评语原文
→
STEP 2GT 配对 DWD 表一行 = 一次判定 + 它的人工信号(TN 白捡 / FP 备注 / FN 评语)
→
STEP 3记分卡聚合维度 × 项目 × 周,算漏放 / 误杀信号率并出 A–D 分级
→
STEP 4insight 新 tab热力图 + 单卡下钻 + 红黑榜,周会直接看
L1 = 全零标注
第一版记分卡只需要一个 JOIN 的 ETL:判定日志、专家备注、质检评语,全都是生产系统现成落库的字段。