设计成品 · 3/3 · PLAYGROUND

调 prompt 的地方,长这个样子

结论一句话:本周就能开跑——promptfoo + 每人手里的 LiteLLM 调试 Key,零部署、数据不出内网; 终态是在 insight 里长一个薄调试台(研发约 2–5 天),因为 checker 的 prompt 本来就是我们库里的一行配置。

⚠ 演示数据 · 非真实读数

01 · 终态界面

一屏干完:选 checker → 改 prompt → golden 试跑 → 过门禁上线

insight.██████.com/checker-playground
CHECKER
▾ 146 千寻 题面质量 v14 · 线上wide_search_prompt_quality 题面 + 答案*_prompt_and_answer_check AI 痕迹*_prompt_ai_nature 凑分作弊*_prompt_cheating 难度区分度*_content_discrimination rubric 合理性rubrics_v3_* ▸ 151 棱镜 ▸ 145 VLM ▸ 68 计算机实操 ▸ 领航 110–114 ▸ 97 Excel
PROMPT 编辑
v14 · 线上 → 草稿 v15 · 未保存 +1 行新增
1# 角色:题面质量检查员(只查题面,不评答案)
2R1 任务三要素齐全:输入、期望输出、约束条件,缺一即打回;
3R2 出现含糊量词(「尽量」「大概」「若干」)时,引用原句并打回;
4R3 题面自带答案线索、可直接推出参考答案的,打回;
5+ R4 题面引用外部文件或链接时,必须附可离线核验的内容摘录,否则打回;
6输出严格 JSON:{"pass": true|false, "reason": "命中规则编号 + 原句引用"}
GOLDEN 试跑
校准集 · 300 题 ▾ ▶ 运行
一致 92%
276 / 300 · v14 → v15
↑ 翻转变好 6 ↓ 翻转变坏 3
「二叉树遍历题,约束只写"尽量高效"…」 v14 过→v15 拦· GT 该拦 变好
「年报抽取题,题面只给外部链接无摘录…」 v14 过→v15 拦· GT 该拦 变好
「客服多轮对话题,附录已含对话全文…」 v14 过→v15 拦· GT 该放 变坏
跑完整回归集 提交上线(过门禁)

这就是 L3 门禁的日常入口——改 prompt 必须先过 golden,翻车就挡在「提交上线」这一步。

02 · 路线选择

三条路线怎么选——先白拿,再长在自己家

不是三选一,是时间轴上的三步:本周白拿工具开跑,终态长进 insight,规模化再谈重平台。

① 本周就能用 · promptfoo + LiteLLM Key0 研发
  • 本地 CLI,数据不出内网,连的就是每人手里那把 LiteLLM 调试 Key;
  • 官方自带 litellm provider,一个 yaml 就能两版 prompt 同跑对比;
  • golden set 导出 CSV 即当测试集。
# promptfooconfig.yaml · 最小可跑(已核实官方写法)
providers:
  - id: litellm:<线上同款模型名>
    config:
      apiBaseUrl: http://litellm.内网地址:4000
      apiKey: "{{ env.LITELLM_API_KEY }}" # 个人 Key
prompts:
  - file://prompt_quality_v14.txt
  - file://prompt_quality_v15.txt # 两版对比
tests: file://golden_146_题面质量.csv

注:promptfoo 已被 OpenAI 收购——只当本地回归工具用,不作长期依赖。

② 终态 · insight 内嵌薄调试台推荐终态 · 2–5 天研发
  • checker 的 prompt 本来就在配置表里——改 prompt = 改一行 DB,无代码发布,调试台只是给这行配置加个带回归的编辑器;
  • golden set 同库直连,一键回归,不用导出搬运;
  • 模型出口直接走 LiteLLM——Key 管理、预算、审计全是现成的。

上面那张终态界面,就是这 2–5 天要做的全部。

③ 二期可选 · Langfuse 自托管标注运营规模化再说
  • prompt 管理 + playground + 标注队列全都有,开源免费自托管;
  • 但要自己养 ClickHouse / Redis / S3 / PG 等 6 个组件,还得再同步一份数据;
  • 与「维护成本低」的前提冲突——L2 标注运营做大了再评估。
03 · 现有资产

手里的 LiteLLM,该干嘛还干嘛

核实结论 · 官方文档 2026-07 复查

LiteLLM proxy 自带的 Admin UI 里确有一个「Test Key」playground,但它只是验 Key 的聊天窗,不是 eval 平台。它真正的定位是模型出口层——和调试台是互补关系,不冲突:调试台管「评」,LiteLLM 管「出口」。

✓ 它擅长的(继续用)
  • 每人一把虚拟 Key、按人限额
  • 成本 / 用量审计,请求日志
  • 统一 100+ 模型成 OpenAI 接口
  • 选个模型发条消息,测 Key 通不通
✗ 它没有的(调试台来补)
  • prompt 版本管理 / 两版对比 diff
  • 数据集批量回归(golden 试跑)
  • 翻转分析(哪题变好哪题变坏)
  • 上线门禁
04 · 方案对照

四个方案,一张表看完

方案部署成本数据集回归与 golden 联动数据出网适合阶段
promptfoo + LiteLLM Key 零(本地 CLI) ✓ CSV / YAML 测试集 ◐ 手动导出 CSV 不出网 本周起步 · 过渡期
自建薄台(insight 内嵌) 低(2–5 天研发) ✓ 同库直跑 ✓ 原生同库,一键 不出网 终态 · 长期
Langfuse 自托管 高(6 组件自运维) ✓ 全套齐 ◐ 需再同步一份数据 不出网(自托管) 二期 · 标注运营规模化
Braintrust 数据出境 · 方法论参考 SaaS 免部署 ✓ 最顺滑 ◐ 需上传 ✗ 出境 只抄方法论,不采购