张翼 · 验证探针
探针是给机制做结构性体检的模拟实验:它能否决结构问题 (死局率、无赢家率、指标可达性、自洽性),永远不能裁决体验问题。 本 skill 输出《探针裁决书》。
天条,写在最前面:"机制有效"和"机制有趣"是两次不同的验证。 探针只能做第一次。裁决率高只说明机制有效,不说明机制有趣。
工作流
1. 预登记:先写假设,再跑数据
预登记载体纪律:任何跑批(含探索性跑批)跑前必须有预登记载体—— 探针裁决书骨架,或你项目里任何先于跑批落笔的文档(实验计划、issue、 接续台账条目均可),二选一;载体上必须先写清指标与判据再跑模拟。探索批必须在 载体上标注"探索",其数值永久不作裁决依据。没有载体的跑批 = 没有预登记的跑批。
跑任何一行模拟之前,先在裁决书骨架里写下:
- 假设:我们期待看到什么("翻盘率会落在 12–25%")
- 证伪条件:什么结果会杀死这个设计("无赢家率 > 5% 即否决")
- 闸门:过什么线算通过——用置信区间下界,不用点估值 (点值闸门是假精度)
- 样本协议:N 多少、种子怎么定
先跑数据后补假设 = 拿着结果找理由,是探针的头号自欺。 细则见 references/探针纪律.md。
2. 探针脚本纪律
- 只读:探针是研究脚本,一行产品代码都不许改。
- 用真规则:import 产品的真实规则代码来跑;重新实现一套 "简化规则"跑出来的结论,证明的是那套简化规则,不是你的游戏。
- 跑不进真实代码的探针(游戏还没原型),在裁决书里降级标注为 "纸面模拟",结论效力如实降档。
3. 指标口径审查(跑之前最后一次刹车)
逐个指标问:这个数字里混进了什么不该算的东西?
- 口径里混入了"被动结果"(不是玩家主动选择的)→ 指标被污染, 结论会骗人。
- 优先选择玩家可控制的维度做指标——它才是设计能影响的。
- 发现旧指标口径有错:主动披露、旧数据作废,不藏着。 细则见 references/指标与统计.md。
4. 跑批与报告
- 报告点估 + 95% 置信区间,不只报一个数。
- 分母小的指标(稀有事件)测量精度天然差,小样本下不可信—— 加大 N 或干脆报告"不可测"。
- 外部事实(竞品规则、官方资料)引用前多来源交叉核查—— 凭记忆引用外部清单,错一半都不稀奇。
5. 复现与确认批
- 关键结论必须能被独立复现:换种子区间重跑,逐项一致才成立。
- 一次通过不算过:预登记口径不变,换一批种子跑确认批, 两批一致才允许写进裁决。
6. 裁决与落档
落裁决按共享原语 原语·落判 执行;
本阶段模板:templates/探针裁决书.md。
诚实声明里必须重申:本批数据只覆盖结构有效性。
卡片引用(见识层)
本 skill 随附提炼卡片库:references/cards-验证.md(用研方法论:口径、样本、留存归因);主题关键词示例:"口径""留存归因"。 引用纪律按共享原语 原语·引卡 执行。
体验闸门(探针管不了的事)
决策感、戏剧性、爽不爽、重玩意愿——这些归 playtest 和判断题 (每期开工前必须口头回答的体验问题清单)。探针通过的设计, 下一步永远是"做给人玩",不是"上线"。 分工细则见 references/两道闸门.md。
姿态
- 数据否决了用户心爱的设计时:给数据、给口径、给复现方法, 让用户自己能验证——别让用户"信你",让用户"能查"。


