本页为译文。以英文版为准: English
“从不”是研究中最昂贵的词。
在 n 次试验中零失败并不意味着失败率为零。它意味着失败率很可能低于 1 − 0.051/n — 大约 3/n。建立在“从不”之上的一切都会继承这个差距,而在规模上,这个差距就是人。
你实际观察到了什么?
红队提示词、测试用例、评估项、患者、发布 — 任何可能发生该事情的试验。界为 95%:零时精确(1 − 0.051/n),其余情况用 Wilson 区间。
一个智能体说了“从不”。看看这个词如何传播。
一个编排器把问题交给几个智能体;每个再把部分工作分给另外几个。其中一个做了试验,什么也没看到,于是写下从不。上面的每个智能体都重复这个词,并丢掉了它所来自的数字 — 这就是游戏规则。建立在这个词上的工作是已经付出的代价;当事情发生时再去找回这个词,是纠偏的代价。设定团队和试验次数;算术与上面相同。
试验次数和暴露量来自上面的计算器。一个任务是智能体的一个工作单元 — 一个工单、一个子问题、一次审查;按你的智能体每个任务的实际成本定价。
点击播放开始游戏。
底部一个“从不”。上面的一切都继承了它。
一个智能体用 50 个提取类提示词对模型做红队测试,没有发现泄露。它写下“从不泄露”。另一条主张建立在它之上,一项发布决策又建立在那条主张之上,一百万人使用了结果。然后,千分之一的情况出现了。
点击播放。
每一种过度主张,附带算术和诚实的说法。
试验太少时的“从不”
50 次中 0 次仍允许 5.8%。拒绝信息会说明这一点,给出“在 50 次试验中未出现(95% 上界 5.8%)”,以及千分之一需要多少次试验(2,995)。
没有 n 的“从不”
3,000 次中 0 次足以说明一些东西 — 但前提是读者看到了这 3,000 次。单独一个“从不”读起来像零;它的意思是“最多千分之一”。
“消除”、“100%”、“总是”
什么也没计 — 或计的是别的东西。按测量实际计的东西给它命名。
“无效应”
“从不”的安静孪生兄弟。每组 2,000 项时,3.6 个点的效应通常会被漏掉;拒绝信息会告诉你样本能检测到的最小效应。
凭空出现的数字
计数显示 2.8 时说“好 5 个点”。由计数推出的数字 — 差值、百分比、比率、区间 — 都能通过。
“显著”、“导致”、“优于”
记录会自己对已绑定的计数做检验,要求“导致”背后有实验,“优于”背后两边都有测量。