本页为译文。以英文版为准: English

从不的算术

“从不”是研究中最昂贵的词。

在 n 次试验中零失败并不意味着失败率为零。它意味着失败率很可能低于 1 − 0.051/n — 大约 3/n。建立在“从不”之上的一切都会继承这个差距,而在规模上,这个差距就是人。

你实际观察到了什么?

红队提示词、测试用例、评估项、患者、发布 — 任何可能发生该事情的试验。界为 95%:零时精确(1 − 0.051/n),其余情况用 Wilson 区间。

“从不”诚实地能表示什么
5.8%
最多 20 次中 1 次,置信度 95%
在你的规模下未被排除的失败
58,155
在 1,000,000 人中
才能说“低于千分之一”
如果一条主张说“从不”,HypGraph 的回应
传话游戏

一个智能体说了“从不”。看看这个词如何传播。

一个编排器把问题交给几个智能体;每个再把部分工作分给另外几个。其中一个做了试验,什么也没看到,于是写下从不。上面的每个智能体都重复这个词,并丢掉了它所来自的数字 — 这就是游戏规则。建立在这个词上的工作是已经付出的代价;当事情发生时再去找回这个词,是纠偏的代价。设定团队和试验次数;算术与上面相同。

试验次数和暴露量来自上面的计算器。一个任务是智能体的一个工作单元 — 一个工单、一个子问题、一次审查;按你的智能体每个任务的实际成本定价。

当真实失败率是 1,000 次中 1 次时,叶节点什么也没看到的概率
95%
— 所以“从不”通常正是诚实的智能体会看到的
依赖于这个词的工作
$6.00
在任何人能知道之前,已有 12 个任务建立在它之上
在没有记录时纠偏
$8.00
重读每个智能体的工作以找到这个词,并重做依赖于它的内容
有 HypGraph
$0.50
在叶节点改写一句话;界作为数字向上传递

点击播放开始游戏。

级联

底部一个“从不”。上面的一切都继承了它。

一个智能体用 50 个提取类提示词对模型做红队测试,没有发现泄露。它写下“从不泄露”。另一条主张建立在它之上,一项发布决策又建立在那条主张之上,一百万人使用了结果。然后,千分之一的情况出现了。

点击播放。

记录拒绝什么

每一种过度主张,附带算术和诚实的说法。

ABSOLUTE_UNDERPOWERED

试验太少时的“从不”

50 次中 0 次仍允许 5.8%。拒绝信息会说明这一点,给出“在 50 次试验中未出现(95% 上界 5.8%)”,以及千分之一需要多少次试验(2,995)。

ABSOLUTE_HIDES_DENOMINATOR

没有 n 的“从不”

3,000 次中 0 次足以说明一些东西 — 但前提是读者看到了这 3,000 次。单独一个“从不”读起来像零;它的意思是“最多千分之一”。

ABSOLUTE_WITHOUT_COUNT · ABSOLUTE_UNRELATED_COUNT

“消除”、“100%”、“总是”

什么也没计 — 或计的是别的东西。按测量实际计的东西给它命名。

EXCLUSION_WITHOUT_POWER

“无效应”

“从不”的安静孪生兄弟。每组 2,000 项时,3.6 个点的效应通常会被漏掉;拒绝信息会告诉你样本能检测到的最小效应。

UNBOUND_NUMBER

凭空出现的数字

计数显示 2.8 时说“好 5 个点”。由计数推出的数字 — 差值、百分比、比率、区间 — 都能通过。

SIGNIFICANCE_NOT_SHOWN · CAUSAL_WITHOUT_INTERVENTION · COMPARATIVE_WITHOUT_COMPARISON

“显著”、“导致”、“优于”

记录会自己对已绑定的计数做检验,要求“导致”背后有实验,“优于”背后两边都有测量。

在写下从不之前
hypgraph bound 0 50 --exposure 1000000 --unit users
试着让一个“从不”蒙混过关交给你的智能体