在真实 TOI 上盲评的方法。
冻结的真实 TOI 基准上的公开排行榜：每个条目检测到的事件，由排行榜本身仅在保留半数上评分，附 Wilson 95% 区间。这不是在合成光变曲线上调整 Probe 阈值的注入阈值扫描（docs/threshold_sweep.md）。
在明确说明的基准上测得；这里没有任何发现。 Sentinels 默认在 Claude（Anthropic）上运行；也支持其他提供方，并会标注。Probes 是确定性的匹配滤波检测器。
留出的一半 每颗留出的恒星
该基准无法表明 Probes 读取光变曲线的能力优于目录元数据预测处置结果的能力（配对 ΔJ（下限 − Probes）= +0.039，95% CI -0.096 至 +0.173，P(ΔJ ≤ 0) = 0.29）。
| 排名 | 条目 | Youden J | Youden J，全部恒星 | 纯净完备度，可搜索的 CP/KP | 假阳性否决，可搜索的假阳性 | 在 4 R⊕ 以下的恢复 | 反转对照：含任意事件的恒星 | 打乱对照组：含有任何 | 可靠性 |
|---|---|---|---|---|---|---|---|---|---|
| 1区间与 #2 重叠 | 仅用元数据，不用光变曲线（下限基准）metadata-baseline · 在 tuning 上调参 | +0.39+0.27 to +0.49 | +0.46+0.35 to +0.55 | 76%114/150 · 69–82% | 63%78/124 · 54–71% | 70%32/46 · 55–81% | 54%166/309 · 48–59% | 54%166/309 · 48–59% | 69%114/166 · 61–75% |
| 2区间与 #1 重叠 | 仅 Probesprobes · 未针对任何数据调参 | +0.35+0.23 to +0.45 | +0.40+0.29 to +0.49 | 60%90/150 · 52–67% | 75%93/124 · 67–82% | 17%8/46 · 9–31% | 22%67/309 · 17–27% | 25%78/309 · 21–30% | 72%90/125 · 64–79% |
每个单元格：比率，然后是 k/n 和 Wilson 95% 区间，以从 0 到 100% 的条形表示（Youden J 从 −1 到 +1，在 0 处有标记）。按基准测试所固定的可搜索集上的 Youden's J 排序，两侧使用同一判定条件（干净的候选：位于星历上、通过检验、无食双星标记），因此把每个 TOI 都判为行星（无论是否待复核）得分为零。对照组作为排名门槛，不计入 J，对照列表是该方法自身的报告。区间重叠之处，排序并不代表测得的差异。
Sentinels 的子样本 37 颗留出恒星 · 未排名
37 颗恒星无法对这些配置排序：该子样本仅列出、从不排名，且每个区间都很宽。
| 条目 | Youden J | Youden J，全部恒星 | 纯净完备度，可搜索的 CP/KP | 假阳性否决，可搜索的假阳性 | 在 4 R⊕ 以下的恢复 | 反转对照：含任意事件的恒星 | 打乱对照组：含有任何 | 可靠性 |
|---|---|---|---|---|---|---|---|---|
| 仅 Probesprobes-subsample · tuned on none | +0.14-0.16 to +0.41 | +0.14-0.16 to +0.41 | 42%8/19 · 23–64% | 72%13/18 · 49–88% | 0%0/8 · 0–32% | 8%3/37 · 3–21% | 22%8/37 · 11–37% | 62%8/13 · 36–82% |
| Sentinel · 仅 Skepticclaude-skeptic · tuned on none | +0.25-0.05 to +0.50 | +0.25-0.05 to +0.50 | 47%9/19 · 27–68% | 78%14/18 · 55–91% | 0%0/8 · 0–32% | 未测量 | 未测量 | 69%9/13 · 42–87% |
| Sentinel · 仅 Volunteerclaude-volunteer · 未在任何数据上调优 | +0.25-0.05 to +0.50 | +0.25-0.05 to +0.50 | 47%9/19 · 27–68% | 78%14/18 · 55–91% | 0%0/8 · 0–32% | 未测量 | 未测量 | 69%9/13 · 42–87% |
| Probes + Sentinels，两者皆需（恒星级规则，评分前确定，并非评审组共识）probes-and-sentinel · tuned on none | +0.25-0.04 to +0.50 | +0.25-0.04 to +0.50 | 42%8/19 · 23–64% | 83%15/18 · 61–94% | 0%0/8 · 0–32% | 未测量 | 未测量 | 73%8/11 · 43–90% |
| Probes + Sentinels，任一（恒星级规则，在评分前固定，并非评审组共识）probes-or-sentinel · tuned on none | +0.08-0.22 to +0.36 | +0.08-0.22 to +0.36 | 47%9/19 · 27–68% | 61%11/18 · 39–80% | 0%0/8 · 0–32% | 未测量 | 未测量 | 56%9/16 · 33–77% |
每个单元格：先列出比率，再列出 k/n 与 Wilson 95% 区间，区间绘制为从 0% 到 100% 的条形（Youden J 从 −1 到 +1，并在 0 处标记）。
Sentinel 各行覆盖 37 颗恒星。其区间很宽；两个角色共用同一模型（在 37 颗恒星中有 35 颗意见一致，φ = 0.88），因此它们算作一个相关的投票者而非两个，并且从未在对照光变曲线上运行。Probes + Sentinels 各行是对已存储结果的恒星级组合，在评分前已说明，并非评审组共识的一次运行。
规则
- 仅在冻结样本的留出半数上评分（按 sha256(seed:TIC) 奇偶性划分 TOI）；调参半数从不评分。
- 提交内容需针对其范围内的每颗恒星，列出其方法在真实光变曲线以及通量翻转和分块打乱的对照数据上检出的事件（时间、持续时间、周期、其自身的通过判定和标记）。排行榜自行判定哪些事件位于该 TOI 的星历上（基准的 score_star 和 match_toi），并自行统计对照数据中的误报。不接受自行报告的结果。
- 排名：在基准测试固定的可搜索集合（拥有 SPOC 2 分钟光变曲线的恒星）上计算 Youden's J，两侧使用同一判定条件，即干净候选（符合星历、已通过、无食双星标记）：J = 作为干净候选给出的 CP/KP 恒星比例 + 未给出的 FP 恒星比例 − 1，并附平方相加 Wilson 区间。把每个 TOI 都判为行星（无论有无标记）得分 J = 0；被判为未搜索的可搜索恒星计为未给出。旁边显示了覆盖范围内全部恒星的 J。区间重叠时，排序并不代表测得的差异。
- 对照项控制是否参与排名，但不计入 J：只有在每颗被搜索恒星上都具备两份对照列表的留出条目才会被排名，其余条目列出但不排名。对照列表由方法自行报告；没有光变曲线，排行榜无法重新计算它们。Sentinel 子样本从不参与排名。
- 基准下限：仅用元数据的基线完全不使用光变曲线，只用公开的 TOI 编号、周期、持续时间、星历误差和历元，并在调参半数据上拟合逻辑回归。一个方法若不能胜过它，就不能表明它读取光变曲线的能力强于目录自身元数据对处置结果的预测。
- 提交需注明其所依据公开输入的 sha256（调参半样本含标签，留出半样本不含标签）。任何其他哈希值、tuned_on 不为 none 或 tuning、白名单之外的字段、缺失或多出的恒星，或缺少来源信息：均会被拒绝，并列出原因。
- 该哈希只是一种声明：留出集标签在仓库中公开，因此排行榜无法证明它们未被读取，而方法的通过判定和对照事件均为其自行报告。由维护者持有的诱饵光变曲线，以及对尚未处置的 TOI 进行前瞻性评分，可以弥补这些缺口；但两者目前都尚不存在。
- FP 否决：其 TOI 下陷未被该方法作为干净候选给出的 FP 恒星（已找回且未标为待复核）。可靠性：TOI 下陷上的干净候选中属于 CP/KP 的比例，基于本样本的类别构成，而非 TOI 星表的类别构成。所有比率均附 Wilson 95% 区间。TFOPWG 处置结论仅作参考，并非对每个 TOI 都是真实情况。
- 在一个明确说明的基准上测得；本排行榜上的任何结果都不是发现。
提交格式和拒收规则：docs/leaderboard/README.md。使用 setuhq leaderboard <file> 为提交评分。
冻结样本
- 冻结样本 sha256
- 6f0e111ec8d2c38d3e7927505f0be4a2c7fae8b73d7cc17c37646baedf044cac
- 公开输入 sha256
- d0e4f2d9c5538800e9a34d018757f99e1d1672060e71ae56bbaf87fcaf0c15b4
- 完整样本（含留出标签），规范 sha256：若声明则拒绝
- 3d420ac0bc628e2fe02b0c3b4c73b287f75a6ee2be351bf42011497d7e45c3cf
- Sentinel 子样本 sha256
- 999c61bddc47cae0f47674ea77e1524c77697ad7da35d52f2abd7578924016b2
- 基准测试代码提交
- 0ae8ccf0a23502a2324759a23a7d5ca277d63bcc
样本：docs/results/benchmark_toi_sample.json。公开输入：docs/leaderboard/tuning_inputs.json。TFOPWG 处置结论是参考，并非每个 TOI 的真值。