5 位评审者。
每一位都要赢得自己的一票。
在运行 tess-pi-men-s1 中标记凹陷的评审组:Sentinels 和 Probes,没有人。 Sentinels 默认在 Claude(Anthropic)上运行;也支持其他提供方,并会标注。Probes 是确定性的匹配滤波检测器。
标记和权重的表格
| 评审者 | 角色 | 提供方 | 校准权重 |
|---|---|---|---|
| Sentinel · 质疑者 claude-skeptic | Sentinel | Claude Code CLI (Claude, Anthropic) | 0.50 |
| Sentinel · 志愿者 claude-volunteer | Sentinel | Claude Code CLI (Claude, Anthropic) | 0.50 |
| Probe · 谨慎 volunteer-cautious | Probe | 确定性匹配滤波 | 0.40 |
| Probe · 敏感 volunteer-sensitive | Probe | 确定性匹配滤波 | 0.60 |
| Probe · 典型 volunteer-typical | Probe | 确定性匹配滤波 | 0.60 |
Sentinels 默认在 Claude(Anthropic)上运行;也支持其他提供方,并会加以标注。Probes 是确定性的匹配滤波探测器。权重分别来自 10 条注入信号和 10 条空白光变曲线:数量太少,无法区分 0.6 与 0.5。
在真实 TOI 上测量
实时信息流中的新信号与噪声相符。仅凭噪声,每审查 100 个目标约应产生 12.3 个虚假的 new_candidate 信号,而实时信息流中为每 100 个 15.8 个。在该旧规则下,信息流中的 new_candidate 更可能是噪声而非信号。
信息流采用的更严格规则:已预先登记,并在此代码上重新测量。 信号现在必须在两个已审查的扇区中都通过,且在 2,000 次试验中 FAP 低于 0.001。在留出的一半数据上,仅噪声就在每 100 个目标中产生 6.1 个虚假信号(95% CI 4.0–9.4),此前为 27.8(23.1–33.1)。这仍远高于真实光变曲线给出的每 100 个目标 1.6 个新信号,因此信息流仍以虚警为主,且信息流层面的完备性从 39% 降至 17%。被信息流收录只是供人工或后续审查的线索,不是任何确认状态的候选。在此代码上重新运行时,实时信息流的 19 个目标收录了 0 个新信号。
在明确说明的基准上测得,并非发现。来自 TOI 表(获取于 2026-10-19,种子 20261019)的 300 颗确认或已知行星(CP/KP)、300 个假阳性和 62 个误报,每颗恒星一个 TOI;显示留出的一半。面板:三个 Probes(确定性探测器)及其冻结的校准权重;全扇区 BLS;审查;临边昏暗拟合;数据流级表格另加入数据流的 FAP(200 次试验)。
- 662冻结样本中的 TOI:300 个 CP/KP,300 个 FP,62 个 FA
- 60% 150 颗中的 90 颗(52–67%)在可搜索恒星上找回的行星(留出的一半)
- 77% 124 个中的 96 个(69–84%)被检验组识别出的假阳性 TOI
- 68% 96 个中的 65 个(58–76%)其中被否决或因类似双星而被标为待复核
| 主要结果:在可搜索恒星上恢复的行星(CP/KP TOI,在已发表星历上有经审核的凹陷) | 60% (90/150; 95% CI 52–67%) |
|---|---|
| 在所有 CP/KP 恒星中重新检出的行星(无 2 分钟数据计为漏检) | 59% (90/152; 95% CI 51–67%) |
| 首次运行中(修复前的代码)找回的行星(历史记录) | 57% (86/150; 95% CI 49–65%) |
| 不可搜索(无 SPOC 2 分钟光变曲线) | 36 颗恒星 (2 CP/KP, 34 FP, 0 FA) 偏向 FP:FP 行仅描述具有 2 分钟数据的 FP 恒星 |
| 评审组找出的假阳性 TOI | 77% (96/124; 95% CI 69–84%) |
| … 其中被否决或作为类双星而待复核的 | 68% (65/96; 95% CI 58–76%) |
| 按信息流水平(其完整规则,FAP < 0.01)在反转光变曲线上的误报 | 每 1,000 个恒星-扇区 58 个 (18 / 309;该信息流规则之前有 198 个经审核的亮度下降) |
| 在打乱的光变曲线上、按信息流同级标准产生的误报(其完整规则,FAP < 0.01) | 每 1,000 个恒星-扇区 61 个 (19 / 309;该信息流规则之前有 266 个经审核的亮度下降) |
| claude-volunteer:已标记的 CP/KP 凹陷(37 颗恒星的子样本) | 47% (9/19; 95% CI 27–68%) |
| claude-skeptic:已标注 CP/KP 凹陷(37 颗恒星的子样本) | 47% (9/19; 95% CI 27–68%) |
测量此结果的代码中已修复截断错误。 共有 27 颗 CP/KP、11 颗 FP 和 0 颗 FA 留出恒星处于可检出状态(深度超过弥散的 8×);在 27 颗可检出的 CP/KP 中,现在找回了 23 颗,而首次运行中为 21 颗。
完整结果(首次运行,基于修复前的代码:benchmark_real_tois.md)。TFOPWG 的处置结论是参考依据,并非每个 TOI 的真值。
Weights. A reviewer's weight is its calibration skill from injection tests: the share of planted transits it finds minus the share of empty light curves it marks, with a floor. The weight a run used is the one its record stores; when it differs from the calibrated weight, the run did not use the calibrated weights. Files and configuration ›
校准平面
在定标中,每个审查者按其误报率(x:被其标记的空样本所占比例)和召回率(y:被其找出的注入凌星所占比例)绘出。点的大小表示其定标权重。线条连接权重相等的点,权重 = TPR − FPR,下限为 0.05;越靠左上越好。仅使用存储值。
每个凹陷的标记
根据该运行存储的复核者列表,显示哪些复核者标记了每个凹陷。判定记录链接会在该凹陷的案例文件中打开其检查项。
The real-TOI leaderboard ›SetuHQ's configurations, and any method submitted, scored blind on the held-out half.
Runs and configuration ›Every search run, its errors as stored, and the configuration behind these pages.