5 位评审者。
每一位都要赢得自己的一票。

在运行 tess-pi-men-s1 中标记凹陷的评审组:Sentinels 和 Probes,没有人。 Sentinels 默认在 Claude(Anthropic)上运行;也支持其他提供方,并会标注。Probes 是确定性的匹配滤波检测器。

真实数据,附出处5评审者SentinelSkeptic · 0.50SentinelVolunteer · 0.50ProbeCautious · 0.40ProbeSensitive · 0.60ProbeTypical · 0.60
评审组中的每个评审者,大小按其校准权重;未选择凹陷,因此不绘制得分。 出处:the reviewers of run tess-pi-men-s1; calibrated weights from docs/results/reviewer_weights_full_panel.json。 Sentinels 默认在 Claude(Anthropic)上运行;也支持其他提供方,并会标注。Probes 是确定性的匹配滤波检测器。
标记和权重的表格
评审者角色提供方校准权重
Sentinel · 质疑者 claude-skepticSentinelClaude Code CLI (Claude, Anthropic)0.50
Sentinel · 志愿者 claude-volunteerSentinelClaude Code CLI (Claude, Anthropic)0.50
Probe · 谨慎 volunteer-cautiousProbe确定性匹配滤波0.40
Probe · 敏感 volunteer-sensitiveProbe确定性匹配滤波0.60
Probe · 典型 volunteer-typicalProbe确定性匹配滤波0.60

Sentinels 默认在 Claude(Anthropic)上运行;也支持其他提供方,并会加以标注。Probes 是确定性的匹配滤波探测器。权重分别来自 10 条注入信号和 10 条空白光变曲线:数量太少,无法区分 0.6 与 0.5。

在真实 TOI 上测量

实时信息流中的新信号与噪声相符。仅凭噪声,每审查 100 个目标约应产生 12.3 个虚假的 new_candidate 信号,而实时信息流中为每 100 个 15.8 个。在该旧规则下,信息流中的 new_candidate 更可能是噪声而非信号。

信息流采用的更严格规则:已预先登记,并在此代码上重新测量。 信号现在必须在两个已审查的扇区中都通过,且在 2,000 次试验中 FAP 低于 0.001。在留出的一半数据上,仅噪声就在每 100 个目标中产生 6.1 个虚假信号(95% CI 4.0–9.4),此前为 27.8(23.1–33.1)。这仍远高于真实光变曲线给出的每 100 个目标 1.6 个新信号,因此信息流仍以虚警为主,且信息流层面的完备性从 39% 降至 17%。被信息流收录只是供人工或后续审查的线索,不是任何确认状态的候选。在此代码上重新运行时,实时信息流的 19 个目标收录了 0 个新信号。

在明确说明的基准上测得,并非发现。来自 TOI 表(获取于 2026-10-19,种子 20261019)的 300 颗确认或已知行星(CP/KP)、300 个假阳性和 62 个误报,每颗恒星一个 TOI;显示留出的一半。面板:三个 Probes(确定性探测器)及其冻结的校准权重;全扇区 BLS;审查;临边昏暗拟合;数据流级表格另加入数据流的 FAP(200 次试验)。

  • 662冻结样本中的 TOI:300 个 CP/KP,300 个 FP,62 个 FA
  • 60% 150 颗中的 90 颗(52–67%)在可搜索恒星上找回的行星(留出的一半)
  • 77% 124 个中的 96 个(69–84%)被检验组识别出的假阳性 TOI
  • 68% 96 个中的 65 个(58–76%)其中被否决或因类似双星而被标为待复核
主要结果:在可搜索恒星上恢复的行星(CP/KP TOI,在已发表星历上有经审核的凹陷)60% (90/150; 95% CI 52–67%)
在所有 CP/KP 恒星中重新检出的行星(无 2 分钟数据计为漏检)59% (90/152; 95% CI 51–67%)
首次运行中(修复前的代码)找回的行星(历史记录)57% (86/150; 95% CI 49–65%)
不可搜索(无 SPOC 2 分钟光变曲线)36 颗恒星 (2 CP/KP, 34 FP, 0 FA) 偏向 FP:FP 行仅描述具有 2 分钟数据的 FP 恒星
评审组找出的假阳性 TOI77% (96/124; 95% CI 69–84%)
… 其中被否决或作为类双星而待复核的68% (65/96; 95% CI 58–76%)
按信息流水平(其完整规则,FAP < 0.01)在反转光变曲线上的误报每 1,000 个恒星-扇区 58 个 (18 / 309;该信息流规则之前有 198 个经审核的亮度下降)
在打乱的光变曲线上、按信息流同级标准产生的误报(其完整规则,FAP < 0.01)每 1,000 个恒星-扇区 61 个 (19 / 309;该信息流规则之前有 266 个经审核的亮度下降)
claude-volunteer:已标记的 CP/KP 凹陷(37 颗恒星的子样本)47% (9/19; 95% CI 27–68%)
claude-skeptic:已标注 CP/KP 凹陷(37 颗恒星的子样本)47% (9/19; 95% CI 27–68%)

测量此结果的代码中已修复截断错误。 共有 27 颗 CP/KP、11 颗 FP 和 0 颗 FA 留出恒星处于可检出状态(深度超过弥散的 8×);在 27 颗可检出的 CP/KP 中,现在找回了 23 颗,而首次运行中为 21 颗。

完整结果(首次运行,基于修复前的代码:benchmark_real_tois.md)。TFOPWG 的处置结论是参考依据,并非每个 TOI 的真值。

Weights. A reviewer's weight is its calibration skill from injection tests: the share of planted transits it finds minus the share of empty light curves it marks, with a floor. The weight a run used is the one its record stores; when it differs from the calibrated weight, the run did not use the calibrated weights. Files and configuration ›

校准平面

在定标中,每个审查者按其误报率(x:被其标记的空样本所占比例)和召回率(y:被其找出的注入凌星所占比例)绘出。点的大小表示其定标权重。线条连接权重相等的点,权重 = TPR − FPR,下限为 0.05;越靠左上越好。仅使用存储值。

Probe(确定性探测器),非人类Sentinel(Claude),非人类大小:校准权重

每个凹陷的标记

根据该运行存储的复核者列表,显示哪些复核者标记了每个凹陷。判定记录链接会在该凹陷的案例文件中打开其检查项。

The real-TOI leaderboard ›SetuHQ's configurations, and any method submitted, scored blind on the held-out half.

Runs and configuration ›Every search run, its errors as stored, and the configuration behind these pages.

↑ ↓ 移动 · Enter 打开 · Esc 关闭