5 体のレビュアー。
それぞれが票に値することを示します。
実行 tess-pi-men-s1 で減光に印を付けたパネル: Sentinels と Probes で、人間はいません。 Sentinels は既定で Claude (Anthropic) で動作します。ほかのプロバイダーにも対応し、ラベルを付けています。Probes は決定論的なマッチドフィルター検出器です。
印と重みの表
| レビュアー | 役割 | プロバイダー | 較正済みの重み |
|---|---|---|---|
| Sentinel · Skeptic claude-skeptic | Sentinel | Claude Code CLI (Claude, Anthropic) | 0.50 |
| Sentinel · ボランティア claude-volunteer | Sentinel | Claude Code CLI (Claude, Anthropic) | 0.50 |
| Probe · 慎重 volunteer-cautious | Probe | 決定論的マッチドフィルタ | 0.40 |
| Probe · 高感度 volunteer-sensitive | Probe | 決定論的マッチドフィルタ | 0.60 |
| Probe · 標準 volunteer-typical | Probe | 決定論的マッチドフィルタ | 0.60 |
Sentinelsはデフォルトで Claude（Anthropic）上で動作する。他のプロバイダーにも対応しており、ラベルで区別している。Probesは決定論的なマッチドフィルター検出器である。重みはそれぞれ注入した光度曲線10本と空の光度曲線10本から得ている：0.6と0.5を区別するには少なすぎる。
実際の TOI で測定
ライブフィードの新規シグナルはノイズと矛盾しない。ノイズだけでも、審査した 100 天体あたり約 12.3 件の偽の new_candidate シグナルが生じるはずであり、ライブフィードでは 100 天体あたり 15.8 件である。以前のこのルールのもとでは、フィード上の new_candidate はシグナルよりもノイズである可能性が高かった。
フィードのより厳しい規則。事前登録し、このコードで改めて測定した。 シグナルは、レビューした両方のセクターで、2,000回の試行に対してFAPが0.001未満で通過しなければならない。ホールドアウトした半分では、ノイズだけで100ターゲットあたり6.1件の偽シグナルが生じる（95% CI 4.0–9.4）。以前は27.8（23.1–33.1）だった。これは実際の光度曲線が示す100ターゲットあたり1.6件の新規シグナルをなお大きく上回るため、フィードは依然として誤警報が大半を占め、フィードレベルの完全性は39%から17%に低下した。フィードへの採録は人によるレビューやフォローアップのための手がかりであり、いかなる確認された状態の候補でもない。このコードで再実行すると、ライブフィードの19ターゲットから0件の新規シグナルが採録される。
定められたベンチマークで測定したものであり、発見ではない。TOI 表（取得 2026-10-19、シード 20261019）から、確認済みまたは既知の惑星 (CP/KP) 300 件、偽陽性 300 件、誤警報 62 件、恒星ごとに TOI 1 件。保留した半分を表示。パネル: 3つの Probes（決定論的検出器）とその固定された較正済み重み、セクター全体の BLS、ヴェッティング、周縁減光フィット。フィードレベルの表にはフィードの FAP（200 試行）を加える。
- 662固定サンプル中のTOI：CP/KP 300件、FP 300件、FA 62件
- 60% 150 個中 90 個（52–67%）探索可能な恒星で回収された惑星（ホールドアウト側の半分）
- 77% 124 件中 96 件（69–84%）パネルが見つけた偽陽性 TOI
- 68% 96 件中 65 件（58–76%）そのうち棄却、または連星的として要レビュー
| 主要指標：探索可能な星で回復された惑星（CP/KP の TOI、公表エフェメリス上で精査済みの減光） | 60% (90/150; 95% CI 52–67%) |
|---|---|
| すべての CP/KP 星で再検出された惑星（2 分データがないものは見逃しとして数える） | 59% (90/152; 95% CI 51–67%) |
| 初回の実行で修正前のコードにより回収された惑星（過去の記録） | 57% (86/150; 95% CI 49–65%) |
| 検索不可(SPOCの2分光度曲線なし) | 恒星36個 (CP/KP 2、FP 34、FA 0) FPに偏っている:FPの行は2分データのみを持つFP恒星を表す |
| パネルが見つけた偽陽性のTOI | 77% (96/124; 95% CI 69–84%) |
| … そのうち、棄却されたもの、または連星的として要レビューとなったもの | 68% (65/96; 95% CI 58–76%) |
| フィードの水準での、反転した光度曲線における誤警報（その完全な規則、FAP < 0.01） | 1,000恒星セクターあたり58件 (18/309。フィードの規則適用前の審査済み減光198件) |
| スクランブルした光度曲線における、フィードの水準(完全なルールはFAP < 0.01)での誤警報 | 1,000恒星セクターあたり61件 (19/309。フィードの規則適用前の審査済み減光266件) |
| claude-volunteer: CP/KP の減光をマーク（37 星のサブサンプル） | 47% (9/19; 95% CI 27–68%) |
| claude-skeptic: CP/KP の減光を標示（37 個の恒星のサブサンプル） | 47% (9/19; 95% CI 27–68%) |
これを測定したコードでは、クリッピングのバグは修正済みである。 ホールドアウトした星のうち、27個のCP/KP、11個のFP、0個のFAが影響を受けていた（深さが散らばりの8倍超）。影響を受けた27個のCP/KPのうち23個が現在は回収されており、初回の実行では21個だった。
全結果(修正前のコードによる初回の実行:benchmark_real_tois.md)。TFOPWGの判定は参照基準であり、すべてのTOIについての真値ではない。
Weights. A reviewer's weight is its calibration skill from injection tests: the share of planted transits it finds minus the share of empty light curves it marks, with a floor. The weight a run used is the one its record stores; when it differs from the calibrated weight, the run did not use the calibrated weights. Files and configuration ›
較正面
較正における各レビュアーの誤警報率（x：空の対象のうち印を付けた割合）と再現率（y：注入したトランジットのうち見つけた割合）。点の大きさは較正された重みを表す。線は重みが等しい点を結ぶ。重み = TPR − FPR、下限は 0.05。左上ほど良い。保存値のみ。
減光ごとのマーク
実行時に保存されたレビュアー一覧に基づき、各減光をどのレビュアーがマークしたかを示す。判定台帳のリンクを開くと、ケースファイル内でその減光のチェックが表示される。
The real-TOI leaderboard ›SetuHQ's configurations, and any method submitted, scored blind on the held-out half.
Runs and configuration ›Every search run, its errors as stored, and the configuration behind these pages.