実際の TOI で盲検採点した手法。
固定した実 TOI ベンチマークの公開リーダーボード: 各提出物が検出したイベントを、リーダーボード自身が保留半分だけで採点し、Wilson 95% 区間を付けたもの。合成光度曲線で Probe のしきい値を調整する注入しきい値スイープ (docs/threshold_sweep.md) とは別物です。
明示したベンチマークでの測定であり、ここに発見はありません。 Sentinels は既定で Claude (Anthropic) で動作します。ほかのプロバイダーにも対応し、ラベルを付けています。Probes は決定論的なマッチドフィルター検出器です。
検証用に取り分けた半分 取り分けたすべての恒星
このベンチマークでは、Probes がカタログのメタデータによる判定予測よりも光度曲線をうまく読み取ることを示せない（対応のある ΔJ（floor − Probes）= +0.039、95% CI -0.096 ～ +0.173、P(ΔJ ≤ 0) = 0.29）。
| 順位 | 項目 | Youden J | Youden J、全恒星 | クリーン完全性、探索可能なCP/KP | FP棄却、検索可能なFP | 4 R⊕ 未満で再検出 | 反転対照：いずれかを含む恒星 | スクランブル対照：いずれかを持つ星 | 信頼性 |
|---|---|---|---|---|---|---|---|---|---|
| 1区間が#2と重なる | メタデータのみ、光度曲線なし（下限）metadata-baseline · tuned on tuning | +0.39+0.27 to +0.49 | +0.46+0.35 to +0.55 | 76%114/150 · 69–82% | 63%78/124 · 54–71% | 70%32/46 · 55–81% | 54%166/309 · 48–59% | 54%166/309 · 48–59% | 69%114/166 · 61–75% |
| 2区間が#1と重なる | Probes のみprobes · 調整対象なし | +0.35+0.23 to +0.45 | +0.40+0.29 to +0.49 | 60%90/150 · 52–67% | 75%93/124 · 67–82% | 17%8/46 · 9–31% | 22%67/309 · 17–27% | 25%78/309 · 21–30% | 72%90/125 · 64–79% |
各セル：率、続いて k/n と Wilson 95% 区間。区間は 0 から 100% までのバーとして描画する（Youden J は −1 から +1 まで、0 に目印）。ベンチマークが固定した探索可能セット上の Youden's J で順位付けし、両側で同じ一つの条件（クリーンな候補：エフェメリス上にあり、合格し、食連星フラグなし）を用いるため、要レビューかどうかにかかわらずすべての TOI を惑星と判定すると得点はゼロになる。対照群は順位付けの可否を決めるが J には入らず、対照リストは手法自身による報告である。区間が重なる場合、順位は測定された差ではない。
Sentinels のサブサンプル ホールドアウトの恒星 37 個 · 順位付けなし
37個の星ではこれらの構成を順位付けできない。このサブサンプルは列挙するのみで順位付けはせず、どの区間も広い。
| 項目 | Youden J | Youden J、全恒星 | クリーン完全性、探索可能なCP/KP | FP棄却、検索可能なFP | 4 R⊕ 未満で再検出 | 反転対照：いずれかを含む恒星 | スクランブル対照：いずれかを持つ星 | 信頼性 |
|---|---|---|---|---|---|---|---|---|
| Probes のみprobes-subsample · tuned on none | +0.14-0.16 to +0.41 | +0.14-0.16 to +0.41 | 42%8/19 · 23–64% | 72%13/18 · 49–88% | 0%0/8 · 0–32% | 8%3/37 · 3–21% | 22%8/37 · 11–37% | 62%8/13 · 36–82% |
| Sentinel · Skeptic 単独claude-skeptic · tuned on none | +0.25-0.05 to +0.50 | +0.25-0.05 to +0.50 | 47%9/19 · 27–68% | 78%14/18 · 55–91% | 0%0/8 · 0–32% | 未測定 | 未測定 | 69%9/13 · 42–87% |
| Sentinel · Volunteer単独claude-volunteer · どれにも調整されていない | +0.25-0.05 to +0.50 | +0.25-0.05 to +0.50 | 47%9/19 · 27–68% | 78%14/18 · 55–91% | 0%0/8 · 0–32% | 未測定 | 未測定 | 69%9/13 · 42–87% |
| Probes + Sentinels の両方（恒星単位のルール。スコア算出前に固定。パネルの合意ではない）probes-and-sentinel · tuned on none | +0.25-0.04 to +0.50 | +0.25-0.04 to +0.50 | 42%8/19 · 23–64% | 83%15/18 · 61–94% | 0%0/8 · 0–32% | 未測定 | 未測定 | 73%8/11 · 43–90% |
| Probes + Sentinels のいずれか（恒星単位のルール。スコアリング前に固定。パネルの合意ではない）probes-or-sentinel · チューニング対象なし | +0.08-0.22 to +0.36 | +0.08-0.22 to +0.36 | 47%9/19 · 27–68% | 61%11/18 · 39–80% | 0%0/8 · 0–32% | 未測定 | 未測定 | 56%9/16 · 33–77% |
各セル：率、続いて k/n と Wilson 95% 区間を示し、区間は 0 から 100% までのバーで描く（Youden J は −1 から +1、0 に目印）。
Sentinel の行は 37 個の恒星を対象とする。区間は広く、2 つのペルソナは 1 つのモデルを共有している（37 個中 35 個の恒星で一致、φ = 0.88）ため、2 つではなく相関した 1 つの投票者として数えられる。また、対照の光度曲線では一度も実行されていない。Probes + Sentinels の行は、スコア算出前に定めた、保存された結果の恒星単位の組み合わせであり、パネルの合意を実行したものではない。
ルール
- 凍結サンプルのうち保留した半分のみで評価（TOI は sha256(seed:TIC) の偶奇で分割）。調整用の半分は一切評価しない。
- 提出物には、対象範囲のすべての恒星について、その手法が実際の光度曲線、およびフラックス反転とブロック撹拌の対照データ上で検出したイベント（時刻、継続時間、周期、その手法自身の合格判定とフラグ）を記載する。どのイベントが TOI の天体暦上にあるかはリーダーボードが判定し（ベンチマークの score_star と match_toi）、対照データでの誤検出もリーダーボード自身が数える。自己申告の結果は受け付けない。
- 順位：ベンチマークが定めた検索可能な集合（SPOC 2分光度曲線がある恒星）でのYoudenのJ。両側に同じ述語を用い、それはクリーンな候補（エフェメリス上にあり、合格し、食連星フラグがない）である。J = クリーンな候補として提示されたCP/KP恒星の割合 + 提示されなかったFP恒星の割合 − 1。区間は二乗和によるWilson区間である。フラグの有無にかかわらず、すべてのTOIを惑星とみなすとJ = 0になる。検索可能なのに未検索とされた恒星は、提示されなかったものとして数える。対象範囲の全恒星でのJを横に示す。区間が重なる場合、その順序は測定された差ではない。
- 対照はランキングの可否を決めるもので、Jには入らない：探索したすべての恒星について両方の対照リストを持つホールドアウトのエントリのみをランク付けし、それ以外はランクなしで掲載する。対照リストは手法自身の報告であり、リーダーボードは光度曲線なしにそれを再計算できない。Sentinelサブサンプルは決してランク付けしない。
- 下限の基準：メタデータのみのベースラインは光度曲線をまったく使わず、公開されているTOI番号、周期、継続時間、エフェメリスの誤差、元期だけを用い、チューニング用の半分に当てはめたロジスティック回帰で予測する。これを上回らない手法は、カタログ自体のメタデータによる判定予測よりも光度曲線をうまく読み取れることが示されていない。
- 提出物には、作成に用いた公開入力（ラベル付きの調整用半分と、ラベルなしのホールドアウト半分）の sha256 を記載する。それ以外のハッシュ、none または tuning 以外の tuned_on、許可リスト外のフィールド、恒星の欠落や余分、来歴の欠落があれば、理由を列挙して受理しない。
- ハッシュは自己申告の証明(アテステーション)である:保留ラベルはリポジトリで公開されているため、リーダーボードはそれらが読まれていないことを証明できず、手法の合格判定と対照イベントはその手法自身の報告である。メンテナーが保持するおとりの光度曲線と、まだ判定されていないTOIに対する前向きスコアリングがあればこれらの欠落は埋まるが、どちらもまだ存在しない。
- FP 棄却: TOI の減光を手法がクリーンな候補として提示しなかった FP 星（再検出され、かつ要レビューでないもの）。信頼度: TOI の減光上のクリーンな候補のうち CP/KP である割合。このサンプルのクラス構成に基づく値であり、TOI カタログのクラス構成とは異なる。すべての率に Wilson 95% 区間を付す。TFOPWG の判定は参照基準であり、すべての TOI に対する真値ではない。
- 明示されたベンチマークで測定した。このリーダーボード上のどれも発見ではない。
提出形式と拒否ルール：docs/leaderboard/README.md。提出物のスコアは setuhq leaderboard <file> で算出する。
固定サンプル
- 固定サンプルの sha256
- 6f0e111ec8d2c38d3e7927505f0be4a2c7fae8b73d7cc17c37646baedf044cac
- 公開入力の sha256
- d0e4f2d9c5538800e9a34d018757f99e1d1672060e71ae56bbaf87fcaf0c15b4
- 全サンプル（ホールドアウトしたラベルを含む）、正規化sha256：記載されている場合は受け付けない
- 3d420ac0bc628e2fe02b0c3b4c73b287f75a6ee2be351bf42011497d7e45c3cf
- Sentinelサブサンプルの sha256
- 999c61bddc47cae0f47674ea77e1524c77697ad7da35d52f2abd7578924016b2
- ベンチマークコードのコミット
- 0ae8ccf0a23502a2324759a23a7d5ca277d63bcc
サンプル:docs/results/benchmark_toi_sample.json。公開入力:docs/leaderboard/tuning_inputs.json。TFOPWGの判定は参照基準であり、すべてのTOIについての真の正解ではない。