Méthodes, évaluées à l'aveugle sur de vrais TOI.
Le classement public sur le banc d'essai figé de TOI réels : les événements détectés par chaque entrée, évalués par le classement lui-même sur la seule moitié réservée, avec des intervalles de Wilson à 95 %. Ce n'est pas le balayage des seuils d'injection (docs/threshold_sweep.md), qui règle les seuils des Probes sur des courbes de lumière synthétiques.
Mesuré sur un banc d'essai déclaré ; rien ici n'est une découverte. Les Sentinels fonctionnent par défaut avec Claude (Anthropic) ; d'autres fournisseurs sont pris en charge et indiqués. Les Probes sont des détecteurs déterministes à filtre adapté.
Moitié réservée chaque étoile réservée
Le benchmark ne peut pas montrer que les Probes lisent les courbes de lumière mieux que les métadonnées du catalogue ne prédisent les statuts (ΔJ apparié (plancher − Probes) = +0.039, IC à 95 % de -0,096 à +0.173, P(ΔJ ≤ 0) = 0,29).
| Rang | Entrée | J de Youden | J de Youden, toutes étoiles | Complétude nette, CP/KP cherchables | Rejet des FP, FP consultables | Retrouvés sous 4 R⊕ | Contrôle inversé : étoiles avec au moins un | Contrôle brouillé : étoiles avec un quelconque | Fiabilité |
|---|---|---|---|---|---|---|---|---|---|
| 1l’intervalle chevauche #2 | Métadonnées seules, sans courbe de lumière (un plancher)metadata-baseline · ajusté sur tuning | +0.39+0.27 to +0.49 | +0.46+0.35 to +0.55 | 76%114/150 · 69–82% | 63%78/124 · 54–71% | 70%32/46 · 55–81% | 54%166/309 · 48–59% | 54%166/309 · 48–59% | 69%114/166 · 61–75% |
| 2l’intervalle chevauche #1 | Probes uniquementprobes · ajusté sur aucun | +0.35+0.23 to +0.45 | +0.40+0.29 to +0.49 | 60%90/150 · 52–67% | 75%93/124 · 67–82% | 17%8/46 · 9–31% | 22%67/309 · 17–27% | 25%78/309 · 21–30% | 72%90/125 · 64–79% |
Chaque cellule : le taux, puis k/n et l’intervalle de Wilson à 95 %, représenté par une barre de 0 à 100 % (J de Youden de −1 à +1, avec un repère à 0). Classement selon le J de Youden sur l’ensemble exploitable fixé par le banc d’essai, avec un seul prédicat des deux côtés (un candidat propre : sur l’éphéméride, ayant passé les tests, sans indicateur de binaire à éclipses), de sorte que qualifier chaque TOI de planète, signalée ou non, donne un score nul. Les témoins conditionnent le classement et n’entrent pas dans J, et les listes de témoins sont le propre rapport de la méthode. Là où les intervalles se recouvrent, l’ordre n’est pas une différence mesurée.
Le sous-échantillon des Sentinels 37 étoiles réservées · non classées
37 étoiles ne permettent pas d'ordonner ces configurations : le sous-échantillon est listé, jamais classé, et chaque intervalle est large.
| Entrée | J de Youden | J de Youden, toutes étoiles | Complétude nette, CP/KP cherchables | Rejet des FP, FP consultables | Retrouvés sous 4 R⊕ | Contrôle inversé : étoiles avec au moins un | Contrôle brouillé : étoiles avec un quelconque | Fiabilité |
|---|---|---|---|---|---|---|---|---|
| Probes seulementprobes-subsample · tuned on none | +0.14-0.16 to +0.41 | +0.14-0.16 to +0.41 | 42%8/19 · 23–64% | 72%13/18 · 49–88% | 0%0/8 · 0–32% | 8%3/37 · 3–21% | 22%8/37 · 11–37% | 62%8/13 · 36–82% |
| Sentinel · Skeptic seulclaude-skeptic · réglé sur aucun | +0.25-0.05 to +0.50 | +0.25-0.05 to +0.50 | 47%9/19 · 27–68% | 78%14/18 · 55–91% | 0%0/8 · 0–32% | non mesuré | non mesuré | 69%9/13 · 42–87% |
| Sentinel · Volunteer seulclaude-volunteer · ajusté sur aucun | +0.25-0.05 to +0.50 | +0.25-0.05 to +0.50 | 47%9/19 · 27–68% | 78%14/18 · 55–91% | 0%0/8 · 0–32% | non mesuré | non mesuré | 69%9/13 · 42–87% |
| Probes + Sentinels, les deux (règle au niveau de l'étoile, fixée avant le calcul des scores, pas un consensus du panel)probes-and-sentinel · réglé sur aucun | +0.25-0.04 to +0.50 | +0.25-0.04 to +0.50 | 42%8/19 · 23–64% | 83%15/18 · 61–94% | 0%0/8 · 0–32% | non mesuré | non mesuré | 73%8/11 · 43–90% |
| Probes + Sentinels, l’un ou l’autre (règle au niveau de l’étoile, fixée avant l’évaluation, pas un consensus du panel)probes-or-sentinel · ajusté sur aucun | +0.08-0.22 to +0.36 | +0.08-0.22 to +0.36 | 47%9/19 · 27–68% | 61%11/18 · 39–80% | 0%0/8 · 0–32% | non mesuré | non mesuré | 56%9/16 · 33–77% |
Chaque cellule : le taux, puis k/n et l’intervalle de Wilson à 95 %, tracé comme une barre de 0 à 100 % (J de Youden de −1 à +1, avec un repère à 0).
Les lignes Sentinel couvrent 37 étoiles. Leurs intervalles sont larges, les deux personas partagent un même modèle (elles s'accordent sur 35 des 37 étoiles, φ = 0,88), elles comptent donc comme un seul votant corrélé et non deux, et elles n'ont jamais été exécutées sur les courbes de lumière de contrôle. Les lignes Probes + Sentinels sont des combinaisons au niveau de l'étoile de résultats stockés, énoncées avant le calcul des scores, et non une exécution du consensus du panel.
Règles
- Évalué uniquement sur la moitié réservée de l’échantillon figé (TOI répartis par parité de sha256(seed:TIC)) ; la moitié de réglage n’est jamais évaluée.
- Une soumission liste, pour chaque étoile de son périmètre, les événements que sa méthode a détectés sur la courbe de lumière réelle et sur les contrôles à flux inversé et à blocs brouillés (temps, durée, période, son propre verdict de réussite et ses signalements). Le classement détermine quels événements se situent sur l'éphéméride du TOI (score_star et match_toi du benchmark) et compte lui-même les fausses alarmes des contrôles. Les résultats autodéclarés ne sont pas acceptés.
- Classement : J de Youden sur l'ensemble recherchable fixé par le benchmark (étoiles disposant d'une courbe de lumière SPOC à 2 minutes), avec un même prédicat des deux côtés, un candidat propre (sur l'éphéméride, ayant passé les contrôles, sans signalement de binaire à éclipses) : J = la part des étoiles CP/KP proposées comme candidats propres + la part des étoiles FP non proposées − 1, avec un intervalle de Wilson par somme des carrés. Qualifier chaque TOI de planète, avec ou sans signalement, donne J = 0 ; une étoile recherchable déclarée non recherchée compte comme non proposée. Le J sur toutes les étoiles du périmètre est affiché à côté. Là où les intervalles se chevauchent, l'ordre n'est pas une différence mesurée.
- Les contrôles conditionnent le classement et n’entrent pas dans J : seules les entrées réservées ayant les deux listes de contrôle sur chaque étoile examinée sont classées, les autres sont listées sans classement. Les listes de contrôle sont le rapport propre de la méthode ; le classement ne peut pas les recalculer sans les courbes de lumière. Le sous-échantillon Sentinel n’est jamais classé.
- Un plancher : la référence fondée uniquement sur les métadonnées n’utilise aucune courbe de lumière, seulement le numéro TOI public, la période, la durée, les erreurs d’éphéméride et l’époque, avec une régression logistique ajustée sur la moitié de réglage. Pour une méthode qui ne la bat pas, rien ne montre qu’elle lit les courbes de lumière mieux que les métadonnées du catalogue elles-mêmes ne prédisent les statuts.
- Une soumission indique le sha256 des entrées publiques à partir desquelles elle a été construite (moitié d’ajustement avec étiquettes, moitié réservée sans). Tout autre hash, un tuned_on autre que none ou tuning, un champ hors de la liste blanche, une étoile manquante ou en trop, ou une provenance manquante : refusée, avec les motifs listés.
- Le hachage est une attestation : les étiquettes réservées sont publiques dans le dépôt, donc le classement ne peut pas prouver qu’elles n’ont pas été lues, et les verdicts de réussite et les événements de contrôle d’une méthode relèvent de sa propre déclaration. Des courbes de lumière leurres détenues par les mainteneurs et une notation prospective sur des TOI encore sans disposition combleraient ces lacunes ; ni l’une ni l’autre n’existe encore.
- Rejet des FP : étoiles FP dont la méthode n’a pas proposé le creux TOI comme candidat propre (retrouvé et non signalé). Fiabilité : la part des candidats propres sur des creux TOI qui sont CP/KP, selon la répartition des classes de cet échantillon, qui n’est pas celle du catalogue TOI. Tous les taux sont assortis d’intervalles de Wilson à 95 %. Les dispositions du TFOPWG servent de référence, et non de vérité terrain pour chaque TOI.
- Mesuré sur un benchmark déclaré ; rien dans ce classement n’est une découverte.
Format de soumission et règles de refus : docs/leaderboard/README.md. Évaluez une soumission avec setuhq leaderboard <file>.
L'échantillon figé
- sha256 de l’échantillon figé
- 6f0e111ec8d2c38d3e7927505f0be4a2c7fae8b73d7cc17c37646baedf044cac
- sha256 des entrées publiques
- d0e4f2d9c5538800e9a34d018757f99e1d1672060e71ae56bbaf87fcaf0c15b4
- échantillon complet (avec étiquettes mises de côté), sha256 canonique : refusé s’il est fourni
- 3d420ac0bc628e2fe02b0c3b4c73b287f75a6ee2be351bf42011497d7e45c3cf
- sha256 du sous-échantillon Sentinel
- 999c61bddc47cae0f47674ea77e1524c77697ad7da35d52f2abd7578924016b2
- commit du code du benchmark
- 0ae8ccf0a23502a2324759a23a7d5ca277d63bcc
Échantillon : docs/results/benchmark_toi_sample.json. Entrées publiques : docs/leaderboard/tuning_inputs.json. Les dispositions du TFOPWG servent de référence, et non de vérité terrain pour chaque TOI.