5 évaluateurs.
Chacun mérite sa voix.
Le panel qui a marqué les creux de la série tess-pi-men-s1 : les Sentinels et les Probes, personne. Les Sentinels fonctionnent par défaut avec Claude (Anthropic) ; d'autres fournisseurs sont pris en charge et indiqués. Les Probes sont des détecteurs déterministes à filtre adapté.
Les marques et les poids sous forme de tableau
| Relecteur | Rôle | Fournisseur | Poids calibré |
|---|---|---|---|
| Sentinel · Sceptique claude-skeptic | Sentinel | Claude Code CLI (Claude, Anthropic) | 0.50 |
| Sentinel · Bénévole claude-volunteer | Sentinel | Claude Code CLI (Claude, Anthropic) | 0.50 |
| Probe · Prudent volunteer-cautious | Probe | filtre adapté déterministe | 0.40 |
| Probe · Sensible volunteer-sensitive | Probe | filtre adapté déterministe | 0.60 |
| Probe · Typique volunteer-typical | Probe | filtre adapté déterministe | 0.60 |
Les Sentinels fonctionnent par défaut sur Claude (Anthropic) ; d’autres fournisseurs sont pris en charge et indiqués. Les Probes sont des détecteurs déterministes à filtre adapté. Les poids proviennent de 10 courbes de lumière avec signal injecté et de 10 courbes vides chacun : trop peu pour distinguer 0,6 de 0,5.
Mesuré sur de vrais TOI
Les nouveaux signaux du flux en direct sont compatibles avec le bruit. Le bruit seul devrait donner environ 12,3 faux signaux new_candidate pour 100 cibles examinées, contre 15,8 pour 100 sur le flux en direct. Selon cette règle antérieure, un new_candidate du flux était plus probablement du bruit qu’un signal.
La règle plus stricte du flux, préenregistrée et mesurée à nouveau sur ce code. Le signal doit désormais être retenu dans les deux secteurs examinés avec une FAP inférieure à 0,001 sur 2 000 essais. Sur la moitié réservée, le bruit seul donne 6,1 faux signaux pour 100 cibles (IC à 95 % 4,0–9,4), contre 27,8 (23,1–33,1) auparavant. C'est encore bien au-dessus des 1,6 nouveaux signaux pour 100 cibles que donnent les courbes de lumière réelles : le flux reste donc dominé par les fausses alertes, et la complétude au niveau du flux est passée de 39 % à 17 %. Une admission dans le flux est une piste à examiner par un humain ou par un suivi, pas un candidat d'un quelconque statut confirmé. Relancées sur ce code, les 19 cibles du flux en direct admettent 0 nouveaux signaux.
Mesuré sur un banc d'essai déclaré, pas des découvertes. 300 planètes confirmées ou connues (CP/KP), 300 faux positifs et 62 fausses alarmes issus de la table TOI (récupérée le 2026-10-19, graine 20261019), un TOI par étoile ; moitié réservée affichée. Panneau : les trois Probes (détecteurs déterministes) avec leurs poids calibrés figés ; BLS sur tout le secteur ; vérification ; ajustement avec assombrissement centre-bord ; le tableau au niveau du flux ajoute la FAP du flux (200 essais).
- 662TOI dans l’échantillon figé : 300 CP/KP, 300 FP, 62 FA
- 60 % 90 sur 150 (52–67 %)planètes retrouvées sur les étoiles analysables (moitié réservée)
- 77 % 96 sur 124 (69–84 %)TOI faux positifs identifiés par le panel
- 68 % 65 sur 96 (58–76 %)parmi eux, rejetés ou signalés comme de type binaire
| Résultat principal : planètes retrouvées sur les étoiles explorables (TOI CP/KP, un creux vérifié sur l’éphéméride publiée) | 60% (90/150; 95% CI 52–67%) |
|---|---|
| Planètes retrouvées sur l'ensemble des étoiles CP/KP (l'absence de données à 2 minutes compte comme manquée) | 59% (90/152; 95% CI 51–67%) |
| Planètes retrouvées lors de la première exécution, sur le code antérieur au correctif (l'archive historique) | 57% (86/150; 95% CI 49–65%) |
| Recherche impossible (pas de courbe de lumière SPOC à 2 minutes) | 36 étoiles (2 CP/KP, 34 FP, 0 FA) biaisées vers les FP : les lignes FP décrivent des étoiles FP avec des données à 2 minutes uniquement |
| TOI faux positifs trouvés par le panel | 77% (96/124; 95% CI 69–84%) |
| … parmi ceux-ci, rejetés ou signalés comme de type binaire | 68% (65/96; 95% CI 58–76%) |
| Fausses alertes sur des courbes de lumière inversées au niveau du fil (sa règle complète, FAP < 0,01) | 58 pour 1 000 étoile-secteurs (18 sur 309 ; 198 baisses d’éclat examinées avant la règle du fil) |
| Fausses alarmes sur des courbes de lumière brouillées au niveau du fil (sa règle complète, FAP < 0,01) | 61 pour 1 000 étoile-secteurs (19 sur 309 ; 266 baisses d’éclat examinées avant la règle du fil) |
| claude-volunteer : creux CP/KP marqués (sous-échantillon de 37 étoiles) | 47% (9/19; 95% CI 27–68%) |
| claude-skeptic : creux CP/KP marqués (sous-échantillon de 37 étoiles) | 47% (9/19; 95% CI 27–68%) |
Le bug d'écrêtage est corrigé dans le code qui a produit cette mesure. 27 étoiles réservées CP/KP, 11 FP et 0 FA étaient exposées (profondeur supérieure à 8× la dispersion) ; 23 des 27 CP/KP exposées sont désormais retrouvées, contre 21 lors de la première exécution.
Résultats complets (la première exécution, sur le code antérieur au correctif : benchmark_real_tois.md). Les dispositions du TFOPWG servent de référence, pas de vérité terrain pour chaque TOI.
Weights. A reviewer's weight is its calibration skill from injection tests: the share of planted transits it finds minus the share of empty light curves it marks, with a floor. The weight a run used is the one its record stores; when it differs from the calibrated weight, the run did not use the calibrated weights. Files and configuration ›
Plan d'étalonnage
Chaque évaluateur selon son taux de fausses alarmes (x : part des sujets vides qu'il a marqués) et son rappel (y : part des transits injectés qu'il a trouvés) lors de l'étalonnage. La taille du point indique son poids étalonné. Les lignes relient les points de même poids, poids = TPR − FPR, avec un plancher de 0,05 ; le mieux est vers le haut et vers la gauche. Valeurs stockées uniquement.
Marques par creux
Quels examinateurs ont marqué chaque creux, d'après la liste d'examinateurs stockée de l'exécution. Le lien vers le registre des verdicts ouvre les contrôles du creux dans son dossier.
The real-TOI leaderboard ›SetuHQ's configurations, and any method submitted, scored blind on the held-out half.
Runs and configuration ›Every search run, its errors as stored, and the configuration behind these pages.