5 beoordelaars.
Elk verdient zijn stem.
Het panel dat dips markeerde in run tess-pi-men-s1: de Sentinels en de Probes, geen mensen. Sentinels draaien standaard op Claude (Anthropic); andere aanbieders worden ondersteund en aangeduid. Probes zijn deterministische matched-filterdetectoren.
De markeringen en gewichten als tabel
| Beoordelaar | Rol | Aanbieder | Gekalibreerd gewicht |
|---|---|---|---|
| Sentinel · Skeptic claude-skeptic | Sentinel | Claude Code CLI (Claude, Anthropic) | 0.50 |
| Sentinel · Vrijwilliger claude-volunteer | Sentinel | Claude Code CLI (Claude, Anthropic) | 0.50 |
| Probe · Voorzichtig volunteer-cautious | Probe | deterministisch matched filter | 0.40 |
| Probe · Gevoelig volunteer-sensitive | Probe | deterministisch matched filter | 0.60 |
| Probe · Typisch volunteer-typical | Probe | deterministisch matched filter | 0.60 |
Sentinels draaien standaard op Claude (Anthropic); andere aanbieders worden ondersteund en gelabeld. Probes zijn deterministische matched-filter-detectoren. De gewichten komen uit elk 10 geplante en 10 lege lichtcurven: te weinig om 0,6 van 0,5 te onderscheiden.
Gemeten op echte TOI's
De nieuwe signalen van de live feed zijn consistent met ruis. Ruis alleen zou ongeveer 12,3 valse new_candidate-signalen per 100 beoordeelde doelen moeten geven, tegenover 15,8 per 100 in de live feed. Onder die eerdere regel was een new_candidate in de feed eerder ruis dan een signaal.
De strengere regel van de feed, vooraf geregistreerd en opnieuw gemeten op deze code. Het signaal moet nu in beide beoordeelde sectoren slagen met een FAP onder 0,001 over 2.000 pogingen. Op de achtergehouden helft geeft ruis alleen 6,1 valse signalen per 100 doelen (95%-BI 4,0–9,4), omlaag van 27,8 (23,1–33,1). Dat ligt nog steeds ver boven de 1,6 nieuwe signalen per 100 doelen die de echte lichtcurves geven, dus de feed wordt nog steeds gedomineerd door vals alarm, en de volledigheid op feedniveau daalde van 39% naar 17%. Een toelating tot de feed is een aanwijzing voor menselijke beoordeling of vervolgonderzoek, geen kandidaat met enige bevestigde status. Opnieuw uitgevoerd op deze code laten de 19 doelen van de live feed 0 nieuwe signalen toe.
Gemeten op een vermelde benchmark, geen ontdekkingen. 300 bevestigde of bekende planeten (CP/KP), 300 fout-positieven en 62 valse alarmen uit de TOI-tabel (opgehaald 2026-10-19, seed 20261019), één TOI per ster; de achtergehouden helft wordt getoond. Panel: de drie Probes (deterministische detectoren) met hun bevroren gekalibreerde gewichten; sectorbrede BLS; vetting; fit met randverduistering; de tabel op feedniveau voegt de FAP van de feed toe (200 pogingen).
- 662TOI's in de bevroren steekproef: 300 CP/KP, 300 FP, 62 FA
- 60% 90 van 150 (52–67%)planeten teruggevonden bij doorzoekbare sterren (achtergehouden helft)
- 77% 96 van 124 (69–84%)fout-positieve TOI's gevonden door het panel
- 68% 65 van 96 (58–76%)daarvan afgewezen of gemarkeerd als dubbelsterachtig
| Kernresultaat: planeten teruggevonden bij doorzoekbare sterren (CP/KP-TOI's, een gecontroleerde dip op de gepubliceerde efemeride) | 60% (90/150; 95% CI 52–67%) |
|---|---|
| Teruggevonden planeten over alle CP/KP-sterren (geen 2-minutendata telt als gemist) | 59% (90/152; 95% CI 51–67%) |
| Planeten teruggevonden in de eerste run, op de code van vóór de fix (het historische verslag) | 57% (86/150; 95% CI 49–65%) |
| Niet doorzoekbaar (geen SPOC-lichtcurve van 2 minuten) | 36 sterren (2 CP/KP, 34 FP, 0 FA) scheef verdeeld naar FP: de FP-rijen beschrijven FP-sterren met alleen 2-minutendata |
| Fout-positieve TOI's gevonden door het panel | 77% (96/124; 95% CI 69–84%) |
| … daarvan afgewezen of als binair-achtig gemarkeerd | 68% (65/96; 95% CI 58–76%) |
| Valse alarmen op geïnverteerde lichtcurves op het niveau van de feed (de volledige regel ervan, FAP < 0,01) | 58 per 1.000 ster-sectoren (18 over 309; 198 gecontroleerde dips vóór de regel van de feed) |
| Valse alarmen op door elkaar gehusselde lichtcurves op het niveau van de feed (de volledige regel ervan, FAP < 0,01) | 61 per 1.000 ster-sectoren (19 over 309; 266 gecontroleerde dips vóór de regel van de feed) |
| claude-volunteer: CP/KP-dips aangeduid (deelsteekproef van 37 sterren) | 47% (9/19; 95% CI 27–68%) |
| claude-skeptic: CP/KP-dips gemarkeerd (deelsteekproef van 37 sterren) | 47% (9/19; 95% CI 27–68%) |
De clipping-bug is opgelost in de code die dit heeft gemeten. 27 CP/KP-, 11 FP- en 0 FA-sterren uit de achtergehouden set waren blootgesteld (diepte meer dan 8× de spreiding); 23 van de 27 blootgestelde CP/KP worden nu teruggevonden, tegenover 21 in de eerste run.
Volledige resultaten (de eerste run, op de code van vóór de fix: benchmark_real_tois.md). De TFOPWG-disposities zijn de referentie, geen grondwaarheid voor elke TOI.
Weights. A reviewer's weight is its calibration skill from injection tests: the share of planted transits it finds minus the share of empty light curves it marks, with a floor. The weight a run used is the one its record stores; when it differs from the calibrated weight, the run did not use the calibrated weights. Files and configuration ›
Kalibratievlak
Elke beoordelaar bij zijn vals-alarmfrequentie (x: aandeel lege onderwerpen dat hij markeerde) en recall (y: aandeel geïnjecteerde transits dat hij vond) in de kalibratie. De puntgrootte is zijn gekalibreerde gewicht. De lijnen verbinden punten met gelijk gewicht, gewicht = TPR − FPR, met een ondergrens van 0,05; linksboven is beter. Alleen opgeslagen waarden.
Markeringen per dip
Welke beoordelaars elke dip markeerden, uit de opgeslagen beoordelaarslijst van de run. De link naar het oordelenregister opent de controles van de dip in het dossier.
The real-TOI leaderboard ›SetuHQ's configurations, and any method submitted, scored blind on the held-out half.
Runs and configuration ›Every search run, its errors as stored, and the configuration behind these pages.