5 granskare.
Var och en förtjänar sin röst.
Panelen som markerade dippar i körning tess-pi-men-s1: Sentinels och Probes, inga människor. Sentinels körs som standard på Claude (Anthropic); andra leverantörer stöds och märks ut. Probes är deterministiska matchade filterdetektorer.
Markeringarna och vikterna som tabell
| Granskare | Roll | Leverantör | Kalibrerad vikt |
|---|---|---|---|
| Sentinel · Skeptiker claude-skeptic | Sentinel | Claude Code CLI (Claude, Anthropic) | 0.50 |
| Sentinel · Volontär claude-volunteer | Sentinel | Claude Code CLI (Claude, Anthropic) | 0.50 |
| Probe · Försiktig volunteer-cautious | Probe | deterministiskt matchat filter | 0.40 |
| Probe · Känslig volunteer-sensitive | Probe | deterministiskt matchat filter | 0.60 |
| Probe · Typisk volunteer-typical | Probe | deterministiskt matchat filter | 0.60 |
Sentinels körs som standard på Claude (Anthropic); andra leverantörer stöds och märks ut. Probes är deterministiska matched-filter-detektorer. Vikterna kommer från 10 planterade och 10 tomma ljuskurvor vardera: för få för att skilja 0,6 från 0,5.
Mätt på verkliga TOI
Det direkta flödets nya signaler är förenliga med brus. Enbart brus bör ge ungefär 12,3 falska new_candidate-signaler per 100 granskade mål, mot 15,8 per 100 i det direkta flödet. Enligt den tidigare regeln var en new_candidate i flödet mer sannolikt brus än en signal.
Flödets striktare regel, förregistrerad och uppmätt på nytt med den här koden. Signalen måste nu godkännas i båda granskade sektorerna med en FAP under 0,001 över 2 000 försök. På den undanhållna halvan ger enbart brus 6,1 falska signaler per 100 mål (95% KI 4,0–9,4), ned från 27,8 (23,1–33,1). Det är fortfarande långt över de 1,6 nya signaler per 100 mål som de verkliga ljuskurvorna ger, så flödet domineras fortfarande av falsklarm, och fullständigheten på flödesnivå sjönk från 39% till 17%. Att en signal släpps in i flödet är ett spår för mänsklig granskning eller uppföljning, inte en kandidat med någon bekräftad status. Körda på nytt med den här koden släpper det aktiva flödets 19 mål in 0 nya signaler.
Mätt på ett angivet riktmärke, inte upptäckter. 300 bekräftade eller kända planeter (CP/KP), 300 falskt positiva och 62 falsklarm från TOI-tabellen (hämtad 2026-10-19, frö 20261019), en TOI per stjärna; den undanhållna halvan visas. Panel: de tre Probes (deterministiska detektorer) med sina frysta kalibrerade vikter; sektorövergripande BLS; granskning; anpassning med randfördunkling; tabellen på flödesnivå lägger till flödets FAP (200 försök).
- 662TOI:er i det frysta urvalet: 300 CP/KP, 300 FP, 62 FA
- 60% 90 av 150 (52–67%)planeter återfunna på sökbara stjärnor (undanhållen hälft)
- 77% 96 av 124 (69–84%)falskt positiva TOI:er som panelen hittade
- 68 % 65 av 96 (58–76 %)av dessa, avvisade eller flaggade som dubbelstjärnelika
| Huvudresultat: planeter återfunna på sökbara stjärnor (CP/KP-TOI:er, en granskad dipp på den publicerade efemeriden) | 60% (90/150; 95% CI 52–67%) |
|---|---|
| Återfunna planeter över alla CP/KP-stjärnor (saknade 2-minutersdata räknas som missad) | 59% (90/152; 95% CI 51–67%) |
| Planeter som återfanns i den första körningen, med koden före rättningen (det historiska underlaget) | 57% (86/150; 95% CI 49–65%) |
| Inte sökbar (ingen SPOC-ljuskurva med 2-minuterskadens) | 36 stjärnor (2 CP/KP, 34 FP, 0 FA) förskjutet mot FP: FP-raderna beskriver FP-stjärnor med endast 2-minutersdata |
| Falskt positiva TOI som panelen hittade | 77% (96/124; 95% CI 69–84%) |
| … av dessa, avvisade eller flaggade som dubbelstjärneliknande | 68% (65/96; 95% CI 58–76%) |
| Falsklarm på inverterade ljuskurvor på flödets nivå (dess fullständiga regel, FAP < 0,01) | 58 per 1 000 stjärnsektorer (18 över 309; 198 granskade dippar före flödets regel) |
| Falsklarm på omblandade ljuskurvor på flödets nivå (dess fullständiga regel, FAP < 0,01) | 61 per 1 000 stjärnsektorer (19 över 309; 266 granskade dippar före flödets regel) |
| claude-volunteer: CP/KP-dippar markerade (delurval av 37 stjärnor) | 47% (9/19; 95% CI 27–68%) |
| claude-skeptic: CP/KP-dippar markerade (delurval av 37 stjärnor) | 47% (9/19; 95% CI 27–68%) |
Klippningsbuggen är rättad i koden som mätte detta. 27 CP/KP, 11 FP och 0 FA undanhållna stjärnor exponerades (djup över 8× spridningen); 23 av de 27 exponerade CP/KP återfinns nu, mot 21 i den första körningen.
Fullständiga resultat (den första körningen, på koden före rättningen: benchmark_real_tois.md). TFOPWG:s klassificeringar är referensen, inte facit för varje TOI.
Weights. A reviewer's weight is its calibration skill from injection tests: the share of planted transits it finds minus the share of empty light curves it marks, with a floor. The weight a run used is the one its record stores; when it differs from the calibrated weight, the run did not use the calibrated weights. Files and configuration ›
Kalibreringsplan
Varje granskare vid sin falsklarmsfrekvens (x: andel tomma objekt den markerade) och träffsäkerhet (y: andel injicerade transiter den hittade) i kalibreringen. Punktstorleken är dess kalibrerade vikt. Linjerna förbinder punkter med lika vikt, vikt = TPR − FPR, med nedre gräns 0,05; uppåt och till vänster är bättre. Endast lagrade värden.
Markeringar per dipp
Vilka granskare som markerade varje dipp, enligt körningens lagrade granskarlista. Länken till utlåtandeliggaren öppnar dippens kontroller i dess ärendefil.
The real-TOI leaderboard ›SetuHQ's configurations, and any method submitted, scored blind on the held-out half.
Runs and configuration ›Every search run, its errors as stored, and the configuration behind these pages.