5 posuzovatelů.
Každý si svůj hlas zaslouží.
Panel, který označoval poklesy v běhu tess-pi-men-s1: Sentinels a Probes, žádní lidé. Sentinels ve výchozím stavu běží na Claude (Anthropic); další poskytovatelé jsou podporováni a označeni. Probes jsou deterministické detektory s přizpůsobeným filtrem.
Označení a váhy jako tabulka
| Posuzovatel | Role | Poskytovatel | Kalibrovaná váha |
|---|---|---|---|
| Sentinel · Skeptik claude-skeptic | Sentinel | Claude Code CLI (Claude, Anthropic) | 0.50 |
| Sentinel · Volunteer claude-volunteer | Sentinel | Claude Code CLI (Claude, Anthropic) | 0.50 |
| Probe · Opatrný volunteer-cautious | Probe | deterministický přizpůsobený filtr | 0.40 |
| Probe · Citlivý volunteer-sensitive | Probe | deterministický přizpůsobený filtr | 0.60 |
| Probe · Typický volunteer-typical | Probe | deterministický přizpůsobený filtr | 0.60 |
Sentinels ve výchozím nastavení běží na Claude (Anthropic); jiní poskytovatelé jsou podporováni a označeni. Probes jsou deterministické detektory s přizpůsobeným filtrem. Váhy pocházejí vždy z 10 vložených a 10 prázdných světelných křivek: příliš málo na rozlišení 0,6 od 0,5.
Měřeno na skutečných TOI
Nové signály v živém kanálu jsou slučitelné se šumem. Samotný šum by měl dát přibližně 12,3 falešných signálů new_candidate na 100 posouzených cílů, oproti 15,8 na 100 v živém kanálu. Podle tohoto dřívějšího pravidla byl new_candidate v kanálu spíše šum než signál.
Přísnější pravidlo feedu, předem registrované a znovu změřené na tomto kódu. Signál nyní musí projít v obou posouzených sektorech s FAP pod 0,001 přes 2 000 pokusů. Na odložené polovině dává samotný šum 6,1 falešných signálů na 100 cílů (95% CI 4,0–9,4), oproti dřívějším 27,8 (23,1–33,1). To je stále daleko nad 1,6 novými signály na 100 cílů, které dávají skutečné světelné křivky, takže ve feedu stále převažují falešné poplachy, a úplnost na úrovni feedu klesla z 39 % na 17 %. Přijetí do feedu je podnět k lidskému nebo následnému posouzení, nikoli kandidát s jakýmkoli potvrzeným statusem. Při novém spuštění na tomto kódu přijme 19 cílů živého feedu 0 nových signálů.
Měřeno na uvedeném benchmarku, nejde o objevy. 300 potvrzených nebo známých planet (CP/KP), 300 falešně pozitivních a 62 planých poplachů z tabulky TOI (staženo 2026-10-19, seed 20261019), jeden TOI na hvězdu; zobrazena odložená polovina. Panel: tři Probes (deterministické detektory) s jejich zmrazenými kalibrovanými vahami; BLS přes celý sektor; prověřování; fit se ztemněním k okraji; tabulka na úrovni feedu přidává FAP feedu (200 pokusů).
- 662TOI ve zmrazeném vzorku: 300 CP/KP, 300 FP, 62 FA
- 60% 90 z 150 (52–67%)planet znovu nalezených na prohledatelných hvězdách (odložená polovina)
- 77% 96 z 124 (69–84%)falešně pozitivní TOI nalezené panelem
- 68 % 65 z 96 (58–76 %)z nich zamítnuto nebo označeno jako podobné dvojhvězdě
| Hlavní výsledek: planety znovu nalezené u prohledatelných hvězd (CP/KP TOI, prověřený pokles na publikované efemeridě) | 60% (90/150; 95% CI 52–67%) |
|---|---|
| Planety nalezené znovu napříč všemi hvězdami CP/KP (bez dat s kadencí 2 minut se počítá jako nezachycená) | 59% (90/152; 95% CI 51–67%) |
| Planety znovu nalezené v prvním běhu, na kódu před opravou (historický záznam) | 57% (86/150; 95% CI 49–65%) |
| Nelze prohledat (chybí 2minutová světelná křivka SPOC) | 36 hvězd (2 CP/KP, 34 FP, 0 FA) vychýleno k FP: řádky FP popisují FP hvězdy pouze s 2minutovými daty |
| Falešně pozitivní TOI nalezené panelem | 77% (96/124; 95% CI 69–84%) |
| … z nich zamítnuté nebo označené jako podobné dvojhvězdě | 68% (65/96; 95% CI 58–76%) |
| Falešné poplachy na invertovaných světelných křivkách na úrovni kanálu (jeho úplné pravidlo, FAP < 0,01) | 58 na 1 000 hvězdo-sektorů (18 na 309; 198 prověřených poklesů před pravidlem zdroje) |
| Falešné poplachy na promíchaných světelných křivkách na úrovni přehledu (jeho úplné pravidlo, FAP < 0,01) | 61 na 1 000 hvězdo-sektorů (19 na 309; 266 prověřených poklesů před pravidlem zdroje) |
| claude-volunteer: označené poklesy CP/KP (podvzorek 37 hvězd) | 47% (9/19; 95% CI 27–68%) |
| claude-skeptic: vyznačené poklesy CP/KP (podvzorek 37 hvězd) | 47% (9/19; 95% CI 27–68%) |
Chyba s ořezáváním je opravena v kódu, který toto měřil. Bylo vystaveno 27 CP/KP, 11 FP a 0 FA odložených hvězd (hloubka přes 8× rozptyl); nyní je zachyceno 23 z 27 vystavených CP/KP, oproti 21 v prvním běhu.
Úplné výsledky (první běh na kódu před opravou: benchmark_real_tois.md). Klasifikace TFOPWG jsou referencí, nikoli pravdivou hodnotou pro každý TOI.
Weights. A reviewer's weight is its calibration skill from injection tests: the share of planted transits it finds minus the share of empty light curves it marks, with a floor. The weight a run used is the one its record stores; when it differs from the calibrated weight, the run did not use the calibrated weights. Files and configuration ›
Kalibrační rovina
Každý posuzovatel podle míry falešných poplachů (x: podíl prázdných subjektů, které označil) a úplnosti (y: podíl vložených tranzitů, které našel) při kalibraci. Velikost bodu odpovídá jeho kalibrované váze. Čáry spojují body se stejnou váhou, váha = TPR − FPR, zdola omezená na 0,05; nahoru a doleva je lépe. Pouze uložené hodnoty.
Označení na pokles
Kteří posuzovatelé označili jednotlivé poklesy, podle uloženého seznamu posuzovatelů daného běhu. Odkaz na záznam verdiktů otevře kontroly poklesu v jeho spisu.
The real-TOI leaderboard ›SetuHQ's configurations, and any method submitted, scored blind on the held-out half.
Runs and configuration ›Every search run, its errors as stored, and the configuration behind these pages.