5 arvioijaa.
Jokainen ansaitsee äänensä.
Paneeli, joka merkitsi notkahdukset ajossa tess-pi-men-s1: Sentinels ja Probes, ei ihmisiä. Sentinels toimivat oletuksena Clauden (Anthropic) varassa; muita palveluntarjoajia tuetaan ja ne merkitään. Probes ovat deterministisiä sovitetun suodattimen ilmaisimia.
Merkinnät ja painot taulukkona
| Arvioija | Rooli | Palveluntarjoaja | Kalibroitu paino |
|---|---|---|---|
| Sentinel · Skeptikko claude-skeptic | Sentinel | Claude Code CLI (Claude, Anthropic) | 0.50 |
| Sentinel · Vapaaehtoinen claude-volunteer | Sentinel | Claude Code CLI (Claude, Anthropic) | 0.50 |
| Probe · Varovainen volunteer-cautious | Probe | deterministinen sovitettu suodin | 0.40 |
| Probe · Herkkä volunteer-sensitive | Probe | deterministinen sovitettu suodin | 0.60 |
| Probe · Tyypillinen volunteer-typical | Probe | deterministinen sovitettu suodin | 0.60 |
Sentinels toimivat oletuksena Claudella (Anthropic); muita palveluntarjoajia tuetaan ja ne merkitään. Probes ovat deterministisiä sovitetun suodattimen ilmaisimia. Painot perustuvat kukin 10 istutettuun ja 10 tyhjään valokäyrään: liian vähän erottamaan 0,6 ja 0,5 toisistaan.
Mitattu todellisilla TOI-kohteilla
Live-syötteen uudet signaalit ovat yhdenmukaisia kohinan kanssa. Pelkän kohinan pitäisi tuottaa noin 12,3 väärää new_candidate-signaalia 100 tarkastettua kohdetta kohden, kun live-syötteessä niitä on 15,8 / 100. Tuon aiemman säännön mukaan syötteen new_candidate oli todennäköisemmin kohinaa kuin signaali.
Syötteen tiukempi sääntö, ennalta rekisteröity ja mitattu uudelleen tällä koodilla. Signaalin on nyt läpäistävä molemmat tarkastetut sektorit FAP-arvolla alle 0,001, kun kokeita on 2 000. Erillään pidetyllä puoliskolla pelkkä kohina antaa 6,1 väärää signaalia 100 kohdetta kohden (95 %:n luottamusväli 4,0–9,4), kun aiemmin arvo oli 27,8 (23,1–33,1). Se on yhä selvästi enemmän kuin ne 1,6 uutta signaalia 100 kohdetta kohden, jotka todelliset valokäyrät antavat, joten syötettä hallitsevat yhä väärät hälytykset, ja syötetason kattavuus laski 39 %:sta 17 %:iin. Syötteeseen hyväksyminen on vihje ihmisen tai jatkohavaintojen tarkastettavaksi, ei minkään vahvistetun aseman kandidaatti. Kun tämä koodi ajetaan uudelleen, live-syötteen 19 kohteesta hyväksytään 0 uutta signaalia.
Mitattu ilmoitetulla vertailuaineistolla, ei löytöjä. 300 vahvistettua tai tunnettua planeettaa (CP/KP), 300 väärää positiivista ja 62 väärää hälytystä TOI-taulukosta (haettu 2026-10-19, siemen 20261019), yksi TOI tähteä kohden; erilleen jätetty puolikas näytetty. Paneeli: kolme Probea (deterministiset ilmaisimet) jäädytetyin kalibroiduin painoin; koko sektorin BLS; seulonta; reunatummenemisen huomioiva sovitus; syötetason taulukko lisää syötteen FAP:n (200 yritystä).
- 662TOI:ta jäädytetyssä otoksessa: 300 CP/KP, 300 FP, 62 FA
- 60 % 90/150 (52–67 %)uudelleen tunnistetut planeetat haettavissa olevilla tähdillä (sivuun jätetty puolikas)
- 77 % 96/124 (69–84 %)paneelin tunnistamat väärät positiiviset TOI:t
- 68 % 65/96 (58–76 %)niistä hylätty tai merkitty kaksoistähden kaltaiseksi
| Pääluku: palautetut planeetat haettavissa olevilla tähdillä (CP/KP TOI:t, tarkastettu notko julkaistulla efemeridillä) | 60% (90/150; 95% CI 52–67%) |
|---|---|
| Uudelleentunnistetut planeetat kaikista CP/KP-tähdistä (puuttuva 2 minuutin data lasketaan ohitetuksi) | 59% (90/152; 95% CI 51–67%) |
| Ensimmäisessä ajossa korjausta edeltäneellä koodilla uudelleen tunnistetut planeetat (historiallinen kirjaus) | 57% (86/150; 95% CI 49–65%) |
| Ei haettavissa (ei SPOC:n 2 minuutin valokäyrää) | 36 tähteä (2 CP/KP, 34 FP, 0 FA) painottuu FP:hen: FP-rivit kuvaavat FP-tähtiä, joilta on vain 2 minuutin dataa |
| Paneelin tunnistamat väärät positiiviset TOIt | 77% (96/124; 95% CI 69–84%) |
| … joista hylätty tai merkitty kaksoistähden kaltaiseksi | 68% (65/96; 95% CI 58–76%) |
| Väärät hälytykset käännetyillä valokäyrillä syötteen tasolla (sen koko sääntö, FAP < 0,01) | 58 / 1 000 tähtisektoria (18 / 309; 198 seulottua notkahdusta ennen syötteen sääntöä) |
| Väärät hälytykset sekoitetuissa valokäyrissä syötteen tasolla (sen koko sääntö, FAP < 0,01) | 61 / 1 000 tähtisektoria (19 / 309; 266 seulottua notkahdusta ennen syötteen sääntöä) |
| claude-volunteer: CP/KP-notkahdukset merkitty (otos 37 tähdestä) | 47% (9/19; 95% CI 27–68%) |
| claude-skeptic: CP/KP-notkahdukset merkitty (37 tähden osaotos) | 47% (9/19; 95% CI 27–68%) |
Leikkausvirhe on korjattu koodissa, jolla tämä mitattiin. 27 CP/KP-, 11 FP- ja 0 FA-tähteä erillään pidetystä joukosta oli havaittavissa (syvyys yli 8× hajonta); 27 havaittavissa olevasta CP/KP-tähdestä 23 tunnistetaan nyt, kun ensimmäisessä ajossa niitä oli 21.
Täydet tulokset (ensimmäinen ajo, korjausta edeltävällä koodilla: benchmark_real_tois.md). TFOPWG:n luokitukset ovat vertailukohta, eivät kiistaton totuus jokaiselle TOI-kohteelle.
Weights. A reviewer's weight is its calibration skill from injection tests: the share of planted transits it finds minus the share of empty light curves it marks, with a floor. The weight a run used is the one its record stores; when it differs from the calibrated weight, the run did not use the calibrated weights. Files and configuration ›
Kalibrointitaso
Kukin arvioija sijoitettuna väärähälytysosuutensa (x: tyhjistä kohteista merkitsemänsä osuus) ja saantinsa (y: havaitsemiensa injektoitujen ylikulkujen osuus) mukaan kalibroinnissa. Pisteen koko on sen kalibroitu paino. Viivat yhdistävät samanpainoiset pisteet, paino = TPR − FPR, alarajana 0,05; ylempänä ja vasemmalla on parempi. Vain tallennetut arvot.
Merkinnät notkoittain
Mitkä tarkastajat merkitsivät kunkin notkon, ajon tallennetun tarkastajaluettelon mukaan. Tuomiokirjan linkki avaa notkon tarkistukset sen tapaustiedostossa.
The real-TOI leaderboard ›SetuHQ's configurations, and any method submitted, scored blind on the held-out half.
Runs and configuration ›Every search run, its errors as stored, and the configuration behind these pages.