5 hindajat.
Igaüks teenib oma hääle välja.
Paneel, mis märkis langused käituses tess-pi-men-s1: Sentinels ja Probes, mitte inimesed. Sentinels töötavad vaikimisi Claude'il (Anthropic); teisi pakkujaid toetatakse ja need märgitakse. Probes on deterministlikud sobitatud filtri detektorid.
Märked ja kaalud tabelina
| Hindaja | Roll | Teenusepakkuja | Kalibreeritud kaal |
|---|---|---|---|
| Sentinel · Skeptik claude-skeptic | Sentinel | Claude Code CLI (Claude, Anthropic) | 0.50 |
| Sentinel · Volunteer claude-volunteer | Sentinel | Claude Code CLI (Claude, Anthropic) | 0.50 |
| Probe · Ettevaatlik volunteer-cautious | Probe | deterministlik sobitatud filter | 0.40 |
| Probe · Tundlik volunteer-sensitive | Probe | deterministlik sobitatud filter | 0.60 |
| Probe · Tüüpiline volunteer-typical | Probe | deterministlik sobitatud filter | 0.60 |
Sentinels kasutavad vaikimisi mudelit Claude (Anthropic); toetatud on ka teised pakkujad ja need on tähistatud. Probes on deterministlikud sobitatud filtri detektorid. Kaalud põhinevad igaüks 10 sisestatud ja 10 tühjal valguskõveral: liiga vähe, et eristada 0,6 ja 0,5.
Mõõdetud päris TOI-del
Reaalajavoo uued signaalid on kooskõlas müraga. Ainuüksi müra peaks andma umbes 12,3 väära new_candidate-signaali 100 üle vaadatud sihtmärgi kohta, võrreldes reaalajavoo 15,8-ga 100 kohta. Selle varasema reegli järgi oli new_candidate voos tõenäolisemalt müra kui signaal.
Voo rangem reegel, eelregistreeritud ja sellel koodil uuesti mõõdetud. Signaal peab nüüd läbima mõlemas läbivaadatud sektoris FAP-iga alla 0,001 üle 2000 katse. Kõrvale jäetud poolel annab ainuüksi müra 6,1 valesignaali 100 sihtmärgi kohta (95% CI 4,0–9,4), varasema 27,8 (23,1–33,1) asemel. See on endiselt kaugelt üle 1,6 uue signaali 100 sihtmärgi kohta, mida annavad päris valguskõverad, seega domineerivad voos endiselt valehäired ning voo tasemel täielikkus langes 39%-lt 17%-le. Voogu lubamine on vihje inimese või järelvaatluse läbivaatuseks, mitte mingi kinnitatud staatusega kandidaat. Sellel koodil uuesti käivitatuna lubab reaalajas voo 19 sihtmärki 0 uut signaali.
Mõõdetud kindlaksmääratud võrdlusandmestikul, mitte avastused. 300 kinnitatud või teadaolevat planeeti (CP/KP), 300 valepositiivset ja 62 valehäiret TOI tabelist (laaditud 2026-10-19, seeme 20261019), üks TOI tähe kohta; näidatud on kõrvale jäetud pool. Paneel: kolm Probes (deterministlikud detektorid) oma külmutatud kalibreeritud kaaludega; kogu sektorit hõlmav BLS; kontroll; servatumenemisega sobitus; voo tasemel tabel lisab voo FAP-i (200 katset).
- 662TOI-d külmutatud valimis: 300 CP/KP, 300 FP, 62 FA
- 60% 90 / 150 (52–67%)otsitavatel tähtedel taasleitud planeedid (kõrvale jäetud pool)
- 77% 96 / 124 (69–84%)paneeli leitud valepositiivsed TOI-d
- 68% 65 / 96 (58–76%)neist tagasi lükatud või märgitud kaksiktähe-laadseks
| Põhitulemus: otsitavatel tähtedel taasleitud planeedid (CP/KP TOI-d, sõelutud langus avaldatud efemeriidil) | 60% (90/150; 95% CI 52–67%) |
|---|---|
| Kõigi CP/KP tähtede peale taasleitud planeedid (2-minutiliste andmete puudumist loetakse möödalaskmiseks) | 59% (90/152; 95% CI 51–67%) |
| Esimesel käivitusel, enne parandust koodiga taasleitud planeedid (ajalooline kirje) | 57% (86/150; 95% CI 49–65%) |
| Ei ole otsitav (puudub SPOC 2-minutiline valguskõver) | 36 tähte (2 CP/KP, 34 FP, 0 FA) kaldu FP poole: FP read kirjeldavad ainult 2-minutiliste andmetega FP tähti |
| Paneeli leitud valepositiivsed TOI-d | 77% (96/124; 95% CI 69–84%) |
| … neist tagasi lükatud või märgitud kaksiktähe-sarnaseks | 68% (65/96; 95% CI 58–76%) |
| Valehäired inverteeritud valguskõveratel voo tasemel (selle täisreegel, FAP < 0,01) | 58 1000 tähe-sektori kohta (18/309; 198 kontrollitud langust enne voo reeglit) |
| Valehäired segatud valguskõveratel voo tasemel (selle täisreegel, FAP < 0,01) | 61 1000 tähe-sektori kohta (19/309; 266 kontrollitud langust enne voo reeglit) |
| claude-volunteer: CP/KP langused märgitud (37 tähe alamvalim) | 47% (9/19; 95% CI 27–68%) |
| claude-skeptic: CP/KP langused tähistatud (37 tähe alamvalim) | 47% (9/19; 95% CI 27–68%) |
Kärpimisviga on parandatud koodis, mis seda mõõtis. 27 CP/KP, 11 FP ja 0 FA kõrvale jäetud tähte olid mõjutatud (sügavus üle 8× hajuvuse); 23 27-st mõjutatud CP/KP-st leitakse nüüd uuesti, võrreldes 21-ga esimesel käivitusel.
Täielikud tulemused (esimene käivitus, parandusele eelneval koodil: benchmark_real_tois.md). TFOPWG hinnangud on võrdlusalus, mitte iga TOI puhul tõde.
Weights. A reviewer's weight is its calibration skill from injection tests: the share of planted transits it finds minus the share of empty light curves it marks, with a floor. The weight a run used is the one its record stores; when it differs from the calibrated weight, the run did not use the calibrated weights. Files and configuration ›
Kalibreerimistasand
Iga hindaja kalibreerimisel oma valehäirete määra (x: tühjade objektide osakaal, mille ta märkis) ja tabamuse (y: süstitud transiitide osakaal, mille ta leidis) järgi. Punkti suurus on tema kalibreeritud kaal. Jooned ühendavad võrdse kaaluga punkte, kaal = TPR − FPR, alampiiriga 0,05; üles ja vasakule on parem. Ainult salvestatud väärtused.
Märkeid languse kohta
Millised hindajad iga langust märkisid, käivituse salvestatud hindajate loendi põhjal. Otsuste registri link avab languse kontrollid selle juhtumitoimikus.
The real-TOI leaderboard ›SetuHQ's configurations, and any method submitted, scored blind on the held-out half.
Runs and configuration ›Every search run, its errors as stored, and the configuration behind these pages.