Meetodid, hinnatud pimesi päris TOI-del.
Avalik edetabel külmutatud päris-TOI-de võrdlusalusel: iga osaleja tuvastatud sündmused, mida edetabel ise hindab ainult kõrvale jäetud poolel, 95% Wilsoni vahemikega. See pole süstimise läviülevaade (docs/threshold_sweep.md), mis häälestab Probes-i lävesid sünteetilistel valguskõveratel.
Mõõdetud teatatud võrdlusalusel; miski siin pole avastus. Sentinels töötavad vaikimisi Claude'il (Anthropic); teisi pakkujaid toetatakse ja need märgitakse. Probes on deterministlikud sobitatud filtri detektorid.
Kõrvale jäetud pool iga kõrvale jäetud täht
Võrdlusuuring ei saa näidata, et Probes loevad valguskõveraid paremini, kui kataloogi metaandmed ennustavad staatusi (paaritud ΔJ (baastase − Probes) = +0.039, 95% usaldusvahemik −0,096 kuni +0.173, P(ΔJ ≤ 0) = 0,29).
| Koht | Kirje | Youden J | Youden J, kõik tähed | Puhas täielikkus, otsitavad CP/KP | Valepositiivsete tagasilükkamine, otsitav valepositiivne | Taasleitud alla 4 R⊕ | Pööratud kontroll: tähed, millel on mis tahes | Segatud kontroll: tähed, millel on mis tahes | Usaldusväärsus |
|---|---|---|---|---|---|---|---|---|---|
| 1intervall kattub kirjega #2 | Ainult metaandmed, valguskõverata (alampiir)metadata-baseline · tuned on tuning | +0.39+0.27 to +0.49 | +0.46+0.35 to +0.55 | 76%114/150 · 69–82% | 63%78/124 · 54–71% | 70%32/46 · 55–81% | 54%166/309 · 48–59% | 54%166/309 · 48–59% | 69%114/166 · 61–75% |
| 2intervall kattub kirjega #1 | Ainult Probesprobes · häälestatud mitte millelgi | +0.35+0.23 to +0.45 | +0.40+0.29 to +0.49 | 60%90/150 · 52–67% | 75%93/124 · 67–82% | 17%8/46 · 9–31% | 22%67/309 · 17–27% | 25%78/309 · 21–30% | 72%90/125 · 64–79% |
Iga lahter: määr, seejärel k/n ja Wilsoni 95% intervall, joonistatud ribana vahemikus 0 kuni 100% (Youdeni J vahemikus −1 kuni +1, märgiga kohas 0). Järjestatud Youdeni J järgi võrdlusaluse fikseeritud otsitaval hulgal, mõlemal poolel üks ja sama predikaat (puhas kandidaat: efemeriidil, läbitud, ilma varjutusliku kaksiktähe liputa), nii et iga TOI planeediks nimetamine, märgitud või mitte, annab tulemuseks nulli. Kontrollid on järjestamise eeltingimus ega lähe J-sse ning kontrollnimekirjad on meetodi enda aruanne. Kus intervallid kattuvad, ei ole järjestus mõõdetud erinevus.
Sentinels'i alamvalim 37 kõrvale jäetud tähte · järjestamata
37 tähte ei suuda neid konfiguratsioone järjestada: alamvalim on loetletud, mitte kunagi järjestatud, ja iga intervall on lai.
| Kirje | Youden J | Youden J, kõik tähed | Puhas täielikkus, otsitavad CP/KP | Valepositiivsete tagasilükkamine, otsitav valepositiivne | Taasleitud alla 4 R⊕ | Pööratud kontroll: tähed, millel on mis tahes | Segatud kontroll: tähed, millel on mis tahes | Usaldusväärsus |
|---|---|---|---|---|---|---|---|---|
| Ainult Probesprobes-subsample · tuned on none | +0.14-0.16 to +0.41 | +0.14-0.16 to +0.41 | 42%8/19 · 23–64% | 72%13/18 · 49–88% | 0%0/8 · 0–32% | 8%3/37 · 3–21% | 22%8/37 · 11–37% | 62%8/13 · 36–82% |
| Sentinel · ainult Skepticclaude-skeptic · pole millelegi häälestatud | +0.25-0.05 to +0.50 | +0.25-0.05 to +0.50 | 47%9/19 · 27–68% | 78%14/18 · 55–91% | 0%0/8 · 0–32% | mõõtmata | mõõtmata | 69%9/13 · 42–87% |
| Sentinel · ainult Volunteerclaude-volunteer · häälestatud: mitte ühelgi | +0.25-0.05 to +0.50 | +0.25-0.05 to +0.50 | 47%9/19 · 27–68% | 78%14/18 · 55–91% | 0%0/8 · 0–32% | mõõtmata | mõõtmata | 69%9/13 · 42–87% |
| Probes + Sentinels, mõlemad (tähetaseme reegel, fikseeritud enne hindamist, mitte paneeli konsensus)probes-and-sentinel · häälestatud mitte millelgi | +0.25-0.04 to +0.50 | +0.25-0.04 to +0.50 | 42%8/19 · 23–64% | 83%15/18 · 61–94% | 0%0/8 · 0–32% | mõõtmata | mõõtmata | 73%8/11 · 43–90% |
| Probes + Sentinels, ükskõik kumb (tähe tasandi reegel, fikseeritud enne hindamist, mitte paneeli konsensus)probes-or-sentinel · häälestatud mitte millelgi | +0.08-0.22 to +0.36 | +0.08-0.22 to +0.36 | 47%9/19 · 27–68% | 61%11/18 · 39–80% | 0%0/8 · 0–32% | mõõtmata | mõõtmata | 56%9/16 · 33–77% |
Igas lahtris: määr, seejärel k/n ja Wilsoni 95% intervall, joonistatud ribana 0 kuni 100% (Youdeni J −1 kuni +1, märgiga kohal 0).
Sentineli read hõlmavad 37 tähte. Nende intervallid on laiad, kaks persoonat jagavad üht mudelit (nad on ühel meelel 35 tähe puhul 37-st, φ = 0,88), seega loetakse neid üheks korreleeritud hääletajaks, mitte kaheks, ja neid ei käivitatud kunagi kontrollvalguskõveratel. Probes + Sentinels read on salvestatud tulemuste tähetaseme kombinatsioonid, mis on sõnastatud enne hindamist, mitte paneeli konsensuse käivitus.
Reeglid
- Hinnatud ainult külmutatud valimi kõrvale jäetud poolel (TOI-d jaotatud sha256(seed:TIC) paarsuse järgi); häälestuspoolt ei hinnata kunagi.
- Esitus loetleb oma ulatuse iga tähe kohta sündmused, mille selle meetod tuvastas päris valguskõveral ning voo-inverteeritud ja plokkide kaupa segatud kontrollidel (aeg, kestus, periood, oma läbimisotsus ja märgised). Edetabel otsustab, millised sündmused asuvad TOI efemeriidil (võrdlusaluse score_star ja match_toi), ning loendab kontrollide valehäired ise. Ise raporteeritud tulemusi ei aktsepteerita.
- Järjestus: Youdeni J otsitaval hulgal, mille võrdlusalus fikseeris (tähed SPOC 2-minutilise valguskõveraga), ühe ja sama predikaadiga mõlemal poolel, puhas kandidaat (efemeriidil, läbitud, varjutusmuutliku kaksiktähe märketa): J = puhaste kandidaatidena pakutud CP/KP tähtede osakaal + pakkumata FP tähtede osakaal − 1, ruutude liitmise Wilsoni intervalliga. Kui nimetada iga TOI planeediks, märkega või ilma, on J = 0; otsitav täht, mida nimetatakse otsimata täheks, loetakse pakkumata täheks. Selle kõrval on näidatud J kõigi ulatusse kuuluvate tähtede üle. Kus intervallid kattuvad, ei ole järjestus mõõdetud erinevus.
- Kontrollid piiravad järjestamist ega lähe J-sse: järjestatakse ainult need kõrvale hoitud kirjed, millel on mõlemad kontrollloendid igal otsitud tähel, ülejäänud on loetletud järjestamata. Kontrollloendid on meetodi enda aruanne; edetabel ei saa neid ilma valguskõverateta uuesti arvutada. Sentineli alamvalimit ei järjestata kunagi.
- Alampiir: ainult metaandmetel põhinev baasmudel ei kasuta üldse valguskõverat, vaid ainult avalikku TOI numbrit, perioodi, kestust, efemeriidi vigu ja epohhi ning häälestuspoolel sobitatud logistilist regressiooni. Meetodi kohta, mis seda ei ületa, ei ole näidatud, et see loeb valguskõveraid paremini, kui kataloogi enda metaandmed dispositsioone ennustavad.
- Esildis märgib nende avalike sisendite sha256, millest see koostati (häälestuspool siltidega, kõrvale jäetud pool ilma). Mis tahes muu räsi, tuned_on väärtus peale none või tuning, lubatud loendist väljapoole jääv väli, puuduv või liigne täht või puuduv päritolu: tagasi lükatud, põhjused loetletud.
- Räsi on tõendus: kõrvale jäetud sildid on hoidlas avalikud, seega edetabel ei saa tõestada, et neid ei loetud, ning meetodi läbimisotsused ja kontrollsündmused on tema enda aruanne. Hooldaja hoitavad peibutus-valguskõverad ja prospektiivne hindamine veel otsustamata TOI-de põhjal sulgeksid need lüngad; kumbagi veel ei ole.
- FP tagasilükkamine: FP tähed, mille TOI langust meetod puhta kandidaadina ei pakkunud (taastatud ja mitte märgitud). Usaldusväärsus: TOI languste puhaste kandidaatide osakaal, mis on CP/KP, selle valimi klasside jaotuse põhjal, mis erineb TOI kataloogi omast. Kõigil määradel on Wilsoni 95% intervallid. TFOPWG klassifikatsioonid on võrdlusalus, mitte iga TOI puhul absoluutne tõde.
- Mõõdetud kindlaksmääratud võrdlusalusel; mitte miski selles edetabelis ei ole avastus.
Esitamise vorming ja tagasilükkamise reeglid: docs/leaderboard/README.md. Hinda esitust käsuga setuhq leaderboard <file>.
Külmutatud valim
- külmutatud valimi sha256
- 6f0e111ec8d2c38d3e7927505f0be4a2c7fae8b73d7cc17c37646baedf044cac
- avalike sisendite sha256
- d0e4f2d9c5538800e9a34d018757f99e1d1672060e71ae56bbaf87fcaf0c15b4
- täisvalim (kõrvale hoitud siltidega), kanooniline sha256: keeldutakse, kui see on esitatud
- 3d420ac0bc628e2fe02b0c3b4c73b287f75a6ee2be351bf42011497d7e45c3cf
- Sentinel-alamvalimi sha256
- 999c61bddc47cae0f47674ea77e1524c77697ad7da35d52f2abd7578924016b2
- võrdlustesti koodi commit
- 0ae8ccf0a23502a2324759a23a7d5ca277d63bcc
Valim: docs/results/benchmark_toi_sample.json. Avalikud sisendid: docs/leaderboard/tuning_inputs.json. TFOPWG staatused on võrdlusalus, mitte iga TOI tegelik tõde.