Menetelmät, pisteytettyinä sokkona todellisilla TOI-kohteilla.
Julkinen tulostaulu jäädytetyllä todellisten TOI-kohteiden vertailuaineistolla: kunkin osallistujan havaitsemat tapahtumat, tulostaulun itsensä pisteyttäminä vain pidätetyllä puoliskolla, 95 %:n Wilsonin väleineen. Ei injektioiden kynnyspyyhkäisy (docs/threshold_sweep.md), joka säätää Probesin kynnyksiä synteettisillä valokäyrillä.
Mitattu ilmoitetulla vertailuaineistolla; mikään tässä ei ole löytö. Sentinels toimivat oletuksena Clauden (Anthropic) varassa; muita palveluntarjoajia tuetaan ja ne merkitään. Probes ovat deterministisiä sovitetun suodattimen ilmaisimia.
Sivuun jätetty puolikas jokainen sivuun jätetty tähti
Vertailuaineisto ei voi osoittaa, että Probes lukevat valokäyriä paremmin kuin luettelon metatiedot ennustavat luokituksia (parittainen ΔJ (alaraja − Probes) = +0.039, 95 %:n CI −0,096–+0.173, P(ΔJ ≤ 0) = 0,29).
| Sijoitus | Merkintä | Youden J | Youdenin J, kaikki tähdet | Puhdas kattavuus, haettavissa olevat CP/KP | FP-hylkäys, haettavissa oleva FP | Tunnistettu uudelleen alle 4 R⊕ | Käänteinen kontrolli: tähdet, joissa yksikin | Sekoitettu kontrolli: tähdet, joilla on mikä tahansa | Luotettavuus |
|---|---|---|---|---|---|---|---|---|---|
| 1väli menee päällekkäin kohteen #2 kanssa | Vain metatiedot, ei valokäyrää (alaraja)metadata-baseline · viritetty tuning-jaolla | +0.39+0.27 to +0.49 | +0.46+0.35 to +0.55 | 76%114/150 · 69–82% | 63%78/124 · 54–71% | 70%32/46 · 55–81% | 54%166/309 · 48–59% | 54%166/309 · 48–59% | 69%114/166 · 61–75% |
| 2väli menee päällekkäin kohteen #1 kanssa | Vain Probesprobes · viritetty: ei mitään | +0.35+0.23 to +0.45 | +0.40+0.29 to +0.49 | 60%90/150 · 52–67% | 75%93/124 · 67–82% | 17%8/46 · 9–31% | 22%67/309 · 17–27% | 25%78/309 · 21–30% | 72%90/125 · 64–79% |
Jokainen solu: osuus, sitten k/n ja Wilsonin 95 %:n väli piirrettynä palkkina välille 0–100 % (Youdenin J välillä −1–+1, merkki kohdassa 0). Järjestetty Youdenin J:n mukaan vertailuaineiston kiinnittämällä haettavalla joukolla, samalla predikaatilla molemmin puolin (puhdas kandidaatti: efemeridillä, läpäissyt, ei pimennysmuuttujalippua), joten jokaisen TOI:n kutsuminen planeetaksi, merkittynä tai ei, saa pisteet nolla. Kontrollit toimivat järjestyksen porttina eivätkä vaikuta J:hen, ja kontrollilistat ovat menetelmän omaa raportointia. Missä välit menevät päällekkäin, järjestys ei ole mitattu ero.
Sentinels-otos 37 sivuun jätettyä tähteä · ei järjestetty
37 tähteä ei riitä näiden konfiguraatioiden järjestämiseen: osaotos luetellaan mutta sitä ei koskaan järjestetä, ja jokainen väli on leveä.
| Merkintä | Youden J | Youdenin J, kaikki tähdet | Puhdas kattavuus, haettavissa olevat CP/KP | FP-hylkäys, haettavissa oleva FP | Tunnistettu uudelleen alle 4 R⊕ | Käänteinen kontrolli: tähdet, joissa yksikin | Sekoitettu kontrolli: tähdet, joilla on mikä tahansa | Luotettavuus |
|---|---|---|---|---|---|---|---|---|
| Vain Probesprobes-subsample · tuned on none | +0.14-0.16 to +0.41 | +0.14-0.16 to +0.41 | 42%8/19 · 23–64% | 72%13/18 · 49–88% | 0%0/8 · 0–32% | 8%3/37 · 3–21% | 22%8/37 · 11–37% | 62%8/13 · 36–82% |
| Sentinel · pelkkä Skepticclaude-skeptic · ei viritetty millään aineistolla | +0.25-0.05 to +0.50 | +0.25-0.05 to +0.50 | 47%9/19 · 27–68% | 78%14/18 · 55–91% | 0%0/8 · 0–32% | ei mitattu | ei mitattu | 69%9/13 · 42–87% |
| Sentinel · Vapaaehtoinen yksinclaude-volunteer · ei viritetty millään | +0.25-0.05 to +0.50 | +0.25-0.05 to +0.50 | 47%9/19 · 27–68% | 78%14/18 · 55–91% | 0%0/8 · 0–32% | ei mitattu | ei mitattu | 69%9/13 · 42–87% |
| Probes + Sentinels, molemmat (tähtitason sääntö, kiinnitetty ennen pisteytystä, ei paneelin konsensus)probes-and-sentinel · ei viritetty millään aineistolla | +0.25-0.04 to +0.50 | +0.25-0.04 to +0.50 | 42%8/19 · 23–64% | 83%15/18 · 61–94% | 0%0/8 · 0–32% | ei mitattu | ei mitattu | 73%8/11 · 43–90% |
| Probes + Sentinels, jompikumpi (tähtitason sääntö, kiinnitetty ennen pisteytystä, ei paneelin konsensus)probes-or-sentinel · ei viritetty millään aineistolla | +0.08-0.22 to +0.36 | +0.08-0.22 to +0.36 | 47%9/19 · 27–68% | 61%11/18 · 39–80% | 0%0/8 · 0–32% | ei mitattu | ei mitattu | 56%9/16 · 33–77% |
Kukin solu: osuus, sitten k/n ja Wilsonin 95 %:n väli, piirrettynä palkkina välille 0–100 % (Youdenin J välillä −1–+1, merkki kohdassa 0).
Sentinel-rivit kattavat 37 tähteä. Niiden välit ovat leveitä, ja kaksi persoonaa jakavat saman mallin (ne ovat yhtä mieltä 37 tähdestä 35:n kohdalla, φ = 0,88), joten ne lasketaan yhdeksi korreloituneeksi äänestäjäksi, ei kahdeksi, eikä niitä koskaan ajettu vertailuvalokäyrillä. Probes + Sentinels -rivit ovat tallennettujen tulosten tähtitason yhdistelmiä, jotka määriteltiin ennen pisteytystä, eivätkä ne ole paneelin konsensuksen ajo.
Säännöt
- Pisteytetty vain jäädytetyn otoksen erilleen pidetyllä puolikkaalla (TOI:t jaettu sha256(seed:TIC):n pariteetin mukaan); virityspuolikasta ei koskaan pisteytetä.
- Lähetys luettelee jokaisesta rajauksensa tähdestä tapahtumat, jotka sen menetelmä havaitsi todellisesta valokäyrästä sekä vuoltaan käännetyistä ja lohkoittain sekoitetuista kontrolleista (aika, kesto, kiertoaika, oma läpäisyratkaisu ja merkinnät). Tulostaulukko päättää, mitkä tapahtumat osuvat TOI:n efemeridille (vertailuaineiston score_star ja match_toi), ja laskee kontrollien väärät hälytykset itse. Itse ilmoitettuja tuloksia ei hyväksytä.
- Sijoitus: Youdenin J vertailun kiinnittämässä haettavassa joukossa (tähdet, joilla on SPOC 2 minuutin valokäyrä), samalla predikaatilla molemmin puolin, puhdas kandidaatti (efemeridillä, läpäisi, ei pimentävän kaksoistähden merkintää): J = niiden CP/KP-tähtien osuus, jotka tarjotaan puhtaina kandidaatteina + niiden FP-tähtien osuus, joita ei tarjota − 1, ja Wilsonin väli neliöi ja summaa -menetelmällä. Jos jokaista TOI:ta kutsutaan planeetaksi, merkinnällä tai ilman, J = 0; haettava tähti, jota kutsutaan hakemattomaksi, lasketaan tarjoamattomaksi. J rajauksen kaikkien tähtien yli näytetään vierellä. Kun välit menevät päällekkäin, järjestys ei ole mitattu ero.
- Kontrollit rajaavat järjestykseen asettamista eivätkä vaikuta J:hin: vain ne sivuun pidetyt merkinnät, joilla on molemmat kontrollilistat jokaiselle haetulle tähdelle, asetetaan järjestykseen, muut listataan ilman sijoitusta. Kontrollilistat ovat menetelmän oma raportti; tulostaulukko ei voi laskea niitä uudelleen ilman valokäyriä. Sentinel-osaotosta ei koskaan aseteta järjestykseen.
- Alaraja: pelkkiin metatietoihin perustuva vertailumalli ei käytä valokäyrää lainkaan, vaan ainoastaan julkista TOI-numeroa, jaksoa, kestoa, efemeridin virheitä ja epookkia, ja siihen on sovitettu logistinen regressio viritysosuudella. Menetelmän, joka ei ylitä sitä, ei ole osoitettu lukevan valokäyriä paremmin kuin luettelon omat metatiedot ennustavat luokituksia.
- Lähetyksessä ilmoitetaan niiden julkisten syötteiden sha256, joista se on rakennettu (viritysosa merkintöineen, erilleen pidetty osa ilman). Mikä tahansa muu tiiviste, tuned_on muu kuin none tai tuning, sallittujen luettelon ulkopuolinen kenttä, puuttuva tai ylimääräinen tähti tai puuttuva alkuperätieto: hylätään, syyt lueteltuina.
- Tiiviste on pelkkä vakuutus. Erillään pidetyt nimiöt ovat julkisesti repositoriossa, joten tulostaulukko ei voi todistaa, ettei niitä ole luettu. Menetelmän läpäisyratkaisut ja kontrollitapahtumat ovat sen omaa raportointia. Ylläpitäjien hallussa olevat harhautusvalokäyrät ja ennakoiva pisteytys vielä luokittelemattomilla TOI-kohteilla sulkisivat nämä aukot. Kumpaakaan ei vielä ole.
- Väärien positiivisten hylkäys: FP-tähdet, joiden TOI-notkahdusta menetelmä ei tarjonnut puhtaana kandidaattina (löydetty uudelleen eikä merkitty). Luotettavuus: niiden puhtaiden kandidaattien osuus TOI-notkahduksissa, jotka ovat CP/KP, tämän otoksen luokkajakaumalla, joka ei ole TOI-luettelon jakauma. Kaikilla osuuksilla on Wilsonin 95 %:n välit. TFOPWG-luokitukset ovat vertailukohta, eivät jokaisen TOI:n todellinen totuus.
- Mitattu ilmoitetulla vertailuaineistolla; mikään tämän tulostaulukon tulos ei ole löytö.
Lähetysmuoto ja hylkäyssäännöt: docs/leaderboard/README.md. Pisteytä lähetys komennolla setuhq leaderboard <file>.
Jäädytetty otos
- jäädytetyn otoksen sha256
- 6f0e111ec8d2c38d3e7927505f0be4a2c7fae8b73d7cc17c37646baedf044cac
- julkisten syötteiden sha256
- d0e4f2d9c5538800e9a34d018757f99e1d1672060e71ae56bbaf87fcaf0c15b4
- koko otos (erilleen pidetyin nimiöin), kanoninen sha256: evätään, jos ilmoitetaan
- 3d420ac0bc628e2fe02b0c3b4c73b287f75a6ee2be351bf42011497d7e45c3cf
- Sentinel-osaotoksen sha256
- 999c61bddc47cae0f47674ea77e1524c77697ad7da35d52f2abd7578924016b2
- vertailutestin koodin commit
- 0ae8ccf0a23502a2324759a23a7d5ca277d63bcc
Otos: docs/results/benchmark_toi_sample.json. Julkiset syötteet: docs/leaderboard/tuning_inputs.json. TFOPWG-luokitukset ovat vertailukohta, eivät jokaisen TOI:n osalta varma totuus.