Methoden, blind beoordeeld op echte TOI's.
Het openbare klassement op de bevroren benchmark met echte TOI's: de gedetecteerde gebeurtenissen van elke inzending, door het klassement zelf alleen op de achtergehouden helft beoordeeld, met Wilson-intervallen van 95%. Niet de drempelsweep met injecties (docs/threshold_sweep.md), die de drempels van de Probes afstelt op synthetische lichtcurves.
Gemeten op een vermelde benchmark; niets hier is een ontdekking. Sentinels draaien standaard op Claude (Anthropic); andere aanbieders worden ondersteund en aangeduid. Probes zijn deterministische matched-filterdetectoren.
Achtergehouden helft elke achtergehouden ster
De benchmark kan niet aantonen dat de Probes lichtcurves beter lezen dan catalogusmetadata disposities voorspellen (gepaarde ΔJ (vloer − Probes) = +0.039, 95%-BI -0,096 tot +0.173, P(ΔJ ≤ 0) = 0,29).
| Rang | Invoer | Youden J | Youden J, alle sterren | Zuivere volledigheid, doorzoekbare CP/KP | FP-afwijzing, doorzoekbare FP | Teruggevonden onder 4 R⊕ | Omgekeerde controle: sterren met minstens één | Gehusselde controle: sterren met enige | Betrouwbaarheid |
|---|---|---|---|---|---|---|---|---|---|
| 1interval overlapt met #2 | Alleen metadata, geen lichtcurve (een ondergrens)metadata-baseline · afgestemd op tuning | +0.39+0.27 to +0.49 | +0.46+0.35 to +0.55 | 76%114/150 · 69–82% | 63%78/124 · 54–71% | 70%32/46 · 55–81% | 54%166/309 · 48–59% | 54%166/309 · 48–59% | 69%114/166 · 61–75% |
| 2interval overlapt met #1 | Alleen ProbesProbes · op geen enkele afgestemd | +0.35+0.23 to +0.45 | +0.40+0.29 to +0.49 | 60%90/150 · 52–67% | 75%93/124 · 67–82% | 17%8/46 · 9–31% | 22%67/309 · 17–27% | 25%78/309 · 21–30% | 72%90/125 · 64–79% |
Elke cel: het percentage, dan k/n en het Wilson-95%-interval, getekend als balk van 0 tot 100% (Youden J van −1 tot +1, met een markering bij 0). Gerangschikt op Youden's J op de doorzoekbare set die de benchmark vastlegde, met één predicaat aan beide kanten (een schone kandidaat: op de efemeride, geslaagd, geen markering als eclipserende dubbelster), zodat wie elke TOI een planeet noemt, gemarkeerd of niet, nul scoort. De controles bepalen of er gerangschikt wordt en tellen niet mee in J, en de controlelijsten zijn het eigen rapport van de methode. Waar intervallen overlappen, is de volgorde geen gemeten verschil.
De substeekproef van de Sentinels 37 achtergehouden sterren · niet gerangschikt
37 sterren kunnen deze configuraties niet ordenen: de deelsteekproef wordt opgesomd, nooit gerangschikt, en elk interval is breed.
| Invoer | Youden J | Youden J, alle sterren | Zuivere volledigheid, doorzoekbare CP/KP | FP-afwijzing, doorzoekbare FP | Teruggevonden onder 4 R⊕ | Omgekeerde controle: sterren met minstens één | Gehusselde controle: sterren met enige | Betrouwbaarheid |
|---|---|---|---|---|---|---|---|---|
| Alleen Probesprobes-subsample · op niets afgestemd | +0.14-0.16 to +0.41 | +0.14-0.16 to +0.41 | 42%8/19 · 23–64% | 72%13/18 · 49–88% | 0%0/8 · 0–32% | 8%3/37 · 3–21% | 22%8/37 · 11–37% | 62%8/13 · 36–82% |
| Sentinel · alleen Skepticclaude-skeptic · tuned on none | +0.25-0.05 to +0.50 | +0.25-0.05 to +0.50 | 47%9/19 · 27–68% | 78%14/18 · 55–91% | 0%0/8 · 0–32% | niet gemeten | niet gemeten | 69%9/13 · 42–87% |
| Sentinel · Alleen Volunteerclaude-volunteer · op niets afgestemd | +0.25-0.05 to +0.50 | +0.25-0.05 to +0.50 | 47%9/19 · 27–68% | 78%14/18 · 55–91% | 0%0/8 · 0–32% | niet gemeten | niet gemeten | 69%9/13 · 42–87% |
| Probes + Sentinels, beide (regel op sterniveau, vastgelegd vóór het scoren, geen panelconsensus)probes-and-sentinel · tuned on none | +0.25-0.04 to +0.50 | +0.25-0.04 to +0.50 | 42%8/19 · 23–64% | 83%15/18 · 61–94% | 0%0/8 · 0–32% | niet gemeten | niet gemeten | 73%8/11 · 43–90% |
| Probes + Sentinels, een van beide (regel op sterniveau, vastgelegd vóór de scoring, geen paneelconsensus)probes-or-sentinel · op niets afgestemd | +0.08-0.22 to +0.36 | +0.08-0.22 to +0.36 | 47%9/19 · 27–68% | 61%11/18 · 39–80% | 0%0/8 · 0–32% | niet gemeten | niet gemeten | 56%9/16 · 33–77% |
Elke cel: de fractie, dan k/n en het Wilson-interval van 95%, getekend als balk van 0 tot 100% (Youden J van −1 tot +1, met een markering bij 0).
De Sentinel-rijen beslaan 37 sterren. Hun intervallen zijn breed, de twee persona's delen één model (ze zijn het eens over 35 van 37 sterren, φ = 0,88), dus ze tellen als één gecorreleerde stemmer, niet twee, en ze zijn nooit gedraaid op de controle-lichtcurves. De Probes + Sentinels-rijen zijn combinaties op sterniveau van opgeslagen uitkomsten, vastgelegd vóór het scoren, geen run van de consensus van het panel.
Regels
- Alleen gescoord op de achtergehouden helft van de bevroren steekproef (TOI's volgens pariteit van sha256(seed:TIC)); de afstemhelft wordt nooit gescoord.
- Een inzending vermeldt, voor elke ster binnen haar bereik, de gebeurtenissen die haar methode detecteerde in de echte lichtcurve en in de controles met omgekeerde flux en door elkaar gehusselde blokken (tijd, duur, periode, haar eigen pass-oordeel en markeringen). Het leaderboard bepaalt welke gebeurtenissen op de efemeride van de TOI liggen (score_star en match_toi van de benchmark) en telt zelf de valse alarmen in de controles. Zelf gerapporteerde uitkomsten worden niet geaccepteerd.
- Rangorde: Youden's J op de doorzoekbare set die de benchmark vastlegde (sterren met een SPOC-lichtcurve van 2 minuten), met één predicaat aan beide kanten, een schone kandidaat (op de efemeride, geslaagd, geen markering als eclipserende dubbelster): J = het aandeel CP/KP-sterren dat als schone kandidaat wordt aangeboden + het aandeel FP-sterren dat niet wordt aangeboden − 1, met een Wilson-interval volgens square-and-add. Elke TOI een planeet noemen, met of zonder markering, levert J = 0 op; een doorzoekbare ster die als niet doorzocht wordt opgegeven, telt als niet aangeboden. J over elke ster binnen de scope staat ernaast. Waar intervallen overlappen, is de volgorde geen gemeten verschil.
- De controles bepalen of er gerangschikt wordt en tellen niet mee in J: alleen achtergehouden inzendingen met beide controlelijsten voor elke doorzochte ster worden gerangschikt, andere worden zonder rangschikking vermeld. De controlelijsten zijn het eigen rapport van de methode; het klassement kan ze zonder de lichtcurven niet herberekenen. De Sentinel-deelsteekproef wordt nooit gerangschikt.
- Een ondergrens: de baseline op basis van alleen metadata gebruikt helemaal geen lichtcurve, alleen het openbare TOI-nummer, de periode, de duur, de efemeridefouten en de epoch, met een logistische regressie die op de afstemhelft is gefit. Van een methode die deze baseline niet verslaat, is niet aangetoond dat zij de lichtcurves beter leest dan de eigen metadata van de catalogus de classificaties voorspellen.
- Een inzending vermeldt de sha256 van de openbare invoer waarop ze is gebouwd (afstemhelft met labels, achtergehouden helft zonder). Elke andere hash, tuned_on anders dan none of tuning, een veld buiten de whitelist, een ontbrekende of extra ster, of ontbrekende herkomst: geweigerd, met de redenen vermeld.
- De hash is een attestatie: de achtergehouden labels zijn openbaar in de repository, dus het leaderboard kan niet bewijzen dat ze niet zijn gelezen, en de pass-oordelen en controle-events van een methode zijn haar eigen rapportage. Lokaas-lichtcurves in beheer van de maintainers en prospectieve scoring op TOI's die nog geen dispositie hebben zouden deze hiaten dichten; geen van beide bestaat nog.
- FP-afwijzing: FP-sterren waarvan de methode de TOI-dip niet als schone kandidaat aanbood (teruggevonden en niet gemarkeerd). Betrouwbaarheid: het aandeel schone kandidaten op TOI-dips dat CP/KP is, bij de klassenverdeling van deze steekproef, die niet die van de TOI-catalogus is. Alle percentages hebben Wilson-95%-intervallen. De disposities van TFOPWG zijn de referentie, niet de grondwaarheid voor elke TOI.
- Gemeten op een vermelde benchmark; niets op dit klassement is een ontdekking.
Indieningsformaat en weigeringsregels: docs/leaderboard/README.md. Scoor een inzending met setuhq leaderboard <file>.
De bevroren steekproef
- sha256 van bevroren steekproef
- 6f0e111ec8d2c38d3e7927505f0be4a2c7fae8b73d7cc17c37646baedf044cac
- sha256 van openbare invoer
- d0e4f2d9c5538800e9a34d018757f99e1d1672060e71ae56bbaf87fcaf0c15b4
- volledige steekproef (met achtergehouden labels), canonieke sha256: geweigerd indien vermeld
- 3d420ac0bc628e2fe02b0c3b4c73b287f75a6ee2be351bf42011497d7e45c3cf
- sha256 van Sentinel-deelsteekproef
- 999c61bddc47cae0f47674ea77e1524c77697ad7da35d52f2abd7578924016b2
- commit van benchmarkcode
- 0ae8ccf0a23502a2324759a23a7d5ca277d63bcc
Steekproef: docs/results/benchmark_toi_sample.json. Openbare invoer: docs/leaderboard/tuning_inputs.json. TFOPWG-disposities zijn de referentie, niet de grondwaarheid voor elke TOI.