Methoden, blind bewertet an echten TOIs.
Die öffentliche Rangliste auf dem eingefrorenen Benchmark mit echten TOIs: die erkannten Ereignisse jedes Eintrags, von der Rangliste selbst nur auf der zurückgehaltenen Hälfte bewertet, mit 95-%-Wilson-Intervallen. Nicht der Injektions-Schwellenwert-Sweep (docs/threshold_sweep.md), der die Schwellen der Probes auf synthetischen Lichtkurven einstellt.
Gemessen auf einem angegebenen Benchmark; nichts hier ist eine Entdeckung. Sentinels laufen standardmäßig auf Claude (Anthropic); andere Anbieter werden unterstützt und gekennzeichnet. Probes sind deterministische Matched-Filter-Detektoren.
Zurückgehaltene Hälfte jeder zurückgehaltene Stern
Der Benchmark kann nicht zeigen, dass die Probes Lichtkurven besser lesen, als Katalog-Metadaten Dispositionen vorhersagen (gepaartes ΔJ (Untergrenze − Probes) = +0.039, 95-%-KI -0,096 bis +0.173, P(ΔJ ≤ 0) = 0,29).
| Rang | Eintrag | Youden-J | Youden-J, alle Sterne | Saubere Vollständigkeit, durchsuchbare CP/KP | FP-Verwerfung, durchsuchbare FP | Wiedergefunden unter 4 R⊕ | Umgekehrte Kontrolle: Sterne mit mindestens einem | Durchmischte Kontrolle: Sterne mit beliebigem | Zuverlässigkeit |
|---|---|---|---|---|---|---|---|---|---|
| 1Intervall überschneidet sich mit #2 | Nur Metadaten, keine Lichtkurve (eine Untergrenze)metadata-baseline · abgestimmt auf tuning | +0.39+0.27 to +0.49 | +0.46+0.35 to +0.55 | 76%114/150 · 69–82% | 63%78/124 · 54–71% | 70%32/46 · 55–81% | 54%166/309 · 48–59% | 54%166/309 · 48–59% | 69%114/166 · 61–75% |
| 2Intervall überschneidet sich mit #1 | Nur ProbesProbes · auf nichts abgestimmt | +0.35+0.23 to +0.45 | +0.40+0.29 to +0.49 | 60%90/150 · 52–67% | 75%93/124 · 67–82% | 17%8/46 · 9–31% | 22%67/309 · 17–27% | 25%78/309 · 21–30% | 72%90/125 · 64–79% |
Jede Zelle: die Rate, dann k/n und das Wilson-95%-Intervall, dargestellt als Balken von 0 bis 100 % (Youden-J von −1 bis +1, mit einer Markierung bei 0). Sortiert nach Youdens J auf der durchsuchbaren Menge, die der Benchmark festgelegt hat, mit einem Prädikat auf beiden Seiten (ein sauberer Kandidat: auf der Ephemeride, bestanden, kein Flag für Bedeckungsveränderliche), sodass es null Punkte ergibt, jedes TOI als Planet einzustufen, ob markiert oder nicht. Die Kontrollen sind Voraussetzung für die Rangfolge und gehen nicht in J ein, und die Kontrolllisten sind der eigene Bericht der Methode. Wo sich Intervalle überlappen, ist die Reihenfolge kein gemessener Unterschied.
Die Stichprobe der Sentinels 37 zurückgehaltene Sterne · nicht gerankt
Mit 37 Sternen lassen sich diese Konfigurationen nicht ordnen: Die Teilstichprobe wird aufgelistet, nie gereiht, und jedes Intervall ist breit.
| Eintrag | Youden-J | Youden-J, alle Sterne | Saubere Vollständigkeit, durchsuchbare CP/KP | FP-Verwerfung, durchsuchbare FP | Wiedergefunden unter 4 R⊕ | Umgekehrte Kontrolle: Sterne mit mindestens einem | Durchmischte Kontrolle: Sterne mit beliebigem | Zuverlässigkeit |
|---|---|---|---|---|---|---|---|---|
| Nur Probesprobes-subsample · tuned on none | +0.14-0.16 to +0.41 | +0.14-0.16 to +0.41 | 42%8/19 · 23–64% | 72%13/18 · 49–88% | 0%0/8 · 0–32% | 8%3/37 · 3–21% | 22%8/37 · 11–37% | 62%8/13 · 36–82% |
| Sentinel · nur Skepticclaude-skeptic · auf nichts abgestimmt | +0.25-0.05 to +0.50 | +0.25-0.05 to +0.50 | 47%9/19 · 27–68% | 78%14/18 · 55–91% | 0%0/8 · 0–32% | nicht gemessen | nicht gemessen | 69%9/13 · 42–87% |
| Sentinel · Volunteer alleinclaude-volunteer · auf nichts abgestimmt | +0.25-0.05 to +0.50 | +0.25-0.05 to +0.50 | 47%9/19 · 27–68% | 78%14/18 · 55–91% | 0%0/8 · 0–32% | nicht gemessen | nicht gemessen | 69%9/13 · 42–87% |
| Probes + Sentinels, beide (Regel auf Sternebene, vor der Bewertung festgelegt, kein Panel-Konsens)probes-and-sentinel · auf nichts abgestimmt | +0.25-0.04 to +0.50 | +0.25-0.04 to +0.50 | 42%8/19 · 23–64% | 83%15/18 · 61–94% | 0%0/8 · 0–32% | nicht gemessen | nicht gemessen | 73%8/11 · 43–90% |
| Probes + Sentinels, eines von beiden (Regel auf Sternebene, vor der Bewertung festgelegt, kein Panel-Konsens)probes-or-sentinel · auf nichts abgestimmt | +0.08-0.22 to +0.36 | +0.08-0.22 to +0.36 | 47%9/19 · 27–68% | 61%11/18 · 39–80% | 0%0/8 · 0–32% | nicht gemessen | nicht gemessen | 56%9/16 · 33–77% |
Jede Zelle: die Rate, dann k/n und das Wilson-95%-Intervall, als Balken von 0 bis 100% dargestellt (Youden-J von −1 bis +1, mit einer Markierung bei 0).
Die Sentinel-Zeilen umfassen 37 Sterne. Ihre Intervalle sind breit, die beiden Personas teilen sich ein Modell (sie stimmen bei 35 von 37 Sternen überein, φ = 0,88), daher zählen sie als ein korrelierter Abstimmender, nicht als zwei, und sie wurden nie auf die Kontroll-Lichtkurven angewendet. Die Zeilen Probes + Sentinels sind Kombinationen gespeicherter Ergebnisse auf Sternebene, vor der Bewertung festgelegt, kein Lauf des Panel-Konsenses.
Regeln
- Bewertet nur auf der zurückgehaltenen Hälfte der eingefrorenen Stichprobe (TOIs nach Parität von sha256(seed:TIC)); die Tuning-Hälfte wird nie bewertet.
- Eine Einreichung listet für jeden Stern ihres Umfangs die Ereignisse auf, die ihre Methode in der echten Lichtkurve und in den flussinvertierten und blockweise verwürfelten Kontrollen gefunden hat (Zeit, Dauer, Periode, ihr eigenes Bestanden-Urteil und ihre Markierungen). Die Rangliste entscheidet, welche Ereignisse auf der Ephemeride des TOI liegen (score_star und match_toi des Benchmarks), und zählt Fehlalarme in den Kontrollen selbst. Selbst gemeldete Ergebnisse werden nicht akzeptiert.
- Rang: Youdens J auf der durchsuchbaren Menge, die der Benchmark festgelegt hat (Sterne mit einer SPOC-2-Minuten-Lichtkurve), mit einem einzigen Prädikat auf beiden Seiten, einem sauberen Kandidaten (auf der Ephemeride, bestanden, keine Markierung als bedeckungsveränderlicher Doppelstern): J = Anteil der CP/KP-Sterne, die als saubere Kandidaten angeboten werden + Anteil der FP-Sterne, die nicht angeboten werden − 1, mit einem Wilson-Intervall nach dem Square-and-add-Verfahren. Wird jedes TOI als Planet bezeichnet, mit oder ohne Markierung, ergibt sich J = 0; ein durchsuchbarer Stern, der als nicht durchsucht gilt, zählt als nicht angeboten. J über alle Sterne des Umfangs wird daneben angezeigt. Wo sich Intervalle überlappen, ist die Reihenfolge kein gemessener Unterschied.
- Die Kontrollen steuern die Rangfolge und gehen nicht in J ein: Nur zurückgehaltene Einträge mit beiden Kontrolllisten für jeden durchsuchten Stern werden gereiht, andere werden ohne Rang aufgeführt. Die Kontrolllisten sind der eigene Bericht der Methode; die Rangliste kann sie ohne die Lichtkurven nicht nachrechnen. Die Sentinel-Teilstichprobe wird nie gereiht.
- Eine Untergrenze: Die reine Metadaten-Baseline verwendet überhaupt keine Lichtkurve, nur die öffentliche TOI-Nummer, Periode, Dauer, Ephemeridenfehler und Epoche, mit einer logistischen Regression, die auf der Tuning-Hälfte angepasst wurde. Für eine Methode, die sie nicht übertrifft, ist nicht gezeigt, dass sie die Lichtkurven besser liest, als die eigenen Metadaten des Katalogs die Dispositionen vorhersagen.
- Eine Einreichung gibt den sha256 der öffentlichen Eingaben an, aus denen sie erstellt wurde (Tuning-Hälfte mit Labels, zurückgehaltene Hälfte ohne). Jeder andere Hash, ein tuned_on-Wert außer none oder tuning, ein Feld außerhalb der Whitelist, ein fehlender oder zusätzlicher Stern oder fehlende Herkunftsangaben: abgelehnt, mit Angabe der Gründe.
- Der Hash ist eine Zusicherung: Die zurückgehaltenen Labels sind im Repository öffentlich, daher kann die Rangliste nicht beweisen, dass sie nicht gelesen wurden, und die Bestanden-Urteile und Kontrollereignisse einer Methode sind deren eigener Bericht. Vom Maintainer verwahrte Köder-Lichtkurven und eine prospektive Bewertung anhand noch nicht eingestufter TOIs würden diese Lücken schließen; beides existiert noch nicht.
- FP-Verwerfung: FP-Sterne, deren TOI-Einbruch die Methode nicht als sauberen Kandidaten ausgab (wiedergefunden und nicht markiert). Zuverlässigkeit: der Anteil der sauberen Kandidaten auf TOI-Einbrüchen, die CP/KP sind, bei der Klassenverteilung dieser Stichprobe, die nicht die des TOI-Katalogs ist. Alle Raten tragen Wilson-95%-Intervalle. TFOPWG-Dispositionen sind die Referenz, nicht die Ground Truth für jedes TOI.
- Gemessen an einem angegebenen Benchmark; nichts in dieser Rangliste ist eine Entdeckung.
Einreichungsformat und Ablehnungsregeln: docs/leaderboard/README.md. Eine Einreichung bewerten mit setuhq leaderboard <file>.
Die eingefrorene Stichprobe
- sha256 der eingefrorenen Stichprobe
- 6f0e111ec8d2c38d3e7927505f0be4a2c7fae8b73d7cc17c37646baedf044cac
- sha256 der öffentlichen Eingaben
- d0e4f2d9c5538800e9a34d018757f99e1d1672060e71ae56bbaf87fcaf0c15b4
- vollständige Stichprobe (mit zurückgehaltenen Labels), kanonischer sha256: abgelehnt, falls angegeben
- 3d420ac0bc628e2fe02b0c3b4c73b287f75a6ee2be351bf42011497d7e45c3cf
- sha256 der Sentinel-Teilstichprobe
- 999c61bddc47cae0f47674ea77e1524c77697ad7da35d52f2abd7578924016b2
- Commit des Benchmark-Codes
- 0ae8ccf0a23502a2324759a23a7d5ca277d63bcc
Stichprobe: docs/results/benchmark_toi_sample.json. Öffentliche Eingaben: docs/leaderboard/tuning_inputs.json. Die TFOPWG-Einstufungen sind die Referenz, nicht für jeden TOI die Grundwahrheit.