Silurian (YC S24) startet – Technologie zur Erdsimulation

• Silurian entwickelt Foundation Models für die Erdsimulation und hat als ersten Anwendungsbereich Wettervorhersagen gewählt, bei denen Prognosen schon einen Tag früher großen Wert haben
• Herkömmliche Wettervorhersagen haben sich grob um 1 Tag pro 10 Jahre verbessert, doch GPUs und modernes Deep Learning beschleunigen dieses Tempo zuletzt
• Seit 2022 hat die Forschung zu Deep-Learning-basierter Wettervorhersage bei NVIDIA, Google DeepMind, Huawei, Microsoft und anderen stark zugenommen; datengetriebene Modelle können bessere Ergebnisse liefern als traditionelle Simulationen der Atmosphärenphysik
• Der auf Erfahrungen mit Microsofts ClimaX und Aurora basierende GFT (Generative Forecasting Transformer) simuliert das globale Wetter bis zu 14 Tage im Voraus mit einer Auflösung von etwa 11 km
• Langfristiges Ziel ist es, auch wetterbeeinflusste Infrastruktur wie Energienetze, Landwirtschaft, Logistik und Verteidigung zu modellieren; derzeit werden Vorhersagen zu Hurrikan-Zugbahnen 2024 veröffentlicht

---

Erdsimulation beginnt mit der Wettervorhersage

• Silurian ist ein von Jayesh, Cris und Nikhil gegründetes Team, das Foundation Models für die Erdsimulation entwickelt
• Der erste Anwendungsfall ist die Wettervorhersage; aktuelle Ergebnisse zu Hurrikan-Prognosen sind unter hurricanes2024.silurian.ai zu sehen
• Ziel ist es, das Modell zu skalieren und bis an die physikalisch vorhersagbaren Grenzen zu treiben
• Langfristig soll auch wetterbeeinflusste Infrastruktur modelliert werden
  • Energienetze
  • Landwirtschaft
  • Logistik
  • Verteidigung

Deep-Learning-Prognosen und die aktuelle Leistung von GFT

• Traditionelle Vorhersagesysteme haben ihre Leistung um etwa 1 Tag pro 10 Jahre verbessert; die heutige 6-Tage-Prognose ist also ungefähr so genau wie eine 5-Tage-Prognose vor 10 Jahren
• Seit 2022 hat die Forschung zu Deep-Learning-Systemen für Wettervorhersagen bei NVIDIA, Google DeepMind, Huawei, Microsoft und anderen schnell zugenommen
• Diese Modelle enthalten kaum oder gar keine fest eingebauten physikalischen Gesetze und lernen Vorhersagen allein aus Daten
• Jayesh und Cris haben bei Microsoft jeweils die Projekte ClimaX und Aurora geleitet und das Potenzial dieser Technologie aus erster Hand erlebt
  • Diese Foundation Models erzielten bessere Ergebnisse als die ECMWF-Prognosen, die als Standard für Wettervorhersagen gelten
  • Die verwendeten Trainingsdaten waren nur ein Teil der verfügbaren Daten
• Silurian hat in diesem Sommer sein eigenes Foundation Model GFT (Generative Forecasting Transformer) aufgebaut
  • Es ist ein Frontier-Modell mit 1,5 Milliarden Parametern
  • Es simuliert das weltweite Wetter bis zu 14 Tage im Voraus
  • Die Auflösung beträgt etwa 11 km
• Historische Aufzeichnungen enthalten nur wenige Daten zu extremen Wetterereignissen, doch GFT hat bei der Vorhersage der Hurrikan-Zugbahnen 2024 bereits sehr gute Leistung gezeigt
• Die Hurrikan-Vorhersagen können direkt unter hurricanes2024.silurian.ai angesehen werden
• Für die Visualisierung wird das Open-Source-Tool zur Wettervisualisierung cambecc/earth verwendet

[GN⁺]

Hacker-News-Kommentare

• Ich freue mich, dass Ensemble-Vorhersagen für tropische Wirbelstürme möglich werden

  • Enttäuschend, dass das ML-Modell mit dem HRES-Modell des ECMWF verglichen wird
  • HRES ist keine optimale Schätzung des durchschnittlichen Wetters, sondern eine einzelne Realisierung eines möglichen Wetters
  • NeuralGCM steht im WeatherBench-Leaderboard weit oben
  • Ich würde die Leistung der Modelle gern auf WeatherBench vergleichen

• Ein Modell ohne eingebaute Physik liefert allein auf Basis von Daten bessere Vorhersagen

  • Das NLP-Sprichwort „Jedes Mal, wenn man einen Linguisten entlässt, steigt die Leistung“ scheint auch auf Physiker zuzutreffen

• Silurian baut ein Grundlagenmodell auf, das die Erde simuliert

  • Falls es erfolgreich ist, frage ich mich, was sie darüber hinaus noch simulieren möchten

• Ich bin begeistert vom kommerziellen Potenzial von ClimaX

  • Ich frage mich, ob sich bestimmte Branchen wegen des kommerziellen Potenzials gemeldet haben (z. B. Rohstoffexploration)

• Als Non-Profit baue ich ein ähnliches Modell für Landflächen

  • Ich würde gern dabei helfen, die Landmaske durch ein Land-Embedding zu ersetzen
  • Das würde beim Downscaling regionaler Effekte sehr helfen

• Ich frage mich, worin der Unterschied zu GraphCast liegt, das Google letztes Jahr veröffentlicht hat

• Wettermodelle verwirren mich

  • Ich frage mich, ob ML-Methoden numerisch stabiler sind als physikbasierte Simulationen
  • Ich frage mich, wie sie sich hinsichtlich des Rechenaufwands vergleichen
  • Ich habe in der Vergangenheit Modelle von FORTRAN nach Verilog konvertiert

• Ich frage mich, ob man diesen Ansatz auf unvorhersagbare Erdbeben angewendet hat

• Dieser Ansatz scheint ein weiteres Beispiel für „The Bitter Lesson“ zu sein

• Ich frage mich, was in Zukunft noch simuliert werden soll

  • Ich habe in San Francisco eine Demo gebaut, mit der man Objekte in natürlicher Sprache suchen kann
  • Ich habe Clay-Embeddings ausprobiert, aber sie schnitten schlechter ab als mit CLIP feinabgestimmte OSM-Caption-Embeddings