Benchmarking der AWS-Performance für Umweltsimulationen über Belgien
Wichtige Herausforderungen
Das Projekt zur Implementierung des Modèle Atmosphérique Régional (MAR) für die Klimasimulation über Belgien stieß auf erhebliche Herausforderungen, hauptsächlich aufgrund seiner Komplexität und des hohen Rechenbedarfs. MAR, das die Rechenleistung erfordert, die normalerweise Supercomputern vorbehalten ist, erschwerte die Zugänglichkeit für den kontinuierlichen Forschungsgebrauch. Darüber hinaus stellte die Bereitstellung dieses Modells auf AWS anfängliche Hürden dar, wie die Notwendigkeit, eine funktionale Cloud-basierte Umgebung von Grund auf neu einzurichten und die kostengünstigsten AWS-Ressourcen zu bestimmen, um das Gleichgewicht zwischen Kosten und Leistung zu optimieren.
Wichtige Ergebnisse
Die Partnerschaft mit Ankercloud und die Nutzung von AWS EC2-Instanzen haben die Fähigkeit der Universität Lüttich, häufige und detaillierte Umweltsimulationen durchzuführen, erheblich verbessert. Dies hat die Genauigkeit und Detailgenauigkeit von Wettervorhersagen und Klimaprognosen in Belgien stark erhöht. Darüber hinaus senkte die skalierbare Infrastruktur von AWS nicht nur die Betriebskosten, sondern förderte auch die Nachhaltigkeit, indem sie die CO2-Emissionen im Vergleich zu herkömmlichen Rechenzentren potenziell um bis zu 88 % reduzierte. Umfassende Schulungen und Dokumentationen von Ankercloud ermöglichten es der Universität, MAR eigenständig zu betreiben, wodurch ihre Forschungskapazitäten im Bereich der Klimawissenschaften gestärkt wurden. Durch die Bereitstellung von MAR als Open-Source-Software hat das Projekt zudem die Bildungschancen erweitert und das akademische Engagement in der Klimaforschung erhöht.
Übersicht
Xavier Fettweis, Professor und Forscher an der Universität Lüttich – Abteilung für Klimatologie und Topoklimatologie und Leiter des Labors für Klimatologie, führt eine Reihe von Studien durch, um die Auswirkungen des Klimawandels auf Belgien abzuschätzen und detaillierte Wettervorhersagen zu erstellen.
Zu diesem Zweck entwickelt und verbessert er das Modèle Atmosphérique Régional (MAR), ein fortschrittliches Klimamodell, das historisch zur Simulation der Oberflächenmassenbilanz und des Schmelzens polarer Eisschilde verwendet wurde. Durch die Anwendung von MAR auf die belgische Region ist es möglich, Zukunftsprojektionen unter Verwendung von IPCC Szenario zu erstellen und Wettervorhersagen mit einer unglaublichen Genauigkeit von bis zu 5 km zu treffen, die mit anderen verfügbaren meteorologischen Modellen im Allgemeinen nicht erreichbar ist.
Herausforderungen
MAR-Ergebnisse: Der Klimawandel findet bereits statt
Während kurzfristige MAR-Simulationen eine Reihe praktischer Vorteile bei der Wettervorhersage mit sich bringen, offenbaren sie auf längere Sicht die problematische Realität des Klimawandels und seiner Auswirkungen auf Belgien, was einen langsamen, aber stetigen Anstieg der Durchschnittstemperaturen in der gesamten Region aufzeigt (der dem besorgniserregenden weltweiten Trend folgt). Die Folgen dieser Veränderungen können verheerend sein.
„Wenn wir unsere Minderungsmaßnahmen nicht intensivieren, wird Lüttich bis zum Jahr 2100 das Klima von Toulouse haben, mit sommerlichen Höchsttemperaturen von bis zu +40°C und mehr als einem Monat Tropennächten (Mindesttemperatur über +20°C) jeden Sommer. Gleichzeitig ist eine Welt, die im nächsten Jahrzehnt um 2° wärmer sein wird, jetzt unvermeidlich, was die Wahrscheinlichkeit schwerer Dürren im Sommer in Belgien stark erhöht.“ berichtet Prof. Fettweis.
Um die Forschung zu diesem Thema zu fördern, ist MAR auch Open-Source und wird interessierten Masterstudierenden der Klimatologie an der Uliège kostenlos zur Verfügung gestellt.
Eine Proof-of-Concept-Implementierung auf AWS zur Förderung der Nachhaltigkeit
Angesichts der Komplexität des Modells erfordert die Durchführung von Simulationen erhebliche Rechenleistung (insbesondere Supercomputer), die möglicherweise nicht immer leicht zugänglich und/oder für die spezifischen Arbeitslasten optimiert ist.
Gleichzeitig bieten AWS und Cloud Computing die Möglichkeit einer dedizierten Infrastruktur, die rund um die Uhr zugänglich und auf die spezifischen technischen Anforderungen zugeschnitten ist, doch der Einstieg war mit einigen Herausforderungen verbunden: erstens, die Ermittlung der internen Ressourcen und des Wissens, die für die Bereitstellung einer funktionierenden Umgebung von Grund auf erforderlich sind, und zweitens, die Bestimmung des AWS-Ressourcentyps, der das beste Preis-Leistungs-Verhältnis bieten könnte.
In diesem Zusammenhang hat Uliège mit Ankercloud (AWS Advanced Partner) für ein Proof-of-Concept (PoC) Implementierung in der AWS Public Cloud, die darauf abzielt, Prof. Fettweis und seinem Forscherteam die Nutzung von EC2-Instanzen für ihren High-Performance Computing (HPC) Anwendungsfall zu ermöglichen.
Häufigere Simulationen mit mehr verfügbaren Ressourcen werden dazu beitragen, die Forschung in diesem Bereich voranzutreiben und – hoffentlich – das Bewusstsein für das Thema Klimawandel zu schärfen, insbesondere in Belgien, wo diese Forschung ihren Schwerpunkt hat.
Lösung
Nach einem Einführungsprozess, in dem Prof. Fettweis alle spezifischen Anforderungen erläuterte, um sein in Fortran 90 geschriebenes und in OpenMP, erstellte Ankercloud einen umsetzbaren Projektplan für die AWS-Einführung. Der Plan sah vor, mit einem komplett neuen AWS-Konto zu beginnen, das speziell für diesen Zweck erstellt wurde, weshalb die Implementierung grundlegender Konfigurationen von Grund auf und gemäß den Best Practices berücksichtigt werden musste.
Genauer gesagt wurden die folgenden Aufgaben durchgeführt:
- Einrichtung der Amazon Virtual Private Cloud (Amazon VPC) mit Subnetz-Assoziation, Konnektivität und Sicherheitsgruppen, sowie Identity and Access Management (IAM) und den zugehörigen Richtlinien
- Bereitstellung von Linux-basierten EC2-Instanzen die mit den notwendigen Abhängigkeiten und der gewünschten Konfiguration bereitgestellt wurden (mindestens 100 vCPUs und 64 GB RAM als Ausgangspunkt)
- Konfiguration des Objektspeichers mit Amazon Simple Storage Service (S3) zur Verwaltung von Eingabe- und Ausgabedateien, die aus den Wettersimulationen generiert werden
- Implementierung von CloudWatch Logs, Metriken und Alarmen für die grundlegende Überwachung, die in das Health Dashboard zur Übersicht des Dienststatus integriert werden sollen
Nachdem die Bereitstellung abgeschlossen war, wurde der Prototyp verwendet, um verschiedene Instanzen und Konfigurationen zu testen und zu bewerten und einen guten Kompromiss für das Preis-Leistungs-Verhältnis für den Betrieb von MAR zu finden.
Schließlich übertrug das Tech-Team von Ankercloud das gesamte Wissen durch Ad-hoc-Sitzungen und umfassende Dokumentation, wodurch die ULiège die Möglichkeit erhielt, ihr neues Setup vollständig zu nutzen, um MAR sowie alle anderen ähnlichen Modelle in Zukunft eigenständig zu installieren und zu betreiben.
Geschäftsergebnis
Am Institut für Klimatologie können Prof. Fettweis und sein Team nun von einer skalierbaren und kostengünstigen Lösung in der AWS Cloud profitieren, um verschiedene meteorologische Simulationen durchzuführen, die flexibel in Kombination mit den vorhandenen On-Premises-Supercomputern eingesetzt werden, um die äußerst wichtige Forschung zum Klimawandel – mit besonderem Fokus auf Belgien – voranzutreiben.
AWS unterstützte dieses Projekt mit Förderprogrammen und Werbeguthaben, um die anfängliche Akzeptanzhürde so weit wie möglich zu senken und die Möglichkeit zu geben, greifbare Ergebnisse für eine ordnungsgemäße Bewertung zu erzielen, bevor Cloud-Dienste intensiver genutzt werden.
Und langfristig ist die Nutzung von EC2-Instanzen gegenüber On-Premises-Ressourcen selbst ein Schritt hin zu einem umweltfreundlicheren Energieverbrauch, da die hochoptimierte AWS-Infrastruktur zu CO2-Emissionen von bis zu 88 % weniger als bei einem normalen Rechenzentrum führen kann.
Darüber hinaus ermöglicht ein solches gemeinsam genutztes AWS-basiertes HPC-Modell auch die Reduzierung unseres numerischen Fußabdrucks durch die Optimierung der CPU-Nutzung. Dies gilt insbesondere bei der Durchführung täglicher Wettervorhersagen mit MAR und der Tatsache, dass solche Simulationen CPUs nur für wenige Stunden nutzen, wenn ein dedizierter HPC-Cluster verwendet wird.
Über ULiège
Die Universität Lüttich (ULiège) ist eine Schlüsseluniversität in Belgien mit mehr als 25.000 Studierenden, über 190 Masterstudiengängen und über 10 Fakultäten, die viele verschiedene Bereiche von Naturwissenschaften und Medizin bis hin zu Philosophie und Literatur abdecken.
.png)
