FishOS-gestützte Machine-Learning-Cloud für erfolgreiche wissenschaftliche Forschung

Während einer fast zweijährigen engen Zusammenarbeit mit einem der führenden Forschungszentren Deutschlands, der Universität Tübingen, hat Sardina Systems entscheidende Unterstützung geleistet, um die Effizienz und Produktivität der Machine-Learning-Cloud-Infrastruktur der Universität zu verbessern.
In dieser Fallstudie werden wir eingehend untersuchen, wie FishOS, die vollautomatisierte, skalierbare und kosteneffektive Cloud-Management-Plattform von Sardina Systems, einem kleinen Team von Experten hilft, ihre täglichen Aufgaben zu bewältigen, sodass sich Datenwissenschaftler auf die Durchführung bahnbrechender Forschung in Bereichen wie Medizin, Landwirtschaft, autonomes Fahren und anderen Gebieten konzentrieren und transformative Lösungen liefern können.

Vorstellung der ML-Cloud

Die ML-Cloud an der Universität Tübingen, bestehend aus dem KI-Zentrum und dem ML-Exzellenzcluster, treibt wirkungsvolle Projekte in der medizinischen Bildgebung, einschließlich Krebs- und Hirnforschung, sowie Computervision und Analyse menschlicher Bewegungen, Klimasimulation und -vorhersageinitiativen und sogar das Training eines Boston Dynamics-Roboters für landwirtschaftliche Aufgaben voran. Unter Beteiligung von 48 Forschungsgruppen verschieben diese Projekte Grenzen und leisten signifikante Beiträge in verschiedenen Bereichen.

Derzeit sind begrenzte Personalressourcen in die Wartung eines Clusters bestehend aus etwa 200 Kernen involviert, die für alle Datenoperationen verantwortlich sind. Lassen Sie uns die Herausforderungen untersuchen, denen sich die Spezialisten vor der Implementierung von FishOS gegenübersahen, und wie die Plattform ihnen half, diese Schwierigkeiten zu überwinden.

Die Herausforderung annehmen

Das IT-Team der Universität begegnet spezifischen Herausforderungen, die öffentlichen Organisationen inhärent sind. Innerhalb strenger staatlicher Finanzierungsbeschränkungen operierend, müssen sie den reibungslosen Betrieb eines wissenschaftlichen Rechensystems über mehrere Einheiten hinweg sicherstellen und gleichzeitig die vielfältigen Rechenanforderungen verschiedener Forschungsgruppen adressieren. Stabilität ist entscheidend für Forscher, die präzise Ergebnisse anstreben, insbesondere in Bereichen wie Krebs- und Hirnforschung, wo Rechenleistung für Machine-Learning-Anwendungen unerlässlich ist.

Hindernisse navigieren

Als Antwort auf diese Herausforderungen entschied sich das Universitätsteam für die Nutzung von On-Premises-Infrastruktur, um die Budgeteffizienz zu maximieren und Kapazitätsanforderungen zu erfüllen. Sie entwickelten eine Hardware-Architektur, die auf die vielfältigen Bedürfnisse kleiner, über Deutschland verteilter Forschungsgruppen zugeschnitten ist. Diese Architektur kombiniert Virtualisierung und Bare Metal in ausgewogener Weise, ergänzt durch eine verteilte Ceph-Speicheranlage für Archivierungszwecke.

Etwa 15-20% der Systemnodes sind für Lastverteiler zugewiesen, wobei die verbleibenden Nodes der Rechenleistung gewidmet sind. Hypervisoren sind mit CPU-only-, GPU V100- und GPU A100-Konfigurationen ausgestattet, wobei ungefähr 70% der Nodes derzeit durch Bare Metal genutzt werden. GPU-Ressourcen, die sich sowohl auf Hypervisoren als auch auf Bare Metal befinden, werden priorisiert, um die Systemreaktionsfähigkeit zu verbessern. Zusätzlich unterstützt das System konventionellere Aufgaben, indem es klassische CPUs für Funktionen wie Datensatzverwaltung bereitstellt.

FishOS: Unterstützung stabiler Infrastruktur und Straffung der Betriebsabläufe

• Einheitliche Schnittstelle. Mit FishOS ist die Verwaltung der ML-Cloud-Infrastruktur, die über mehrere Bereiche verteilt ist, durch eine einheitliche Schnittstelle bemerkenswert rationalisiert worden.

• Flexibilität. Vielleicht einer der bemerkenswertesten Vorteile der ML-Cloud ist die Vielseitigkeit von FishOS – es kann sowohl auf Bare-Metal-Nodes als auch auf GPUs laufen. Diese Flexibilität steigert die Leistung erheblich und erleichtert nahtlos die Erreichung von Forschungszielen.

• Anpassungsfähigkeit. Kristina Kapanova, Leiterin der ML-Cloud, lobt FishOS für seine Anpassungsfähigkeit.

„Es bietet eine breite Palette von Serviceoptionen, die auf spezifische Bedürfnisse zugeschnitten sind: sei es die Verwaltung kleinerer oder größerer Arbeitslasten, die Veröffentlichung von Datensätzen oder die Durchführung von Benchmarks. Für mich ist es auch ein positives Ergebnis, da wir Änderungen leicht über FishOS verwalten können.“, sagt Frau Kapanova.

• Stabilität. Ein weiterer entscheidender Vorteil der Plattform, der perfekt mit den Anforderungen der Universität übereinstimmt, ist die Gesamtstabilität des Systems.

• Zeitersparnis. Darüber hinaus ist die beträchtliche Zeitersparnis, die FishOS für andere Aufgaben und Zwecke ermöglicht, von höchster Bedeutung, da alle erforderlichen Modifikationen mit wenigen Befehlen ausgeführt werden können. Beispielsweise können Experten der ML Cloud in nur 3-4 einfachen Schritten zügig ein vollständig funktionierendes System für Benutzer einrichten. Der entscheidende Aspekt hierbei liegt in der Effektivität und Geschwindigkeit, mit der diese Aufgabe bewältigt wird, um den stets wachsenden Anforderungen der Benutzer gerecht zu werden, die immer mehr verlangen.

„Ich konnte innerhalb einer Woche einen Dienst für Benutzer bereitstellen, der uns wahrscheinlich einen Monat gekostet hätte. Die rasche Bereitstellung von Benutzerfunktionalität und die daraus resultierende Entlastung meiner Arbeitslast sind von unschätzbarem Wert,“ betont Frau Kapanova.

Bei der Bewältigung von Benutzeranforderungen dient das Ticketsystem der ML Cloud als primäres internes Kommunikationsinstrument der Organisation und spielt eine entscheidende Rolle bei der prompten Lösung aufkommender Probleme. Sein reibungsloses Funktionieren wird ebenfalls FishOS zugeschrieben.

• Netzwerkmanagement. Neben der Stabilität hat das Netzwerkmanagement Priorität. Die Plattform überwacht nahtlos das gesamte System durch Zuweisung und Verwaltung von IP-Adressen, entlastet Experten von einer weiteren schwerwiegenden Verantwortung und ermöglicht es ihnen, sich auf Aufgaben höherer Ebene zu konzentrieren.

• Keine Unterbrechungen. Kristina Kapanova beobachtet keine Unterbrechungen bei der Nutzung der Plattform. Obwohl die Spezialisten der ML Cloud gelegentlich auf Hardwareprobleme stoßen können, ist die Cloud-Infrastruktur nach deren Behebung innerhalb weniger Minuten wieder einsatzbereit. „Es war das erste Mal, dass ich eine so reibungslose Rückkehr zum Dienst erlebte,“ bemerkt Frau Kapanova.

• Support. Ein unbestreitbarer Vorteil von FishOS ist der unglaublich schnelle und zuverlässige Support, der der Universität geboten wird. Von Beginn der Einführung der Plattform durch die ML Cloud an bot das technische Team von Sardina Systems detaillierte Anleitung. Dies ermöglichte es Spezialisten, selbst jenen, die mit Routineoperationen nicht vertraut waren, diese schnell zu beherrschen.

Als mehrere virtuelle Maschinen während der L2L Challenge, einem der bedeutendsten Maschinenlernwettbewerbe für Wissenschaftler, eine plötzliche Verlangsamung erfuhren, wurde das Problem des unzureichenden RAM-Speichers schnell identifiziert und innerhalb weniger Tage behoben. Die effektiven und gut koordinierten Bemühungen der Experten von Sardina Systems waren entscheidend, um ähnliche Vorfälle in der Zukunft zu verhindern. „In Anbetracht des exzellenten Supports, der Funktionalität und der zeitlichen Vorteile sowie der kontinuierlichen Verfügbarkeit aller Systeme scheint FishOS ein ausgezeichnetes Preis-Leistungs-Verhältnis zu bieten,“ fügt Frau Kapanova hinzu.

Was als Nächstes kommt: Tübingens Kurs für Innovation und Wachstum

Im Hinblick auf zukünftige Pläne wird sich das KI-Zentrum innerhalb der ML Cloud in den nächsten Jahren verdoppeln. Folglich erweitert die ML Cloud ihre Infrastruktur, um den wachsenden Rechenanforderungen gerecht zu werden. Die Universität strebt an, ihre Fähigkeiten zu erweitern, indem sie Nicht-GPU-Prozessoren für spezifische KI- und ML-Workloads in verschiedenen Bereichen integriert. Diese Initiative zielt darauf ab, maßgeschneiderte Lösungen zu entwickeln, um den Energieverbrauch zu reduzieren und gleichzeitig die Leistung aufrechtzuerhalten.

„Ich freue mich, dass Sardina Systems FishOS auf Kompatibilität mit Gaudi2getestet hat, und die ersten Benchmarks sehen vielversprechend aus. Zusätzlich plane ich, FPGAs mit der Plattform zu verwenden, um den Benutzern mehr Optionen zu bieten. Die Möglichkeit für Bare-Metal-Deployments mit diesen Knoten ist besonders erfreulich,“ kommentiert Frau Kapanova.

Darüber hinaus erhöht die ML Cloud ihre Nutzung des Ceph-Speichers, und Sardina Systems wird hierfür Unterstützung leisten, da FishOS auf Ceph-Technologie basiert.

Der nächste Schritt für den Erfolg der Machine Learning Cloud

FishOS erweist sich als bahnbrechend für akademische Institutionen. Indem es Arbeitsabläufe vereinfacht und Forscher von technischen Komplexitäten befreit, befähigt es Universitäten wie Tübingen, nahtlos zu innovieren und gleichzeitig betriebliche Aktivitäten zu optimieren.