Wir haben die Fähigkeit der Bluefield-2 DPU getestet, das OVN/OVS-Offloading innerhalb der FishOS-Umgebung zu bewältigen. Die Ergebnisse zeigten einen reibungslosen Betrieb, verringerte Latenzzeiten und freigesetzte CPU-Ressourcen, was das Potenzial von FishOS und Bluefield DPUs zur Optimierung des Betriebs moderner Rechenzentren verdeutlicht.
FishOS: Verbesserte Cloud-Verwaltung
FishOS von Sardina Systems ist eine fortschrittliche Cloud-Management-Plattform, die auf OpenStack basiert.
FishOS wurde entwickelt, um die Effizienz und Skalierbarkeit moderner Rechenzentren zu steigern. Es nutzt die Automatisierung und das intelligente Ressourcenmanagement, um den Betrieb zu rationalisieren, Kosten zu senken und die Gesamtleistung zu verbessern.
Nvidia Bluefield DPUs: Revolutionierung der Datenverarbeitung
Nvidia Bluefield DPUs sind spezialisierte Prozessoren, die Netzwerk-, Speicher- und Sicherheitsaufgaben auslagern und beschleunigen und so die Haupt-CPUs entlasten.
Diese Einheiten verbessern die Leistung und Effizienz von Rechenzentren, indem sie datenintensive Arbeitslasten bewältigen. Sie bieten Programmierbarkeit und hohe Leistung, um den Anforderungen des modernen Computing gerecht zu werden.
Herkömmliche vs. moderne Rechenzentrumsarchitekturen
Herkömmliche Rechenzentren verlassen sich bei allen Aufgaben stark auf Allzweck-CPUs, was zu Leistungsengpässen, Ressourcenineffizienz und höheren Betriebskosten führt.
Das Aufkommen von Cloud Computing und Virtualisierung hat die Rechenzentren erheblich verändert.
Cloud Computing bietet flexible Ressourcenzuweisung, bedarfsgerechte Skalierbarkeit und Kosteneffizienz, während die Virtualisierung physische Hardware abstrahiert und so die Auslastung und das Infrastrukturmanagement verbessert.
Die Integration von Bluefield DPUs in Rechenzentren löst diese Herausforderungen.
Indem sie intensive Aufgaben von der CPU auslagern, verbessern sie die Leistung und bieten hardwarebasierte Sicherheitsfunktionen.
Ziel:
Testen, ob Bluefield-2 (BF2) nahtlos mit OVN/OVS-Offloading innerhalb der FishOS OpenStack-Umgebung umgehen kann, so dass Benutzer VMs bereitstellen können.
Testbedingungen: Eine Testplattform wurde bei einem Cloud-Service-Anbieter eingerichtet, der Hardware mit BF2 DPUs zur Verfügung stellte.
Sardina Systems stellte dann die FishOS OpenStack-Umgebung auf dieser Einrichtung bereit.
Schritt-für-Schritt-Anleitung
Bereitstellung: FishOS OpenStack (Bobcat-Version) wurde auf Serverknoten mit AlmaLinux 9 als Basisbetriebssystem eingesetzt.
BF2 DPU-Modus und Betriebssystemoptionen: Der erforderliche BF2 DPU-Modus war „Embedded CPU“.
Es wurden verschiedene Betriebssystemoptionen auf BF2 DPUs getestet.
Nach dem Studium der Dokumentation haben wir beschlossen, dass es nicht möglich ist, alle Nachteile eines benutzerdefinierten Betriebssystems für diesen Test zu berücksichtigen.
Daher wurde ein offizielles Nvidia-Build eines Ubuntu-basierten Betriebssystems für BF2 über die RShim-Schnittstelle mit dem Befehl bfb-install bereitgestellt.
Was wir während der Bereitstellungsphase entdeckt haben:
– Die Installation von AlmaLinux 9 verlief problemlos über PXE.
– Debian 12 erforderte initramfs-Anpassungen.
– Die Installation des Nvidia DOCA-Pakets war für die ordnungsgemäße BF2-Funktionalität erforderlich.
– Die RShim-Schnittstelle ist für die Bereitstellung des Nvidia Ubuntu-basierten Betriebssystems auf BF2 erforderlich.
– Bandbreitentest: Die Bandbreite zwischen zwei BF2 DPUs wurde mit iPerf3 getestet und erreichte 100 Gbit/Sek.
Die BF2 DPU-Hosts wurden in der Cloud bereitgestellt und für den Betrieb von OpenStack Neutron OVN-Agenten konfiguriert.
Wir folgten der offiziellen Dokumentation, um die SmartNIC DPU-Unterstützung in OpenStack zu aktivieren: OpenStack Neutron SmartNIC DPU-Unterstützung.
Offloaded Virtual Machine Networking:
Um das Offloaded Virtual Machine Networking zu nutzen, musste SR-IOV aktiviert werden.
BF2 unterstützt zwar bis zu 127 virtuelle Funktionen, aber die gebündelte Node-Hardwareplattform konnte mit dieser Konfiguration nicht gebootet werden, so dass das Limit in den BF2-Firmwareeinstellungen auf 63 gesetzt wurde.
Bei der Erstellung von virtuellen Maschinen wurde festgestellt, dass OpenStack Nova und Neutron zusätzliche Patches benötigen, damit das ausgelagerte Tenant Networking korrekt funktioniert.
Der Nova-Compute filterte das vom Nova-Conductor angeforderte SR-IOV-Gerät heraus.
Dieses Problem wurde durch Auskommentieren der Filterzeile entschärft.
Der Neutron-Server weigerte sich, Ports zu binden, da die Fähigkeiten nicht übereinstimmten, wahrscheinlich ein Fehler.
Die Zeile in der Datei neutron/common/ovn/utils.py wurde wie folgt geändert :
dazu:
Tests mit virtuellen Maschinen:
Während der VM-Tests wurde weder auf dem Hauptknoten noch auf der DPU eine signifikante CPU-Last festgestellt.
Wir haben die BF2-Karten auch im „NIC-Modus“ getestet, in dem ihre Funktionalität der einer ConnectX 6 NIC ähnelt.
Ein Vorteil der Verwendung des „DPU-Modus“ ist, dass im Gegensatz zum „NIC-Modus“ keine OFED-Treiber auf den Rechenknoten benötigt werden.
Um die Overlay-Netzwerk-Offloads zu aktivieren, haben wir daher die neuesten Mellanox OFED-Treiber auf den Hauptknoten installiert.
Dies führte zu einem zusätzlichen Verwaltungsaufwand für zukünftige Updates, insbesondere für Kernel-Upgrades (die eine Neuinstallation von Modulen erfordern) und OFED-Upgrades (die nur durch eine vollständige Deinstallation und Neuinstallation unterstützt werden).
Der Test der virtuellen Maschinen im BF2 NIC-Modus verlief ähnlich wie der Test im DPU-Modus, mit der Ausnahme, dass der „direkte“ Typ der Neutron-Ports verwendet wurde. Der 8-Thread-iPerf3-Test zwischen virtuellen Maschinen ergab etwa 70 Gbps.
Virtual Machine Testing Takeaways:
– Neutron ML2/OVN verwendete GENEVE-Tunnel für Tenant-Overlay-Netzwerke.
– Ein separates Tenant-Netzwerk wurde mit zwei Neutron-Ports des remote-managed Typs erstellt.
– Zwei virtuelle Maschinen mit AlmaLinux 9 wurden auf separaten Knoten bereitgestellt.
– Single-threaded iPerf3 Test: ~25 Gbit/Sek.
– 8-threaded iPerf3 Test: ~86 Gbit/sec.
– Auf dem Hauptknoten und der DPU wurde eine unbedeutende CPU-Last festgestellt.
Zusammenfassung
Die wachsende Nachfrage nach Verbindungen mit hoher Bandbreite zur Verarbeitung großer Datenmengen, einschließlich KI-Operationen, erfordert effiziente Lösungen zur Beseitigung von Engpässen.
FishOS löst diese Herausforderung, indem es diese Engpässe auf spezialisierte Hardware wie Bluefield DPUs auslagert.
Durch die Auslagerung der erforderlichen Netzwerksoftware vom Hauptknoten und die Nutzung fortschrittlicher Technologien wie OFED-Treiber steigert FishOS die Leistung erheblich, verringert die Latenz und setzt CPU-Ressourcen für die Verarbeitung wichtiger Anwendungen frei.
Das Ergebnis ist ein nahtloser und effizienter Betrieb des Rechenzentrums.