{"id":52029,"date":"2024-07-31T11:26:47","date_gmt":"2024-07-31T11:26:47","guid":{"rendered":"https:\/\/www.sardinasystems.com\/uncategorized-de\/wie-wir-fishos-auf-nvidia-bluefield-dpus-getestet-haben\/"},"modified":"2025-05-14T16:16:53","modified_gmt":"2025-05-14T16:16:53","slug":"how-we-tested-fishos-on-nvidia-bluefield-dpus","status":"publish","type":"post","link":"https:\/\/www.sardinasystems.com\/de\/blog\/how-we-tested-fishos-on-nvidia-bluefield-dpus\/","title":{"rendered":"Wie wir FishOS auf Nvidia Bluefield DPUs getestet haben"},"content":{"rendered":"\n

Wir haben die F\u00e4higkeit der Bluefield-2 DPU getestet, das OVN\/OVS-Offloading innerhalb der FishOS-Umgebung zu bew\u00e4ltigen.\nDie Ergebnisse zeigten einen reibungslosen Betrieb, verringerte Latenzzeiten und freigesetzte CPU-Ressourcen, was das Potenzial von FishOS und Bluefield DPUs zur Optimierung des Betriebs moderner Rechenzentren verdeutlicht. <\/em><\/p>\n\n

FishOS: Verbesserte Cloud-Verwaltung<\/mark><\/strong>FishOS von Sardina Systems ist eine fortschrittliche Cloud-Management-Plattform, die auf OpenStack basiert.\nFishOS wurde entwickelt, um die Effizienz und Skalierbarkeit moderner Rechenzentren zu steigern. Es nutzt die Automatisierung und das intelligente Ressourcenmanagement, um den Betrieb zu rationalisieren, Kosten zu senken und die Gesamtleistung zu verbessern. <\/p>\n

\n
\"\"<\/a><\/figure>\n<\/div>\n

Nvidia Bluefield DPUs: Revolutionierung der Datenverarbeitung<\/mark><\/strong>Nvidia Bluefield DPUs sind spezialisierte Prozessoren, die Netzwerk-, Speicher- und Sicherheitsaufgaben auslagern und beschleunigen und so die Haupt-CPUs entlasten.\nDiese Einheiten verbessern die Leistung und Effizienz von Rechenzentren, indem sie datenintensive Arbeitslasten bew\u00e4ltigen. Sie bieten Programmierbarkeit und hohe Leistung, um den Anforderungen des modernen Computing gerecht zu werden. <\/p>\n\n

Herk\u00f6mmliche vs. moderne Rechenzentrumsarchitekturen<\/strong>Herk\u00f6mmliche Rechenzentren verlassen sich bei allen Aufgaben stark auf Allzweck-CPUs, was zu Leistungsengp\u00e4ssen, Ressourcenineffizienz und h\u00f6heren Betriebskosten f\u00fchrt.\nDas Aufkommen von Cloud Computing und Virtualisierung hat die Rechenzentren erheblich ver\u00e4ndert.\nCloud Computing bietet flexible Ressourcenzuweisung, bedarfsgerechte Skalierbarkeit und Kosteneffizienz, w\u00e4hrend die Virtualisierung physische Hardware abstrahiert und so die Auslastung und das Infrastrukturmanagement verbessert. <\/p>\n

\n
\"\"<\/a><\/figure>\n<\/div>\n

Die Integration von Bluefield DPUs in Rechenzentren l\u00f6st diese Herausforderungen.\nIndem sie intensive Aufgaben von der CPU auslagern, verbessern sie die Leistung und bieten hardwarebasierte Sicherheitsfunktionen. Ziel:<\/strong>Testen, ob Bluefield-2 (BF2) nahtlos mit OVN\/OVS-Offloading innerhalb der FishOS OpenStack-Umgebung umgehen kann, so dass Benutzer VMs bereitstellen k\u00f6nnen.Testbedingungen: <\/em>Eine Testplattform wurde bei einem Cloud-Service-Anbieter eingerichtet, der Hardware mit BF2 DPUs zur Verf\u00fcgung stellte.\nSardina Systems stellte dann die FishOS OpenStack-Umgebung auf dieser Einrichtung bereit. <\/p>\n\n

Schritt-f\u00fcr-Schritt-Anleitung<\/strong>Bereitstellung:<\/em> FishOS OpenStack (Bobcat-Version) wurde auf Serverknoten mit AlmaLinux 9 als Basisbetriebssystem eingesetzt.BF2 DPU-Modus und Betriebssystemoptionen: Der erforderliche BF2 DPU-Modus war „Embedded CPU“.\nEs wurden verschiedene Betriebssystemoptionen auf BF2 DPUs getestet.\nNach dem Studium der Dokumentation haben wir beschlossen, dass es nicht m\u00f6glich ist, alle Nachteile eines benutzerdefinierten Betriebssystems f\u00fcr diesen Test zu ber\u00fccksichtigen.\nDaher wurde ein offizielles Nvidia-Build eines Ubuntu-basierten Betriebssystems f\u00fcr BF2 \u00fcber die RShim-Schnittstelle mit dem Befehl bfb-install bereitgestellt. <\/p>\n\n

\n

Was wir w\u00e4hrend der Bereitstellungsphase entdeckt haben:<\/em>– Die Installation von AlmaLinux 9 verlief problemlos \u00fcber PXE.– Debian 12 erforderte initramfs-Anpassungen.– Die Installation des Nvidia DOCA-Pakets war f\u00fcr die ordnungsgem\u00e4\u00dfe BF2-Funktionalit\u00e4t erforderlich.– Die RShim-Schnittstelle ist f\u00fcr die Bereitstellung des Nvidia Ubuntu-basierten Betriebssystems auf BF2 erforderlich.– Bandbreitentest: Die Bandbreite zwischen zwei BF2 DPUs wurde mit iPerf3 getestet und erreichte 100 Gbit\/Sek.<\/p>\n<\/blockquote>\n\n

Die BF2 DPU-Hosts wurden in der Cloud bereitgestellt und f\u00fcr den Betrieb von OpenStack Neutron OVN-Agenten konfiguriert.\nWir folgten der offiziellen Dokumentation, um die SmartNIC DPU-Unterst\u00fctzung in OpenStack zu aktivieren: OpenStack Neutron SmartNIC DPU-Unterst\u00fctzung. <\/p>\n\n

Offloaded Virtual Machine Networking:<\/strong>Um das Offloaded Virtual Machine Networking zu nutzen, musste SR-IOV aktiviert werden.\nBF2 unterst\u00fctzt zwar bis zu 127 virtuelle Funktionen, aber die geb\u00fcndelte Node-Hardwareplattform konnte mit dieser Konfiguration nicht gebootet werden, so dass das Limit in den BF2-Firmwareeinstellungen auf 63 gesetzt wurde.Bei der Erstellung von virtuellen Maschinen wurde festgestellt, dass OpenStack Nova und Neutron zus\u00e4tzliche Patches ben\u00f6tigen, damit das ausgelagerte Tenant Networking korrekt funktioniert.Der Nova-Compute filterte das vom Nova-Conductor angeforderte SR-IOV-Ger\u00e4t heraus.\nDieses Problem wurde durch Auskommentieren der Filterzeile entsch\u00e4rft. Der Neutron-Server weigerte sich, Ports zu binden, da die F\u00e4higkeiten nicht \u00fcbereinstimmten, wahrscheinlich ein Fehler. Die Zeile in der Datei neutron\/common\/ovn\/utils.py wurde wie folgt<\/strong> ge\u00e4ndert :<\/strong> <\/p>\n

\n
\"\"<\/a><\/figure>\n<\/div>\n

<\/p>\n\n

dazu:<\/strong><\/p>\n

\n
\"\"<\/a><\/figure>\n<\/div>\n

Tests mit virtuellen Maschinen:<\/strong>W\u00e4hrend der VM-Tests wurde weder auf dem Hauptknoten noch auf der DPU eine signifikante CPU-Last festgestellt.\nWir haben die BF2-Karten auch im „NIC-Modus“ getestet, in dem ihre Funktionalit\u00e4t der einer ConnectX 6 NIC \u00e4hnelt.\nEin Vorteil der Verwendung des „DPU-Modus“ ist, dass im Gegensatz zum „NIC-Modus“ keine OFED-Treiber auf den Rechenknoten ben\u00f6tigt werden.\nUm die Overlay-Netzwerk-Offloads zu aktivieren, haben wir daher die neuesten Mellanox OFED-Treiber auf den Hauptknoten installiert.\nDies f\u00fchrte zu einem zus\u00e4tzlichen Verwaltungsaufwand f\u00fcr zuk\u00fcnftige Updates, insbesondere f\u00fcr Kernel-Upgrades (die eine Neuinstallation von Modulen erfordern) und OFED-Upgrades (die nur durch eine vollst\u00e4ndige Deinstallation und Neuinstallation unterst\u00fctzt werden). <\/p>\n\n

Der Test der virtuellen Maschinen im BF2 NIC-Modus verlief \u00e4hnlich wie der Test im DPU-Modus, mit der Ausnahme, dass der „direkte“ Typ der Neutron-Ports verwendet wurde.\nDer 8-Thread-iPerf3-Test zwischen virtuellen Maschinen ergab etwa 70 Gbps. <\/p>\n\n

\n

Virtual Machine Testing Takeaways:<\/em>– Neutron ML2\/OVN verwendete GENEVE-Tunnel f\u00fcr Tenant-Overlay-Netzwerke.– Ein separates Tenant-Netzwerk wurde mit zwei Neutron-Ports des remote-managed Typs erstellt.– Zwei virtuelle Maschinen mit AlmaLinux 9 wurden auf separaten Knoten bereitgestellt.– Single-threaded iPerf3 Test: ~25 Gbit\/Sek.– 8-threaded iPerf3 Test: ~86 Gbit\/sec.– Auf dem Hauptknoten und der DPU wurde eine unbedeutende CPU-Last festgestellt.<\/p>\n<\/blockquote>\n\n

<\/p>\n\n

Zusammenfassung<\/mark><\/strong>Die wachsende Nachfrage nach Verbindungen mit hoher Bandbreite zur Verarbeitung gro\u00dfer Datenmengen, einschlie\u00dflich KI-Operationen, erfordert effiziente L\u00f6sungen zur Beseitigung von Engp\u00e4ssen.\nFishOS l\u00f6st diese Herausforderung, indem es diese Engp\u00e4sse auf spezialisierte Hardware wie Bluefield DPUs auslagert.\nDurch die Auslagerung der erforderlichen Netzwerksoftware vom Hauptknoten und die Nutzung fortschrittlicher Technologien wie OFED-Treiber steigert FishOS die Leistung erheblich, verringert die Latenz und setzt CPU-Ressourcen f\u00fcr die Verarbeitung wichtiger Anwendungen frei.\nDas Ergebnis ist ein nahtloser und effizienter Betrieb des Rechenzentrums. <\/p>\n","protected":false},"excerpt":{"rendered":"

Wir haben die F\u00e4higkeit der Bluefield-2 DPU getestet, das OVN\/OVS-Offloading innerhalb der FishOS-Umgebung zu bew\u00e4ltigen. Die Ergebnisse zeigten einen reibungslosen Betrieb, verringerte Latenzzeiten und freigesetzte CPU-Ressourcen, was das Potenzial von FishOS und Bluefield DPUs zur Optimierung des Betriebs moderner Rechenzentren verdeutlicht. FishOS: Verbesserte Cloud-VerwaltungFishOS von Sardina Systems ist eine fortschrittliche Cloud-Management-Plattform, die auf OpenStack basiert. […]<\/p>\n","protected":false},"author":20,"featured_media":50401,"comment_status":"closed","ping_status":"closed","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[569,565],"tags":[635,642,653,1502,634],"class_list":["post-52029","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-news-de","category-blog","tag-it-produktivitat","tag-fishos-de","tag-hardware-de","tag-bluefielddpu-de","tag-it-infrastruktur","grve-entry-item","grve-blog-item"],"aioseo_notices":[],"aioseo_head":"\n\t\t\n\t\n\t\n\t\n\t\n\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t