Команда Sardina Systems протестировала способность DPU Bluefield-2 справляться с разгрузкой OVN/OVS в среде FishOS. В результате мы получили плавную работу, низкие показатели задержек и освобождение вычислительных ресурсов CPU. Тест подтвердил способность пары FishOS и DPU Bluefield оптимизировать работу современных дата-центров.
FishOS: Улучшение управления облаком
FishOS от Sardina Systems — это передовая платформа управления облаком, основанная на OpenStack.
Разработанная для повышения эффективности и масштабируемости современных центров обработки данных, FishOS использует автоматизацию и интеллектуальное управление ресурсами для оптимизации операций, сокращения расходов и повышения общей производительности.
Процессоры Nvidia Bluefield DPU: Революция в обработке данных
Nvidia Bluefield DPU — это специализированные процессоры, которые разгружают и ускоряют выполнение задач, связанных с сетью, хранением и безопасностью, освобождая основные центральные процессоры.
Эти устройства повышают производительность и эффективность центров обработки данных, справляясь с интенсивными рабочими нагрузками, предлагая программируемость и высокую производительность для удовлетворения требований современных вычислений.
Традиционные и современные архитектуры центров обработки данных
Традиционные центры обработки данных в значительной степени полагаются на процессоры общего назначения для выполнения всех задач, что приводит к узким местам в производительности, неэффективному использованию ресурсов и увеличению эксплуатационных расходов.
Появление облачных вычислений и виртуализации значительно изменило центры обработки данных.
Облачные вычисления обеспечивают гибкое распределение ресурсов, масштабируемость по требованию и экономическую эффективность, а виртуализация абстрагирует физическое оборудование, повышая эффективность использования и управления инфраструктурой.
Интеграция DPU Bluefield в центры обработки данных позволяет решить эти проблемы.
Разгружая интенсивные задачи от центрального процессора, они повышают производительность и обеспечивают аппаратные функции безопасности.
Цель:
Проверить, может ли Bluefield-2 (BF2) беспрепятственно обрабатывать разгрузку OVN/OVS в среде FishOS OpenStack, позволяя пользователям создавать виртуальные машины.
Условия тестирования: Тестовая платформа была развернута у провайдера облачных услуг, который выделил оборудование с DPU BF2.
Затем компания Sardina Systems развернула на этой платформе среду FishOS OpenStack.
Как мы делали тест
Развертывание: FishOS OpenStack (релиз Bobcat) был развернут на серверных узлах под управлением AlmaLinux 9 в качестве базовой ОС.
Режим BF2 DPU и параметры ОС: Требуемый режим BF2 DPU был «Встроенный процессор».
Различные варианты ОС были протестированы на BF2 DPU.
Изучив документацию, мы решили, что учитывать все нюансы пользовательской операционной системы для этого теста нецелесообразно.
Поэтому официальная сборка Nvidia операционной системы на базе Ubuntu для BF2 была развернута через интерфейс RShim с помощью команды bfb-install.
Что мы обнаружили на этапе развертывания:
— Установка AlmaLinux 9 прошла без проблем через PXE.
— Debian 12 потребовал корректировки initramfs.
— Установка пакета Nvidia DOCA была необходима для правильной работы BF2.
— Интерфейс RShim необходим для развертывания ОС на базе Nvidia Ubuntu на BF2.
— Тестирование пропускной способности: Пропускная способность между двумя DPU BF2 была протестирована с помощью iPerf3 и достигла 100 Гбит/сек.
Хосты BF2 DPU были развернуты в облаке и настроены на размещение OVN-агентов OpenStack Neutron.
Мы следовали официальной документации для включения поддержки SmartNIC DPU в OpenStack: OpenStack Neutron SmartNIC DPU Support.
Разгруженная сеть виртуальных машин:
Чтобы использовать разгруженную сеть виртуальных машин, необходимо было включить SR-IOV.
Хотя BF2 поддерживает до 127 виртуальных функций, аппаратная платформа узла в комплекте не смогла загрузиться с такой конфигурацией, поэтому в настройках прошивки BF2 ограничение было установлено на 63.
Во время создания виртуальной машины было обнаружено, что OpenStack Nova и Neutron требуют дополнительных исправлений для корректной работы разгруженной сети арендаторов.
Вычислитель Nova отфильтровывал устройство SR-IOV, запрошенное проводником Nova.
Эта проблема была решена путем комментирования строки фильтрации.
Сервер Neutron отказывался связывать порты из-за несоответствия возможностей, что, вероятно, является ошибкой.
Строка в файле neutron/common/ovn/utils.py была изменена следующим образом:
к этому:
Тестирование виртуальных машин:
Во время тестирования виртуальных машин не было обнаружено значительной нагрузки на процессор ни на главном узле, ни на DPU.
Мы также протестировали карты BF2 в «режиме сетевой карты», где их функциональность напоминает сетевую карту ConnectX 6.
Одно из преимуществ использования «режима DPU» заключается в том, что на вычислительных узлах не нужны драйверы OFED, в отличие от «режима NIC».
Поэтому, чтобы включить разгрузку оверлейных сетей, мы установили последние версии драйверов Mellanox OFED на основные узлы.
Это создало дополнительное административное бремя для будущих обновлений, особенно для обновления ядра (которое требует перестройки модулей) и обновления OFED (которое поддерживается только путем полного удаления и переустановки).
Тест виртуальных машин в режиме BF2 NIC был похож на тест в режиме DPU, за исключением использования «прямого» типа портов Neutron. 8-поточный тест iPerf3 между виртуальными машинами показал около 70 Гбит/с.
Основные выводы по тестированию виртуальных машин:
— Neutron ML2/OVN использовал туннели GENEVE для создания оверлейной сети арендаторов.
— Была создана отдельная сеть арендаторов с двумя портами Neutron типа remote-managed.
— Две виртуальные машины под управлением AlmaLinux 9 были развернуты на отдельных узлах.
— Однопоточный тест iPerf3: ~25 Гбит/сек.
— 8-поточный тест iPerf3: ~86 Гбит/с.
— На главном узле и DPU была обнаружена незначительная загрузка процессора.
Резюме
Растущий спрос на высокоскоростные соединения для обработки огромных объемов данных, включая операции искусственного интеллекта, требует эффективных решений для устранения «узких мест».
FishOS решает эту задачу, перекладывая узкие места на специализированное оборудование, такое как Bluefield DPU.
Удаляя необходимое сетевое программное обеспечение с основного узла и используя передовые технологии, такие как драйверы OFED, FishOS значительно повышает производительность, уменьшает задержки и высвобождает ресурсы процессора для обработки критически важных приложений.
В результате это обеспечивает бесперебойную и эффективную работу центра обработки данных.