Testamos a capacidade da DPU Bluefield-2 de lidar com o descarregamento OVN/OVS dentro do ambiente FishOS. Os resultados mostraram uma operação suave, latência reduzida e recursos de CPU liberados, demonstrando o potencial do FishOS e das DPUs Bluefield para otimizar as operações modernas do data center.
FishOS: Melhorar a gestão da nuvem
O FishOS da Sardina Systems é uma plataforma avançada de gerenciamento de nuvem baseada no OpenStack.
Projetado para aumentar a eficiência e a escalabilidade dos data centers modernos, o FishOS aproveita a automação e o gerenciamento inteligente de recursos para simplificar as operações, reduzir custos e melhorar o desempenho geral.
DPUs Bluefield da Nvidia: Revolucionando o Processamento de Dados
As DPUs Bluefield da Nvidia são processadores especializados que descarregam e aceleram as tarefas de rede, armazenamento e segurança, libertando as CPUs principais.
Estas unidades melhoram o desempenho e a eficiência do centro de dados ao lidar com cargas de trabalho intensivas em dados, oferecendo programabilidade e alto desempenho para satisfazer as exigências da computação moderna.
Arquiteturas de data center tradicionais e modernas
Os data centers tradicionais dependem muito de CPUs de uso geral para todas as tarefas, o que leva a gargalos de desempenho, ineficiências de recursos e custos operacionais mais altos.
O advento da computação em nuvem e da virtualização transformou significativamente os centros de dados.
A computação em nuvem oferece alocação flexível de recursos, escalabilidade sob demanda e eficiência de custos, enquanto a virtualização abstrai o hardware físico, melhorando a utilização e o gerenciamento da infraestrutura.
A integração das DPUs da Bluefield nos centros de dados resolve estes desafios.
Ao descarregarem tarefas intensivas da CPU, melhoram o desempenho e fornecem funcionalidades de segurança baseadas em hardware.
Objetivo:
Testar se o Bluefield-2 (BF2) consegue lidar sem problemas com o descarregamento de OVN/OVS no ambiente FishOS OpenStack, permitindo aos utilizadores provisionar VMs.
Condições de teste: Uma plataforma de teste foi implantada com um provedor de serviços em nuvem que alocou hardware com DPUs BF2.
A Sardina Systems implementou então o ambiente FishOS OpenStack nesta configuração.
Passo a passo
Implantação: O FishOS OpenStack (versão Bobcat) foi implantado em nós de servidor executando o AlmaLinux 9 como o sistema operacional básico.
Modo DPU BF2 e opções de sistema operacional: O modo de DPU do BF2 exigido era “CPU Embutida”.
Várias opções de SO foram testadas nas DPUs do BF2.
Depois de estudarmos a documentação, decidimos que não era viável ter em conta todas as limitações de um sistema operativo personalizado para este teste.
Portanto, uma compilação oficial da Nvidia de um sistema operacional baseado no Ubuntu para o BF2 foi implantada por meio da interface RShim usando o comando bfb-install.
O que descobrimos durante o estágio de implantação:
– A instalação do AlmaLinux 9 ocorreu facilmente via PXE.
– O Debian 12 exigiu ajustes no initramfs.
– A instalação do pacote Nvidia DOCA foi necessária para a funcionalidade adequada do BF2.
– A interface RShim é necessária para a implantação do sistema operacional baseado no Nvidia Ubuntu no BF2 .
– Teste de largura de banda: A largura de banda entre duas DPUs do BF2 foi testada usando o iPerf3, atingindo 100 Gbit/s.
Os hosts DPU BF2 foram implantados na nuvem e configurados para hospedar agentes OpenStack Neutron OVN.
Seguimos a documentação oficial para habilitar o suporte à DPU SmartNIC no OpenStack: Suporte a DPU SmartNIC do OpenStack Neutron.
Rede de máquinas virtuais descarregadas:
Para utilizar a rede de máquinas virtuais descarregadas, o SR-IOV tinha de ser ativado.
Embora o BF2 ofereça suporte a até 127 funções virtuais, a plataforma de hardware do nó incluído não conseguiu inicializar com essa configuração, portanto, o limite foi definido como 63 nas configurações de firmware do BF2.
Durante a criação da máquina virtual, descobriu-se que o OpenStack Nova e o Neutron exigiam patches adicionais para que a rede de locatário descarregada funcionasse corretamente.
O computador Nova filtrou o dispositivo SR-IOV solicitado pelo condutor Nova.
Esse problema foi atenuado ao comentar a linha de filtragem.
O servidor Neutron recusou-se a ligar portas devido a uma incompatibilidade de capacidades, provavelmente um erro.
A linha no ficheiro neutron/common/ovn/utils.py foi alterada para isto:
a isto:
Testes de máquinas virtuais:
Durante os testes de VM, não foi detectada nenhuma carga significativa de CPU no nó principal ou na DPU.
Também testámos as placas BF2 no “modo NIC”, onde a sua funcionalidade se assemelha a uma NIC ConnectX 6.
Uma vantagem de usar o “modo DPU” é que não são necessários drivers OFED nos nós de computação, ao contrário do “modo NIC”.
Portanto, para habilitar a descarga de rede sobreposta, instalamos os drivers OFED mais recentes da Mellanox nos nós principais.
Isso introduziu uma carga administrativa adicional para futuras atualizações, particularmente atualizações do kernel (que exigem a reconstrução de módulos) e atualizações do OFED (que só são suportadas por meio de desinstalação e reinstalação completas).
O teste da máquina virtual do modo BF2 NIC foi semelhante ao teste do modo DPU, exceto por usar o tipo “direto” de portas Neutron. O teste iPerf3 de 8 threads entre máquinas virtuais mostrou aproximadamente 70 Gbps.
Conclusões dos testes de máquinas virtuais:
– O Neutron ML2/OVN usou túneis GENEVE para rede de sobreposição de locatário.
– Uma rede de locatário separada foi criada com duas portas Neutron do tipo gerenciado remotamente.
– Duas máquinas virtuais executando AlmaLinux 9 foram implantadas em nós separados.
– Teste iPerf3 de thread único: ~25 Gbit/sec.
– Teste iPerf3 com 8 threads: ~86 Gbit/sec.
– Foi detectada uma carga insignificante de CPU no nó principal e na DPU.
Resumo
A crescente demanda por conexões de alta largura de banda para lidar com grandes volumes de dados, incluindo operações de IA, requer soluções eficientes para eliminar gargalos.
O FishOS resolve esse desafio descarregando esses gargalos para hardware especializado, como as DPUs Bluefield.
Ao remover o software de rede necessário do nó principal e alavancar tecnologias avançadas como drivers OFED, o FishOS melhora significativamente o desempenho, reduz a latência e libera recursos da CPU para o processamento de aplicativos críticos.
Como resultado, fornece operações de data center eficientes e sem interrupções.