Durante quase dois anos de estreita colaboração com um dos principais centros de investigação da Alemanha, a Universidade de Tübingen, a Sardina Systems forneceu suporte essencial para melhorar a eficiência e produtividade da infraestrutura de nuvem de machine learning da universidade.
Neste estudo de caso, vamos explorar como o FishOS, a plataforma de gestão de nuvem totalmente automatizada, escalável e económica da Sardina Systems, ajuda uma pequena equipa de especialistas a gerir as suas tarefas diárias, permitindo que os cientistas de dados concentrem os seus esforços na realização de investigações inovadoras em áreas como medicina, agricultura, condução autónoma e outras, e na entrega de soluções transformadoras.
Conhecendo a Nuvem de ML
A Nuvem de ML na Universidade de Tübingen, que inclui o Centro de IA e o Cluster de Excelência de ML, impulsiona projetos impactantes em imagiologia médica, incluindo estudos sobre cancro e cérebro, bem como visão computacional e análise de movimento humano, iniciativas de simulação e previsão climática, e até mesmo o treino de um robô da Boston Dynamics para tarefas agrícolas. Com a participação de 48 grupos de investigação, estes projetos estão a ultrapassar fronteiras e a fazer contribuições significativas em várias áreas.
Atualmente, recursos humanos limitados estão envolvidos na manutenção de um cluster composto por cerca de 200 núcleos, responsável por todas as operações de dados. Vamos explorar os desafios que os especialistas enfrentaram antes de implementar o FishOS, e como a plataforma os ajudou a superar essas dificuldades.
Abraçando o Desafio
A equipa de TI da universidade enfrenta desafios distintos inerentes às organizações públicas. Operando dentro de restrições rigorosas de financiamento governamental, devem garantir a operação contínua de um sistema de computação científica em várias unidades enquanto também atendem às diversas necessidades de computação de vários grupos de investigação. A estabilidade é crucial para os investigadores que procuram resultados precisos, especialmente em áreas como a investigação sobre cancro e cérebro, onde o poder de computação é indispensável para aplicações de machine learning.
Navegando pelos Obstáculos
Em resposta a esses desafios, a equipa da universidade optou por aproveitar a infraestrutura local para maximizar a eficiência do orçamento e cumprir os requisitos de capacidade. Desenvolveram uma arquitetura de hardware adaptada para atender às diversas necessidades de pequenos grupos de investigação dispersos por toda a Alemanha. Esta arquitetura combina virtualização e metal nu de forma equilibrada, complementada por uma instalação de armazenamento Ceph distribuído para fins de arquivo.
Aproximadamente 15-20% dos nós do sistema são alocados para balanceadores de carga, com os nós restantes dedicados ao poder de computação. Os hipervisores estão equipados com configurações de apenas CPU, GPU V100 e GPU A100, com aproximadamente 70% dos nós atualmente utilizados através de metal nu. Os recursos de GPU, localizados tanto em hipervisores quanto em metal nu, são priorizados para melhorar a capacidade de resposta do sistema. Além disso, o sistema acomoda tarefas mais convencionais, fornecendo CPUs clássicas para funções como gestão de conjuntos de dados.
FishOS: Suportando Infraestrutura Estável e Simplificando Operações
- Interface Unificada. Com o FishOS, a gestão da infraestrutura da Nuvem de ML, espalhada por várias áreas, através de uma interface unificada tornou-se notavelmente simplificada.
- Flexibilidade. Talvez uma das vantagens mais notáveis da Nuvem de ML seja a versatilidade do FishOS – pode funcionar tanto em nós de metal nu quanto em GPUs. Esta flexibilidade aumenta significativamente o desempenho e facilita a concretização dos objetivos de investigação de forma perfeita.
- Adaptabilidade. Kristina Kapanova, Chefe da Nuvem de ML, elogia o FishOS pela sua adaptabilidade.
“Oferece uma ampla gama de opções de serviço adaptadas a necessidades específicas: seja para gerir cargas de trabalho menores ou maiores, publicar conjuntos de dados ou realizar benchmarks. Para mim, também é um resultado positivo, pois podemos gerir facilmente as mudanças através do FishOS.”, diz a Sra. Kapanova.
- Estabilidade. Outra vantagem crucial da plataforma que se alinha perfeitamente com os requisitos da universidade é a estabilidade geral do sistema.
- Economia de Tempo. Além disso, o tempo considerável poupado pelo FishOS para outras tarefas e propósitos é de extrema importância, pois todas as modificações necessárias podem ser executadas com alguns comandos. Por exemplo, em apenas 3-4 passos simples, os especialistas do ML Cloud podem rapidamente configurar um sistema totalmente funcional para os utilizadores. O aspecto crucial aqui reside na eficácia e rapidez com que esta tarefa é realizada, atendendo às crescentes exigências dos utilizadores que estão sempre à procura de mais.
“Consegui entregar um serviço aos utilizadores em uma semana que provavelmente nos teria levado um mês. A rápida disponibilização da funcionalidade para os utilizadores e a consequente facilidade na minha carga de trabalho são inestimáveis,” destaca a Sra. Kapanova.
Ao abordar as necessidades dos utilizadores, o sistema de tickets do ML Cloud serve como a principal ferramenta de comunicação interna da organização, desempenhando um papel vital na resolução rápida de quaisquer problemas emergentes. O seu funcionamento suave é também creditado ao FishOS.
- Gestão de Rede. Além da estabilidade, a gestão de rede é uma prioridade. A plataforma supervisiona todo o sistema de forma integrada, atribuindo e gerindo endereços IP, aliviando os especialistas de outra responsabilidade pesada e permitindo-lhes focar em tarefas de nível superior.
- Sem Interrupções. Kristina Kapanova observa que não há interrupções no uso da plataforma. Embora os especialistas do ML Cloud possam ocasionalmente encontrar problemas de hardware, uma vez resolvidos, a infraestrutura de cloud volta a funcionar em poucos minutos. “Foi a primeira vez que experimentei um retorno ao serviço tão suave,” observa a Sra. Kapanova.
- Suporte. Uma vantagem inegável do FishOS é o seu suporte incrivelmente rápido e fiável fornecido à universidade. Desde o início da adoção da plataforma pelo ML Cloud, a equipa técnica da Sardina Systems ofereceu orientações detalhadas. Isto permitiu que os especialistas, mesmo aqueles não familiarizados com operações rotineiras, rapidamente as dominassem.
Quando várias máquinas virtuais experimentaram uma desaceleração súbita durante o L2L Challenge, uma das competições de aprendizagem automática mais significativas para cientistas, o problema de insuficiência de RAM foi rapidamente identificado e resolvido em poucos dias. Os esforços eficazes e bem coordenados dos especialistas da Sardina Systems foram fundamentais para prevenir incidentes semelhantes no futuro. “Considerando o seu excelente suporte, funcionalidade e benefícios de economia de tempo, bem como a disponibilidade contínua de todos os sistemas, o FishOS parece oferecer uma excelente relação qualidade-preço,” acrescenta a Sra. Kapanova.
O Que Vem a Seguir: O Curso de Inovação e Crescimento de Tübingen
Em termos de planos futuros, o Centro de IA dentro do ML Cloud está definido para dobrar de tamanho nos próximos anos. Consequentemente, o ML Cloud está a expandir a sua infraestrutura para atender às crescentes demandas de computação . A universidade pretende ampliar as suas capacidades incorporando processadores não-GPU para cargas de trabalho específicas de IA e ML em diferentes áreas. Esta iniciativa visa desenvolver soluções personalizadas para reduzir o consumo de energia enquanto mantém o desempenho.
“Estou encantada que a Sardina Systems tenha testado o FishOS para compatibilidade com Gaudi2, e os benchmarks iniciais parecem promissores. Além disso, planeio usar FPGAs com a plataforma para oferecer mais opções aos utilizadores. A oportunidade de implementações bare-metal com estes nós é particularmente gratificante,” comenta a Sra. Kapanova.
Além disso, o ML Cloud está a aumentar a sua utilização do armazenamento Ceph, e a Sardina Systems fornecerá suporte para isso, dado que o FishOS é construído com base na tecnologia Ceph.
O Próximo Passo para o Sucesso do Machine Learning Cloud
O FishOS destaca-se como um divisor de águas para instituições académicas. Simplificando fluxos de trabalho e libertando os investigadores das complexidades técnicas, capacita universidades como Tübingen a inovar sem problemas enquanto otimiza as atividades operacionais.
