Au cours de près de deux ans de collaboration étroite avec l’un des principaux centres de recherche d’Allemagne, l’Université de Tübingen, Sardina Systems a fourni un soutien essentiel pour améliorer l’efficacité et la productivité de l’infrastructure cloud de machine learning de l’université.
Dans cette étude de cas, nous examinerons comment FishOS, la plateforme de gestion cloud entièrement automatisée, évolutive et rentable de Sardina Systems, aide une petite équipe d’experts à gérer leurs tâches quotidiennes afin que les data scientists puissent concentrer leurs efforts sur la réalisation de recherches révolutionnaires dans des domaines tels que la médecine, l’agriculture, la conduite autonome et d’autres domaines, et fournir des solutions transformatrices.
Rencontre avec le Cloud ML
Le Cloud ML à l’Université de Tübingen, comprenant le Centre d’IA et le Cluster d’Excellence en ML, conduit des projets impactants en imagerie médicale, y compris l’étude du cancer et du cerveau, ainsi que la vision par ordinateur et l’analyse des mouvements humains, des initiatives de simulation et de prévision climatique, et même la formation d’un robot Boston Dynamics pour des tâches agricoles. Avec la participation de 48 groupes de recherche, ces projets repoussent les limites et apportent des contributions significatives dans divers domaines.
Actuellement, des ressources humaines limitées sont impliquées dans la maintenance d’un cluster composé d’environ 200 cœurs, responsable de toutes les opérations de données. Explorons les défis auxquels les spécialistes étaient confrontés avant la mise en œuvre de FishOS, et comment la plateforme les a aidés à surmonter ces difficultés.
Relever le défi
L’équipe informatique de l’université rencontre des défis distinctifs inhérents aux organisations publiques. Opérant dans le cadre de contraintes de financement gouvernementales strictes, ils doivent assurer le fonctionnement sans faille d’un système informatique scientifique à travers plusieurs unités tout en répondant également aux divers besoins informatiques de différents groupes de recherche. La stabilité est cruciale pour les chercheurs cherchant des résultats précis, en particulier dans des domaines tels que la recherche sur le cancer et le cerveau où la puissance de calcul est indispensable pour les applications de machine learning.
Naviguer à travers les obstacles
En réponse à ces défis, l’équipe universitaire a choisi de tirer parti de l’infrastructure sur site pour maximiser l’efficacité budgétaire et répondre aux exigences de capacité. Ils ont développé une architecture matérielle adaptée pour répondre aux divers besoins de petits groupes de recherche dispersés à travers l’Allemagne. Cette architecture combine virtualisation et métal nu de manière équilibrée, complétée par une installation de stockage Ceph distribuée à des fins d’archivage.
Environ 15-20% des nœuds du système sont alloués aux équilibreurs de charge, les nœuds restants étant dédiés à la puissance de calcul. Les hyperviseurs sont équipés de configurations CPU-only, GPU V100 et GPU A100, avec environ 70% des nœuds actuellement utilisés en métal nu. Les ressources GPU, situées à la fois sur les hyperviseurs et en métal nu, sont prioritaires pour améliorer la réactivité du système. De plus, le système prend en charge des tâches plus conventionnelles en fournissant des CPU classiques pour des fonctions telles que la gestion des ensembles de données.
FishOS : Soutenir une infrastructure stable et rationaliser les opérations
- Interface unifiée. Avec FishOS, la gestion de l’infrastructure du Cloud ML, répartie sur plusieurs zones, à travers une interface unifiée est devenue remarquablement simplifiée.
- Flexibilité. Peut-être l’un des avantages les plus notables du Cloud ML est la polyvalence de FishOS – il peut fonctionner à la fois sur des nœuds en métal nu et des GPU. Cette flexibilité améliore considérablement les performances et facilite sans heurt la réalisation des objectifs de recherche.
- Adaptabilité. Kristina Kapanova, responsable du Cloud ML, loue FishOS pour son adaptabilité.
“Il offre une large gamme d’options de service adaptées aux besoins spécifiques : qu’il s’agisse de gérer des charges de travail plus petites ou plus importantes, de publier des ensembles de données ou de réaliser des benchmarks. Pour moi, c’est aussi un résultat positif, car nous pouvons facilement gérer les changements via FishOS.”, déclare Mme Kapanova.
- Stabilité. Un autre avantage crucial de la plateforme qui s’aligne parfaitement avec les exigences de l’université est la stabilité globale du système.
- Gain de temps. De plus, le temps considérable économisé par FishOS pour d’autres tâches et objectifs est d’une importance capitale, car toutes les modifications nécessaires peuvent être exécutées avec quelques commandes. Par exemple, en seulement 3-4 étapes simples, les experts du ML Cloud peuvent rapidement configurer un système entièrement opérationnel pour les utilisateurs. L’aspect crucial ici réside dans l’efficacité et la rapidité avec lesquelles cette tâche est accomplie, répondant aux demandes croissantes des utilisateurs qui en demandent toujours plus.
« J’ai pu fournir un service aux utilisateurs en une semaine, ce qui nous aurait probablement pris un mois. La fourniture rapide de la fonctionnalité utilisateur et la facilité de ma charge de travail qui en résulte sont inestimables, » souligne Mme Kapanova.
Lorsqu’il s’agit de répondre aux besoins des utilisateurs, le système de billetterie du ML Cloud sert de principal outil de communication interne de l’organisation, jouant un rôle vital dans la résolution rapide de tout problème émergent. Son bon fonctionnement est également attribué à FishOS.
- Gestion du Réseau. En plus de la stabilité, la gestion du réseau est une priorité. La plateforme supervise sans heurts l’ensemble du système en attribuant et en gérant les adresses IP, soulageant ainsi les experts d’une autre lourde responsabilité et leur permettant de se concentrer sur des tâches de plus haut niveau.
- Aucune Interruption. Kristina Kapanova ne constate aucune interruption dans l’utilisation de la plateforme. Bien que les spécialistes du ML Cloud puissent parfois rencontrer des problèmes matériels, une fois résolus, l’infrastructure cloud est de nouveau opérationnelle en quelques minutes. « C’était la première fois que je vivais un retour au service aussi fluide, » note Mme Kapanova.
- Support. Un avantage indéniable de FishOS est son support incroyablement rapide et fiable fourni à l’université. Dès le début de l’adoption de la plateforme par le ML Cloud, l’équipe technique de Sardina Systems a offert des conseils détaillés. Cela a permis aux spécialistes, même ceux qui n’étaient pas familiers avec les opérations de routine, de les maîtriser rapidement.
Lorsque plusieurs machines virtuelles ont connu un ralentissement soudain lors du L2L Challenge, l’une des compétitions de machine learning les plus importantes pour les scientifiques, le problème d’insuffisance de RAM a été rapidement identifié et résolu en quelques jours. Les efforts efficaces et bien coordonnés des experts de Sardina Systems ont été déterminants pour prévenir des incidents similaires à l’avenir. « Compte tenu de son excellent support, de sa fonctionnalité et de ses avantages en termes de gain de temps, ainsi que de la disponibilité continue de tous les systèmes, FishOS semble offrir un excellent rapport qualité-prix, » ajoute Mme Kapanova.
Quoi de Neuf : Le Cours de Tübingen pour l’Innovation et la Croissance
En termes de plans futurs, le Centre d’IA au sein du ML Cloud est sur le point de doubler de taille dans les prochaines années. Par conséquent, le ML Cloud étend son infrastructure pour répondre aux demandes croissantes en calcul. L’université vise à élargir ses capacités en incorporant des processeurs non-GPU pour des charges de travail spécifiques en IA et ML dans différents domaines. Cette initiative vise à développer des solutions personnalisées pour réduire la consommation d’énergie tout en maintenant les performances.
« Je suis ravi que Sardina Systems ait testé FishOS pour la compatibilité avec Gaudi2, et les premiers benchmarks semblent prometteurs. De plus, je prévois d’utiliser des FPGA avec la plateforme pour offrir aux utilisateurs plus d’options. La possibilité de déploiements bare-metal avec ces nœuds est particulièrement gratifiante, » commente Mme Kapanova.
En outre, le ML Cloud augmente son utilisation du stockage Ceph, et Sardina Systems fournira un support pour cela, étant donné que FishOS est construit sur la technologie Ceph.
La Prochaine Étape pour le Succès du Cloud de Machine Learning
FishOS se présente comme un changeur de jeu pour les institutions académiques. Simplifiant les flux de travail et libérant les chercheurs des complexités techniques, il permet aux universités comme Tübingen d’innover sans effort tout en optimisant les activités opérationnelles.
