В течение двух лет тесного сотрудничества с одним из ведущих исследовательских центров Германии, Тюбингенским университетом, компания Sardina Systems оказывала существенную поддержку в повышении эффективности и производительности облачной инфраструктуры университета в области машинного обучения.
В этом примере мы рассмотрим, как FishOS, полностью автоматизированная, масштабируемая и экономически эффективная платформа управления облаком от Sardina Systems, помогает небольшой команде специалистов справляться с повседневными задачами, чтобы ученые, работающие с данными, могли сосредоточить свои усилия на проведении революционных исследований в таких областях, как медицина, сельское хозяйство, автономное вождение и других, и на создании преобразующих решений.
Про ML Cloud
Облако ML Cloud в Тюбингенском университете, Центр искусственного интеллекта и Кластер передового опыта в области ML способствуют реализации значимых проектов в области медицинской визуализации, включая изучение рака и мозга, а также компьютерного зрения и анализа движений человека, инициатив по моделированию и прогнозированию климата и даже обучению робота Boston Dynamics сельскохозяйственным задачам. Благодаря участию 48 исследовательских групп, эти проекты расширяют границы и вносят значительный вклад в различные области.
В настоящее время ограниченные ресурсы персонала задействованы в обслуживании кластера, состоящего примерно из 200 ядер и отвечающего за все операции с данными. Давайте рассмотрим, с какими проблемами столкнулись специалисты перед внедрением FishOS, и как платформа помогла им преодолеть эти трудности.
Задачи клиента
Команда университетских ИТ-специалистов сталкивается с особыми проблемами, присущими государственным организациям. Работая в условиях жестких ограничений государственного финансирования, они должны обеспечить бесперебойную работу научной вычислительной системы в нескольких подразделениях , одновременно удовлетворяя разнообразные вычислительные потребности различных исследовательских групп. Стабильность крайне важна для исследователей, стремящихся получить точные результаты, особенно в таких областях, как исследования рака и мозга, где вычислительная мощность незаменима для приложений машинного обучения.
Наше решение
В ответ на эти проблемы университетская команда решила использовать локальную инфраструктуру , чтобы максимально эффективно использовать бюджет и удовлетворить требования к пропускной способности. Они разработали аппаратную архитектуру, отвечающую разнообразным потребностям небольших исследовательских групп, разбросанных по всей Германии. В этой архитектуре сбалансированно сочетаются виртуализация и «голый металл», дополненные распределенным хранилищем Ceph для архивных целей.
Примерно 15-20% узлов системы отведены под балансировщики нагрузки, а остальные узлы предназначены для вычислительной мощности. Гипервизоры оснащены конфигурациями только с CPU, GPU V100 и GPU A100, а около 70% узлов в настоящее время используются как «голый металл». Ресурсы GPU, расположенные как на гипервизорах, так и на «голом» железе, приоритетны для повышения скорости отклика системы. Кроме того, система позволяет выполнять более традиционные задачи, предоставляя классические CPU для таких функций, как управление наборами данных.
FishOS: поддержка стабильной инфраструктуры и оптимизация операций
- Унифицированный интерфейс. С FishOS управление инфраструктурой ML Cloud, распределенной по нескольким областям, через единый интерфейс стало удивительно простым.
- Гибкость. Пожалуй, одним из самых заметных преимуществ ML Cloud является универсальность FishOS — она может работать как на «голых» узлах, так и на GPU. Такая гибкость значительно повышает производительность и упрощает достижение исследовательских целей.
- Приспособляемость. Кристина Капанова, руководитель ML Cloud, хвалит FishOS за ее адаптивность.
«Платформа предлагает широкий спектр услуг, отвечающих конкретным потребностям: будь то управление меньшими или большими рабочими нагрузками, публикация наборов данных или проведение сравнительных тестов. Для меня это также положительный результат, поскольку мы можем легко управлять изменениями через FishOS», — говорит г-жа Капанова.
- Стабильность. Еще одно важное преимущество платформы, которое идеально соответствует требованиям университета, — это стабильность системы в целом.
- Экономия времени. Более того, значительное время, сэкономленное благодаря FishOS для других задач и целей, имеет огромное значение, поскольку все необходимые модификации можно выполнить с помощью нескольких команд. Например, всего за 3-4 простых шага специалисты ML Cloud могут быстро настроить полностью работающую систему для пользователей. Важнейшим аспектом здесь является эффективность и скорость выполнения этой задачи, что позволяет удовлетворить постоянно растущие потребности пользователей, которые всегда стремятся к большему.
«В течение недели я смогла предоставить пользователям сервис, на который у нас, скорее всего, ушел бы месяц. Быстрое предоставление функциональных возможностей пользователям и, как следствие, облегчение моей рабочей нагрузки — бесценны», — подчеркивает г-жа Капанова.
При удовлетворении потребностей пользователей система тикетов ML Cloud служит основным инструментом внутренней коммуникации организации, играя важную роль в оперативном решении возникающих проблем. Ее бесперебойное функционирование — заслуга в том числе и FishOS.
- Управление сетью. Помимо стабильности, приоритетом является управление сетью. Платформа беспрепятственно контролирует всю систему, назначая и управляя IP-адресами, освобождая специалистов от еще одной тяжелой обязанности и позволяя им сосредоточиться на задачах более высокого уровня.
- Никаких сбоев. Кристина Капанова не замечает сбоев в работе платформы. Хотя специалисты ML Cloud время от времени сталкиваются с аппаратными проблемами, после их устранения облачная инфраструктура возобновляет работу в течение пары минут. «Я впервые столкнулась с таким беспроблемным возвращением к работе», — отмечает г-жа Капанова.
- Поддержка. Неоспоримым преимуществом FishOS является невероятно быстрая и надежная поддержка, предоставляемая университету. С самого начала освоения платформы ML Cloud техническая команда Sardina Systems предложила подробное руководство. Это позволило специалистам, даже незнакомым с рутинными операциями, быстро освоить их.
Когда во время L2L Challenge, одного из самых значительных соревнований по машинному обучению для ученых, несколько виртуальных машин внезапно замедлили работу, проблема нехватки оперативной памяти была быстро выявлена и решена в течение нескольких дней. Эффективные и слаженные усилия специалистов Sardina Systems сыграли важную роль в предотвращении подобных инцидентов в будущем. «Учитывая отличную поддержку, функциональность и экономию времени, а также постоянную доступность всех систем, FishOS представляется отличным соотношением цены и качества», — добавляет г-жа Капанова.
Что дальше: Тюбингена держит курс на инновации и рост
Что касается ближайших планов, то в ближайшие несколько лет Центр искусственного интеллекта в ML Cloud должен удвоиться в размерах . Соответственно, ML Cloud расширяет свою инфраструктуру , чтобы удовлетворить растущие потребности в вычислениях. Университет намерен расширить свои возможности за счет внедрения процессоров без GPU для специфических рабочих нагрузок AI и ML в различных областях. Эта инициатива направлена на разработку специализированных решений для снижения энергопотребления при сохранении производительности.
«Я рад, что компания Sardina Systems протестировала FishOS на предмет совместимость с Gaudi2и первые контрольные показатели выглядят многообещающе. Кроме того, я планирую использовать FPGA в этой платформе, чтобы предложить пользователям больше возможностей. Особенно радует возможность развертывания «голого металла» с помощью этих узлов». комментирует г-жа Капанова.
Более того, ML Cloud все активнее использует хранилища Ceph, и Sardina Systems обеспечит поддержку этого, учитывая, что FishOS построена на технологии Ceph.
Шаг к успеху с облаком машинного обучения
FishOS — это революционное решение для академических учреждений. Упрощая рабочие процессы и освобождая исследователей от технических сложностей, она дает возможность таким университетам, как Тюбинген, внедрять инновации, оптимизируя операционную деятельность.
