Узнайте, как преобразовать Вашу облачную инфраструктуру для рабочих нагрузок искусственного интеллекта: от экономии средств до экономии ресурсов.
Это копия статьи, которая была опубликована на сайте Spiceworks. Щелкните здесь, чтобы прочитать оригинальную версию.
Кеннет Тан (Kenneth Tan), исполнительный директор и руководитель отдела многоязычных технологий компании Sardina Systems, рассказывает о растущей необходимости для компаний умело интегрировать ИИ в свою деятельность, предлагая стратегические идеи по созданию надежной инфраструктуры ИИ для раскрытия его полного потенциала для инноваций и эффективности бизнеса.
В последние годы стремительное развитие искусственного интеллекта (ИИ) произвело революцию в мире бизнеса, создав спрос на возможности ИИ, которые зачастую превосходят существующие организационные стратегии. Это заставило компании искать эффективные способы интеграции ИИ в свою деятельность.
Как и с чего следует начинать создание инфраструктуры ИИ, ориентируясь на долгосрочную стратегию максимального использования потенциала ИИ?
Компании все чаще автоматизируют отделы с помощью ИИ и интегрируют новые функции ИИ в свои приложения. Несмотря на рост внедрения ИИ, о чем свидетельствует исследование McKinsey, показавшее значительный рост с 2017 года, применение инструментов ИИ все еще в значительной степени зависит от личного использования и оптимизации ежедневной рутины.
В то же время ИИ быстро развивается на уровне предприятий. Наши клиенты, включая тех, кто предлагает ИИ как услугу, и тех, кто внедряет ИИ в свои продукты, иллюстрируют потребность рынка в легко интегрируемых инструментах ИИ и разработке инновационных услуг, таких как предоставление исследователям доступа к вычислительным ресурсам.
Эта статья адресована как поставщикам услуг, так и разработчикам продуктов и подчеркивает важность хорошо спланированной, масштабируемой ИТ-инфраструктуры, чтобы избежать ненужных расходов и устаревания из-за быстро развивающихся технологий. Начало пути к интеграции инфраструктуры ИИ требует понимания текущих возможностей и стратегического планирования будущих потребностей. Мы описываем пять основных шагов, которые помогут Вам эффективно управлять этим процессом.
1. Оценка текущей инфраструктуры
Стратегический подход к облачным технологиям и ИТ-инфраструктуре в целом крайне необходим.
Изменения, особенно в основной ИТ-инфраструктуре, требуют всесторонней оценки бизнес-модели и предполагаемых рабочих нагрузок, возможно, на годы вперед, что подчеркивает исключительную важность тщательного планирования в эпоху ИИ.
Начальный шаг в этой трансформации включает в себя проведение глубокой оценки текущей ИТ-инфраструктуры, выявление сильных и слабых сторон, а также пробелов в отношении требований ИИ.
Эта оценка должна охватывать аппаратное обеспечение (например, серверы, системы хранения данных, сети), программное обеспечение (например, базы данных, платформы приложений) и существующие методы управления данными.
Понимание текущего состояния ИТ-инфраструктуры необходимо для планирования необходимых обновлений или изменений для внедрения ИИ.
Несколько концепций и концепций традиционно помогают организациям в оценке их ИТ-инфраструктуры.
Использование таких методологий может предложить структурированные подходы к оценке эффективности, результативности, безопасности и соответствия ИТ-систем бизнес-целям:
- Среди классических методологий особенно актуальна ITIL (Information Technology Infrastructure Library), поскольку интеграция ИИ должна быть тесно увязана с бизнес-стратегией. Разработанная правительством Великобритании и регулярно обновляемая, ITIL предлагает подробную схему управления ИТ-услугами для приведения ИТ-услуг в соответствие с потребностями бизнеса, охватывая от разработки до совершенствования услуг. Она поощряет гибкий подход к управлению ИТ, а ITIL 4 обеспечивает значительные улучшения. Интеграция управления с технологиями очень важна; при простом техническом подходе можно упустить более широкие последствия, особенно при интеграции ИИ.
- Еще один актуальный стандарт — COBIT, разработанный Ассоциацией по аудиту и контролю информационных систем, который представляет собой комплексную основу для управления и руководства ИТ на предприятии, обеспечивая согласование с бизнес-целями, управление рисками и оптимизацию производительности. Использование COBIT гарантирует, что модернизация ИТ повысит эффективность и будет соответствовать лучшим практикам автоматизации и управления.
2. Вычислительная мощность и высокопроизводительные процессоры
ИИ, и глубокое обучение в частности, требует процессоров со значительными вычислительными возможностями, таких как блоки графической обработки (GPU), блоки тензорной обработки (TPU) или полевые программируемые вентильные матрицы (FPGA).
Рынок аппаратного обеспечения находится в состоянии постоянного развития, и во всем мире появляются новые процессоры и ускорители, предназначенные для ИИ.
Одной из таких недавних новинок является процессор Gaudi3.
Хотя поспешное внедрение новых продуктов может быть преждевременным, несомненно, очень важно внимательно следить за рынком, быть в курсе новых решений и тщательно изучать этот сектор.
Ключевые вопросы, которые следует рассмотреть, включают в себя то, как качественно отличаются эти новые предложения, какое программное обеспечение способно поддерживать такую инфраструктуру, и могут ли новые решения решить текущие проблемы, с которыми сталкивается Ваша система.
Графические процессоры — самый популярный выбор на сегодняшний день благодаря их широкой коммерческой доступности и высокой производительности.
При выборе GPU для инфраструктуры ИИ важно учитывать специфические требования Вашей рабочей нагрузки.
Это включает в себя определение того, на чем будет сфокусировано обучение или вывод, оценку размера и сложности Ваших моделей, учет бюджетных ограничений и оценку экосистемы программного обеспечения.
Графические процессоры NVIDIA, особенно A100, H100 или H200, пользуются большим спросом в индустрии благодаря своей производительности, всесторонней программной поддержке и специализированным функциям ускорения ИИ.
Тем не менее, AMD и Intel становятся все более жизнеспособными альтернативами, особенно в тех случаях, когда их уникальные возможности или экономическая эффективность дают очевидные преимущества.
Еще одним важным моментом является возможность масштабирования ресурсов в соответствии с требованиями рабочей нагрузки.
Такая масштабируемость необходима для управления затратами и поддержания эффективности на различных этапах разработки и внедрения моделей ИИ.
Чтобы проиллюстрировать критическую роль масштабируемости в операциях с ИИ, рассмотрим регулярный сезонный спрос, с которым сталкиваются крупнейшие платформы электронной коммерции.
Компания Amazon использует ИИ для оптимизации различных аспектов своей деятельности, включая управление запасами, персонализированные рекомендации и логистику.
В периоды пиковых покупок, таких как Черная пятница или Киберпонедельник, спрос на системы Amazon резко возрастает.
Чтобы справиться с этим, Amazon использует платформы облачных вычислений, которые позволяют динамически масштабировать ресурсы.
Такая масштабируемость очень важна для обработки возросшего трафика и управления расходами.
Масштабируя ресурсы только тогда, когда это необходимо, и сокращая их при снижении спроса, Amazon может эффективно управлять расходами, не жертвуя производительностью.
Такой подход гарантирует, что инфраструктура не будет недогружена в непиковое время и перегружена в периоды высокого спроса, поддерживая оптимальный баланс, который способствует постоянному внедрению инноваций, основанных на искусственном интеллекте, и удовлетворению потребностей клиентов.
3. Хранение и управление большими объемами
Системы искусственного интеллекта требуют возможности хранения и управления значительными объемами данных.
Это требует быстрых и масштабируемых решений для хранения данных, таких как объектные хранилища для неструктурированных данных и высокопроизводительные базы данных для структурированных данных.
Быстрый и надежный доступ к этим данным крайне важен для эффективного обучения моделей ИИ.
Для достижения этой цели может потребоваться использование передового кэширования данных, развертывание сетей с высокой пропускной способностью и внедрение эффективных систем поиска данных.
Ceph, как решение для хранения данных, является примером гибкости и эффективности при работе с большими объемами данных.
Оно обеспечивает совместимость с существующими приложениями и облегчает интеграцию с облачными платформами, что делает его экономически эффективным решением.
Более того, Ceph значительно сокращает расходы, связанные с хранением корпоративных данных, и помогает организациям управлять экспоненциальным ростом данных. Работая на серверном оборудовании, Ceph позволяет снизить капитальные затраты (CapEx) и операционные расходы (OpEx) благодаря возможностям самоуправления и самовосстановления.
Альтернативным способом эффективного хранения больших объемов данных и высокой емкости является использование NVMe over Fabrics (NVMe-oF). Это не продукт какого-то одного производителя, а скорее стандарт, который различные компании могут использовать для создания своих продуктов и решений.
NVMe over Fabrics (NVMe-oF) может существенно помочь в создании мощных и экономически эффективных систем хранения данных, особенно там, где требуется высокая производительность и масштабируемость. NVMe-oF использует такие преимущества твердотельных накопителей NVMe, как низкая задержка и высокая скорость передачи данных по сетевым соединениям. Это позволяет удаленным системам получать доступ к данным почти так же быстро, как если бы устройства хранения были подключены локально через PCIe, что идеально подходит для таких востребованных приложений, как базы данных, большие вычислительные нагрузки и обработка больших данных в режиме реального времени.
Еще одним преимуществом является легкое масштабирование систем хранения данных путем добавления в сеть большего количества NVMe-устройств без потери производительности, что позволяет организациям удовлетворять растущие потребности в хранении данных без полной перестройки инфраструктуры.
Хотя устройства NVMe могут быть дороже традиционных SSD или HDD с интерфейсом SATA, использование NVMe-oF позволяет создавать более эффективные и быстрые системы хранения данных.
Экономия достигается за счет более высокой производительности на одно устройство, что позволяет сократить общее количество необходимых устройств и снизить затраты на обслуживание и электроэнергию.
4. Поставщики программного обеспечения и облачных платформ
Выбор правильной облачной платформы или поставщика — критически важное решение для инфраструктуры ИИ. Хотя большинство облачных платформ способны поддерживать рабочие нагрузки ИИ, главным соображением должна быть совместимость с процессором, выбранным для Вашей системы. Однако для того, чтобы инфраструктура была действительно эффективной, одного этого недостаточно.
Опыт команды, занимающейся инфраструктурой ИИ, крайне важен для достижения оптимальной производительности.
Несмотря на широкое распространение облачной виртуализации, она не всегда может быть лучшей для систем ИИ.
Гибридная модель облака, виртуализации и «голого металла», как показано в одном из примеров, может эффективно удовлетворить потребности глубокого обучения, сочетая распределение вычислительных мощностей с высокопроизводительным доступом к «голому металлу».
Таким образом, поставщикам очень важно точно понимать цели системы, чтобы подобрать наиболее эффективное решение на основе облачных технологий.
Одна из финансовых организаций, JPMorgan Chase, столкнулась с проблемой обработки огромных объемов данных для финансового анализа и управления рисками в режиме реального времени.
Осознав ограничения традиционной облачной виртуализации для своих специфических рабочих нагрузок, связанных с искусственным интеллектом, JPMorgan Chase выбрал гибридную облачную инфраструктуру, сочетающую облачные, виртуализационные и «пустые» решения.
Эта гибридная модель позволяет JPMorgan Chase использовать гибкость облака и виртуализации для масштабируемости и экономичности, а также задействовать мощность «пустых» серверов для решения ресурсоемких задач ИИ.
Голые серверы обеспечивают прямой доступ к аппаратным ресурсам, минуя накладные расходы, связанные с виртуализацией, что очень важно для удовлетворения высоких требований к производительности алгоритмов глубокого обучения, используемых в финансовом моделировании и оценке рисков.
Инфраструктура должна быть достаточно гибкой, чтобы адаптироваться к меняющимся требованиям ИИ, позволяя внедрять новые технологии, корректировать или расширять ресурсы с минимальными перебоями.
Многие облачные провайдеры предлагают услуги ИИ и машинного обучения, которые могут быть интегрированы в инфраструктуру ИИ, обеспечивая доступ к мощным инструментам для разработки, обучения и развертывания моделей.
Такие технологии, как OpenStack для виртуализации и Kubernetes для контейнеризации, играют важную роль в управлении приложениями ИИ.
Они упрощают развертывание, масштабирование и эксплуатацию рабочих нагрузок ИИ в различных средах, повышая гибкость инфраструктуры и ее способность реагировать на меняющиеся потребности.
5. Энергоэффективность и потребление
Внедрение ИИ в ИТ-инфраструктуру расширяет возможности обработки данных и выполнения алгоритмов, но при этом возникают проблемы с энергопотреблением, особенно для моделей глубокого обучения, которым требуется значительная вычислительная мощность. Энергетическая составляющая является наиболее сложным аспектом, поскольку традиционная стратегия повышения энергоэффективности предполагает перераспределение нагрузки и отключение неиспользуемых мощностей.
Однако в контексте искусственного интеллекта отключение машин может быть особенно сложным и может лишь незначительно повысить энергоэффективность.
Таким образом, рекомендуется сосредоточиться на балансировке производительности, выявлении и управлении компонентами инфраструктуры, которые потребляют больше всего энергии.
В инфраструктуре ИИ это, как правило, графические процессоры, ПЛИС и другие аппаратные компоненты, требующие постоянного охлаждения или отвода тепла.
Если оптимизация энергопотребления напрямую оказывается затруднительной, значительной экономии все же можно добиться за счет повышения эффективности систем охлаждения.
Например, центры обработки данных в Исландии, такие как Borealis или atNorth, иллюстрируют эффективный подход к управлению энергопотреблением.
Используя прохладный климат Исландии и обилие возобновляемых источников энергии, эти дата-центры применяют естественное охлаждение и геотермальную энергию, значительно снижая потребность в искусственном охлаждении и, следовательно, уменьшая общее энергопотребление инфраструктур искусственного интеллекта.
Однако работа в Исландии также сопряжена с определенными трудностями, в частности, с задержками и подключением к сети из-за ее удаленного расположения.
Поэтому следует тщательно выбирать типы рабочих нагрузок и время выполнения проектов в этих центрах обработки данных.
Рабочие нагрузки, которые менее чувствительны к задержкам, или те, которые могут быть запланированы в непиковые часы, могут оптимизировать как энергопотребление, так и производительность сети, максимально используя уникальные условия Исландии и одновременно уменьшая потенциальные недостатки.
Этот стратегический подход подчеркивает важность продуманного планирования инфраструктуры для достижения максимальной производительности и энергоэффективности в операциях ИИ.
Еще одним способом повышения энергоэффективности являются энергосберегающие графические и цифровые процессоры, а также оптимизация алгоритмов ИИ с помощью обрезки моделей и квантования, которые являются ключевыми для снижения энергопотребления при сохранении производительности. Технологические достижения в области полупроводников и ускорителей ИИ также помогают снизить энергопотребление.
Кроме того, внедрение «зеленых» технологий для центров обработки данных, использование виртуализации и облачных вычислений, а также динамическое масштабирование и управление ресурсами на основе искусственного интеллекта повышают энергоэффективность операций искусственного интеллекта за счет адаптации использования ресурсов к потребностям. Это обеспечивает эффективное использование энергии в ИТ-инфраструктуре без ущерба для производительности.
В заключение хочу сказать, что для организаций, стремящихся использовать инновации и получить конкурентное преимущество, преобразование ИТ-инфраструктуры для обеспечения готовности к ИИ является крайне важным. Приоритетное увеличение объема данных, инвестиции в специализированное оборудование, интеграция надежных облачных решений, обеспечение безопасности сетей и подготовка квалифицированной команды — это фундаментальные шаги, которые закладывают основу для эффективного внедрения ИИ и будущего технологического прогресса. Эти усилия обеспечат успешное внедрение ИИ и гибкость, необходимую для адаптации к новым достижениям и возможностям ИИ.
Если Вам нужна квалифицированная помощь в преобразовании Вашей облачной инфраструктуры, нажмите здесь, чтобы запланировать бесплатную консультацию с нашей командой. Мы всегда готовы помочь компаниям извлечь максимум пользы из их облачной инфраструктуры.