Варианты вычислительных ресурсов Azure Machine Learning: экземпляры, кластеры и serverless
By Mirko Peters ·
Сравнение экземпляров вычислений, кластеров и serverless-вариантов Azure Machine Learning, которое поможет оптимизировать расходы в облаке и производительность рабочих процессов.
Automatically translated with AI from the original post. Read the English original

Выбор правильной аппаратной конфигурации имеет решающее значение при создании прогностических моделей в облаке. В этом руководстве рассматриваются варианты вычислительных ресурсов Azure Machine Learning — а именно экземпляры вычислений, кластеры и serverless-среды, — чтобы помочь вам сбалансировать производительность проекта, продуктивность команды и расходы на облако.
Главное
- Экземпляры вычислений служат персональными облачными рабочими станциями для интерактивного написания и тестирования кода.
- Кластеры вычислений автоматически масштабируются при поступлении задач обучения и возвращаются к нулю узлов, чтобы экономить деньги.
- Serverless-вычисления позволяют запускать рабочие нагрузки без управления лежащими в основе виртуальными машинами и инфраструктурой.
- Выбор типа вычислений напрямую влияет на стоимость облака и эффективность управления ресурсами.
Понимание вычислительных ресурсов в Azure Machine Learning
Когда вы запускаете инициативу в области машинного обучения, вашим алгоритмам нужна мощность для обработки данных и поиска закономерностей. В облаке Microsoft вычисления — это физическая вычислительная мощность (процессоры CPU и GPU), которая арендуется посекундно для выполнения миллионов математических расчетов. Умение выделять и управлять этой мощностью определяет, будет ли проект организован эффективно или приведет к неожиданно высокому счету за облако в конце месяца.
Платформа отделяет интерфейс управления от тяжелой работы. Рабочая область организует код, наборы данных и историю экспериментов, а уровень вычислений выполняет основную тяжелую работу. Поскольку проекты машинного обучения варьируются от легковесного исследовательского анализа данных до масштабных сеансов глубокого обучения, Azure предлагает отдельные категории вычислений, подходящие для разных этапов жизненного цикла проекта.
Экземпляры вычислений: ваша облачная рабочая станция
Экземпляр вычислений представляет собой одну виртуальную машину в облаке, закрепленную за отдельным пользователем. Представьте его как личный рабочий стол, где вы пишете код, тестируете скрипты и анализируете наборы данных прямо в блокноте, работающем в браузере.
Когда использовать экземпляры вычислений
Экземпляры вычислений идеально подходят для ранних, исследовательских этапов проекта. Вместо того чтобы исчерпывать память вашего локального ноутбука большими датафреймами, вы запускаете облачную машину с именно нужными характеристиками CPU или GPU. Вы можете подключить хранилище, выполнять интерактивный код на Python и визуализировать преобразования данных в реальном времени.
Управление расходами на экземпляры
Основная ловушка для новичков — оставить экземпляр вычислений включенным на ночь. Поскольку Azure списывает плату посекундно за активное оборудование, простаивающая машина незаметно расходует бюджет. Чтобы этого избежать, администраторам стоит настроить автоматическое завершение работы при простое. Когда вы отходите от клавиатуры, рабочая станция переходит в спящий режим, приостанавливая начисление платы за вычисления до вашего возвращения.
Кластеры вычислений: тяжелая рабочая команда
Если экземпляр создан для одного человека, который пишет код, то кластер вычислений предназначен для выполнения задач. Кластер вычислений — это управляемая группа виртуальных машин, которая может динамически масштабироваться в зависимости от нагрузки.
Поведение динамического масштабирования
Когда вы отправляете обучающее задание, кластер автоматически выделяет необходимые узлы, распределяет вычисления между несколькими машинами параллельно и быстро выполняет ваш код. После завершения задания кластер автоматически уменьшается обратно. Если установить минимальное количество узлов равным нулю, вы не платите за кластер, когда активных обучающих заданий нет.
Совместная работа и общие ресурсы
Кластеры особенно полезны в командной работе, когда нескольким специалистам по данным и разработчикам нужен доступ к мощному оборудованию и при этом они не мешают друг другу. Вместо покупки дорогостоящего физического оборудования для каждого разработчика команда может использовать один масштабируемый вычислительный кластер Azure, которым централизованно управляют через рабочую область.
Бессерверные вычисления: управляемая инфраструктура
Бессерверные вычисления делают абстракцию облака еще на шаг дальше. С бессерверными вариантами вы отправляете задание, например эксперимент автоматизированного машинного обучения или пакетный вывод, и никогда не работаете с виртуальной машиной напрямую.
Платформа в фоновом режиме выделяет необходимые ресурсы, выполняет задачу и сразу же их удаляет. Такой подход полностью избавляет пользователя от управления инфраструктурой. Вы сосредотачиваетесь исключительно на постановке бизнес-вопроса и подготовке качественных данных, а облачная среда берет на себя всю техническую основу.
Оптимизация затрат для разных типов вычислений
Чтобы эффективно использовать инфраструктуру машинного обучения Azure, нужно подбирать ресурс под конкретную задачу. Использовать дорогой экземпляр вычислений с GPU только для написания простых скриптов на Python значит напрасно тратить бюджет. И наоборот, попытка обучить масштабную нейронную сеть на слабом оборудовании приводит к неприятным узким местам.
Если вы только начинаете знакомиться с платформой, обязательно используйте стартовые кредиты. Сочетайте их с строгими привычками управления: настройте автоматическое отключение простаивающих рабочих станций и установите минимальное количество узлов кластера равным нулю. Если относиться к облачным вычислениям как к арендованному оборудованию, а не к постоянному элементу инфраструктуры, ваши расходы останутся предсказуемыми.
Заключение
Выбор подходящего типа вычислений, будь то интерактивный экземпляр, масштабируемый кластер или полностью абстрагированная бессерверная среда, помогает вашим проектам машинного обучения оставаться производительными и экономически эффективными. Чтобы подробнее разобрать базовые концепции рабочих областей, наборов данных и развертывания моделей, послушайте полный эпизод подкаста M365 FM, где вы найдете экспертные комментарии и практические стратегии.
Часто задаваемые вопросы
В чем главное различие между экземпляром вычислений Azure ML и кластером?
Экземпляр вычислений — это одна выделенная виртуальная машина, предназначенная для интерактивной разработки и тестирования. Кластер вычислений — это масштабируемая группа из нескольких виртуальных машин, которая автоматически расширяется для выполнения тяжелых параллельных обучающих заданий и уменьшается обратно, когда простаивает.
Как работают бессерверные вычисления в Azure Machine Learning?
Бессерверные вычисления позволяют отправлять задания машинного обучения непосредственно на платформу без выделения, настройки или управления базовыми виртуальными машинами. Инфраструктурой полностью управляет Azure в фоновом режиме.
Как избежать непредвиденных расходов из-за простаивающих экземпляров вычислений Azure ML?
Чтобы не получить неожиданный счет, настройте автоматическое отключение простаивающих экземпляров вычислений, чтобы они выключались сами, когда вы отходите от них, и установите минимальное количество узлов обучающих кластеров равным нулю.
Нужно ли платить за лицензии на программное обеспечение Azure Machine Learning?
Нет. Сама платформа Azure Machine Learning не взимает плату за лицензирование программного обеспечения. Вы платите только за базовые аппаратные ресурсы, хранилище и вспомогательные облачные службы, которые реально использует ваш проект.