Как построить локальную среду для ML‑задач с Apache Spark

Что рассказывает статья

В статье «Инфраструктура для изучения основ машинного обучения на локальном компьютере с помощью Apache Spark» (Habr ML, 12 мая 2026) автор предлагает полностью локальное решение для практики ML‑проектов. В качестве примера берётся задача: из набора файлов разных типов определить, какой тип вызывает повышенную загрузку процессора.

Ключевые шаги

1. Установка Spark – загрузка официального дистрибутива, настройка SPARK_HOME и запуск pyspark в режиме local[]*.
2. Подготовка данных – чтение файлов через spark.read.format('binaryFile'), извлечение метаданных (размер, расширение) и расчёт простых статистик CPU‑нагрузки.
3. Фичеризация – построение векторных признаков с помощью VectorAssembler и StandardScaler.
4. Модель – обучение классификатора (RandomForest, 100 деревьев) на 80 % данных, проверка на оставшихся 20 %.
5. Оценка – метрики accuracy, precision, recall; визуализация важности признаков через mlflow.
6. Подготовка к продакшну – упаковка приложения в Docker‑контейнер, описание Dockerfile и docker‑compose.yml для лёгкого развертывания в кластере.

Что полезно

• Всё работает на обычном ноутбуке с 8 ГБ ОЗУ и 4‑ядерным процессором.
• Статья содержит готовый репозиторий на GitHub https://github.com/habrml/spark-ml-local.
• Приведены примеры мониторинга ресурсов через spark.ui и cAdvisor.

Почему это важно

Эта публикация демонстрирует, что даже без облачных сервисов можно освоить Spark‑ML, отладить модель и сразу подготовить её к масштабированию. Подобный подход снижает барьер входа для студентов и небольших команд, позволяя сосредоточиться на алгоритмах, а не на инфраструктуре.