ML на данных Мосбиржи: сбор стакана, сделок и фьючерсов с помощью Claude Sonnet 5 и Gemini 3.7 Flash
Автор делится опытом построения пайплайна для исторических данных Московской биржи, используя новейшие языковые модели для генерации кода и анализа результатов.
В статье, опубликованной на Habr ML, автор рассказывает о своём проекте, посвящённом машинному обучению на данных Московской биржи (MOEX). За последние несколько месяцев он собрал полные исторические наборы: стакан (order book), сделки и фьючерсы, а затем применил их в задачах предсказания цены и оценки ликвидности.
Для автоматизации большинства этапов – от парсинга API до подготовки датасетов – использовались новейшие языковые модели Claude Sonnet 5 и Gemini 3.7 Flash. Модели помогали генерировать скрипты на Python, писать SQL‑запросы к архивам, а также формировать промпты для анализа полученных метрик. Автор отмечает, что благодаря «промпт‑инжинирингу» удалось сократить время разработки кода вдвое и быстро отлаживать ETL‑процессы.
Собранные данные включают более 10 млн записей стакана с микросекундной точностью, 5 млн сделок и 2 млн записей по фьючерсам за период с 2015 по 2025 год. После очистки и агрегации автор построил несколько моделей: градиентный бустинг, LSTM‑сети и трансформер‑базированный предиктор. На тестовой выборке модели достигли MAE ≈ 0.12 % и R² ≈ 0.78, что позволяет использовать их в прототипах автоматических торговых стратегий.
Особый интерес представляет использование Gemini 3.7 Flash не только для генерации кода, но и для интерпретации результатов: модель автоматически формировала отчёты, визуализировала важность признаков и предлагала гипотезы для дальнейших экспериментов. Автор подчёркивает, что такой «двойной» подход к LLM – как к разработчику и аналитическому помощнику – открывает новые возможности в финансовом ML.
Полный набор скриптов и датасетов опубликован в открытом репозитории GitHub, что делает проект доступным для исследователей и практиков, желающих воспроизвести или расширить эксперимент.
Для AI‑разработчиков в сфере финансов такой подход демонстрирует, как LLM могут ускорять не только кодинг, но и аналитическую часть проекта. Открытый код упрощает репликацию и ускоряет экспериментирование, однако стоит помнить о необходимости валидации моделей на реальных рыночных данных, чтобы избежать переобучения и скрытых рисков.
