Гайд по switchback‑экспериментам: окна, кластеризация ошибок и мощность

Switchback‑эксперименты (или «скользящие окна») стали популярным инструментом для оценки изменений, затрагивающих ограниченные ресурсы (например, серверные мощности или рекламные бюджеты). В отличие от классических A/B‑тестов, они чередуют условия в течение фиксированных интервалов, позволяя сравнивать влияние изменения на один и тот же ресурс.

Однако стандартный аналитический подход — простое сравнение средних метрик по каждому окну — часто приводит к ложным выводам. Алгоритм может «выиграть» в тесте, но после запуска не показать ожидаемого эффекта, потому что игнорирует общий ресурс и скрытую корреляцию между окнами.

В статье от OTUS подробно разбираются три ключевых аспекта, которые решают эту проблему:

1. Длина окна – подбор оптимального периода, учитывающего сезонность и автокорреляцию данных. Авторы предлагают использовать автокорреляционную функцию (ACF) и критерий Байеса для выбора окна, минимизируя шум.
2. Кластеризация ошибок – ошибки часто группируются во времени (например, из‑за сбоя сервера). Применение методов кластерного анализа (DBSCAN, hierarchical clustering) позволяет корректировать оценки и избежать переоценки эффекта.
3. Мощность теста – традиционные формулы мощности не учитывают перекрывающиеся окна. В статье предложена модификация, учитывающая корреляцию между соседними окнами, что дает более реалистичную оценку требуемого объёма данных.

Кроме того, авторы представляют «новый алгоритм», который одновременно учитывает пользовательскую часть и общий ресурс, обеспечивая более надёжные выводы. Пример из практики показывает, как применение рекомендаций позволило сократить ошибочные откаты на 30 % и повысить точность предсказаний эффекта до 85 %.

Для практикующих аналитиков и инженеров важен не только теоретический материал, но и готовый набор скриптов на Python, которые можно сразу интегрировать в пайплайн CI/CD. Ссылка на репозиторий с кодом включена в конец статьи.