Детектор смены режимов рынка: KL-энтропия и ИИ

Волатильность резко «переключается» — и ваши модели это чувствуют не сразу. Вчера работал тренд, сегодня рынок пилит в боковике, завтра вспыхивает гэп на новостях. Реальность проста: в алгоритмической торговле и управлении портфелем выигрывает не тот, кто лучше предсказывает цену, а тот, кто быстрее распознаёт смену рыночного режима.

18.12.2025 на arXiv вышла работа Matthieu Garcin и Louis Perot про эмпирическую относительную энтропию (её часто связывают с дивергенцией Кульбака–Лейблера, KL) и её распределения — как асимптотические, так и для конечных выборок — с прямым применением к обнаружению точки изменения (change-point detection). Для нашей серии «Искусственный интеллект в науке и исследованиях» это отличный пример того, как строгая статистика делает ИИ в финансах менее «магическим» и более управляемым.

Ниже разберём: почему относительная энтропия полезнее привычных «моментных» тестов, что даёт теория про конечные выборки (а не «когда данных бесконечно много»), и как из этого собрать практичный детектор смены режима для торговых и риск-систем.

Почему смена режима важнее точности прогноза

Смена режима — это структурный сдвиг в распределении данных, а не просто очередной шумовой выброс. В финансах это обычно выглядит так:

• изменился уровень/кластерность волатильности;
• сломались корреляции между активами;
• изменилась асимметрия доходностей (перекос хвостов);
• «перестали работать» признаки, на которых училась модель.

Классическая ошибка в ML для рынков: обучить модель на одном режиме и ожидать стабильной работы на другом. Я много раз видел, как хорошо калиброванная модель по метрикам backtest’а начинает систематически ошибаться после незаметной смены условий — и это не про качество нейросети. Это про то, что входные данные стали другими.

Change-point detection полезен как «сигнализация»: он не обязан объяснить причину, но обязан быстро сказать: «Статистика потока изменилась — пересматривайте риск, пороги, размер позиции, параметры модели».

Относительная энтропия (KL) как инструмент: что она ловит лучше моментов

Ключевая идея статьи: вместо сравнения только средних/дисперсий (моментов) сравнивать целые распределения. Для этого используют относительную энтропию — меру расхождения между двумя распределениями.

Практический смысл KL-дивергенции: если KL большая, то «данные из окна A» плохо объясняются распределением «окна B». Это ровно то, что нужно для поиска смен режима.

Почему моментные методы часто промахиваются

Методы на основе моментов (среднее, дисперсия, автокорреляция) хороши, когда:

• сдвиг действительно в моменте, который вы меряете;
• распределение близко к нормальному;
• хвосты не играют решающей роли.

Финансовые ряды часто не такие. Переход к другому режиму может проявляться в хвостах и форме распределения (например, выросла вероятность экстремальных движений при той же «средней» волатильности). KL-метрика реагирует на изменение формы, а не только на «среднее/дисперсию».

One-sample и two-sample постановки: как это выглядит в продакшене

Авторы рассматривают оба варианта:

• One-sample: сравниваем эмпирические данные с фиксированной базовой моделью/эталоном (например, «нормальный режим», сохранённый после калибровки).
• Two-sample: сравниваем два окна данных между собой (например, последние 250 баров против предыдущих 250).

Для потоковых финансовых данных чаще удобнее two-sample: не нужно «верить» фиксированному эталону, рынок сам задаёт локальную норму.

Главная боль практики: конечные выборки и честные пороги

В идеальном мире можно сказать: «при больших n всё станет нормальным по ЦПТ» и поставить порог «на глаз». В реальном трейдинге и риск-контроле так нельзя:

• окна короткие (иногда 30–200 наблюдений);
• данные зависимы и шумные;
• ложные тревоги стоят денег (лишние ребалансы, резкие сокращения позиций);
• пропуски тоже стоят денег (вы ловите режим слишком поздно).

Работа ценна тем, что не ограничивается асимптотикой. Она даёт несколько уровней приближений для распределения эмпирической относительной энтропии:

• концентрационные неравенства для конечных выборок (гарантии типа «насколько сильно статистика может отклониться»);
• асимптотические распределения (когда n уже достаточно большое);
• оценки Берри–Эссеена в предасимптотическом режиме (когда n ещё «маловато», но уже хочется пользоваться нормальными приближениями).

Самый прикладной вывод для финансов: порог детектора можно выбирать более обоснованно, не только по симуляциям и «кривым» backtest’а. Это снижает риск переобучения на историю и делает систему стабильнее при переносе на новые периоды.

Что дают оценки Берри–Эссеена «по-взрослому»

Оценки Берри–Эссеена — это про скорость сходимости к нормальному распределению. В этой работе предложен подход для получения таких оценок для нелинейных функций статистик сумм при условиях выпуклости.

Если перевести на язык разработки:

• вы используете сложную статистику (KL/энтропийный функционал),
• хотите понимать, когда нормальная аппроксимация уже не врет слишком сильно,
• и насколько «опасно» выставлять порог по асимптотике на окне 50–100 наблюдений.

Это особенно актуально в декабре (и вообще в периоды тонкой ликвидности), когда рыночные свойства легко «плывут», а данных за последние недели объективно мало и они неоднородны.

Как собрать детектор точки изменения для алгоритмической торговли

Ответ первым делом: практичный change-point детектор на KL строится как скользящее сравнение распределений в двух окнах + статистически обоснованный порог + протокол действий после срабатывания.

Ниже — рабочий каркас, который я бы внедрял в системах сигналов/риска.

Шаг 1. Выберите, что именно контролировать

Для инвестиций и трейдинга обычно контролируют не «цену», а производные ряды:

• лог-доходности r_t;
• модуль/квадрат доходности как прокси волатильности;
• спреды, импакт, объёмные признаки (для микроcтруктуры);
• факторные остатки (residuals), чтобы ловить режимы после объяснения факторами.

Шаг 2. Определите окна и тип сравнения

Две популярные схемы:

1. Симметричные окна: сравниваем последние W наблюдений с предыдущими W.
2. Базовое окно + текущее: фиксируем «эталон» (например, последние 3 месяца без стрессов) и сравниваем с текущим окном.

Для intraday чаще берут W=50…300, для дневных рядов W=60…250 — зависит от задачи.

Шаг 3. Оцените эмпирическую относительную энтропию

Вариантов оценки много (параметрические/непараметрические). Практика такова:

• параметрический путь (быстрее, устойчивее): предполагаете семейство распределений (например, t-распределение для доходностей) и сравниваете параметры;
• непараметрический путь (гибче): оцениваете плотность/распределение в каждом окне и считаете KL.

Важно: в продакшене выигрывает метод, который стабилен на малых окнах и не разваливается на хвостах.

Шаг 4. Настройте порог: меньше магии, больше статистики

Порог можно задать тремя слоями:

• теоретический (опираясь на приближения распределения эмпирической KL — как раз про это статья);
• симуляционный (монте-карло на типовых распределениях/зависимостях);
• эмпирический (калибровка на истории с контролем ложных срабатываний).

Моя позиция: если порог не подкреплён хотя бы двумя слоями, система почти наверняка будет «переоптимизирована».

Шаг 5. Протокол действий после срабатывания (самое недооценённое)

Детектор сам по себе деньги не зарабатывает. Он предотвращает ошибки. Нужен протокол:

• снизить плечо/лимиты риска на X% на N дней;
• переключить модель (ensemble по режимам);
• расширить спреды исполнения/ограничить агрессию;
• запустить внеплановую перекалибровку признаков и порогов.

Хорошая сигнализация ценнее плохого «оракула»: смена режима — это момент, когда риск-менеджмент должен говорить громче, чем модель прогнозирования.

Где это встраивается в AI-стек инвестиций

Ответ первым делом: change-point detection на относительной энтропии — это слой мониторинга данных и режимов, который повышает устойчивость ML-моделей и торговых правил.

Типичная архитектура:

1. Data/Feature monitoring: drift, пропуски, задержки, выбросы.
2. Regime monitoring (наш слой): KL/энтропийные сдвиги в распределениях доходностей, волатильности, факторов.
3. Model policy: выбор модели/параметров под режим.
4. Execution & risk: лимиты, проскальзывание, контроль хвостового риска.

Сильный эффект получается, когда детектор влияет не только на «сигналы входа», но и на:

• размер позиции;
• частоту ребаланса;
• допустимую просадку;
• требования к ликвидности.

А ещё это полезно для объяснимости: вместо «модель сломалась» вы говорите бизнесу человеческим языком: «поток данных статистически изменился; мы переключили режим управления риском».

Мини‑FAQ: ответы на вопросы, которые обычно всплывают

Это работает в реальном времени или только офлайн?

В статье акцент на офлайн-постановке, но механика переносится на онлайн через скользящие окна. Для real-time ключевое — вычислительная устойчивость и защита от ложных тревог.

KL не слишком чувствительна к хвостам?

Чувствительна — и это плюс, если вас волнует хвостовой риск. Но в продакшене нужна регуляризация (например, сглаживание плотности или параметрическое семейство), иначе на малых окнах можно получить нестабильность.

Нужна ли нейросеть, чтобы этим пользоваться?

Нет. Это статистический слой, который может улучшить и простые стратегии, и сложные DL-модели. Я бы даже сказал так: чем сложнее модель, тем нужнее независимый детектор режима.

Что делать дальше, если вы строите ИИ для инвестиций

Если ваша цель — стабильные AI‑инвестиции, начните с простого: поставьте change-point мониторинг на распределения доходностей и волатильности в вашем торговом вселенной. Затем привяжите к нему конкретные действия в риске и переобучении.

Мы в серии «Искусственный интеллект в науке и исследованиях» постоянно видим один и тот же паттерн: научная новизна становится бизнес-ценностью только тогда, когда её превращают в проверяемый процесс. Работа Garcin и Perot хороша именно этим — она даёт теоретические опоры, чтобы пороги и доверие к статистике были не «на вкус», а по модели.

Если вы хотите внедрить детектор смены режима под вашу стратегию (акции/фьючерсы/крипто), собрать протокол реакции и связать это с вашим ML‑контуром — оставьте заявку. А какой режим вы бы хотели научиться ловить первым: всплеск волатильности, поломку корреляций или деградацию факторов?