Детокс данных для ИИ в инвестициях: 4 практики

В реальных инвестиционных данных «красивых CSV» не бывает. Есть сделки, которые задвоились после миграции, цены с перепутанными разрядами, тикеры, которые внезапно стали строками с пробелами, и пропуски, появляющиеся строго в момент, когда вы показываете модель руководителю. В лабораторных задачах всё выглядит чинно: метки есть, формат единый, распределения стабильные. В продакшене — шум, дырки и «тихие ошибки», которые не падают красным исключением, а просто делают прогноз хуже.

Для ИИ в финансовых инвестициях это не эстетическая проблема, а прямой риск денег. Ошибка в обработке NaN может «нарисовать» альфу там, где её нет. Непойманный выброс по объёму — заставить модель поверить в ликвидность, которой рынок не подтверждает. А несогласованный тип даты — развернуть временную ось и испортить backtest.

В серии «Искусственный интеллект в науке и исследованиях» мы часто говорим о моделях, архитектурах и метриках. Но практика показывает: качество решений ИИ чаще ломается на данных, а не на алгоритмах. Ниже — четыре рабочие практики «детокса данных» на основе реалистичного кейса из мира предиктивной аналитики (прогноз интереса к объектам недвижимости), переложенные на задачи инвестиционного анализа: прогноз доходности, риск-модели, сигнал-скоринг и портфельная оптимизация.

Почему «грязные данные» — главный риск AI-инвестора

Ключевой тезис: в инвестиционных системах ошибка данных почти всегда маскируется под «рыночную волатильность», поэтому её сложнее обнаружить и дороже исправлять.

В проекте с недвижимостью, который часто используют как отборочное испытание для дата-сайентистов, данные выглядят прилично… до первого глубокого просмотра. Там встречались:

• крупная доля пропусков в критичном поле (38% отсутствующих ссылок на фото);
• «сломанный JSON» со случайными обратными слешами;
• экстремальные значения (условные «800 лет дому»);
• типы данных, которые надо приводить к схеме ещё на загрузке.

В инвестициях аналоги те же:

• пропуски: нет котировок в праздничные дни, не пришёл отчёт эмитента, отсутствует bid/ask по неликвидной бумаге;
• выбросы: спайки из‑за корпоративных событий, ошибки провайдера, неверные множители (цена в копейках вместо рублей);
• дубликаты и несогласованность: повтор сделок, разные форматы тикеров (SBER, SBERP, SBER@MOEX), разные часовые пояса;
• тихая смена схемы: поле «объём» было int, стало строкой с разделителями тысяч.

Если вы строите ML/AI‑модель для инвестиций, «детокс данных» — это не этап «перед моделью». Это часть самой модели: без него качество не масштабируется.

Практика №1. Пропуски: не удаляйте строки на автомате

Ответ прямо: пропуски нужно обрабатывать как бизнес-решение, а не как техническую неприятность.

В упомянутом проекте 11 022 значений из 28 888 (то есть 38%) отсутствовали в поле с URL фотографий. Простое удаление строк уничтожило бы большой кусок полезных наблюдений. Вместо этого пропуск интерпретировали как «0 фото» и продолжили работу.

В инвестициях логика похожая: если у вас нет какого-то признака, сначала выясняйте почему.

Как принимать решение по NaN в финансовых данных

1. Пропуск = сигнал.

   • Нет объёма по инструменту? Это может означать нулевую ликвидность (важный риск), а не «ошибку».
   • Нет прогноза аналитиков? Иногда это признак малого покрытия и повышенной неопределённости.

2. Удаление строк — крайняя мера. Удалять наблюдения можно, когда:

   • пропусков мало и они близки к случайным;
   • вы уверены, что удаление не смещает выборку (например, не выбрасывает именно кризисные дни).

3. Импутация должна быть осмысленной.

   • Для временных рядов часто лучше не «среднее по столбцу», а forward fill / интерполяция — и то не всегда.
   • Для категорий — мода или отдельный класс unknown, если сам факт неизвестности важен.

Практическое правило: если пропуск связан с режимом рынка (праздники, торги остановлены, отчётность задержана), фиксируйте это отдельным флагом, иначе модель начнёт «догадываться» неправильно.

Практика №2. Выбросы: подозрительно — значит проверяем

Ответ прямо: выброс — не обязательно ошибка, но всегда повод остановиться и разобраться.

В кейсе по недвижимости встречались абсурдные значения (условно: 21 ванная, площадь десятки тысяч квадратных футов). Решение: на числовых признаках применили фильтрацию по IQR (межквартильный размах), и датасет сократился с 17 386 до 15 170 строк — то есть удалили 12,7% наблюдений ради адекватности распределений.

Для финансов это очень знакомая дилемма: «чистим выброс — теряем редкие, но реальные события».

Что делать с выбросами в инвестиционных признаках

• Разделяйте “ошибка данных” и “экстремальный рынок”. Сплит/дивиденд/конвертация — это реальные скачки, их нельзя «вырезать» как мусор.

• Используйте робастные подходы, прежде чем резать строки:

  • winsorization/кэппинг (обрезка хвостов);
  • лог-преобразования для объёмов/капитализаций;
  • робастные модели и метрики (Huber loss, MAE, квантильная регрессия).

• Таргет (цель) лучше “кэппить”, чем удалять. В источнике целевую переменную (число взаимодействий) не удаляли при больших значениях, а ограничивали сверху (например, все значения выше 10 приводили к 10), чтобы экстремумы не «перетягивали» обучение.

В инвестиционном прогнозе доходности похожий подход — ограничивать сверхэкстремальные доходности в обучении или моделировать их отдельным режимом (regime switching), иначе модель начнёт охотиться за редкими хвостами и проиграет на обычном рынке.

Практика №3. Дубликаты и несогласованность: это то, что ломает пайплайн тихо

Ответ прямо: удалить дубликаты легко, а вот стандартизировать формат — работа детектива.

В проекте самая болезненная часть была в поле, где ожидался валидный JSON, но данные пришли «покорёженные»: лишние экранирования, неправильные кавычки, хвостовые символы. Пришлось делать серию строковых замен, чтобы потом распарсить и извлечь признак (количество фото).

В финансах несогласованность — ежедневная реальность:

• даты в разных форматах и часовых поясах;
• тикеры с суффиксами площадок;
• числа как строки (особенно после экспорта из Excel/BI);
• разные источники дают разные определения «объёма» (шт vs деньги).

Мини-чеклист стандартизации для финансовых датасетов

• Привести временную зону к единой (часто UTC) и явно хранить её.
• Нормализовать идентификаторы: ticker, FIGI/ISIN, код площадки.
• Явно задать десятичный разделитель и формат тысяч.
• Сверять справочники (эмитент/сектор/валюта) по мастер-данным.

Я не доверяю «совпадению по названию инструмента». Для моделей, которые принимают решения, идентификатор должен быть однозначным и проверяемым.

Практика №4. Валидация типов и схемы: проверяем на входе, а не в конце

Ответ прямо: валидация схемы должна происходить при загрузке и на каждом обновлении данных.

В источнике даты приводили к корректному типу сразу при чтении данных (с параметрами парсинга дат). Это критично, потому что дальше считались разницы дат — и строковые даты просто сломали бы расчёт.

В инвестициях это ещё важнее: порядок времени — основа всего.

Что именно проверять в инвестиционном ML-пайплайне

• Схема (schema): ожидаемые столбцы, типы, допустимые значения.
• Диапазоны: цена > 0, спред не отрицательный, объём не отрицательный.
• Монотонность времени: нет «прыжков назад» внутри одного инструмента.
• Полнота по календарю: понятный механизм для неторговых дней.

И ещё одна вещь, которую недооценивают: дрейф данных. Даже если схема не менялась, распределения меняются — особенно в 2025 году, когда рынки регулярно переключаются между режимами «низкой» и «высокой» волатильности. Хороший пайплайн не просто чистит данные, а умеет замечать, что «сегодня данные не похожи на вчерашние», и сигнализировать об этом.

Документация чистки — это часть научного метода

Ответ прямо: если вы не можете объяснить, почему применили трансформацию, вы не сможете защитить результаты backtest и повторить их через месяц.

В исходном материале акцент сильный и правильный: через 3–6 месяцев вы забудете, почему ограничили таргет или какой именно фильтр выбросов применили. В команде кто-то «аккуратно» удалит пару строк — и пайплайн перестанет сходиться.

Для AI-инвестиций документация — это ещё и вопрос комплаенса:

• чем вы обосновываете исключение наблюдений?
• не подгоняете ли вы данные под результат?
• воспроизводим ли эксперимент на другой выборке?

Минимальный набор, который действительно работает:

• журнал решений по чистке (что, почему, когда);
• версионирование датасетов и признаков;
• сохранение промежуточных наборов (до/после ключевых шагов);
• автоматические отчёты качества данных (пропуски, дубликаты, диапазоны, дрейф).

Частые вопросы: что спрашивают про «детокс данных» в инвестициях

Нужно ли чистить данные, если модель — нейросеть?

Да. Нейросеть терпимее к шуму, но не к систематическим ошибкам: перепутанная валюта, неверная дата, дубли сделок — это не «шум», это ложная реальность.

Что опаснее: удалить выбросы или оставить?

Опаснее — сделать это без классификации причины. Удаление может выбросить кризисные дни, а оставление — закрепить ошибку провайдера как «рыночный факт». Правильный путь: сначала верификация, затем робастная обработка.

Как быстро понять, что данные “сломались”?

Сделайте три автоматические метрики качества: доля пропусков, доля новых категорий/тикеров, статистики распределений (квантили) по ключевым признакам. Если что-то резко изменилось — пайплайн должен сигналить.

Что делать дальше, если вы строите ИИ для инвестиций

Если вы хотите, чтобы AI‑модель в инвестициях приносила пользу, а не красивые графики, начните с дисциплины данных:

1. Опишите схему и правила валидации (до обучения).
2. Разделите пропуски на «нет данных» и «нулевое значение».
3. Введите робастную обработку выбросов и отдельно обработайте корпоративные события.
4. Стандартизируйте форматы и идентификаторы, особенно время и тикеры.
5. Документируйте каждое преобразование так, как будто завтра его будет читать аудит.

Я часто вижу, как команды вкладываются в «умнее модель», но экономят время на пайплайне качества данных. В инвестициях это почти всегда перевёрнутая приоритизация.

Если вы планируете внедрять ИИ в инвестиционные процессы (сигналы, риск, аллокации) и хотите сократить путь через типовые ошибки данных, можно начать с простого: аудит качества ваших источников и правил чистки. Именно там обычно лежит самая быстрая прибавка к точности — и к доверию.

А дальше уже интереснее: когда данные становятся стабильными, появляются честные backtest, воспроизводимые эксперименты и пространство для научных улучшений — то, ради чего серия «Искусственный интеллект в науке и исследованиях» вообще существует. Какой “грязный” участок данных в вашем инвестиционном пайплайне вы бы проверили первым?