Большие финданные в Python: 7 приёмов без падений

В инвестиционной аналитике «узкое место» почти всегда одно и то же: данные. Не модель. Не “альфа”. А банальное — у вас есть тики, стакан, сделки, корпоративные события, отчётность, альтернативные источники, и всё это вдруг перестаёт помещаться в RAM. Результат знакомый: pandas.read_csv() — и ноутбук начинает задумчиво гудеть, а потом либо зависает, либо падает.

Для серии «Искусственный интеллект в науке и исследованиях» это особенно болезненно: ИИ в финансах опирается на массивы наблюдений. Если вы не умеете аккуратно читать, фильтровать и хранить большие финансовые датасеты, вы либо будете ждать часы, либо упрётесь в память, либо (что хуже) начнёте упрощать задачу так, что качество выводов просядет.

Ниже — семь практичных приёмов работы с большими наборами данных в Python, которые реально помогают в задачах AI-инвестиций: от первичной разведки до подготовки фичей для моделей, от расчёта факторов до бэктестов.

1) Читайте данные чанками: быстро посчитать и не утонуть в памяти

Ответ по сути: если файл не влезает в память, не грузите его целиком — читайте порциями и агрегируйте “на лету”.

Для финансовых задач это идеально подходит, когда вы считаете:

• дневные/минутные агрегаты (OHLCV),
• суммарные обороты,
• количество сделок,
• базовые статистики по инструменту или периоду,
• простые фильтры (например, оставить только один рынок/тикер).

Пример: суммарный оборот по сделкам (или выручка/оборот — логика одна):

import pandas as pd

chunk_size = 200_000
turnover = 0.0

for chunk in pd.read_csv("trades.csv", chunksize=chunk_size):
    turnover += (chunk["price"] * chunk["qty"]).sum()

print(f"Оборот: {turnover:,.2f}")

Почему это важно для ИИ в инвестициях: многие пайплайны разваливаются ещё до обучения модели — на стадии подготовки данных. Чанки позволяют считать признаки (например, волатильность, объёмы, дисбаланс) без покупки сервера “на всякий случай”.

Практический совет

Если вы считаете несколько метрик, делайте это за один проход по файлу. Один проход по диску почти всегда дешевле, чем несколько.

2) Загружайте только нужные колонки: «широкие» таблицы — скрытый убийца RAM

Ответ по сути: уменьшите ширину данных, пока они ещё на диске.

В инвестиционных данных часто встречаются «комбайны»: десятки колонок, половина из которых не нужна в текущем расчёте. Например, для простого фактора вам нужны только timestamp, ticker, close, volume. Всё остальное — балласт.

import pandas as pd

use_cols = ["timestamp", "ticker", "close", "volume"]
df = pd.read_csv("bars_1min.csv", usecols=use_cols)

Эффект: если у файла 40–60 столбцов, выбор 4–6 колонок часто экономит память в разы. Это прямой способ ускорить и EDA, и построение датасета для модели.

3) Оптимизируйте типы данных: вы платите за int64, даже если вам нужен int8

Ответ по сути: по умолчанию Pandas часто берёт “самые тяжёлые” типы; замените их на минимально достаточные.

В финданных это встречается постоянно:

• рейтинги, флаги, небольшие коды событий → int8/int16
• идентификаторы → int32
• цены/фичи, где не нужна сверхточность → float32

import pandas as pd

df = pd.read_csv("features.csv")

# пример типичной оптимизации
if "side" in df.columns:
    df["side"] = df["side"].astype("int8")

for col in ["volume", "trades_count"]:
    if col in df.columns:
        df[col] = df[col].astype("int32")

for col in ["return_1m", "volatility_30m"]:
    if col in df.columns:
        df[col] = df[col].astype("float32")

Про точность в финансах — честно

Для модели важнее стабильность пайплайна и повторяемость, чем “идеальная” точность float64 в каждом столбце. Но цены и денежные суммы для отчётности лучше держать в фиксированной точности (например, в копейках как int64) — это уже про бухучёт и отчётность, а не про ML-фичи.

4) Категориальные типы: тикеры, рынки и сектора должны быть category

Ответ по сути: строки с повторяющимися значениями храните как категории.

Финансовые датасеты обожают повторяемые текстовые поля:

• ticker (10–5000 уникальных значений, но повторяются миллионы раз),
• exchange, sector, industry,
• тип события.

import pandas as pd

df = pd.read_csv("bars.csv", usecols=["timestamp", "ticker", "close"])

before = df["ticker"].memory_usage(deep=True)
df["ticker"] = df["ticker"].astype("category")
after = df["ticker"].memory_usage(deep=True)

print(f"ticker: {before/1024**2:.2f} MB → {after/1024**2:.2f} MB")

Почему это особенно полезно для AI-инвестиций: многие модели требуют “чистых” ключей для джойнов и группировок (например, расчёт фичей по тикеру). category одновременно экономит память и ускоряет часть операций.

5) Фильтруйте при чтении: не тащите в память то, что вы всё равно выбросите

Ответ по сути: объедините чтение чанками и фильтрацию по условию.

Классическая ситуация: вы делаете исследование по 2024 году или по определённому рынку, но CSV содержит 10 лет истории. Зачем загружать всё?

import pandas as pd

chunk_size = 200_000
parts = []

for chunk in pd.read_csv("transactions.csv", chunksize=chunk_size):
    filtered = chunk[(chunk["year"] == 2024) & (chunk["market"] == "MOEX")]
    if len(filtered):
        parts.append(filtered)

df_2024 = pd.concat(parts, ignore_index=True)
print("Строк:", len(df_2024))

Как это «приземляется» на инвестзадачи

• Бэктест стратегии на одном режиме рынка (например, 2020 vs 2024).
• Исследование влияния корпоративных событий только по акциям определённого сектора.
• Подготовка обучающего окна (rolling window) без лишней истории.

6) Dask, когда Pandas уже не тянет: параллельность без переписывания логики

Ответ по сути: Dask даёт почти “пандасный” стиль, но распределяет работу по чанкам и ядрам.

Когда датасет становится действительно большим (десятки гигабайт) и даже аккуратные чанки начинают усложнять код, Dask — простой следующий шаг.

import dask.dataframe as dd

df = dd.read_csv("huge_bars.csv")

# выглядит как pandas, но выполняется лениво
mean_spread = df["spread"].mean().compute()
print(mean_spread)

Зачем это в контексте ИИ: обучение моделей, расчёт сложных признаков и бэктесты часто упираются в CPU/IO. Dask позволяет быстрее получить датасет для экспериментов, а значит — быстрее пройти цикл “гипотеза → тест → вывод”.

Важный нюанс

Dask — не «магия». Если вы делаете огромное количество “маленьких” операций, можно проиграть на накладных расходах. Лучше всего он проявляет себя в больших однотипных вычислениях и агрегациях.

7) Сэмплирование для исследований: не жгите часы на разведку

Ответ по сути: для EDA и отладки пайплайна берите небольшой срез или случайную выборку.

В декабре (и вообще под конец года) аналитики часто пересобирают пайплайны: год закрывается, появляются новые источники, меняются правила очистки. В этот момент особенно легко «убить день» на прогон полного датасета — и только потом понять, что вы перепутали часовой пояс.

Для быстрой проверки:

import pandas as pd

# быстрый старт: первые N строк
sample_head = pd.read_csv("ticks.csv", nrows=50_000)

Для более честной выборки по всему файлу — случайное прореживание строк:

import pandas as pd
import random

skip = lambda i: i > 0 and random.random() > 0.01  # оставить ~1%
df_sample = pd.read_csv("ticks.csv", skiprows=skip)
print(len(df_sample))

Почему это реально ускоряет AI-проекты: вы быстрее ловите ошибки в фичах, джойнах, календарях торгов и “дырах” в данных. А именно эти ошибки чаще всего потом превращаются в ложную доходность на бэктесте.

Как выбрать приём под задачу: короткая матрица решений

Ответ по сути: в 80% случаев достаточно комбинации «нужные колонки + чанки + типы + категории».

• Нужно посчитать суммы/средние/счётчики по огромному CSV → чанки.
• Файл широкий, а вам нужен небольшой набор признаков → usecols.
• Данные влезают, но всё тормозит и RAM забивается под завязку → оптимизация типов.
• Много повторяющихся строк (тикеры/сектора/рынки) → category.
• Нужен только период/рынок/тикер → фильтр при чтении.
• Сотни миллионов строк, хочется параллельности → Dask.
• Отлаживаете пайплайн/смотрите “что внутри” → сэмпл.

Сильная позиция, которую я отстаиваю в командах: скорость подготовки данных важнее “идеальности” первой версии модели. Пока пайплайн нестабилен, любые разговоры про тонкую настройку алгоритма — преждевременны.

Частые вопросы (и короткие ответы)

Почему read_csv так часто падает именно на финансовых данных?

Потому что финансовые датасеты одновременно длинные (много строк: тики/минутки) и широкие (много фичей/метаданных). Плюс много строковых идентификаторов. Всё это в object-колонках быстро съедает память.

Когда уже стоит переходить на более эффективные форматы, а не мучить CSV?

Если вы регулярно читаете одни и те же данные для исследований/обучения, CSV становится дорогим: медленный парсинг, большие размеры, слабая поддержка типов. На практике следующий шаг — хранить датасеты в колоночных форматах (например, Parquet) и читать только нужные колонки и диапазоны. Это особенно заметно в задачах подготовки фичей.

Эти приёмы подходят только для начинающих?

Нет. Это базовая гигиена. В quant/AI-командах эти шаги — обязательная часть пайплайна, просто автоматизированная.

Что сделать дальше, если вы строите AI-проекты для инвестиций

Если ваша цель — ИИ для инвестиционного анализа (факторы, прогнозирование волатильности, риск-модели, сигналинг, аллокация), начните с малого: соберите один воспроизводимый пайплайн, который не падает и который можно прогнать сегодня и через месяц с тем же результатом.

Дальше логичный маршрут такой:

1. Перевести сырьё в более удобное хранение (колоночные форматы),
2. Нормализовать ключи (тикер, время, торговый календарь),
3. Стабилизировать генерацию признаков (чанки/параллельность),
4. И только потом агрессивно масштабировать обучение.

Если бы вы могли ускорить подготовку данных в 3 раза уже на этой неделе — какой эксперимент с моделью вы бы наконец-то довели до конца?