⬇️ Почему MissForest ломается в задачах предсказания

Алгоритм MissForest отлично восстанавливает пропущенные данные, но в предиктивных моделях он даёт сбой — и дело не в коде, а в логике.

⚠️ Проблема: MissForest не сохраняет обученные модели после импутации. Из-за этого тестовые данные влияют на обучение, что приводит к утечке данных (data leakage) и искажённым метрикам.

Две типичные ошибки:
1️⃣ Объединять train и test перед импутацией — утечка данных
2️⃣ Импутировать отдельно — падает точность

Решение — MissForestPredict:
➡️ Он сохраняет обученные модели для каждой переменной
➡️ Можно обучить на train и честно применить к test — без утечки и переобучения.

🐸 Библиотека дата-сайентиста

#буст

🐳 Docker за 2 минуты для Data Scientists

Даже если вы используете Docker каждый день, мало кто понимает, что происходит «под капотом».

Вот главное, что нужно знать:

1️⃣ Docker Client
— Вы вводите команды (docker run, docker build)
— Клиент общается с Docker Daemon через API

2️⃣ Docker Host
— Здесь работает Daemon
— Он строит образы, запускает контейнеры и управляет ресурсами

3️⃣ Docker Registry
— Хранит Docker-образы
— Docker Hub — публичный, компании часто используют приватные registry

⚡️ Что происходит, когда вы запускаете docker run:
1. Docker проверяет локальный кэш, если образа нет — скачивает из registry
2. Создаёт контейнер из образа
3. Выделяет read-write файловую систему для контейнера
4. Настраивает сетевой интерфейс
5. Запускает контейнер

Зачем это важно для DS:
✔️ Контейнеризация упрощает воспроизводимость экспериментов
✔️ Легче отлаживать ML-пайплайны и Jupyter-окружения
✔️ Docker позволяет масштабировать проекты и запускать модели на разных машинах

😉 Теперь вы знаете, где «смотреть», если что-то ломается в контейнере.

🐸 Библиотека дата-сайентиста

#буст

🎥 Paper2Video — автоматическая генерация видео из научных статей

Paper2Video — это инструмент, который превращает научные статьи в видео автоматически.

Он анализирует текст, таблицы и изображения из PDF и создаёт короткий ролик, объясняющий содержание статьи.

🌍 Доступен на английском и китайском.

📱 Github

🐸 Библиотека дата-сайентиста

#буст