📉 Распределение Коши — самое «упрямое» в статистике

У него настолько тяжёлые хвосты, что среднее и дисперсия не определены вовсе.

😅 Да-да, никакого среднего значения у него нет — математика просто отказывается сходиться.

Почему это интересно:
— В машинном обучении его используют для моделирования шума и выбросов — там, где обычная гауссовская модель ломается.
— В реальной жизни встречается в физике (резонансные явления) и финансах — когда нужно описать экстремальные события.

🔛 Распределение Коши — напоминание, что не всё поддаётся усреднению. Иногда хаос — это и есть закон.

🐸 Библиотека дата-сайентиста

#буст

🍊 Orange Data Mining — визуальная аналитика без кода

Orange — это интерактивный инструмент для анализа и визуализации данных, который одинаково удобен и для новичков, и для экспертов.
Главная идея — демократизировать data science: никаких формул, кода и сложных алгоритмов — всё работает через наглядные блок-схемы (workflow).

Что можно делать:
— Загружать и исследовать данные
— Визуализировать зависимости
— Применять машинное обучение
— Строить интерактивные отчёты

🧩 Orange отлично подходит для обучения, быстрой проверки гипотез и прототипирования ML-моделей.

Установка (несколько способов)

Через Conda (рекомендуется):

conda config --add channels conda-forge
conda config --set channel_priority strict
conda create python=3.12 --yes --name orange3
conda activate orange3
conda install orange3

Через pip:

pip install orange3

После установки:

orange-canvas

или

python3 -m Orange.canvas

📱 GitHub

🐸 Библиотека дата-сайентиста

#буст

⬇️ Почему MissForest ломается в задачах предсказания

Алгоритм MissForest отлично восстанавливает пропущенные данные, но в предиктивных моделях он даёт сбой — и дело не в коде, а в логике.

⚠️ Проблема: MissForest не сохраняет обученные модели после импутации. Из-за этого тестовые данные влияют на обучение, что приводит к утечке данных (data leakage) и искажённым метрикам.

Две типичные ошибки:
1️⃣ Объединять train и test перед импутацией — утечка данных
2️⃣ Импутировать отдельно — падает точность

Решение — MissForestPredict:
➡️ Он сохраняет обученные модели для каждой переменной
➡️ Можно обучить на train и честно применить к test — без утечки и переобучения.

🐸 Библиотека дата-сайентиста

#буст

🐳 Docker за 2 минуты для Data Scientists

Даже если вы используете Docker каждый день, мало кто понимает, что происходит «под капотом».

Вот главное, что нужно знать:

1️⃣ Docker Client
— Вы вводите команды (docker run, docker build)
— Клиент общается с Docker Daemon через API

2️⃣ Docker Host
— Здесь работает Daemon
— Он строит образы, запускает контейнеры и управляет ресурсами

3️⃣ Docker Registry
— Хранит Docker-образы
— Docker Hub — публичный, компании часто используют приватные registry

⚡️ Что происходит, когда вы запускаете docker run:
1. Docker проверяет локальный кэш, если образа нет — скачивает из registry
2. Создаёт контейнер из образа
3. Выделяет read-write файловую систему для контейнера
4. Настраивает сетевой интерфейс
5. Запускает контейнер

Зачем это важно для DS:
✔️ Контейнеризация упрощает воспроизводимость экспериментов
✔️ Легче отлаживать ML-пайплайны и Jupyter-окружения
✔️ Docker позволяет масштабировать проекты и запускать модели на разных машинах

😉 Теперь вы знаете, где «смотреть», если что-то ломается в контейнере.

🐸 Библиотека дата-сайентиста

#буст

🎥 Paper2Video — автоматическая генерация видео из научных статей

Paper2Video — это инструмент, который превращает научные статьи в видео автоматически.

Он анализирует текст, таблицы и изображения из PDF и создаёт короткий ролик, объясняющий содержание статьи.

🌍 Доступен на английском и китайском.

📱 Github

🐸 Библиотека дата-сайентиста

#буст

🆕 Свежие новости для дата‑сайентистов

🚀 Модели и обучение
— Умный Early Stopping — новый подход к остановке обучения нейросетей: анализируем тренд, а не шум, чтобы избежать преждевременной остановки.
— Передовые алгоритмы глубокого обучения — обзор современных DL-алгоритмов и архитектур, актуальных для 2025 года.
— BERT — одноэтапная диффузия текста — новая интерпретация работы BERT через призму диффузионных моделей.

🛠 Практика и инструменты
— Как автоматизировать тестирование батч-моделей —пошаговый гайд по организации тестов ML-моделей в пакетном режиме.
— 10 локальных UI для LLM — краткий обзор популярных интерфейсов для работы с LLM локально на ПК.
— Coral NPU для Edge AI — Google представляет открытое решение для low-power AI на периферийных устройствах и wearables.
— ChatGPT Atlas: браузер с встроенным ChatGPT — новый браузер превращает ChatGPT в супер-ассистента, объединяя инструменты, контекст и поиск в одном месте.

🧠 Карьерные и исследовательские наблюдения
— Джун глазами синьора: 5 ошибок в резюме — какие ошибки снижают шансы попасть в ML-команду, и как их исправить.
— Типичные DS-специалисты и роль ИИ — как часто DS используют AI для генерации кода и какие навыки остаются ключевыми.

🐸 Библиотека дата-сайентиста

#свежак

🥳 Программирование на языке Python

🐸 Библиотека задач по Data Science

🐸 Библиотека дата-сайентиста

#развлекалово

📊 Underfitting vs Overfitting — простая шпаргалка

Сохраняем полезность! Когда обучаем модель, важно не сделать её слишком тупой и не слишком умной. Нужно балансировать.

🔛 Underfitting (недообучение): модель слишком простая, не уловила закономерности.

Признаки:
🌠 Высокая ошибка на train и test
🌠 График ошибок почти не улучшается

Как исправить:
🌠 Увеличить сложность модели
🌠 Добавить больше признаков
🌠 Дольше обучать

🔛 Overfitting (переобучение): модель выучила данные наизусть, но не умеет обобщать.

Признаки:
🌠 На train всё идеально
🌠 На test ошибка высокая

Как исправить:
🌠 Добавить регуляризацию
🌠 Упростить модель
🌠 Добавить данных или аугментацию
🌠 Использовать early stopping / dropout

🐸 Библиотека дата-сайентиста

#буст

⚡️ Lightning запускает облако для PyTorch-разработчиков

Компания Lightning (PyTorch Lightning) представила новый набор инструментов для ускорения обучения моделей в облаке: распределённое обучение, reinforcement learning и эксперименты — всё в одном месте.

Что нового:
⚡ I code editor — помощь PyTorch-«экспертов» для быстрого кодинга, отладки и деплоя на GPU
⚡ Environments hub — интерактивные среды для RL и распределённого обучения, масштабируемые и самодостаточные
⚡ Meta integrations — запуск Monarch (distributed training), OpenEnv (RL среды) и torchforge (эксперименты RLHF)

✔️ Полезно для исследователей и разработчиков, которые хотят ускорить эксперименты и масштабировать модели без локальных ограничений.

👉 Ссылка

🐸 Библиотека дата-сайентиста

#свежак

🐸 Библиотека дата-сайентиста

#развлекалово