другие варианты? 😆

🐸 Библиотека дата-сайентиста

#развлекалово

🔥 LLMs с нуля: от базовой модели до RLHF на практике

Подробный практический гид по созданию собственной LLM в PyTorch — от архитектуры трансформеров до продвинутого обучения с подкреплением через PPO (RLHF).

Видео охватывает весь путь: проектирование, обучение, масштабирование и выравнивание модели.

Что внутри:
🔎 Построение ядра трансформера
🔎 Обучение Tiny LLM
🔎 Современные архитектурные улучшения
🔎 Масштабирование и Mixture-of-Experts
🔎 Supervised Fine-Tuning
🔎 Reward Modeling
🔎 RLHF с PPO

📱 Код: https://clc.to/tw9C4A
🎥 Смотреть: https://clc.to/5yvRlA

🐸 Библиотека дата-сайентиста

#буст

⏫ Быстрый способ увидеть все зависимости Python-пакета

Инструмент PyPIPlus мгновенно показывает все зависимости любого Python-пакета с PyPI.

Полезно для дата-сайентистов:
😗 Офлайн-установки — особенно на изолированных серверах
😗 Экономия времени — мгновенный список всех зависимостей и их подзависимостей
😗 Аудит пакетов — быстро понять, что реально подтягивает пакет

Идеально для: подготовки окружений, деплоя моделей, аудита сторонних библиотек и управления зависимостями.

🐸 Библиотека дата-сайентиста

#буст

🐙 OctoSQL — единый SQL для всех источников данных

Инструмент, который позволяет писать SQL-запросы к любым базам данных и форматам файлов через единый интерфейс.
Можно даже делать JOIN между разными источниками — например, объединить JSON-файл с таблицей в PostgreSQL.

💡 OctoSQL — не просто CLI-утилита, а полноценный движок потоковой обработки данных, который легко встраивается в собственные приложения, добавляя им SQL-интерфейс.

📱 Репозиторий: https://clc.to/fR5Lsw

🐸 Библиотека дата-сайентиста

#буст

🔎 KL Divergence ≠ Distance Metric

Все слышали про KL Divergence, но не все задумывались — почему дивергенция, а не расстояние?

Чтобы мера считалась distance, она должна быть:
✅ неотрицательной
✅ симметричной
✅ равной нулю, если P = Q
✅ и соблюдать неравенство треугольника

Но KL Divergence: 🚫 несимметрична — Dₖₗ(P∥Q) ≠ Dₖₗ(Q∥P), поэтому это не метрика.

💡 Тогда почему дивергенция

Потому что она показывает, насколько одно распределение отклоняется от другого, а не насколько далеко в метрическом смысле.

Или проще: KL Divergence — это мера информационной разницы, а не физического расстояния.

📊 Визуализация отлично показывает её асимметрию — и почему при работе с распределениями важно, в каком порядке их подставлять.

🐸 Библиотека дата-сайентиста

#буст

Элегантное решение 😎

🐸 Библиотека дата-сайентиста

#развлекалово

🆕 Свежие новости для дата‑сайентистов

📊 Топ вопросов с Data Science собеседований — деревья решений и ансамбли, кластеризация, метрические модели. Отличная шпаргалка для подготовки к интервью.

⚖️ Борьба с дисбалансом классов: undersampling — подробный разбор техник уменьшения выборки для балансировки данных.

🧠 Как открытые веса раскрыли секреты обучения GPT-5 — исследователи проанализировали архитектуру и параметры GPT-5, чтобы понять, как OpenAI добилась новых уровней обобщения и стабильности.

👉 Омографы и ударения: как решают задачу в русском языке — команда исследователей создала модель, которая определяет правильные ударения и смысл омографов в текстах.

🌲 Ансамбли в действии: случайный лес и градиентный бустинг — интуитивное объяснение ансамблевых методов с визуализациями и примерами кода.

🧩 Оптимизация источников данных для ML-моделей — как выбирать, чистить и агрегировать данные, чтобы повысить качество модели и сократить время на обучение.

📚 130+ датасетов для машинного обучения — огромная подборка открытых наборов данных, отсортированных по тематике — от NLP до медицины и экономики.

🐸 Библиотека дата-сайентиста

#свежак

🐸 Библиотека задач по Data Science

📌 DeepFabric — генерация синтетических датасетов на новом уровне

Для ML-инженеров, исследователей и AI-разработчиков появился инструмент, который упрощает создание высококачественных и разнообразных датасетов для обучения моделей в масштабе.

Что делает DeepFabric:
🔜 Легко превращает идеи и темы в структурированные данные, готовые к обучению моделей.
🔜 Избавляет от проблем с Tool Calls и неструктурированными формами — данные сразу консистентные и стандартизированные.
🔜 Подходит как для fine-tuning, так и для оценки моделей.

Идеально подходит для:
🔜 Быстрой генерации больших объемов обучающих данных.
🔜 Создания синтетических датасетов для NLP, диалогов, reasoning и function-calling задач.
🔜 Исследований и экспериментов с ML-моделями без ручного коллекшена данных.

📱 Репозиторий

🐸 Библиотека дата-сайентиста

#буст

📊 48 самых популярных открытых датасетов

Для всех, кто ищет готовые данные для экспериментов, обучения моделей или просто прокачки навыков.

🐸 Библиотека дата-сайентиста

#буст

👏 Андрей Карпаты запускает NanoChat — фреймворк для компактных ChatGPT-моделей

Андрей Карпаты представил NanoChat — минималистичный и лёгкий фреймворк для создания небольших LLM-чатов, похожих на ChatGPT.

Цель проекта — сделать обучение и запуск собственных языковых моделей максимально доступным и понятным.

NanoChat отлично подойдёт для обучения, исследований и кастомных решений на базе LLM:
✔️ Открытый исходный код
✔️ Простой и читаемый код
✔️ Быстрый старт и понятная архитектура

📱 Проект уже доступен на GitHub.

🐸 Библиотека дата-сайентиста

#буст

🔥 Alibaba выпускает «кулинарную книгу» по Qwen3-VL: от OCR до object grounding

Это не просто демки — это реально практические рецепты, как собрать свои VLM-пайплайны, понять, как Qwen3-VL обрабатывает визуальные токены и подключить всё к своим задачам.

👏 Отличный ресурс для ML-инженеров, работающих с мульти-модальными моделями.

➡️ Ссылка на cookbook

👍 Если хочешь прокачать базу, чтобы увереннее работать с моделями и пайплайнами — посмотри курс Математика для Data Science.

🐸 Библиотека дата-сайентиста

#буст

🔗 NumPy теперь почти полностью типизирован — 90%

NumPy — один из самых скачиваемых Python-пакетов, и теперь его type-completeness (покрытие типами) выросло с 33% до почти 90%.

Это огромный шаг для всей экосистемы Python и особенно для дата-сайнса.

Оказалось, что одна строчка исправления подняла покрытие типов с 33% до 80%:

# Было
def setfield(self, /, val: ArrayLike, dtype: DTypeLike, offset: CanIndex = 0) -> None: ...

# Стало
def setfield(self, /, val: ArrayLike, dtype: DTypeLike, offset: SupportsIndex = 0) -> None: ...

😁 Да, одна опечатка в аннотации — и вот уже +50% к типовой полноте.

После этого внимание было уделено MaskedArray, где типизация была всего 20%.

Теперь — 100%:

>>> np.mean([x['isTypeKnown'] for x in exported if x['name'].startswith('numpy.ma.core.MaskedArray.')])
np.float64(1.0)

Более полная типизация =
✔️ Умнее автодополнение в IDE
✔️ Меньше ошибок
✔️ Надёжнее библиотеки, зависящие от NumPy (pandas, scikit-learn, xarray и др.)

📝Остаётся типизировать верхнеуровневые функции numpy.ma, уточнить перегрузки и добавить type-checker прямо в CI NumPy. Отличный шанс внести вклад в open source — довести NumPy до 100% тип-совместимости.

🔗 Подробнее

🐸 Библиотека дата-сайентиста

#буст

🎧 Как шпион на вечеринке: Independent Component Analysis (ICA)

Представьте: шумная вечеринка — десятки голосов, музыка, звон бокалов. Каждый микрофон записывает неразборчивую смесь всех звуков.
Но шпион, вооружённый Independent Component Analysis (ICA), извлекает из хаоса отдельные разговоры — как будто разделяет сигналы по смыслу.

Именно это делает ICA в данных: разделяет сложные многомерные сигналы на независимые компоненты.
Если PCA (Principal Component Analysis) ищет некоррелированные оси, то ICA идёт дальше — ищет статистически независимые источники.

Математически это выглядит так:

X = A * S

где,
🟰 X — наблюдаемые данные (смесь сигналов),
🟰 A — матрица смешивания,
🟰 S — исходные независимые компоненты.

ICA пытается найти матрицу W, такую что:

S = W * X

Главная идея — найти компоненты с максимальной негауссовостью, ведь по центральной предельной теореме сумма независимых переменных тяготеет к нормальному распределению.

Пример на Python:

STEP_SIZE = 1e-3
N_ITERATIONS = 50

X_centered = X - np.mean(X, axis=0)
pca = PCA(whiten=True)
X_whitened = pca.fit_transform(X_centered)

n, m = X_whitened.shape
w1 = rng.rand(m)
w1 /= np.linalg.norm(w1) + 1e-10

for i in range(N_ITERATIONS):
    s = np.dot(X_whitened, w1)
    gradient = 4 / n * np.dot(np.pow(s, 3), X_whitened)
    w1 += STEP_SIZE * gradient
    w1 /= np.linalg.norm(w1) + 1e-10

После нахождения первой компоненты выполняется deflation, чтобы следующая была независима:

X_deflated = X_whitened - np.outer(np.dot(X_whitened, w1), w1)

🟰 На практике: используйте FastICA — она оптимизирует все компоненты сразу и автоматически проводит whitening.

🗂 Подробная статья

🐸 Библиотека дата-сайентиста

#буст