👏 Андрей Карпаты запускает NanoChat — фреймворк для компактных ChatGPT-моделей

Андрей Карпаты представил NanoChat — минималистичный и лёгкий фреймворк для создания небольших LLM-чатов, похожих на ChatGPT.

Цель проекта — сделать обучение и запуск собственных языковых моделей максимально доступным и понятным.

NanoChat отлично подойдёт для обучения, исследований и кастомных решений на базе LLM:
✔️ Открытый исходный код
✔️ Простой и читаемый код
✔️ Быстрый старт и понятная архитектура

📱 Проект уже доступен на GitHub.

🐸 Библиотека дата-сайентиста

#буст

🔥 Alibaba выпускает «кулинарную книгу» по Qwen3-VL: от OCR до object grounding

Это не просто демки — это реально практические рецепты, как собрать свои VLM-пайплайны, понять, как Qwen3-VL обрабатывает визуальные токены и подключить всё к своим задачам.

👏 Отличный ресурс для ML-инженеров, работающих с мульти-модальными моделями.

➡️ Ссылка на cookbook

👍 Если хочешь прокачать базу, чтобы увереннее работать с моделями и пайплайнами — посмотри курс Математика для Data Science.

🐸 Библиотека дата-сайентиста

#буст

🔗 NumPy теперь почти полностью типизирован — 90%

NumPy — один из самых скачиваемых Python-пакетов, и теперь его type-completeness (покрытие типами) выросло с 33% до почти 90%.

Это огромный шаг для всей экосистемы Python и особенно для дата-сайнса.

Оказалось, что одна строчка исправления подняла покрытие типов с 33% до 80%:

# Было
def setfield(self, /, val: ArrayLike, dtype: DTypeLike, offset: CanIndex = 0) -> None: ...

# Стало
def setfield(self, /, val: ArrayLike, dtype: DTypeLike, offset: SupportsIndex = 0) -> None: ...

😁 Да, одна опечатка в аннотации — и вот уже +50% к типовой полноте.

После этого внимание было уделено MaskedArray, где типизация была всего 20%.

Теперь — 100%:

>>> np.mean([x['isTypeKnown'] for x in exported if x['name'].startswith('numpy.ma.core.MaskedArray.')])
np.float64(1.0)

Более полная типизация =
✔️ Умнее автодополнение в IDE
✔️ Меньше ошибок
✔️ Надёжнее библиотеки, зависящие от NumPy (pandas, scikit-learn, xarray и др.)

📝Остаётся типизировать верхнеуровневые функции numpy.ma, уточнить перегрузки и добавить type-checker прямо в CI NumPy. Отличный шанс внести вклад в open source — довести NumPy до 100% тип-совместимости.

🔗 Подробнее

🐸 Библиотека дата-сайентиста

#буст

🎧 Как шпион на вечеринке: Independent Component Analysis (ICA)

Представьте: шумная вечеринка — десятки голосов, музыка, звон бокалов. Каждый микрофон записывает неразборчивую смесь всех звуков.
Но шпион, вооружённый Independent Component Analysis (ICA), извлекает из хаоса отдельные разговоры — как будто разделяет сигналы по смыслу.

Именно это делает ICA в данных: разделяет сложные многомерные сигналы на независимые компоненты.
Если PCA (Principal Component Analysis) ищет некоррелированные оси, то ICA идёт дальше — ищет статистически независимые источники.

Математически это выглядит так:

X = A * S

где,
🟰 X — наблюдаемые данные (смесь сигналов),
🟰 A — матрица смешивания,
🟰 S — исходные независимые компоненты.

ICA пытается найти матрицу W, такую что:

S = W * X

Главная идея — найти компоненты с максимальной негауссовостью, ведь по центральной предельной теореме сумма независимых переменных тяготеет к нормальному распределению.

Пример на Python:

STEP_SIZE = 1e-3
N_ITERATIONS = 50

X_centered = X - np.mean(X, axis=0)
pca = PCA(whiten=True)
X_whitened = pca.fit_transform(X_centered)

n, m = X_whitened.shape
w1 = rng.rand(m)
w1 /= np.linalg.norm(w1) + 1e-10

for i in range(N_ITERATIONS):
    s = np.dot(X_whitened, w1)
    gradient = 4 / n * np.dot(np.pow(s, 3), X_whitened)
    w1 += STEP_SIZE * gradient
    w1 /= np.linalg.norm(w1) + 1e-10

После нахождения первой компоненты выполняется deflation, чтобы следующая была независима:

X_deflated = X_whitened - np.outer(np.dot(X_whitened, w1), w1)

🟰 На практике: используйте FastICA — она оптимизирует все компоненты сразу и автоматически проводит whitening.

🗂 Подробная статья

🐸 Библиотека дата-сайентиста

#буст

🔥 PyTorch 2.9: новые возможности и улучшения

Новая версия приносит улучшения в производительность, переносимость и опыт разработчика:
🔜 Стабильный libtorch ABI для C++/CUDA расширений
🔜 Symmetric memory для мульти-GPU ядер
🔜 Расширенная поддержка wheel: ROCm, XPU, CUDA 13
🔜 Оптимизации для Intel, Arm и x86

С 3,216 коммитами от 452 участников, PyTorch 2.9 продолжает развивать open source AI для разработчиков по всему миру.

🟡 Полный блог о релизе: https://clc.to/Pvqrqw

🐸 Библиотека дата-сайентиста

#свежак

⭐️ Интерактивный гайд по 4 ключевым задачам с Transformers

Мы нашли мощный материал, который объясняет, как использовать модели ViT, DETR, BLIP и ViLT для самых базовых, но фундаментальных задач Computer Vision:
— Image Classification — классификация изображений с помощью Vision Transformer (ViT).
— Image Segmentation — точное выделение объектов на изображении с DETR и Mask2Former.
— Image Captioning — генерация описаний изображений с BLIP.
— Visual Question Answering (VQA) — ответы на вопросы по изображению с ViLT и BLIP.

ℹ️ Гайд показывает, как трансформеры постепенно вытесняют CNN и становятся универсальным решением — от анализа пикселей до генерации текстов и ответов.

➡️ Полный разбор и демо-приложение

💡 Хочешь разбираться в таких архитектурах глубже — с математикой, алгоритмами и практикой?
Сейчас в Proglib действует акция –40% на курс Математика для Data Science

🐸 Библиотека дата-сайентиста

#буст

🐸 Библиотека дата-сайентиста

#развлекалово

🆕 Свежие новости для дата‑сайентистов

🖥 Модели и инфраструктура
— Andrej Karpathy запускает nanochat — новый лёгкий фреймворк для сборки маленьких ChatGPT-подобных моделей.
— Внутри vLLM — подробный разбор архитектуры и оптимизаций движка vLLM.

📘 Обучение и теория
— The Ultimate Guide to Fine-Tuning LLMs — бесплатная 115-страничная книга, охватывающая всю теорию Fine-Tuning моделей.
— Stanford: разнообразие без переобучения — исследователи из Стэнфорда представили Verbalized Sampling — метод промптинга, который восстанавливает вариативность базовых моделей и повышает качество без дообучения.

🧩 Практика и примеры
— Как построить RAG-систему за вечер — практическое руководство по сборке Retrieval-Augmented Generation.
— Как оценить качество машинного перевода — метрики BLEU, METEOR, TER и современные ML-подходы к оценке качества перевода.

📊 Исследования и размышления
— Почему линейная регрессия всё ещё обыгрывает трансформеры — разбор причин, по которым классические методы остаются лучшими для временных рядов.
— Andrej Karpathy: AGI ещё не скоро — всвежем интервью Карпати рассуждает о будущем AGI, провале RL.

🐸 Библиотека дата-сайентиста

#свежак

🐸 Библиотека задач по Data Science

🤯 Наконец-то понятен self-attention

Одна из самых сложных частей понимания LLM — это self-attention. Формула выглядит простой — её можно быстро выучить.

Но что на самом деле означают Q, K и V и как они взаимодействуют — совсем другая история.

✅ Эта визуализация делает всё очень наглядным и понятным — видно, как queries обращаются к keys и получают нужные values.

🤨 Чтобы лучше понимать, как работают модели на математическом уровне, советуем курс Математика для Data Science.

🐸 Библиотека дата-сайентиста

#буст

🐸 Библиотека дата-сайентиста

#развлекалово