🔥 Большое обновление в pandas: Expressions

Pandas исполняется уже 17 лет, и наконец-то в версии 3.0 появляется то, чего ждали многие — выражения (expressions) через pd.col.

Раньше:

df = df.assign(temp_f = lambda x: x['temp_c'] * 9 / 5 + 32)

Теперь:

df = df.assign(temp_f = pd.col('temp_c') * 9 / 5 + 32)

Почему это реально круто:
— Больше никаких непонятных lambda, которые ломаются в циклах.
— Код читается и дебажится проще:

  pd.col('a') + 10  # => (col('a') + 10)
  

✅ Поддержка str, dt, NumPy ufunc и фильтрации прямо в loc.
✅ Это первый шаг к полноценной системе выражений в духе Polars.

Пример:

df.assign(
    city_upper = pd.col('city').str.upper(),
    log_temp_c = np.log(pd.col('temp_c'))
)

✅ Чище, безопаснее и интуитивнее.
✅ Pandas берёт лучшее у новых библиотек (Polars, Narwhals) и возвращает нас к удобному и современному синтаксису.

🔗 Подробная статья по теме

🐸 Библиотека дата-сайентиста

#свежак

Полезная шпаргалка: как выбрать правильное распределение для данных

1️⃣ Начните с гистограммы

— Простая, но мощная визуализация.
— Помогает понять форму данных: колоколообразная (Normal), быстро падающая (Exponential), ровная (Uniform), с несколькими пиками (Mixture).

import matplotlib.pyplot as plt
import numpy as np

data = np.random.normal(50, 15, 1000)
plt.hist(data, bins=30, color='skyblue', edgecolor='black', alpha=0.7)
plt.xlabel('Values'); plt.ylabel('Count'); plt.title('Гистограмма данных')
plt.show()

2️⃣ Протестируйте разные распределения

— Используем библиотеку distfit для подбора распределений.
— Проверяет ~90 типов распределений автоматически:

from distfit import distfit
import numpy as np

my_data = np.random.normal(25, 8, 2000)
fitter = distfit(method='parametric')
fitter.fit_transform(my_data)

print("Лучшее распределение:", fitter.model['name'])
print("Параметры:", fitter.model['params'])

3️⃣ Визуализируйте подгонку

— Всегда проверяй глазами!
— Используй PDF (распределение) и CDF (кумулятивное распределение):

fig, (ax1, ax2) = plt.subplots(1, 2, figsize=(15,6))
fitter.plot(chart='PDF', ax=ax1); ax1.set_title('PDF')
fitter.plot(chart='CDF', ax=ax2); ax2.set_title('CDF')
plt.show()

4️⃣ Не забывайте про нестандартные данные

— Дискретные счётные данные → binomial, Poisson.
— Сложные или многопиковые данные → non-parametric (quantile, percentile).

Пример:

from scipy.stats import binom
count_data = binom(20, 0.3).rvs(1000)
discrete_fitter = distfit(method='discrete')
discrete_fitter.fit_transform(count_data)
discrete_fitter.plot()

5️⃣ Проверяйте стабильность

— Бутстрэпинг помогает проверить, насколько выбранное распределение устойчиво к случайным выборкам:

fitter.bootstrap(my_data, n_boots=100)
print(fitter.summary[['name','score','bootstrap_score','bootstrap_pass']])

🐸 Библиотека дата-сайентиста

#свежак

🆕 Свежие новости для дата‑сайентистов

🧵 Архитектуры и данные
— The Parallelism Mesh Zoo — схемный разбор стратегий параллелизации в PyTorch и JAX через понятие device mesh. Отличный способ проверить, понимаете ли вы, как работает масштабирование на GPU. Читать
— 3 Questions: Synthetic Data — MIT о плюсах и минусах синтетических данных: от приватности и экономии до ограничений и рисков. Читать

🧠 Новые модели и AI-сервисы
— Google EmbeddingGemma — новая open-модель эмбеддингов для офлайн-работы прямо на ноутбуках и смартфонах. Подробнее
— OpenAI Jobs Platform — AI-платформа для поиска работы и сертификации AI-навыков. Подробнее
— Google NotebookLM — теперь умеет аудио-обзоры в 4 форматах: Deep Dive, Brief, Critique и Debate + более естественные голоса. Подробнее

📚 Лонгриды и статьи
— ML Q & AI. Глава 8. Успех трансформеров
—Очеловечить компьютер: как развивалось машинное обучение в середине XX века
— Интерпретация и оптимизация перцептрона Розенблатта
— Что такое детерминизм и как с ним бороться?
— Когда YOLO не спасает: как один параметр может испортить всё

🐸 Библиотека дата-сайентиста

#свежак

⚡️ Polars теперь с поддержкой GPU — ускорение до 70%

Библиотека Polars получила новый GPU-движок на базе NVIDIA RAPIDS cuDF.

Это значит, что тяжёлые аналитические пайплайны теперь можно прогонять в разы быстрее, используя параллельную обработку данных на GPU.

✔️ В бета-версии уже поддерживаются основные операции
✔️ Ускорение до 70% по сравнению с CPU-исполнением
✔️ Отлично подходит для задач работы с большими датасетами и аналитических воркфлоу

🔗 Подробнее в посте

🐸 Библиотека дата-сайентиста

#свежак

🆕 Свежие новости для дата‑сайентистов

🖥 Инфраструктура и ускорение
— Efficient Multi-GPU LLM Inference — NVIDIA представила NVLink пятого поколения, ускоряющий работу с LLM на триллион параметров.
— Introduction to Gluon — новый язык для GPU-программирования. Позволяет разрабатывать высокопроизводительные ядра с точным контролем над железом.

🤖 LLM и AI-исследования
— Breaking GPT-OSS — разбор устойчивости модели gpt-oss к jailbreak-атакам.
— Robot GPT: где взять столько данных? — для обучения «роботизированного GPT» могут понадобиться десятки тысяч лет сбора данных.
— Как запустить свою LLM — практическое руководство: Ollama, vLLM, Triton, LM Studio, llama.cpp, SGLang. Всё, что нужно для локального инференса.

📚 Обучение и вводные материалы
— Градиентный спуск для новичков — простое объяснение: почему ошибки — это шаги к оптимизации.
— Простейшая нейросеть на Python — пошаговое объяснение без сложных терминов.
— Снятие проклятия размерности — как правильно изучать свои данные и работать с многомерными признаками.
— Эмбеддинги для начинающих — что это, как применяются и зачем нужны.

🐸 Библиотека дата-сайентиста

#свежак

📄 Новый релиз: PostgreSQL 18

PostgreSQL Global Development Group объявила релиз PostgreSQL 18 — новой версии самой продвинутой open-source базы данных в мире.

Основные улучшения:
— Новый асинхронный I/O — до 3× быстрее чтение с диска
— Быстрые апгрейды — сохраняются статистики планировщика, ускоряя работу после обновления
— Быстрее запросы — skip scan для B-tree, OR-оптимизация, параллельные сборки индексов
— Разработка проще — виртуальные generated columns, поддержка UUIDv7 для индексируемых UUID, temporal constraints
— Текст и поиск — новый PG_UNICODE_FAST collation, улучшенные LIKE и case-insensitive функции
— Безопасность — OAuth 2.0, SCRAM и SHA-2, TLS 1.3 шифры, deprecate md5

Репликация и наблюдаемость:
▶️ Логическая репликация с логами конфликтов
▶️ Параллельное применение транзакций
▶️ Расширенная статистика VACUUM и EXPLAIN ANALYZE

В целом, PostgreSQL 18 ускоряет работу с любыми нагрузками, упрощает апгрейды и делает разработку ещё удобнее.

🔗 Подробнее: https://clc.to/6TROGw

🐸 Библиотека дата-сайентиста

#свежак

🆕 Свежие новости для дата‑сайентистов

🔹 AI и мульти-модальные модели
— Qwen3-Omni — первый нативный end-to-end омни-модальный AI, объединяющий текст, изображения, аудио и видео без компромиссов между модальностями.
— Google Gemini 2.5 Flash и Flash-Lite — обновлённые модели DeepMind для Vertex AI и Google AI Studio с улучшенной скоростью и качеством. Flash-Lite экономит до 50% токенов при инференсе.
— Нативная аудио-модель Google — новая модель в Gemini Live API делает голосовых агентов более надёжными и способными корректно работать с пользователем.

🔹 Исследования и новые методы
— RLPT: Reinforcement Learning on Pretraining Data — новый подход, где LLM обучаются с использованием RL напрямую на данных претрейнинга, без ручной аннотации наград.
— GPT-oss и утечки данных — анализ весов GPT-oss показал возможное использование контента с adult-сайтов и частично данных с GitHub в обучении моделей семейства GPT-5.

🔹 Практика и инструменты ML
— Как работать с нейросетями эффективно — теоретические и практические рекомендации.
— Ускорение инференса ML-моделей — советы по оптимизации без лишних затрат.
— In-context learning без тренировки — статья про имплицитную динамику обучения в контексте.
— Алгоритм Isolation Forest — метод поиска аномалий в данных.
— Опрос для data-специалистов — про стек, зарплаты и трудности работы.
— Лучшие ML-фреймворки 2025 года — обзор актуальных инструментов для разработки моделей.
— Финетюнинг без греха — как безопасно кастомизировать AI и не сломать его.

🐸 Библиотека дата-сайентиста

#свежак

🆕 Свежие новости для дата‑сайентистов

🧠 Новые методы и исследования в AI
— Modular Manifolds — новый метод обучения нейросетей, ограничивающий веса на manifolds, делает обучение стабильнее и предсказуемее.
— We reverse-engineered Flash Attention 4 — разбор нового CUDA-ядра Flash Attention 4, ускоряющего трансформеры.
— LoRA Without Regret — LoRA в задачах Reinforcement Learning может соперничать с полноценным финетюнингом, если применять большие learning rate и использовать LoRA на всех слоях.
— Pre-training under infinite compute —новое исследование показывает, как регуляризация и ансамбли моделей могут компенсировать нехватку уникальных данных при масштабировании compute.
— Google DeepMind Dreamer 4 — Dreamer 4 обучается полностью внутри собственного world model, превосходит OpenAI VPT при 100× меньших данных и обходит Gemma-3 по эффективности.

⚙️ Практика и алгоритмы
— Борьба с дисбалансом классов: стандартные методы — обзор базовых техник балансировки данных: oversampling, undersampling, SMOTE и их вариации.
— Рекомендательные системы в современном мире — подходы, метрики и современные тренды в рекомендациях — от коллаборативной фильтрации до моделей на графах и нейросетях.
— Обучение скрытых слоёв S–A–R перцептрона без вычисления градиентов — необычный подход к обучению без backpropagation — обучение скрытых слоёв через прямые зависимости сигналов, что потенциально снижает вычислительные затраты.

🐸 Библиотека дата-сайентиста

#свежак

🆕 Свежие новости для дата‑сайентистов

📊 Топ вопросов с Data Science собеседований — деревья решений и ансамбли, кластеризация, метрические модели. Отличная шпаргалка для подготовки к интервью.

⚖️ Борьба с дисбалансом классов: undersampling — подробный разбор техник уменьшения выборки для балансировки данных.

🧠 Как открытые веса раскрыли секреты обучения GPT-5 — исследователи проанализировали архитектуру и параметры GPT-5, чтобы понять, как OpenAI добилась новых уровней обобщения и стабильности.

👉 Омографы и ударения: как решают задачу в русском языке — команда исследователей создала модель, которая определяет правильные ударения и смысл омографов в текстах.

🌲 Ансамбли в действии: случайный лес и градиентный бустинг — интуитивное объяснение ансамблевых методов с визуализациями и примерами кода.

🧩 Оптимизация источников данных для ML-моделей — как выбирать, чистить и агрегировать данные, чтобы повысить качество модели и сократить время на обучение.

📚 130+ датасетов для машинного обучения — огромная подборка открытых наборов данных, отсортированных по тематике — от NLP до медицины и экономики.

🐸 Библиотека дата-сайентиста

#свежак

🔥 PyTorch 2.9: новые возможности и улучшения

Новая версия приносит улучшения в производительность, переносимость и опыт разработчика:
🔜 Стабильный libtorch ABI для C++/CUDA расширений
🔜 Symmetric memory для мульти-GPU ядер
🔜 Расширенная поддержка wheel: ROCm, XPU, CUDA 13
🔜 Оптимизации для Intel, Arm и x86

С 3,216 коммитами от 452 участников, PyTorch 2.9 продолжает развивать open source AI для разработчиков по всему миру.

🟡 Полный блог о релизе: https://clc.to/Pvqrqw

🐸 Библиотека дата-сайентиста

#свежак

🆕 Свежие новости для дата‑сайентистов

🖥 Модели и инфраструктура
— Andrej Karpathy запускает nanochat — новый лёгкий фреймворк для сборки маленьких ChatGPT-подобных моделей.
— Внутри vLLM — подробный разбор архитектуры и оптимизаций движка vLLM.

📘 Обучение и теория
— The Ultimate Guide to Fine-Tuning LLMs — бесплатная 115-страничная книга, охватывающая всю теорию Fine-Tuning моделей.
— Stanford: разнообразие без переобучения — исследователи из Стэнфорда представили Verbalized Sampling — метод промптинга, который восстанавливает вариативность базовых моделей и повышает качество без дообучения.

🧩 Практика и примеры
— Как построить RAG-систему за вечер — практическое руководство по сборке Retrieval-Augmented Generation.
— Как оценить качество машинного перевода — метрики BLEU, METEOR, TER и современные ML-подходы к оценке качества перевода.

📊 Исследования и размышления
— Почему линейная регрессия всё ещё обыгрывает трансформеры — разбор причин, по которым классические методы остаются лучшими для временных рядов.
— Andrej Karpathy: AGI ещё не скоро — всвежем интервью Карпати рассуждает о будущем AGI, провале RL.

🐸 Библиотека дата-сайентиста

#свежак

🧭 Встречайте новый браузер от OpenAI — ChatGPT Atlas

OpenAI официально выходит на арену браузеров с ChatGPT Atlas — браузером, в котором искусственный интеллект встроен прямо в процесс серфинга по сети.

Atlas создан на движке Chromium и включает всё привычное: вкладки, закладки, автозаполнение паролей, инкогнито-режим.
Но его ключевая особенность — режим агента, который позволяет ChatGPT выполнять действия прямо внутри браузера.

Например:
— можно выделить текст в почте и попросить ChatGPT улучшить письмо;
— нажать кнопку “Ask ChatGPT” в углу, чтобы получить анализ кода, резюме статьи или краткий пересказ рецензии на фильм — прямо на текущей странице.

🔍 В адресной строке теперь можно искать не через Google, а напрямую через ChatGPT: результаты структурированы по категориям — текст, изображения, видео, новости.

Если включить память браузера, ChatGPT сможет помнить просмотренные страницы, чтобы давать более точные ответы и полезные подсказки.
Например, создать список дел из последних действий или продолжить подбор подарков, которые вы недавно искали.

📱 Браузер пока выходит только на macOS, но Windows-версия ожидается в скором времени.

🐸 Библиотека дата-сайентиста

#свежак

🆕 Свежие новости для дата‑сайентистов

🚀 Модели и обучение
— Умный Early Stopping — новый подход к остановке обучения нейросетей: анализируем тренд, а не шум, чтобы избежать преждевременной остановки.
— Передовые алгоритмы глубокого обучения — обзор современных DL-алгоритмов и архитектур, актуальных для 2025 года.
— BERT — одноэтапная диффузия текста — новая интерпретация работы BERT через призму диффузионных моделей.

🛠 Практика и инструменты
— Как автоматизировать тестирование батч-моделей —пошаговый гайд по организации тестов ML-моделей в пакетном режиме.
— 10 локальных UI для LLM — краткий обзор популярных интерфейсов для работы с LLM локально на ПК.
— Coral NPU для Edge AI — Google представляет открытое решение для low-power AI на периферийных устройствах и wearables.
— ChatGPT Atlas: браузер с встроенным ChatGPT — новый браузер превращает ChatGPT в супер-ассистента, объединяя инструменты, контекст и поиск в одном месте.

🧠 Карьерные и исследовательские наблюдения
— Джун глазами синьора: 5 ошибок в резюме — какие ошибки снижают шансы попасть в ML-команду, и как их исправить.
— Типичные DS-специалисты и роль ИИ — как часто DS используют AI для генерации кода и какие навыки остаются ключевыми.

🐸 Библиотека дата-сайентиста

#свежак