​​Pandas 3.0 переходит с NumPy на PyArrow

Такой переход обеспечит значительный прирост скорости, особенно при фильтрации, группировке и чтении данных. Также снижается потребление памяти и появляется лучшая поддержка отсутствующих значений. Благодаря формату Arrow, Pandas становится более совместимым с другими современными инструментами аналитики. При этом существующий код на Pandas останется работоспособным без изменений.

Все больше статей в сообществе про альтернативы pandas, выигрывающие в скорости, но не тут-то было!

#факт
@zen_of_python

Нобелевки, где помог Python

Python играет ключевую роль в науке. Это инструмент анализа данных, моделирования и визуализации. Вашему вниманию самые нашумевшие проекты с участием этого ЯП, получившие Нобелевские премии.

Обратное распространение ошибки (Backpropagation) и глубокое обучение
Наука: Физика
Когда: 2024

Библиотеки TensorFlow и PyTorch стали основными инструментами для реализации алгоритма обратного распространения ошибки в нейронных сетях.


CRISPR/Cas9 — редактирование генома
Наука: химия
Когда: 2020

Библиотека Biopython используется для анализа геномных данных и моделирования последовательностей ДНК.


Гравитационные волны (LIGO)
Наука: физика
Когда: 2017

Библиотека GWpy используется для анализа данных, полученных от детекторов гравитационных волн — это рябь в пространстве-времени, возникающая при очень мощных космических событиях, например, столкновении черных дыр.


Нейропластичность и функциональная МРТ
Наука: физиология
Когда: 2014

Библиотека MNE-Python используется для анализа нейрофизиологических данных, таких как ЭЭГ (электроэнцефалография мозга).


Анализ климата и моделирование глобального потепления
Наука: физика
Когда: 2021

Библиотека Xarray помогает анализировать многомерные климатические данные и моделировать климатические изменения.


Экзопланеты — открытие планет за пределами Солнечной системы
Наука: физика
Когда: 2019

Библиотека Lightkurve используется для анализа световых кривых звезд и обнаружения экзопланет.

Некоторые проекты все же остались лишь номинантами, но их тоже стоит упомянуть, ибо лучшего способа зарядиться изучать программирование, пожалуй, нет.

Телескоп Джеймса Уэбба (JWST) и инфракрасная астрономия

Инструмент Astropy используется для обработки и анализа данных, полученных от JWST. Это помогает определить химический состав объектов, проследить их траектории во времени.

Подробнее
#факт
@zen_of_python

Как работает развёртывание Python-приложений: от запроса до ответа

Зачем нужен gunicorn? А зачем — Nginx? Эти вопросы часто задают разработчики, впервые сталкивающиеся с деплоем Python-приложений. Может показаться, что веб-приложение — это просто код на Flask или Django, который запускается и принимает запросы. Но на практике между пользователем и вашим кодом выстраивается целая цепочка инфраструктурных компонентов, каждый из которых решает важную задачу. На схеме показан путь HTTP-запроса от клиента до конечного обработчика в приложении и обратно.

Accept: принимаем запрос

Когда пользователь открывает ваш сайт, он отправляет HTTP-запрос. Этот запрос в первую очередь встречается с внешним сервером — чаще всего это nginx. Его задача — понять, куда направить запрос: отдать ли статику, переписать URL, направить на конкретное приложение, или вовсе отклонить (например, по причине отсутствия авторизации). Он также может выполнять кэширование, сжатие и защищать от некоторых видов атак. Сюда же можно отнести балансировщики нагрузки и ingress-контроллеры в Kubernetes.

Translate: превращаем байты в Python

Следующий этап — перевод сетевого запроса в то, что понимает ваше Python-приложение. Это задача gunicorn или аналогичных серверов, поддерживающих WSGI (или ASGI, если речь о FastAPI и асинхронных приложениях). gunicorn создаёт рабочие процессы, слушает сокет, принимает соединения от nginx и передаёт их дальше в код Python. Он изолирует логику приложения от низкоуровневой сетевой части и обеспечивает масштабируемость.

Process: бизнес-логика и генерация ответа

Завершающий этап — сам Python-код во фреймворке (Django, Flask, FastAPI и пр.). Здесь выполняются проверки, обращения к БД, формируются HTML-страницы или JSON-ответы. Именно здесь происходит «магия» — добавление ценности, решение задач пользователей и реализация бизнес-логики.

#факт #основы
@zen_of_python

👀 — Если пришлось перечитать три раза

​​Сломал ногу — выучил Python: как ИИ помог экс-консультанту стать программистом за 100 дней

38-летний Эрик Леннрот после травмы решил изменить карьеру и выбрал Python, пройдя бесплатные курсы CS50 от Гарварда. С помощью ChatGPT он писал псевдокод, получал обратную связь и вручную набирал код. Его первый проект стал основой для более сложного веб-приложения из 25К строк кода. И о чудо! через три месяца он получил оффер в консалтинговой компании в Лондоне, где заменил Excel на автоматизированные пайплайны. Обучение обошлось ему в $120 (подписки на Claude Pro и Cursor).

#факт
@zen_of_python

Новый инструмент для отладки асинхронных процессов

С выходом Python 3.14 beta 2 появился новый CLI-инструмент для инспекции асинхронных задач:

python -m asyncio ps 12345        # Табличный список задач для процесса с PID 12345
python -m asyncio pstree 12345    # Древовидное отображение взаимозависимых корутин

Команда выводит табличный список активных корутин с их именами, стеком и зависимостями.

Сферы применения
— Telegram-боты;
— aiohttp и другие HTTP-серверах;
— await‑запросы к БД.

Теперь нет нужды вставлять логи или использовать профайлеры — диагностика идет вживую и позволит увидеть:
— какие запросы обрабатываются дольше всего;
— какие «вешают» бота;
— какие запросы ожидают своей очереди.

Документация
#факт
@zen_of_python

​​Джависткие Virtual Threads в Python

На официальном форуме Python не на шутку разогнали тред про виртуальные потоки. Идея похожа на OpenJDK Project Loom: такое не потребляет много ресурса.

Предлагается создать соответствующее API, чтобы эффективно выполнять большое количество конкурентных задач. Посмотрим, выживет ли идея.

#факт
@zen_of_python

Django 20 лет!

Если вы сегодня выпьете, ваша женщина не имеет право осудить вас: такие юбилеи бывают нечасто. Соавтор фреймворка Саймон Виллисон поделился историей проекта в своем блоге. Он также признался, что совсем не умеет доводить идеи до ума. Их накопилось так много, что даже пришлось выуживать из Internet Archive.

Теперь можно проводить тест на возраст «А ты помнишь первую версию фреймворка?"

#факт
@zen_of_python
🍾 — Если за такое не грех и бутылочку откупорить

Вышел Python 3.14 RC1: релиз-кандидат с ускоренным интерпретатором

Вышел первый релиз-кандидат Python 3.14 — финальный релиз ожидается в октябре. Среди главных новинок:

— JIT-компилятор теперь работает не только на Linux, но и на macOS и Windows;
— Благодаря PEP 779 Python получает полную поддержку свободных потоков — это шаг к более эффективной многопоточности;
— Появились t-строки — новый синтаксис для шаблонов с переменными прямо внутри строк
— Добавлен модуль compression.zstd для работы с алгоритмом Zstandard прямо «из коробки» и многое другое.

#факт
@zen_of_python

Будущее Python: какие тренды развития и боли языка

На PyCon 2025 подробно обсудили ключевые тренды:
— продолжающееся доминирование в области ИИ и анализа данных благодаря Pandas, NumPy, TensorFlow, PyTorch, HuggingFace и новой системе RAPIDS;
— рост популярности асинхронных фреймворков и инструментов вроде FastAPI;
— внедрение в сферу IoT — благодаря MicroPython / CircuitPython для систем умного дома.
— продвижение JIT‑компиляции и Tail Calls.

#факт
@zen_of_python

Data Engineering Landscape

Просить собрать вас бинго не буду, но так в 2025 году выглядит подборка топовых продуктов по 11 категориям.

А что бы вы сюда добавили из наших, импортозамещающих продуктов? Как минимум ClickHouse напрашивается.

#факт
@zen_of_python