🕵️‍♂️ Инструмент, который показывает, насколько сложно парсить сайт

caniscrape — Python-инструмент, который анализирует защиту сайта до начала парсинга. Это диагностический инструмент, а не средство обхода защиты.

Определяет:
— Cloudflare, Akamai, rate limits, JS-челленджи, CAPTCHA, TLS fingerprinting, honeypot-ловушки
— Даёт оценку сложности (0–10)
— Рекомендует, какие инструменты понадобятся (headless-браузеры, прокси, solver’ы и т.д.)
— Подсказывает, стоит ли использовать scraping API вместо ручного кода

Для кого:
— Разработчиков и дата-инженеров, работающих с защищёнными сайтами
— Исследователей, тестирующих антибот-системы
— Энтузиастов, изучающих технологии защиты от парсеров

Установка:

pip install caniscrape
playwright install chromium
pipx install wafw00f

Пример:

caniscrape https://example.com

Результат:
➡️ Оценка сложности (0–10)
➡️ Активные защиты
➡️ Рекомендации по подходу

📱 GitHub
🌐 Веб-версия

🐸 Библиотека питониста

#буст

🪄 Slint 1.14 — масштабирование, вращение и асинхронность в Python

Вышел релиз Slint 1.14, приносящий масштабные обновления для UI-разработки:
новые возможности трансформации графики и улучшенную интеграцию с Python.

✅ Универсальные графические трансформации

Теперь масштабирование (scale) и вращение (rotate) — это часть языка Slint по умолчанию.
Можно трансформировать любой элемент, а не только Image или Text.

➡️ Это упрощает структуру интерфейсов — больше не нужно задумываться, как правильно “родительствовать” элементы для трансформации.
Посмотреть демо можно в официальном блоге Slint.

✅ Улучшенная интеграция с Python

Добавлена поддержка asyncio. Теперь Slint работает как полноценный asyncio.EventLoop, что делает возможным асинхронный код и работу с библиотеками вроде aiohttp.

Пример:

import slint, aiohttp

class AppWindow(slint.loader.app_window.AppWindow):
    @slint.callback
    async def refresh_poem(self):
        async with aiohttp.ClientSession() as session:
            async with session.get("https://poetrydb.org/random") as response:
                data = await response.json()
                self.poem = "\n".join(data[0]["lines"])

async def main():
    app = AppWindow()
    app.show()
    await app.refresh_poem()

slint.run_event_loop(main())

Асинхронные колбэки и поддержка локализации теперь тоже работают без дополнительной настройки.

✅ Унифицированный рендеринг текста

Все движки рендеринга (FemtoVG, Skia, Qt и Software) теперь используют общую систему Fontique и Parley (от Linebender).

Это даёт:
— одинаковое поведение текста на всех платформах
— улучшенный выбор шрифтов (особенно в Linux)
— подготовку к поддержке rich text

✔️ Полный список — в ChangeLog
✔️ Документация

🐸 Библиотека питониста

#свежак

👑 PyTorch Monarch: программируйте кластеры, как локальную машину

Команда PyTorch представила Monarch — новый фреймворк для распределенных вычислений, который кардинально упрощает разработку сложных ML-воркфлоу.

🔥 Главная идея Monarch: иодель программирования с единым контроллером.

Вместо того чтобы вручную координировать тысячи узлов, вы пишете один скрипт, который оркестрирует все распределенные ресурсы. Ваш код выглядит и ощущается как простая Python-программа для одной машины, но масштабируется на тысячи GPU!

Ключевые особенности Monarch:
1️⃣ Monarch организует хосты и процессы в масштабируемые меши (сетки).
2️⃣ Начните писать код так, будто отказов нет (по умолчанию программа останавливается, как при обычном исключении). Затем, при необходимости, точечно добавьте обработку и восстановление после сбоев, как при перехвате исключений.
3️⃣ Monarch разделяет управляющий (обмен сообщениями) и информационный (RDMA-передача) уровни, что позволяет напрямую передавать данные между GPU в кластере с максимальной оптимизацией.
4️⃣ Monarch предоставляет тензоры, которые распределены по кластеру GPU. Операции с такими тензорами выглядят локальными, но выполняются по всему кластеру, а Monarch координирует работу тысяч GPU.

➡️ Подробнее

🐸 Библиотека питониста

#буст

🐍 Singleton в Python: зачем он нужен (и почему, скорее всего, не нужен)

Создание singleton-класса — хороший способ понять, как Python создаёт объекты. Но в реальном коде вам он почти никогда не понадобится.

1️⃣ Что такое Singleton
— Это паттерн проектирования, где класс может создать только один объект.
— Каждый раз, когда вы пытаетесь создать новый экземпляр, вы получаете тот же самый объект.

2️⃣ Когда может пригодиться
Пример из игры:
— Несколько игроков играют одновременно, нужен единственный лидерборд.
— Если каждый создаёт свой экземпляр, смысл таблицы исчезает.

Другие примеры:
— Подключение к базе данных или к железу — только один коннектор
— Логгер или менеджер конфигурации — чтобы был один источник истины

💡 Главная мысль:
Singleton — интересная учебная тема, но в Python чаще находят более простые альтернативы: модуль с функциями, глобальные объекты или dependency injection.

➡️ Подробнее об этом — ссылка на статью

🐸 Библиотека питониста

#буст

🐍 Python Developer — пошаговый роадмап, чтобы стать разработчиком в 2025

🐸 Библиотека питониста

#буст

📱 Python новости за последние 7 дней

🧩 Практика и обучение
— Модуль `json` для начинающих — пошаговое введение в работу с JSON в Python с домашним заданием.
— Асинхронный Python для начинающих — руководство по asyncio с практическим примером и объяснением основных концепций.
— Разбираемся со звёздочками: *args и **kwargs — простое объяснение популярных конструкций Python для передачи аргументов.

⚙️ Алгоритмы и кодинг
— Сравнение алгоритмов сортировки с Pygame-визуализацией — визуальный разбор популярных сортировок и их особенностей на Python.
— 132 строчки, которые рождают математического гипермонстра — креативный проект с Python для генерации сложных математических структур.
— Практическое тестирование приложений на Python — гайд по тестированию с примерами для реальных проектов.

🧠 Задачи и собеседования
— 10 практических задач на Python для новичков — проверка базовых навыков через короткие практические задания.
[Читать](https://habr.com/ru/articles/959786/)
— 10 вопросов на собеседовании Junior Python-разработчика — типичные вопросы и ловушки для начинающих Python-разработчиков.

🐸 Библиотека питониста

#свежак

👍 Программирование на языке Python

🐸 Библиотека задач по Data Science

🐍 Вышел pip 25.3 — сборка только по PEP 517 и новые build constraints

Основные нововведения:

1️⃣ Новая опция `--build-constraint`
➡️ Позволяет задавать ограничения для зависимостей только на этапе сборки, не затрагивая обычные install constraints.

2️⃣ Сборка из исходников теперь полностью через PEP 517
➡️ setup.py больше не вызывается напрямую — теперь только официальный интерфейс сборки.

3️⃣ Editable-установки теперь только по PEP 660
➡️ pip больше не вызывает setup.py develop. Если вы используете editable с setuptools, обновитесь до v66+.

4️⃣ `--dry-run` и `pip lock` стали быстрее
➡️ Если ваш индекс поддерживает метаданные по PEP 658 (например, PyPI), pip больше не скачивает весь пакет, чтобы проверить зависимости.

➡️ Официальный анонс
➡️ Полный changelog

🐸 Библиотека питониста

#свежак

💻 Tiny8 — минималистичный набор Python инструментов для изучения основ компьютеров

Tiny8 — это лёгкий toolkit, который позволяет понять, как компьютер работает изнутри:
от моделей памяти и простейшего ассемблера — до структур данных и визуализации выполнения.

Что в нём классного:
— Никаких лишних зависимостей — только чистая логика.
— Минималистичный дизайн, понятный даже новичкам.
— Можно экспериментировать, менять, ломать и смотреть, что произойдёт.
— Визуализация помогает «увидеть» процесс выполнения инструкций.

💻 Если когда-то хотелось написать «свой компьютер в 200 строках» — это тот самый вход.

📱 Github

🐸 Библиотека питониста

#буст

💻 Git Flow, GitHub Flow и Trunk-Based: что выбрать команде

В шпаргалке кратко о трёх популярных подходах к ветвлению в Git. Сохраняйте и пользуйтесь!

🐸 Библиотека питониста

#буст

🐸 Библиотека питониста

#развлекалово

🧪 Pytest Fixtures: как сделать тесты чистыми, переиспользуемыми и модульными

Фикстуры в pytest — это мощный инструмент для организации тестовой архитектуры.

Они позволяют:
✔️ Не дублировать код: создаёте данные один раз и используете их в нескольких тестах.
✔️ Переиспользовать данные между модулями: через conftest.py фикстуры становятся доступны во всех тестах.
✔️ Параметризовать тесты: params запускает один тест с разными входными данными.
✔️ Автоматически подключать фикстуры: autouse=True делает их доступными без явного указания в тестах.

Пример простой фикстуры для пользователя:

import pytest
from dataclasses import dataclass

@dataclass
class User:
    name: str
    email: str

@pytest.fixture()
def user_fixture():
    return User(name="Patrick", email="myemail@gmail.com")

def test_valid_user(user_fixture):
    assert validate_user(user_fixture).is_valid

def test_valid_email(user_fixture):
    assert validate_email(user_fixture).is_valid

Советы по организации фикстур:
✔️ Для маленьких проектов фикстуры можно держать в conftest.py.
✔️ Для больших проектов удобно создавать отдельную папку fixtures/ и импортировать их в conftest.py.
✔️ Используйте scope (function, module, session) для контроля времени жизни фикстуры.
✔️ Параметр name помогает давать понятные имена фикстурам.

Как используют фикстуры известные проекты:
🔥 Pydantic — держат фикстуры в тестовых модулях, высокая когезия.
🔥 Streamlit — комбинируют unit-тесты и e2e-тесты с фикстурами в conftest.py.
🔥 Hypothesis — генерирует случайные данные для property-based testing.

➡️ Чуть подробнее в полезной статье

🐸 Библиотека питониста

#буст

кто ты, воин? 😅

🐸 Библиотека питониста

#развлекалово