🔥 Полезные библиотеки Python

✅ geoanalytics

📌 geoanalytics — библиотека для анализа растровых данных с применением алгоритмов машинного обучения: импутация, кластеризация, классификация, извлечение паттернов из геопространственных наборов.

📌 Особенности библиотеки:

🟢 Поддерживает Python 3; версия 2025.7.2.3 опубликована 2 июля 2025.
🟢 Актуальна для анализа спутниковых снимков, пространственного паттерно-майнинга.
🟢 Предоставляет примеры и наборы данных, рабочие тетради для обучения и экспериментов.
🟢 Хороший выбор, если ты работа ведется с геоданными, автоматизацией обработки изображений.

⚙️ Установка:

pip install geoanalytics  

🔢 Документация

#библиотеки

🖥 Python_Scripts

✅ AutoWallPaper Downloader — скрипт, который автоматически скачивает обои с Unsplash и сохраняет их в указанную папку.

📱 Python 3.x

📌 Скрипт загружает изображения с Unsplash API с заданной категорией, разрешением и количеством, сохраняет изображения в указанную папку, готовые для установки в качестве обоев. Также может запускаться вручную или через планировщик для автоматической ежедневной смены.

🔗 Репозиторий GitHub

#скрипты

🖥 Python_Scripts

🔥 Полезные библиотеки Python

✅ pycommons

📌 pycommons — библиотека с набором универсальных вспомогательных функций для проектов на Python: утилиты для структуры данных, проверки типов, кэширующие декораторы и др.

📌 Особенности библиотеки:

🟢 Совместима с Python 3.12 и выше; версия 0.8.67 опубликована 12 июня 2025 года.
🟢 Содержит функции fail-fast — проверка типов аргументов, исключения при некорректных входных данных.
🟢 Подходит для автоматизации, скриптов и небольших проектов, где нужно быстро добавить надёжные вспомогательные инструменты.

⚙️ Установка:

pip install pycommons

🔢 Документация

#библиотеки

🖥 Python_Scripts

✅ webscreenshot — скрипт на Python для массового снятия скриншотов сайтов из списка URL

📱 Python 3.x

📌 Скрипт:

🟢 Принимает файл со списком URL, делает снимки всех сайтов.
🟢 Поддерживает разные веб-рендереры: PhantomJS, Chrome/Edge Chromium, Firefox.
🟢 Можно задать размер окна (ширина/высота), формат изображения (png, jpg) и качество.
🟢 Обрабатывает AJAX-страницы и динамический контент.
🟢 Поддержка многопроцессности и таймаутов, чтобы не “зависать” при загрузке страниц.

📌 Фичи:

🟢 Идеально для сбора скриншотов сайтов в рамках мониторинга, режим снимок сайта → скачать.
🟢 Может использоваться для архивирования веб-контента.

🔗 Репозиторий GitHub

#скрипты

🖥 Python_Scripts

✅ Automated Python Scripts Collection (Ai-Quill/automated) — набор полезных утилит-скриптов, собранных в один проект для автоматизации повседневных задач.

📱 Python 3.8+
ℹ️ Модули: разные в зависимости от задачи — requests, PIL, opencv-python, yt_dlp, pyperclip и др. Все скрипты автономны и легко подключаются.

📌 Ai-Quill/automated содержит более 15 скриптов-утилит — от удаления фона на изображениях до скачивания видео, генерации QR-кодов, мониторинга ресурсов и анализатора кода. Проект собирает “хиты” из личной “скриптологии” в одном месте.

👨‍💻 Примеры скриптов из набора:

🟢 Background Remover — удаляет фон с изображений автоматически.
🟢 QR Code Creator — генерирует QR-коды из URL или текста.
🟢 YouTube Downloader — скачивает видео или аудио из YouTube.
🟢 Resource Monitor — следит за использованием CPU, памяти и логгирует превышения.
🟢 Clipboard Tracker — логирование текста, скопированного в буфер обмена.

Пример использования (фрагмент скрипта “Resource Monitor”):

import psutil
import time

def monitor(interval=5):
    while True:
        cpu = psutil.cpu_percent(interval=1)
        mem = psutil.virtual_memory().percent
        print(f"CPU: {cpu}%, MEM: {mem}%")
        time.sleep(interval)

if __name__ == "__main__":
    monitor()

📌 Что делает:

🟢 Объединяет множество автономных скриптов в одну коллекцию
🟢 Каждый скрипт выполняет отдельную задачу — от обработки изображений до мониторинга или анализа
🟢 Можно клонировать проект и запускать нужные модули без лишней обвязки
🟢 Отлично подходит для тех, кто любит “toolbox” для повседневных задач

🔗 Репозиторий GitHub

#скрипты

🖥 Python_Scripts

✅ movie-organizer — скрипт для организации видеофайлов и загрузки их на FTP с переименованием через AI API

📱 Python 3.x

📌 Скрипт:

🟢 Находит все видеофайлы в указанной папке (mp4, mkv и др.)
🟢 Отправляет имя файла на AI-API, чтобы нормализовать название (извлечь название фильма и год), и переименовывает файл по полученному результату
🟢 Кладёт видео в подпапки с нормальными именами, сортируя коллекцию
🟢 Загружает переименованные видео на FTP-сервер через встроенный FTP-клиент

🔗 Репозиторий

#скрипты

🖥 Python_Scripts

🔥 Полезные библиотеки Python

✅ mysmallutils

📌 mysmallutils — библиотека с набором простых утилит: работа с конфигами (JSON, YAML), логированием, скачиванием файлов, выполнением внешних команд и другим вспомогательным кодом.

📌 Особенности библиотеки:

🟢 Поддержка Python 3.
🟢 Небольшой вес, минимальные зависимости — можно подключить как вспомогательный инструмент без перегрузки проекта.
🟢 Утилиты: работа с коллекциями, получение метрик, работа с конфигурациями, загрузка, логирование и др.

⚙️ Установка:

pip install mysmallutils  

🔢 Документация

#библиотеки

🖥 Python_Scripts

✅ DNSRecon — скрипт на Python для DNS-разведки и сбора записей домена

📱 Python 3.12+

📌 Скрипт перечитывает основные DNS-записи (A, AAAA, MX, NS, TXT, SOA), выполняет перебор поддоменов через словарь и брут-форс, проверяет PTR-записи на введённые IP-диапазоны, генерирует отчёты с результатами.

📌 Фичи:

🟢 Идеально для пентестеров, OSINT-исследователей и администраторов сети
🟢 Помогает быстро собрать детальную информацию о DNS-конфигурации домена
🟢 Может быть интегрирован в пайплайн аудита или скрипты безопасности

🔗 Репозиторий GitHub

#скрипты

🖥 Python_Scripts

🔥 Полезные библиотеки Python

✅ sparse

📌 sparse — высокопроизводительная библиотека для работы с разреженными массивами n-мерности (ND-arrays). Она расширяет возможности numpy, позволяя хранить огромные массивы, где большинство значений — нули, без лишнего расхода памяти. Использует эффективные форматы хранения (COO, DOK) и интегрируется с numba и dask.

📌 Особенности библиотеки:

🟢 Поддержка N-мерных разреженных массивов, а не только 2D, как у SciPy.
🟢 Полная совместимость с NumPy API — можно использовать привычные операции.
🟢 Эффективное хранение и вычисления для больших датасетов.
🟢 Ускоренная обработка благодаря компиляции некоторых операций через Numba.
🟢 Поддержка бродкастинга, слайсинга, арифметики и матричных операций.

⚙️ Установка:

pip install sparse

🔢 Документация

#библиотеки

🖥 Python_Scripts

✅ urlscanio — CLI скрипт на Python для сканирования сайтов с помощью API URLScan и сохранения скриншотов + DOM

📱 Python 3.8+

📌 Скрипт отправляет URL на URLScan.io через API, получает результаты сканирования: DOM страницы, скриншот и отчёт. Поддерживает пакетный режим: можно подать список URL из файла. Также позволяет сохранять файлы в указанную директорию через переменную URLSCAN_DATA_DIR.

📌 Чем может быть полезен?:

🟢 Полезен при OSINT-исследованиях или пентесте — быстро получать визуал и структуру сайтов
🟢 Можно запускать из скриптов или CI для регулярных проверок
🟢 Требуется API-ключ URLScan.io — но это даёт контроль и мощный функционал

🔗 Репозиторий Github

#скрипты

🖥 Python_Scripts

🔥 Полезные библиотеки Python

✅ commix

📌 commix (Command Injection Exploiter) — инструмент и Python-библиотека для автоматического поиска и эксплуатации уязвимостей командной инъекции в веб-приложениях.

📌 Особенности commix:

🟠Автоматически определяет и эксплуатирует command injection
🟠Поддерживает GET, POST, cookie, user-agent и другие источники инъекций
🟠Возможность интерактивной оболочки (reverse shell, meterpreter и др.)
🟠Поддерживает обход WAF и фильтров

⚙️ Установка:

git clone https://github.com/commixproject/commix
cd commix
python commix.py --help

🔢 Документация

#библиотеки

🖥 Python_Scripts

✅ Log-Analysis-and-Security-Insights — скрипт на Python для анализа серверных логов и выявления подозрительной активности

📱 Python 3.x

📌 Скрипт читает файл логов сервера и извлекает IP-адреса, HTTP-методы и статус-коды, анализирует частоту запросов по IP и выделяет активные адреса. Далее он обнаруживает возможные брутфорс-атаки и неудачные попытки входа (401) — помечает опасные IP. И наконец экспортирует результаты в CSV, помогает системным администраторам и специалистам по безопасности быстро получить отчёт.

📌 Фичи:

🟢 Позволяет автоматизировать проверку логов на потенциальные угрозы.
🟢 Отличный инструмент для мониторинга серверов и аудита безопасности.
🟢 Может быть встроен в регулярный анализ или систему оповещений.

🔗 Репозиторий GitHub

#скрипты

🖥 Python_Scripts

✅ Google Image Downloader — скрипт, который скачивает изображения с Google по заданному поисковому запросу

📱 Python 3.x
ℹ️ Модули: requests, os, re, urllib.parse, bs4 (BeautifulSoup) — используется HTTP-запросы к Google Images, HTML-парсинг ссылок и загрузка файлов.

📌 Google Image Downloader — утилита командной строки, вызываешь с запросом (напр. “cats”) и путь, и скрипт скачивает N изображений по этому запросу, фильтрует по расширениям, сохраняет в папку. Полезно, когда нужны картинки для датасетов, фоновые изображения, иллюстрации.

👨‍💻 Пример кода (адаптация):

import os
import requests
from bs4 import BeautifulSoup
from urllib.parse import urljoin, urlparse

def download_images(query, num_images=10, dest_folder="images"):
    os.makedirs(dest_folder, exist_ok=True)
    search_url = f"https://www.google.com/search?tbm=isch&q={query}"
    headers = {"User-Agent": "Mozilla/5.0"}
    resp = requests.get(search_url, headers=headers)
    soup = BeautifulSoup(resp.text, "html.parser")
    img_tags = soup.find_all("img")
    count = 0
    for img in img_tags:
        img_url = img.get("src")
        if not img_url:
            continue
        parsed = urlparse(img_url)
        ext = os.path.splitext(parsed.path)[1]
        if ext.lower() not in [".jpg", ".png", ".jpeg"]:
            continue
        filename = f"{query}_{count}{ext}"
        filepath = os.path.join(dest_folder, filename)
        try:
            img_data = requests.get(img_url, timeout=5).content
            with open(filepath, "wb") as f:
                f.write(img_data)
            print("Downloaded:", filename)
            count += 1
            if count >= num_images:
                break
        except Exception as e:
            print("Error:", e)
            continue

if __name__ == "__main__":
    download_images("sunset", num_images=5)

📌 Что делает:

🟢 Делает запрос Google Images с ключевым словом
🟢 Парсит HTML и находит теги <img>
🟢 Отбирает ссылки с допустимыми расширениями
🟢 Скачивает изображения и сохраняет в папку, пока не наберёт нужное число

🔗 Репозиторий GitHub

#скрипты

🖥 Python_Scripts

🔥 pypyr — легковесный скрипт-оркестратор для управления пайплайнами из YAML-файлов, без громоздкого кода.

📱 Python 3.7+
💾 Модули: pypyr — устанавливается через pip, зависимости автоматически подтягиваются. Это low-code инструмент: сам код JSON/YAML описывает логику, без обёрток и boilerplate.

📌 pypyr — скрипт-движок, который запускает цепочки задач описанных в YAML: запуск команд, копирование файлов, HTTP-запросы, переменные окружения, логика условий. Идеален как замена bash-скриптам, где нужно больше контроля, но без написания кучи Python-обвязки.

👨‍💻 Код и конфигурация (пример pipeline.yaml + запуск):

# pipeline.yaml
steps:
  - name: say hello
    python: print("Hello from pypyr")
  - name: list files
    shell: ls -la

Запускается так:

pip install pypyr
pypyr pipeline.yaml

#скрипты

🖥 Python_Scripts

🔥 Полезные библиотеки Python

✅ sparseconverter

📌 sparseconverter — библиотека для определения формата массива (плотный, разреженный, backend) и конвертации между ними. Особенно полезна, когда в проекте используются разные типы массивов (NumPy, sparse-библиотеки, CUDA), и нужно унифицировать формат или выбрать лучший для алгоритма.

📌 Особенности библиотеки:

🟢 Поддерживает множество форматов: dense, sparse COO, различные backend-варианты.
🟢 Эффективно находит наиболее подходящий формат конверсии для ввода и вывода — оптимизирует промежуточные шаги.
🟢 Обеспечивает API для получения функции конвертации между форматами и для самих преобразований.

⚙️ Установка:

pip install sparseconverter  

🔢 Документация

#библиотеки

🖥 Python_Scripts

✅ split_csv.py — скрипт на Python для разбивки большого CSV-файла на несколько по заданному количеству строк.

📱 Python 3.x

📌 Скрипт принимает CSV-файл и число строк N как аргумент: python split.py input.csv N; делит исходный файл на части: каждая часть — до N строк, с сохранением заголовка. Далее скрипт создаёт новые файлы input_1.csv, input_2.csv и т.д., чтобы удобно работать с большими данными.

🔗 Репозиторий

#скрипты

🖥 Python_Scripts

💸 Разработчики из Яндекса создали IT каналы для обучения своих сотрудников

Там выложено буквально всё (гайды, уроки, тесты, вопросы с собесов) и новые посты выходят каждый день!

Выбирайте своё направление и учись как учились топовые программисты:

👩‍💻 Python Flow — @pythonn_flow

👩‍💻 C & C++ Flow — @cpp_flow

👩‍💻 C# & Unity Flow — @csharp_flow

👩‍💻 Java Flow — @java_flow

👩‍💻 SQL & Базы данных Flow — @sql_flow

👩‍💻 Node.js Flow — @nodejs_flow

👩‍💻 Linux & DevOps Flow — @linux_flow

👩‍💻 InfoSec & Хакинг — @hacking_flow

👩‍💻 Git & GitHub Flow — @git_flow

💻 IT News Flow — @itnews_flow

🔔 Самое сложное это начать, поэтому сделай свой первый шаг сейчас!

👩‍💻 Полезные библиотеки Python

✅ Rich-click

📌 Библиотека Python, надстройка над популярной библиотекой click, которая добавляет цветные, структурированные и очень красивые интерфейсы командной строки, используя мощь rich.

📌 Особенности:

🟠 Улучшает UX CLI-приложений без переписывания кода
🟠 Делает утилиты выглядящими профессионально сразу
🟠 Полезен для инструментов разработчика, DevOps-скриптов, Open Source
🟠 Минимальные усилия → максимальный эффект

⚙️ Установка:

pip install rich-click

🔢 Документация

#библиотеки

🖥 Python_Scripts

✅ Backup-Script — скрипт на Python для автоматического бэкапа файловой системы и БД на Linux-сервере с опциональной отправкой на удалённый сервер

📱 Python 3.x

📌 Скрипт делает резервную копию файлов и БД (MySQL и др.). Может отправлять бэкап на удалённый сервер через FTP или SCP, также поддерживает хранение бэкапов с ограничением по времени. Легко настроить через Cron для автоматического запуска.

🔗 Репозиторий GitHub

#скрипты

🖥 Python_Scripts

🔥 Полезные библиотеки Python

✅ datedelta

📌 datedelta — расширение стандартного datetime.timedelta, которое умеет работать с годами и месяцами, учитывая особенности Григорианского календаря: високосные года, разное число дней в месяцах и т.д. Полезно, когда нужно не просто прибавить “X дней”, а “X месяцев” или “X лет”, и нужно, чтобы дата была корректной.

📌 Особенности библиотеки:

🟢 Поддержка Python >= 3.6, <4.0.
🟢 Можно создавать объекты datedelta с параметрами years, months, days, вычитание — тоже работает.
🟢 Учитывает “неоднозначные” случаи, например, 29 февраля и месяцы с разным числом дней.
🟢 Небольшой вес, минимальные зависимости — библиотека просто надстройка над стандартным datetime.

⚙️ Установка:

pip install datedelta

🔢 Документация

#библиотеки

🖥 Python_Scripts