🧩 Как работают импорты в Python?

• Порой бывает трудно правильно реализовать import с первого раза, особенно если мы хотим добиться правильной работы на плохо совместимых между собой версиях Python 2 и Python 3.

• Попытаемся разобраться, что из себя представляют импорты в Python и как написать решение, которое подойдёт под обе версии языка.

🧷 Читать статью

#Статья

📌 Модуль pdb, отладчик Python.

• Модуль pdb определяет интерактивный отладчик исходного кода для программ Python. Он поддерживает установку условных точек останова и пошаговое выполнение на уровне строки исходного кода, проверку стековых фреймов, листинг исходного кода и оценку произвольного кода Python в контексте любого стекового фрейма. Он также поддерживает посмертную отладку и может вызываться под управлением программы.

• Отладчик является расширяемым - он фактически определяется как класс pdb.Pdb().

Типичное использование для запуска программы под управлением отладчика (код на картинке).

📕 Документация

#урок

🧩 Многопоточность в Python: очевидное и невероятное

• В данной статье автор покажет на практическом примере, как устроена многопоточность в Python, расскажет про потоки, примитивы синхронизации и о том зачем они нужны.

🧷 Читать статью

#Статья

🔖 Промежуточная шпаргалка по науке о данных

Эта шпаргалка поможет вам разобраться с диапазоном, списками, журналированием, парсингом, NumPy, итератором, кортежем, типами данных и т. д.

👉 Смотреть шпаргалку

#Шпаргалка

ООП: Инкапсуляция в Python

• Рассмотрим одного из 3 китов ООП - инкапсуляцию, посмотрим чем она является и чего лучше не ждать.

🧷 Смотреть видео

#Видео

🧩 7 фишек Python для лучшего обращения с памятью

• Подобрали фишки Python, чтобы использовать язык по полной и разумнее обращаться с CPU.

🧷 Читать статью

#Статья

🔖 Шпаргалка по визуализации в Python

Визуализация данных — это важный инструмент для анализа и представления информации.

👉 Смотреть шпаргалку

#Шпаргалка

📌 Модуль pyftpdlib в Python, FTP-сервер.

• Модуль pyftpdlib реализует серверную часть протокола FTP, как определено в RFC-959. По своей природе pyftpdlib является асинхронным. Это означает, что он использует один процесс/поток для обработки нескольких клиентских подключений и передачи файлов. Вот почему он такой быстрый, легкий и масштабируемый.

• Изменить асинхронную модель легко. Для этого нужно вместо класса FTPServer использовать классы ThreadedFTPServer или MultiprocessFTPServer. На практике это означает, что можно не бояться длительных блокирующих операции, а следовательно использовать FTP-сервер на медленных файловых системах.

Так как модуль pyftpdlib не входит в стандартную библиотеку Python, его необходимо установить отдельно. Сделать это можно с помощью менеджера пакетов pip (код на картинке).

📕 Документация

#урок

📌 Модуль pyftpdlib в Python, FTP-сервер.

• Модуль pyftpdlib реализует серверную часть протокола FTP, как определено в RFC-959. По своей природе pyftpdlib является асинхронным. Это означает, что он использует один процесс/поток для обработки нескольких клиентских подключений и передачи файлов. Вот почему он такой быстрый, легкий и масштабируемый.

• Изменить асинхронную модель легко. Для этого нужно вместо класса FTPServer использовать классы ThreadedFTPServer или MultiprocessFTPServer. На практике это означает, что можно не бояться длительных блокирующих операции, а следовательно использовать FTP-сервер на медленных файловых системах.

Так как модуль pyftpdlib не входит в стандартную библиотеку Python, его необходимо установить отдельно. Сделать это можно с помощью менеджера пакетов pip (код на картинке).

📕 Документация

#урок

🧩 Как работать с линейными системами в Python с помощью scipy.linalg?

• В этой статье мы научимся применять концепции линейной алгебры для решения практических задач с помощью scipy.linalg и работать с векторами и матрицами, используя Python и NumPy.

🧷 Читать статью

#Статья

🔖 Шпаргалка по основам NumPy

NumPy - библиотека с открытым исходным кодом для языка программирования Python.

Возможности:
— Поддержка многомерных массивов (включая матрицы).
— Поддержка высокоуровневых математических функций, предназначенных для работы с многомерными массивами.

👉 Смотреть шпаргалку

#Шпаргалка

Атрибуты класса, classmethod и staticmethod

• Посмотрим в первом приближении на атрибуты класса, как с ними работать, для чего нужны декораторы classmethod и staticmethod.

🧷 Смотреть видео

#Видео

🧩 Python + MySQL: как подключиться к СУБД MySQL и работать с ней с помощью Python?

• Из этой статьи вы узнаете, как подключиться к MySQL с помощью Python и выполнить основные команды для работы с данными в таблице: установка необходимых библиотек, подключение к базе данных, создание и удаление таблицы, добавление, извлечение и удаление данных из таблицы.

🧷 Читать статью

#Статья

📌 Модуль psutil в Python, мониторинг ОС.

• Модуль psutil - это кроссплатформенная библиотека для получения информации о запущенных процессах и использовании системы (ЦП, память, диски, сеть, датчики) в Python. Этот модуль полезен для мониторинга системы, профилирования, ограничения ресурсов процессов и управления запущенными процессами.

• Он реализует множество функций, предлагаемых инструментами командной строки UNIX, такими как: ps, top, lsof, netstat, ifconfig, who, df, kill, free, nice, ionice, iostat, iotop, uptime, pidof, tty, taskset, pmap.

Так как модуль psutil не входит в стандартную библиотеку Python, его необходимо установить отдельно. Сделать это можно с помощью менеджера пакетов pip (код на картинке).

📕 Документация

#урок

Как синхронизировать PyCharm и GitHub проект python?

• В этом видео, автор расскажет о том, как создать репозиторий на гитхабе, как синхронизировать проект созданный в PyCharm с GitHub и использовать их.

🧷 Смотреть видео

#Видео

📌 Модуль MySQLdb в Python, клиент БД MySQL.

• Модуль MySQLdb - это тонкая обертка Python для клиента MySQLdb.mysql написанного на языке С, которая делает его совместимым с интерфейсом Python DB API (версии 2).

• Из соображений быстродействия и эффективности значительная часть кода, реализующего Python DB API (описанная в PEP-249), находится в подмодуле MySQLdb.mysql.

Установка модуля MySQLdb в виртуальное окружение через менеджер пакетов pip (код на картинке).

📕 Документация

#урок

Паттерн Singleton (Одиночка) в Python

• Это шаблон предоставления глобального доступа к состоянию, гарантируется, что объект всегда будет один и тот же.

🧷 Смотреть видео

#Видео

Всем привет! На канале Data analysis | Анализ данных | DA разбираются темы и вопросы, которые должен знать аналитик данных, имеющий опыт 3-6 лет. Все темы взяты из реальных вакансий, опубликованных на hh.ru.

Будет полезно, если вы являетесь аналитиком данных (начинающим или опытным) или работаете по смежной профессии, либо просто интересуетесь базами данных, Python, SQL, экономикой и финансами и всеми производными от этих тем.

🟠Список разобранных вопросов:

✅Python:

▶️Эмбеддинги предложений
▶️Алгоритм кластеризации
▶️Кластеризация текстовой информации
▶️Визуализация: Matplotlib
▶️Визуализация: Seaborn
▶️Python в Tableau
▶️Python + SQL: Cx_oracle
▶️Большие данные в Python: Dask
▶️Массовая загрузка файлов в БД

✅SQL:

▶️PARTITION (оконные функции)
▶️PARTITION (партиционирование)
▶️Процедуры: разбор IN | OUT | IN OUT
▶️Процедуры: объявления и исключения
▶️PACKAGE (пакеты)
▶️Циклы LOOP, WHILE, FOR
▶️CURSOR
▶️Индексы
▶️Представления (Views)
▶️Материализованные и нематериализованные views
▶️Pivot в SQL
▶️Hints (хинты)
▶️EXPLAIN PLAN
▶️TRIGGER (триггеры)

✅Базы данных:

▶️Какие бывают базы данных
▶️Виды БД наглядно
▶️ACID и BASE
▶️Типы данных
▶️OLAP-кубы
▶️Проектирование баз данных
▶️Разница между БД и DWH
▶️Витрины данных
▶️ETL и ELT процессы
▶️Звездочка, снежинка, Data Vault
▶️Слои данных в DWH
▶️Нормализация

✅Инструменты:

▶️Обзор Hadoop
▶️Обзор Hive
▶️Обзор Impala
▶️Обзор Airflow
▶️Обзор ClickHouse
▶️Массивы, groupArray, groupUniqArray, uniq
▶️arraySort, arrayReverseSort и arrayFilter
▶️Tableau
▶️Arenadata Catalog
▶️Qlik Sense
▶️Informatica PowerCenter

✅А/Б тестирование:

▶️Основы А/Б тестов
▶️А/Б тесты на практике
▶️Математические методы проверки результатов
▶️Инструменты А/Б тестирования

✅Работа с данными:

▶️Парадокс Симпсона
▶️Банковские клиенты
▶️Клиентская информация в банковском DWH
▶️Банковские продукты
▶️Продуктовая информация в банковском DWH
▶️Счета, баланс и фин рез в банковском DWH
▶️Качество данных
▶️Метаданные
▶️Source-to-Target Mapping

🟠В ближайшем будущем будем разбирать:

▶️Больше про SQL и базы данных: архитектуру и т.п.
▶️Больше питоновских библиотек и кейсов
▶️Про банковские данные
▶️Актуальные инструменты, в частности BI-инструменты и ETL-инструменты