Дайджест по Python:

✍️ Как мы заинжектили кнопку на Behance
Как появился python‑модуль behance‑py, который, если верить статистике с pepy.tech, имеет более 5 тысяч установок и расширение для Chrome, о котором более подробно в статье.

✍️ “Ну и долго мне ещё до магазина?” Или пара слов о геоинформационном анализе с помощью Python
В статье раскрыли тему обработки пространственных данных средствами Python библиотеки estaty.

✍️ Борьба с несбалансированными данными
Почему несбалансированные данные — это такая большая проблема?

✍️ Головоломки на Python: Увлекательный Путь к Мастерству в Программировании
В этой статье автор представляет серию увлекательных головоломок, разработанных для развития навыков программирования на Python.

Свежий #дайджест по DS

✍️ Чем может быть полезно хеширование в рекомендательных системах
У простой модели рекомендательной системы при использовании может возникнуть проблема масштабирования. Справиться с этим позволяет следующий трюк — множество пользователей сопоставляется с одним скрытым (latent) представлением с помощью хеш-функции.
✍️ Риски и перспективы использования LLM для проверки фактов
Авторы новой статьи проверили, как большие языковые модели справляются с фактчекингом. Оказалось, что хорошо, когда у них есть контекстуальная информация. При этом GPT-4 превосходит GPT-3.
✍️ Управление рисками искусственного интеллекта в эпоху быстрого прогресса
Авторы статьи предлагают серьёзно отнестись к возможности того, что универсальные системы ИИ превзойдут способности человека во многих критически важных областях в течение этого десятилетия или следующего.
✍️ 6 способов уменьшить галлюцинации ChatGPT
Про улучшение ответов модели с помощью промптов.

🐍💼 Подготовка к собеседованию по Python: решаем 5 интересных задач

Проверяем двоичные деревья на симметричность, вычисляем расстояние Дамерау-Левенштейна и оцениваем сложность алгоритмов.

Читать статью

Что такое learning rate?

Скорость обучения — важный гиперпараметр, который контролирует, насколько быстро модель адаптируется к проблеме во время обучения. Его можно рассматривать как «ширину шага» во время обновления параметров, т. е. насколько далеко веса перемещаются в направлении минимума нашей задачи оптимизации.
#вопросы_с_собеседований

📌Мини-подборка наших свежих статей о карьере и не только: забирайте в закладки

🐍 Разбор 5 сложных задач (на Python), которые обычно задают на собеседовании
👔 ТОП-14 подкастов про карьеру в ИТ (и около того)
🛣 Дорожная карта Go разработчика в 2023 году
👂 6 карьерных советов программисту
⚖️ Развиваем критическое мышление: топ-подборка из 25 ресурсов

👨‍💻 9 трендов в найме айтишников в 2023 году

Рассказываем, что интересного происходит в найме IT-специалистов.

По данным Хабр Карьеры, бэкендеры и фронтендеры испытывают трудности с поиском работы — спрос на них уменьшился на 4% и 15% соответственно.

Но сложнее всего сейчас мобильным разработчикам. А все потому, что рынок мобильной разработки рухнул на 24% по сравнению с показателями прошлого года. Но этот тренд в большей степени коснулся стажеров и джунов.

Читать статью

В чем разница между бустингом и бэггингом?

Разница между бустингом и бэггингом заключается в том, как они комбинируют прогнозы базовых моделей:

1. Бэггинг
• Принцип: В бэггинге создается множество подвыборок данных путем случайного выбора с заменой из исходного набора данных. Затем над каждой подвыборкой обучается отдельная базовая модель (например, решающее дерево).
• Прогноз: Прогнозы отдельных моделей усредняются (для регрессии) или выбирается наиболее часто встречающийся класс (для классификации).
• Пример: Случайный лес (Random Forest) - это пример бэггинга, где базовые модели - решающие деревья.

2. Бустинг
• Принцип: В бустинге базовые модели обучаются последовательно. Каждая новая модель фокусируется на ошибках, сделанных предыдущими моделями, и пытается их исправить.
• Прогноз: Прогнозы базовых моделей взвешиваются, и веса назначаются на основе их производительности. Прогнозы базовых моделей объединяются, и каждая следующая модель старается уменьшить ошибки предыдущих.
• Пример: Градиентный бустинг (Gradient Boosting) и AdaBoost - это популярные методы бустинга.

В бэггинге модели независимы и усредняются, в то время как в бустинге модели взаимодействуют и учатся на ошибках друг друга, что позволяет им вместе достичь лучшей производительности.

👨‍💻Возвращаемся к вам с очередной задачкой по математике, которую можно встретить на собеседовании на позицию Data Scientist.

Дано 32-битное целое число x со знаком, верните x с обратными цифрами. Если изменение x приводит к выходу значения за пределы диапазона 32-битных целых чисел со знаком [-231, 231 - 1], верните 0.

Предположим, что среда не позволяет хранить 64-битные целые числа (со знаком или без знака).

Пишите ответы в комментариях, решение опубликуем в четверг в 18:00)

Это что будет первая задачка, с которой никто не справился?😢

👀 Разбор задачи, которую публиковали во вторник

Шаг 1. Извлекаем цифру из первой позиции x с помощью оператора по модулю и сохранияем ее.

Шаг 2. Добавляем эту цифру как самую правую.

Шаг 3: Удаляем из x и продолжаем, пока x не станет равным 0.

Поставьте 👍🏻, если хотите больше таких задачек

🔥А также напоминаем, про наши бесплатные вводные занятия курса «Математика для Data Science».

Начать с бесплатного демо-доступа можно здесь, ответив всего на 4 вопроса – https://proglib.io/w/db08077b

На вводных занятиях вас ждут:

– Лекции со всеми преподавателями МГУ по темам: теория множеств, непрерывность функции, основные формулы комбинаторики, матрицы и операции над ними, градиентный спуск.

– Практические задания и дополнительные материалы!

⚡️Переходите и активируйте – https://proglib.io/w/db08077b

Свежий #дайджест по статьям и видеороликам:

✍️ Обзор методов повышения производительности LLM
Это один из роликов с конференции DevDay, которые OpenAI опубликовала только сегодня ночью. Представленные выступления шли после блока анонсов от главы компании Сэма Олтмена. В них разработчики рассказали любопытные подробности.
✍️ Влияние больших языковых моделей на научные открытия
Практически книга, в которой рассказывается, как GPT-4 применим в открытии лекарств, биологии, вычислительной химии и т.д.
✍️ Эмбеддинги слов в PyTorch + Lightning
Ролик с песнями, объясняющий, как всё это накодить и использовать в PyTorch.
✍️ Введение в архитектуру MLOps
В статье перечислены ключевые компоненты архитектуры MLOps: от хранения данных до деплоя моделей и их мониторинга.
✍️ Как научить Transformer обрабатывать длинные тексты
Обзор основных идей по оптимизации self-attention.

💬Чем отличаются статически типизированные языки от динамически типизированных?

📌Типизация — набор правил, по которым ЯП классифицирует информацию в коде и различает переменные по типу. От вида типизации зависит, на каком этапе выполнения кода программа будет искать ошибки и нужно ли разработчику писать тип вводимых данных или встроенные в язык алгоритмы сделают это автоматически.

💡Статическая: тип каждой переменной определяется во время компиляции (Java, C#, C++). То есть типы всех переменных должны быть известны до выполнения программы. Преимущества: более раннее обнаружение ошибок (компилятор может обнаружить типовые ошибки) и улучшение производительности (определение типов происходит на этапе компиляции).

💡Динамическая: типы переменных определяются во время выполнения программы (Python, Ruby, JavaScript). То есть переменные могут принимать различные типы данных в разное время во время выполнения. Основные преимущества — гибкость и более короткий код.

👉 Более подробно ознакомиться можно здесь