Кстати, нам понравилась идея Константина, поэтому с августа у нас появились воркшопы в формате вопрос-ответ, где наши студенты 1,5 часа в зуме с преподавателем решают задачки и задают любые вопросы 🙌

Очевидно, что в открытом виде пароли в базе никто уже не хранит. Хранить хеш пароля — не всегда хорошая идея, т. к. его можно восстановить по радужным таблицам.

Решение — добавлять уникальную соль к паролю, что позволит получить уникальный результат хеширования для каждого пароля. И если даже вашу базу взломают, алгоритм формирования пары пароль + соль никто не узнает 🤷‍♂️

📌Как в таком случае проверить пароль?

1️⃣Пользователь вводит пароль.
2️⃣Система извлекает соответствующую соль из БД.
3️⃣Система добавляет соль к паролю и хеширует его. Назовем хешированное значение H1.
4️⃣Система сравнивает H1 и H2, где H2 — это хеш, хранящийся в базе данных. Если они одинаковы, пароль действителен.

👉 Более детально данный вопрос рассмотрен в визуальном руководстве.

Дайджест по Python:

✍️ Прием платежей с помощью Stripe, Vue.js и Flask
Если вы создаете сайт, чтобы зарабатывать деньги, в какой-то момент вам придется собирать деньги. В этом руководстве показано, как создать приложение Flask, которое интегрируется с Stripe для обработки платежей через платформу Vue.js.

✍️ Создание коннектора RisingWave для Django ORM
В этой статье показано внутреннее устройство Django ORM. Мы создаем прототип коннектора к базе данных потоковой передачи событий RisingWave и включаем возможности информационной панели в Django.

✍️ Автодифференциальные головоломки
Этот блокнот содержит серию отдельных головоломок для изучения производных в тензорных библиотеках.

✍️ Основы PyTimeTK
Введение в библиотеку pytimetk и то, как вы можете использовать ее для анализа временных рядов.

⚡️Отзыв Софьи Новиковой

Data Analyst, middle, 2 года опыта работы. Студент курса «Математика для Data Science».

Курсом довольна на 80%. Понравилось учиться в формате видео-лекций, для меня это самый простой вариант восприятия.

Но усваивается материал по разному, в зависимости от того, насколько заряжает энергией преподаватель. Некоторые лекции показались довольно скучными. Преподаватель отвечал оперативно, были интересные домашние задания, но иногда было сложно, так как на лекции разбирали мало примеров решения задачек.

Еще хотелось бы лекции покороче, тяжело выделить 2-3 часа, чтобы все за раз посмотреть. Не хватило реального общения: вебинаров, встреч и живых обсуждений.

Ответьте на 3 вопроса, чтобы получить демо-доступ к курсу «Алгоритмы и структуры данных»

⚡️Получить демо – https://proglib.io/w/979a2896

В бесплатной части вас ждут:

1. Лекция «Производительность алгоритмов» от руководителя разработки Яндекс.Самокатов

2. Лекция «Итеративные сортировки и линейные сортировки» от аспирант департамента искусственного интеллекта ВШЭ

3. Практические задания после лекций

4. Ссылки на дополнительные материалы для самостоятельно изучения

Переходите и начинайте учиться уже сегодня!

👨‍💻 9 трендов в найме айтишников в 2023 году

Рассказываем, что интересного происходит в найме IT-специалистов.

По данным Хабр Карьеры, бэкендеры и фронтендеры испытывают трудности с поиском работы — спрос на них уменьшился на 4% и 15% соответственно.

Но сложнее всего сейчас мобильным разработчикам. А все потому, что рынок мобильной разработки рухнул на 24% по сравнению с показателями прошлого года. Но этот тренд в большей степени коснулся стажеров и джунов.

Читать статью

Что такое нормальное распределение?

График колокола, также известный как нормальное распределение, представляет собой распределение, в котором большинство наблюдений сосредоточены в центре, а по мере удаления от центра количество наблюдений уменьшается. Статистически значимым является то, что при нормальном распределении 68% данных попадают в пределы одного стандартного отклонения от среднего значения, 95% данных — в пределы двух стандартных отклонений, а 99.7% данных — в пределы трех стандартных отклонений от среднего.
#вопросы_с_собеседований

Библиотека cvxpy

cvxpy — эта библиотека позволяет описывать оптимизационные задачи в высокоуровневом виде и эффективно решать их с помощью численных методов.

Основные возможности cvxpy:
— Удобный синтаксис для задания целевой функции и ограничений в виде выражений Python.
— Поддержка разных типов переменных: вещественных, целочисленных, булевых.
— Возможность задания неравенств и равенств как ограничений.
— Встроенные функции для задания норм, статистических величин и других полезных выражений.
— Автоматический выбор подходящего численного решателя на основе задачи.
— Интеграция с NumPy, SciPy и другими популярными библиотеками.

cvxyp часто используется для решения задач оптимизации в машинном обучении, обработке сигналов, финансовом моделировании и других областях.
#код

👀 Курс "Базовые модели ML и приложения" со скидкой 30% до конца октября

Это наш новый курс для начинающих в теме машинного обучения 🎉

– Познакомитесь с основными моделями машинного обучения;

– Научитесь выбирать и применять подходящие tree-based модели;

– Получите основу для дальнейшего изучения более сложных нейтронных сетей.

🔥С промокодом ML30 курс стоит всего 3 500 рублей – https://proglib.io/w/02c5777c

Кому будет полезен курс?

Начинающим в IT. Тем, кто выбирает направление и хочет попробовать себя в ML.

Математикам. Увлекаетесь математикой и хотите перейти от теории к практике, а также научиться решать реальные бизнес-задачи.

Переходите на сайт, читайте подробности и заходите на обучение по самым выгодным условиям!

🤖 По мотивам нашей email-рассылки

⚡Китайские исследователи ИИ разработали систему корректировки галлюцинаций для LLM — Woodpecker
⚡Google DeepMind представила визуальную модель PaLI-3 на 5 млрд параметров. Она отвечает на вопросы по изображениям и видео, распознает объекты, и несмотря на скромный размер, показывает по всем тестам лучшие результаты, чем модели, превосходящие PaLI-3 по объему параметров в 10 раз

💬 Как это работает

📝Статья «Эмбеддинги: что это такое и почему это важно» расскажет об использовании эмбеддингов в машинном обучении
📝Дэвид Розенберг, глава отдела машинного обучения в Bloomberg, рассказал о тонкостях разработки финансовых LLM на примере своего детища – BloombergGPT

🧰Инструменты

🔧React Agent — упростит жизнь React-разработчика: сгенерирует компоненты с нуля по текстовым описаниям, создаст новые элементы на основе существующих
🔧Dashtoon — сделает комикс в вашем любимом стиле

Дайджест по Python:

✍️ Как мы заинжектили кнопку на Behance
Как появился python‑модуль behance‑py, который, если верить статистике с pepy.tech, имеет более 5 тысяч установок и расширение для Chrome, о котором более подробно в статье.

✍️ “Ну и долго мне ещё до магазина?” Или пара слов о геоинформационном анализе с помощью Python
В статье раскрыли тему обработки пространственных данных средствами Python библиотеки estaty.

✍️ Борьба с несбалансированными данными
Почему несбалансированные данные — это такая большая проблема?

✍️ Головоломки на Python: Увлекательный Путь к Мастерству в Программировании
В этой статье автор представляет серию увлекательных головоломок, разработанных для развития навыков программирования на Python.

Свежий #дайджест по DS

✍️ Чем может быть полезно хеширование в рекомендательных системах
У простой модели рекомендательной системы при использовании может возникнуть проблема масштабирования. Справиться с этим позволяет следующий трюк — множество пользователей сопоставляется с одним скрытым (latent) представлением с помощью хеш-функции.
✍️ Риски и перспективы использования LLM для проверки фактов
Авторы новой статьи проверили, как большие языковые модели справляются с фактчекингом. Оказалось, что хорошо, когда у них есть контекстуальная информация. При этом GPT-4 превосходит GPT-3.
✍️ Управление рисками искусственного интеллекта в эпоху быстрого прогресса
Авторы статьи предлагают серьёзно отнестись к возможности того, что универсальные системы ИИ превзойдут способности человека во многих критически важных областях в течение этого десятилетия или следующего.
✍️ 6 способов уменьшить галлюцинации ChatGPT
Про улучшение ответов модели с помощью промптов.

🐍💼 Подготовка к собеседованию по Python: решаем 5 интересных задач

Проверяем двоичные деревья на симметричность, вычисляем расстояние Дамерау-Левенштейна и оцениваем сложность алгоритмов.

Читать статью

Что такое learning rate?

Скорость обучения — важный гиперпараметр, который контролирует, насколько быстро модель адаптируется к проблеме во время обучения. Его можно рассматривать как «ширину шага» во время обновления параметров, т. е. насколько далеко веса перемещаются в направлении минимума нашей задачи оптимизации.
#вопросы_с_собеседований

📌Мини-подборка наших свежих статей о карьере и не только: забирайте в закладки

🐍 Разбор 5 сложных задач (на Python), которые обычно задают на собеседовании
👔 ТОП-14 подкастов про карьеру в ИТ (и около того)
🛣 Дорожная карта Go разработчика в 2023 году
👂 6 карьерных советов программисту
⚖️ Развиваем критическое мышление: топ-подборка из 25 ресурсов

👨‍💻 9 трендов в найме айтишников в 2023 году

Рассказываем, что интересного происходит в найме IT-специалистов.

По данным Хабр Карьеры, бэкендеры и фронтендеры испытывают трудности с поиском работы — спрос на них уменьшился на 4% и 15% соответственно.

Но сложнее всего сейчас мобильным разработчикам. А все потому, что рынок мобильной разработки рухнул на 24% по сравнению с показателями прошлого года. Но этот тренд в большей степени коснулся стажеров и джунов.

Читать статью

В чем разница между бустингом и бэггингом?

Разница между бустингом и бэггингом заключается в том, как они комбинируют прогнозы базовых моделей:

1. Бэггинг
• Принцип: В бэггинге создается множество подвыборок данных путем случайного выбора с заменой из исходного набора данных. Затем над каждой подвыборкой обучается отдельная базовая модель (например, решающее дерево).
• Прогноз: Прогнозы отдельных моделей усредняются (для регрессии) или выбирается наиболее часто встречающийся класс (для классификации).
• Пример: Случайный лес (Random Forest) - это пример бэггинга, где базовые модели - решающие деревья.

2. Бустинг
• Принцип: В бустинге базовые модели обучаются последовательно. Каждая новая модель фокусируется на ошибках, сделанных предыдущими моделями, и пытается их исправить.
• Прогноз: Прогнозы базовых моделей взвешиваются, и веса назначаются на основе их производительности. Прогнозы базовых моделей объединяются, и каждая следующая модель старается уменьшить ошибки предыдущих.
• Пример: Градиентный бустинг (Gradient Boosting) и AdaBoost - это популярные методы бустинга.

В бэггинге модели независимы и усредняются, в то время как в бустинге модели взаимодействуют и учатся на ошибках друг друга, что позволяет им вместе достичь лучшей производительности.

👨‍💻Возвращаемся к вам с очередной задачкой по математике, которую можно встретить на собеседовании на позицию Data Scientist.

Дано 32-битное целое число x со знаком, верните x с обратными цифрами. Если изменение x приводит к выходу значения за пределы диапазона 32-битных целых чисел со знаком [-231, 231 - 1], верните 0.

Предположим, что среда не позволяет хранить 64-битные целые числа (со знаком или без знака).

Пишите ответы в комментариях, решение опубликуем в четверг в 18:00)