Как следует поддерживать развернутую модель?

Шаги по поддержанию развернутой модели:

📌 Мониторинг
Необходим постоянный мониторинг всех моделей для определения точности их работы. Когда вы что-то меняете, вы хотите выяснить, как изменения повлияют на ситуацию.

📌 Оценка
Метрики оценки текущей модели рассчитываются, чтобы определить, нужен ли новый алгоритм.

📌 Сравнение
Новые модели сравниваются друг с другом, чтобы определить, какая модель работает лучше.

📌 Перезапуск
Наиболее эффективная модель дообучается на новых данных.

📚Что почитать: «Атлас искусственного интеллекта: руководство для будущего»

🐸«Библиотека программиста» заколлабилась с издательством «АСТ» — теперь на некоторых книгах вы можете найти значок «Рекомендовано Библиотекой программиста». Рассказываем об одной такой.

Кому подойдет: всем, кто работает в сфере AI или интересуется искусственным интеллектом

Что внутри:
🔸история создания и развития ИИ
🔸про влияние ИИ на рабочие процессы (а также экономические, политические, социальные и информационные сферы) — положительные и негативные эффекты и аспекты, которые обычно упускают из внимания
🔸актуальные научные статьи и источники

Впервые книга была опубликована издательством Йельского университета в 2021 году. Признана лучшей книгой по информатике 2022 ASIS&T — ассоциации компьютерных наук и технологий.

Автор: Кейт Кроуфорд — старший научный сотрудник Microsoft, профессор Калифорнийского университета, соучредитель и директор по исследованиям в AI Now Institute в Нью-Йоркском университете.

Полностью согласны!!!!!!!!!!!!

🔝 Лучшие практики Go: путь к чистому коду

В статье познакомимся с рекомендациями по написанию чистого кода на Go. Разберемся на примерах с особенностями языка и применим на практике основные синтаксические конструкции.

🔗 Читать статью

🔥 8 вопросов Data Scientist'у

Team lead по безопасности личных данных рассказывает новичкам про жизнь в Data Science и отвечает на вопросы, которые волнуют начинающих.

В видео дают ответы на вопросы о том, где лучше учиться на специалиста по данным, что должен уметь Data Scientists и сколько получает специалист.

Смотреть видео

Интенсив «Архитектуры и шаблоны проектирования» для middle и senior-разработчиков

Проверьте свои знания, ответив на 8 вопросов – https://proglib.io/w/026c701a

🧐 Кому подойдет?

Разработчикам, которые знают любой объектно-ориентированный язык программирования.

🧐 Как проходит обучение?

В течение всего интенсива вы будете создавать игру «Звездные войны». У вас будет собственный корабль, который научится летать по полю битвы, стрелять основным оружием и применять секретное оружие.

👉 Подробная программа обучения

👉 Купить со скидкой 30%

Промокод MIDDLE действует до 25 октября

Дайджест по Python и DS:

🐍 Построение ML-пайплайна для рекомендательной системы с помощью Google Cloud Platform
Статья для тех, кому впервые понадобится реализовать схожие задачи на GCP без опыта работы с аналогичными облачными платформами.

🐍 Как PaaS решил проблемы стандартизации разработки сервиса одной утилитой
Command line interface приложение, запуск которого на локальной машине разработчика может превышать количество запусков команды git (спойлер: статистика в конце статьи).

🐍 Введение в библиотеку Diffusers и диффузионные модели
Diffusers — это библиотека от Hugging Face, которая позволяет работать с сотнями предобученных моделей класса Stable Diffusion для создания изображений и аудио.

🐍 «Консервируем» данные: сравниваем модуль pickle и альтернативные способы сериализации
В процессе работы периодически возникает необходимость выгрузить обрабатываемую в программе информацию для её хранения или дальнейшей передачи. И тогда на помощь приходит сериализация данных.

У нас есть старая, но очень полезная и понятная статья про машинное обучение

Рекомендуем, если вы давно хотели разобраться с нуля)

Коллеги, всем хороших выходных!

Надеемся, ваша ретро-планерка сегодня прошла удачно🐀

⚡️Отзыв Константина Петроченко

Студент курса «Математика для Data Science». Senior fullstack-разработчик.


Я бы посоветовал этот курс тем, кто уже работает в Data Science и кому не хватает знаний по высшей математике. Лекции понравились, конечно, какие-то преподаватели из МГУ рассказывают более интересно, какие-то менее интересно. Было много практических заданий, иногда даже слишком, не хватало сил все сделать.

Больше всего понравился последний блок с практическими задачами непосредственно из Data Science, я действительно даже не знал, как там применяется высшая математика, это было интересно. Также хорошо подтянул линейную алгебру, мат. и стат анализ.

Не хватает воркшопов вопрос-ответ и просто живого общения. Также, хотелось бы, чтобы преподаватели отвечали оперативнее на вопросы в чате.

Кстати, нам понравилась идея Константина, поэтому с августа у нас появились воркшопы в формате вопрос-ответ, где наши студенты 1,5 часа в зуме с преподавателем решают задачки и задают любые вопросы 🙌

Очевидно, что в открытом виде пароли в базе никто уже не хранит. Хранить хеш пароля — не всегда хорошая идея, т. к. его можно восстановить по радужным таблицам.

Решение — добавлять уникальную соль к паролю, что позволит получить уникальный результат хеширования для каждого пароля. И если даже вашу базу взломают, алгоритм формирования пары пароль + соль никто не узнает 🤷‍♂️

📌Как в таком случае проверить пароль?

1️⃣Пользователь вводит пароль.
2️⃣Система извлекает соответствующую соль из БД.
3️⃣Система добавляет соль к паролю и хеширует его. Назовем хешированное значение H1.
4️⃣Система сравнивает H1 и H2, где H2 — это хеш, хранящийся в базе данных. Если они одинаковы, пароль действителен.

👉 Более детально данный вопрос рассмотрен в визуальном руководстве.

Дайджест по Python:

✍️ Прием платежей с помощью Stripe, Vue.js и Flask
Если вы создаете сайт, чтобы зарабатывать деньги, в какой-то момент вам придется собирать деньги. В этом руководстве показано, как создать приложение Flask, которое интегрируется с Stripe для обработки платежей через платформу Vue.js.

✍️ Создание коннектора RisingWave для Django ORM
В этой статье показано внутреннее устройство Django ORM. Мы создаем прототип коннектора к базе данных потоковой передачи событий RisingWave и включаем возможности информационной панели в Django.

✍️ Автодифференциальные головоломки
Этот блокнот содержит серию отдельных головоломок для изучения производных в тензорных библиотеках.

✍️ Основы PyTimeTK
Введение в библиотеку pytimetk и то, как вы можете использовать ее для анализа временных рядов.

⚡️Отзыв Софьи Новиковой

Data Analyst, middle, 2 года опыта работы. Студент курса «Математика для Data Science».

Курсом довольна на 80%. Понравилось учиться в формате видео-лекций, для меня это самый простой вариант восприятия.

Но усваивается материал по разному, в зависимости от того, насколько заряжает энергией преподаватель. Некоторые лекции показались довольно скучными. Преподаватель отвечал оперативно, были интересные домашние задания, но иногда было сложно, так как на лекции разбирали мало примеров решения задачек.

Еще хотелось бы лекции покороче, тяжело выделить 2-3 часа, чтобы все за раз посмотреть. Не хватило реального общения: вебинаров, встреч и живых обсуждений.

Ответьте на 3 вопроса, чтобы получить демо-доступ к курсу «Алгоритмы и структуры данных»

⚡️Получить демо – https://proglib.io/w/979a2896

В бесплатной части вас ждут:

1. Лекция «Производительность алгоритмов» от руководителя разработки Яндекс.Самокатов

2. Лекция «Итеративные сортировки и линейные сортировки» от аспирант департамента искусственного интеллекта ВШЭ

3. Практические задания после лекций

4. Ссылки на дополнительные материалы для самостоятельно изучения

Переходите и начинайте учиться уже сегодня!

👨‍💻 9 трендов в найме айтишников в 2023 году

Рассказываем, что интересного происходит в найме IT-специалистов.

По данным Хабр Карьеры, бэкендеры и фронтендеры испытывают трудности с поиском работы — спрос на них уменьшился на 4% и 15% соответственно.

Но сложнее всего сейчас мобильным разработчикам. А все потому, что рынок мобильной разработки рухнул на 24% по сравнению с показателями прошлого года. Но этот тренд в большей степени коснулся стажеров и джунов.

Читать статью

Что такое нормальное распределение?

График колокола, также известный как нормальное распределение, представляет собой распределение, в котором большинство наблюдений сосредоточены в центре, а по мере удаления от центра количество наблюдений уменьшается. Статистически значимым является то, что при нормальном распределении 68% данных попадают в пределы одного стандартного отклонения от среднего значения, 95% данных — в пределы двух стандартных отклонений, а 99.7% данных — в пределы трех стандартных отклонений от среднего.
#вопросы_с_собеседований

Библиотека cvxpy

cvxpy — эта библиотека позволяет описывать оптимизационные задачи в высокоуровневом виде и эффективно решать их с помощью численных методов.

Основные возможности cvxpy:
— Удобный синтаксис для задания целевой функции и ограничений в виде выражений Python.
— Поддержка разных типов переменных: вещественных, целочисленных, булевых.
— Возможность задания неравенств и равенств как ограничений.
— Встроенные функции для задания норм, статистических величин и других полезных выражений.
— Автоматический выбор подходящего численного решателя на основе задачи.
— Интеграция с NumPy, SciPy и другими популярными библиотеками.

cvxyp часто используется для решения задач оптимизации в машинном обучении, обработке сигналов, финансовом моделировании и других областях.
#код

👀 Курс "Базовые модели ML и приложения" со скидкой 30% до конца октября

Это наш новый курс для начинающих в теме машинного обучения 🎉

– Познакомитесь с основными моделями машинного обучения;

– Научитесь выбирать и применять подходящие tree-based модели;

– Получите основу для дальнейшего изучения более сложных нейтронных сетей.

🔥С промокодом ML30 курс стоит всего 3 500 рублей – https://proglib.io/w/02c5777c

Кому будет полезен курс?

Начинающим в IT. Тем, кто выбирает направление и хочет попробовать себя в ML.

Математикам. Увлекаетесь математикой и хотите перейти от теории к практике, а также научиться решать реальные бизнес-задачи.

Переходите на сайт, читайте подробности и заходите на обучение по самым выгодным условиям!

🤖 По мотивам нашей email-рассылки

⚡Китайские исследователи ИИ разработали систему корректировки галлюцинаций для LLM — Woodpecker
⚡Google DeepMind представила визуальную модель PaLI-3 на 5 млрд параметров. Она отвечает на вопросы по изображениям и видео, распознает объекты, и несмотря на скромный размер, показывает по всем тестам лучшие результаты, чем модели, превосходящие PaLI-3 по объему параметров в 10 раз

💬 Как это работает

📝Статья «Эмбеддинги: что это такое и почему это важно» расскажет об использовании эмбеддингов в машинном обучении
📝Дэвид Розенберг, глава отдела машинного обучения в Bloomberg, рассказал о тонкостях разработки финансовых LLM на примере своего детища – BloombergGPT

🧰Инструменты

🔧React Agent — упростит жизнь React-разработчика: сгенерирует компоненты с нуля по текстовым описаниям, создаст новые элементы на основе существующих
🔧Dashtoon — сделает комикс в вашем любимом стиле