Библиотека дата-сайентиста | Data Science, Machine learning, анализ данных, машинное обучение
18.5K subscribers
2.36K photos
119 videos
64 files
4.81K links
Все самое полезное для дата сайентиста в одном канале.

По рекламе: @proglib_adv

Курс по ML: https://clc.to/4hNluQ

Для обратной связи: @proglibrary_feeedback_bot

РКН: https://gosuslugi.ru/snet/67a5b03124c8ba6dcaa121c9
Download Telegram
🚩 5 красных флагов: как из текста вакансии понять, что компания — не очень

Как определить работодателя-абьюзера в АйТи? Объясняем на реальных примерах.

Читать статью
👍11
🔍 ТОП-12 джоб-сайтов: где программисту разместить резюме и найти работу

Рассказываем про мир job-сайтов: где программисту опубликовать резюме, чтобы быстрее найти работу в IT.

Читать статью
👍1
Темный лес исследований и разработок и капиталовложений в ИИ

В то время как на первый взгляд мы в основном просто видим большие раунды инвестиций, в действительности компании ИИ, возможно, являются одними из самых сложных бизнесов, которые мы когда-либо создавали в сфере технологий. Выполнение основных исследований и разработок модели ИИ требует игры в 4D-шахматы с исследовательскими сообществами, накопления и использования капитала, привлечения талантов, понимания конкуренции и коммерциализации….

Читать статью
👍21
Что такое нормализация данных и зачем она нам нужна?

Нормализация данных — очень важный этап предварительной обработки, используемый для изменения масштаба значений, чтобы они соответствовали определенному диапазону, чтобы обеспечить лучшую сходимость во время обратного распространения ошибки. В общем случае она сводится к вычитанию среднего значения и делению на стандартное отклонение.

Если этого не сделать, некоторые признаки будут иметь более высокий вес в функции стоимости. Нормализация позволяет сделать все признаки одинаково взвешенными.
#вопросы_с_собеседований
👏102👍2
Учебник по амортизированной оптимизации

В этом руководстве представлено введение в основы амортизированной оптимизации, лежащие в основе ее достижения, и приведен обзор их применения в вариационном выводе, разреженном кодировании, градиентном метаобучении, управлении, обучении с подкреплением, выпуклой оптимизации, оптимальном транспорте и сетях глубокого равновесия.

Читать статью
👍2
Перспективы диффузионных моделей

Перспективы диффузии, или как модели диффузии являются автокодировщиками, моделями с глубокими неявными переменными, предикторами функции оценки, обратными решателями SDE, моделями на основе потоков, RNN и авторегрессионными моделями, все сразу!

Читать статью
🥰3
Data Engineering: концепции, процессы и инструменты

Data science, машинное обучение и искусственный интеллект — не просто громкие слова: многие организации стремятся их освоить. Но прежде чем создавать интеллектуальные продукты, необходимо собрать и подготовить данные, которые станут топливом для ИИ. Фундамент для аналитических проектов закладывает специальная дисциплина — data engineering. Связанные с ней задачи занимают первые три слоя иерархии потребностей data science, предложенной Моникой Рогати.

Читать статью
👍3
Очередной #дайджест статей по Python:

🐍 Как создать голосового ассистента
В данной статье автор рассказал, как можно сделать простого голосового ассистента. Все это в Python при помощи некоторых библиотек.

🐍 Ray Casting 3D игра на Python + PyGame

🐍 Использование python-docx-template для динамического создания закладок и ссылок на них в документах Word
Модуль содержит функционал для вставки в документ внешних ссылок, но когда автору понадобилось создавать по шаблону внутренние ссылки (на конкретное место в документе), такого функционала не нашлось, поиск в сети тоже ничего не дал. В статье он предложил свой способ вставки закладок и ссылок на них при помощи python-docx-template.

🐍 Измерение покрытия python сервисов для end-to-end тестов
Как измерить покрытие автотестами? Данный вопрос всегда вызывает жаркие дискуссии в рядах тестировщиков.

🐍 Под капотом Python. Тонкости популярных конструкций with и contextmanager
В этой статье описано, как написать менеджер контекста, как создать функцию-генератор для декоратора contextmanager. Опытные разработчики могут узнать что-то новенькое или дополнить статью ценными комментариями.

🐍 Как правильно написать калькулятор на питоне с помощью eval()
О том, почему eval стоит использовать с осторожностью.

🐍 Пишем микро-shellcode в формате ELF вручную
Уже не раз публиковались статьи про устройство формата ELF и написание файлов в таком формате вручную, но здесь представлено другое решение. В результате получился файл, вызывающий /bin/sh и занимающий всего 76 байт (что на 8 байт меньше, чем сумма длин заголовков ELF, необходимых для запуска).
👍2🔥1
Какой ноутбук считаете наиболее подходящим для программирования и почему?
#интерактив
Наверное, многие уже видели новость о том, что ChatGPT якобы стала глупее. Давайте соберем статистику — заметили ли вы это явление?
👍2👾1
Как рассчитать точность прогноза, используя матрицу ошибок?

В матрице ошибок есть значения для общего количества данных, истинных значений и прогнозируемых значений.
#вопросы_с_собеседований
👍6
Если вы собираетесь переходить в сферу Data Science, вам обязательно стоит начать вспоминать или изучать с нуля вышмат.

Начать с бесплатного демо-доступа можно здесь – https://proglib.io/w/d3978686

Сейчас лучшее время для начала обучения, потому что только до 31 июля у Proglib Academy скидка 33% на любой тариф – https://proglib.io/w/3925c76a

🔹 Доступ к курсу – бессрочный

🔹 Преподаватели – кандидаты физико-математических наук

Оставить заявку на консультацию или купить со скидкой 33% – https://proglib.io/w/3925c76a
👍2👾1
Облачная платформа Nvidia DGX теперь доступна и предлагает мгновенный доступ к генеративной инфраструктуре искусственного интеллекта

Nvidia объявила о широкой доступности Nvidia DGX Cloud, предоставляя компаниям доступ к тысячам графических процессоров в Oracle Cloud Infrastructure и собственным облачным серверам.

Читать статью
👍4
Психология ChatGPT

Сообщение в блоге исследователя продуктов из Microsoft, который исследует алгоритмические предубеждения ChatGPT.

Читать статью
😁1
Очередной #дайджест по Python:

✍️ python-mastery: продвинутое владение Python
Курс по продвинутому программированию на Python, основанный на упражнениях, который был протестирован несколько сотен раз в рамках корпоративного обучения на протяжении более десяти лет.

✍️ Как Netflix выполняет отказоустойчивость всего за 7 минут
Netflix сократил время, необходимое для реагирования на сбой, с 45 минут до семи без каких-либо дополнительных затрат. В этой статье рассказывается о том, как они осуществляют горячую замену процессов и резервируют вычислительное время, чтобы обеспечить быстрое реагирование на сбои.

✍️ Вкус итерации в Python
Любой объект, реализующий интерфейс итератора, можно использовать в цикле for, но как это работает? В этой статье показано, как используется протокол итератора и как можно писать собственные совместимые объекты.

✍️ Практическое руководство по метапрограммированию в Python
Эта статья представляет собой общий обзор различных типов метапрограммирования, доступных в Python, включая декораторы, метаклассы, встроенные ключевые слова самоанализа и динамическую генерацию кода.

✍️ Практическое руководство по метапрограммированию в Python
Эта статья представляет собой общий обзор различных типов метапрограммирования, доступных в Python, включая декораторы, метаклассы, встроенные ключевые слова самоанализа и динамическую генерацию кода.
👍61
Разбираем особенности алгоритмов CatBoost и LightGBM: какой от них профит

Статья про особенности алгоритмов CatBoost и LightGBM. Для чего они нужны, в чём их фишки и как они облегчают нам работу с данными.

Читать статью
👍5