Библиотека дата-сайентиста | Data Science, Machine learning, анализ данных, машинное обучение
18.5K subscribers
2.38K photos
119 videos
64 files
4.82K links
Все самое полезное для дата сайентиста в одном канале.

По рекламе: @proglib_adv

Курс по ML: https://clc.to/4hNluQ

Для обратной связи: @proglibrary_feeedback_bot

РКН: https://gosuslugi.ru/snet/67a5b03124c8ba6dcaa121c9
Download Telegram
This media is not supported in your browser
VIEW IN TELEGRAM
⚡️Свежий #дайджест по DS и ML

👾 Ютубер сделал нейронку для предсказания рукописных цифр в Minecraft (см. видео)
Автор ролика рассказывает, что решил использовать архитектуру MLP, а не CNN. Изначально алгоритм был написан на Python с помощью Keras и датасета MNIST. Благодаря mcschematic автор смог экспортировать необходимые веса в Minecraft.

🧡 Вышли JupyterLab 4.2 и Notebook 7.2
Теперь можно управлять рабочими пространствами из JupyterLab с помощью графического интерфейса, также улучшена настройка горячих клавиш и добавлена тема Dark High Contrast.

💩Распознавание капчи при помощи CNN модели
Автор статьи рассказывает о генерации данных с помощью библиотеки captcha, и обучении свёрточной нейронной сети. Материал полезен для начинающих.

💩 Вышла YOLOv.10
Это обновление в линейке моделей YOLO для распознавания объектов в реальном времени. Утверждается, что YOLOv10-B имеет на 46% меньшую задержку и на 25% меньше параметров по сравнению с YOLOv9-C при той же производительности.
Please open Telegram to view this post
VIEW IN TELEGRAM
4👍1
Свежий #дайджест по Data Science и машинному обучению

✍️ Простые способы ускорения обучения PyTorch-моделей
В новой статье на «Хабре» рассказывается о контейнеризации, профилировщике PyTorch, распределителе памяти, оптимизации обучения в системах с несколькими GPU и с избыточностью данных и др.

✍️ Руководство по разработке приложений с использованием LLM
Это хороший пост, объясняющий как запускать локальные LLM, а также раскрывающий все сопутствующие термины.

✍️ Как делать аннотации к графикам с помощью Matplotlib и Python
Короткая статья для новичков.

✍️ Большое тестирование видеокарт для машинного обучения
Новая статья на «Хабре» посвящена тестированию видеокарт для задач машинного обучения. Автор рассматривает различные видеокарты, их производительность, стоимость и эффективность в задачах обучения и инференса.

✍️ Alice in Wonderland: Simple Tasks Showing Complete Reasoning Breakdown in State-Of-the-Art LLM
В этой статье авторы рассказали, что LLM не способны решить простую загадку.
🤩1
Это #дайджест для всех, кто работает с искусственным интеллектом

👾 TokenCost
Это библиотека для простого подсчёта токенов при работе с большими языковыми моделями.

👾 Почему модель не работает?
Это перевод статьи о распространённой проблеме: на обучении модель выглядит хорошо, но на реальных данных отрабатывает плохо.

👾 Анализ производительности моделей YOLOv8
Автор делал замеры производительности и точности работы моделей YOLOv8 на разных устройствах с различными оптимизациями и без них.

👾 Transcendence: Generative Models Can Outperform The Experts That Train Them
Интересная статья про то, что если модель обучить на ходах «слабых игроков», то она будет играть лучше, чем лучшие шахматисты датасета.

👾 NVIDIA Warp
Это Python-фреймворк, компилирующий обычные функции в эффективный код ядра, который может выполняться как на CPU, так и на GPU.
🔥4👍1
Новостной #дайджест по сфере ИИ

🔥 Google выпустила Gemma 2 2B — лучшую в своей категории
Эта модель была обучена на более крупных моделях посредством дистилляции. Новинка превосходит все модели GPT-3.5 на Chatbot Arena. Веса можно скачать тут.

👀 ИИ научился определять ранние стадии опухоли молочной железы
Новая модель использует изображения тканей и учитывает пространственную организацию клеток, что повышает точность диагностики. Это поможет врачам более эффективно оценивать стадии рака и избежать чрезмерного лечения.

🔋 Представлена ​​новая технология, которая снижает энергопотребление ИИ-моделей в 1000 раз и более
Исследователи разработали новую технологию CRAM, которая вместо традиционного перемещения данных между процессором и памятью обрабатывает данные прямо внутри ячеек памяти. Это позволяет сократить энергозатраты более чем в 1000 раз.
👍5
Свежий #дайджест по Data Science и машинному обучению

🔹Рекурсивный отбор признаков. Динамический шаг в танце feature selection
Статья представляет собой подробный обзор и сравнение методов отбора признаков, а также практические рекомендации по их применению в задачах машинного обучения.

🔹Docker Compose for ML Engineers
Это короткий ролик, который рассказывает о том, как использовать Docker Compose в проектах машинного обучения.

🔹Predicting results of social science experiments using Large Language Models
Интересная статья, которая показывает, что GPT-4 способна предсказывать результаты социальных экспериментов с довольно высокой точностью.

🔹Effective Machine Learning Teams: Best Practices for Ml Practitioners (2024)
Новая книга про лучшие практики для проектов машинного обучения.

🔹Я больше не верю публичным датасетам
Автор рассказал о своём опыте работы с публичными датасетами.
👍4🥰2
Пятничный #дайджест по Data Science и машинному обучению

🔹How to Test Machine Learning Systems
Тестировать ML-системы сложно, но возможно. Статья описывает все этапы от начала до конца, а также перечисляет лучшие практики.

🔹Mojo: убийца Python и будущее Ai?
Автор обучает простую свёрточную нейронную сеть, а также разбирает линейную регрессию как на Python, так и на Mojo.

🔹Building RAG with Postgres
В гайде рассматривается каждый шаг такого пайплайна: от получения данных до генерации ответа.

🔹What is Entropy?
Эта небольшая книга представляет собой элементарный курс по энтропии. Будет интересно тем, кто хочет понять самую суть.

🔹Из лингвиста в дата-сайентисты: личный опыт и детальный трек
В статье собраны полезные материалы и советы автора.
👍61😁1
#дайджест #DataInternship

Подборка стажировок недели для Data специалистов

▪️ Стажер Data Scientist, Логика ранжирования
Офис (Москва), Ozon Информационные технологии
Подробнее

▪️ Аналитик данных (стажер)
Офис (Иваново), CADesign
Подробнее

▪️ Стажёр Data Scientist
Удалёнка, R-One
Подробнее

▪️ Стажер в команду аналитики сервиса путешествий
Гибрид (Москва) / Удалёнка, Туту.ру
Подробнее

▪️ Data engineer
Гибрид (Москва) / Удалёнка, Группа компаний ФСК
Подробнее

Понравились предложения о стажировке?
❤️ — да
🤔 — нет
11👾1
Пятничный #дайджест для ML-специалистов

🔹Краткий гайд по квантованию нейросетей
Статья рассказывает о методах уменьшения битности данных, что позволяет сократить вычислительные ресурсы и уменьшить объём памяти, необходимой для хранения моделей.

🔹Differential Transformer
Статья от Microsoft, рассказывающая о борьбе с нерелевантным контекстом в LLM.

🔹Как научить LLM понимать видео? Обзор подходов
Сбер сделал обзор походов к анализу и пониманию видео.

🔹The LLM Evaluation guidebook
Это репозиторий с гайдом от Hugging Face по методам оценки больших языковых моделей.
👍31
#дайджест #DataInternship

Подборка стажировок недели для Data специалистов

▪️ Data Engineering Intern / Стажер дата-инженер
Офис (Москва), Procter & Gamble
Подробнее

▪️ Стажер аналитик данных
Офис (Москва), Ozon Офис и Коммерция
Подробнее

▪️ Стажер-аналитик данных мобильных приложений
Удалёнка, IndieElevate
Подробнее

▪️ Стажер-аналитик Big Data
Офис (Самара) / Удалёнка, IBS
Подробнее

▪️ Стажер-аналитик в команду транзакционных операций Банка
Гибрид (Москва), ВТБ
Подробнее

Понравились предложения о стажировке?
❤️ — да
🤔 — нет
6
#дайджест #DataInternship

Подборка стажировок недели для Data специалистов

▪️ Стажер Data Scientist в матчинг и группировки
Удалёнка (РФ) / Гибрид (Москва), Ecom.tech
Подробнее

▪️ Стажёр в Big Data (Аналитика)
Офис (Москва), АТОЛ
Подробнее

▪️ Data engineer (Стажер)
Офис (Москва), Sapiens solutions
Подробнее

▪️ Стажер-аналитик в HR / Data Analyst Intern
Гибрид (Москва), Okkam
Подробнее

▪️ Machine Learning Engineer
Удалёнка, ALTWeb Group
Подробнее

Понравились предложения о стажировке?
❤️ — да
🤔 — нет
Пятничный #дайджест по Data Science и Machine Learning

🔹GPUStack — менеджер кластеров GPU для запуска больших языковых моделей (LLM)
Инструмент поддерживает различные аппаратные платформы, включая Mac, Windows и Linux, и позволяет легко масштабировать операции, добавляя больше GPU или узлов.

🔹Практика: мой опыт интеграции более 50 нейронных сетей в один проект
Статья на Хабре описывает опыт автора по проекту, ориентированному на создание и редактирование видео, изображений и аудио.

🔹FireDucks — ускорь Pandas в сто раз
Это повышающая производительность библиотека, которая полностью совместима с pandas API.

🔹Philosophy of an Experimentation System — MLOPs Intro
Статья обсуждает проблемы, возникающие при разработке моделей машинного обучения, и предлагает структурированный подход к организации экспериментов.

🔹The Polars vs pandas difference nobody is talking about
Автор рассказывает о различиях между библиотеками Polars и pandas, особенно в контексте выполнения группировок и агрегаций.
👍5😁4
#дайджест #DataInternship

Подборка стажировок недели для Data специалистов

▪️ Аналитик-стажер
Гибрид (Москва), Nestle
Подробнее

▪️ Аналитик Excel (стажер)
Офис (Омск), T2. Tech
Подробнее

▪️ Стажер/Data Engineer (блок "Стратегия и развитие")
Гибрид (Москва), Сбер
Подробнее

▪️ Intern / Cтажер / BI-разработчик
Гибрид (Москва), НИЖФАРМ
Подробнее

▪️ Data Engineering Intern / Стажер дата-инженер
Офис (Москва), Procter & Gamble
Подробнее

Понравились предложения о стажировке?
❤️ — да
🤔 — нет
3👍2