Очередной #дайджест по Data Science:

✍️ Диффузионные модели в CV. Что за зверь?
Генеративные модели сейчас находятся на хайпе и про них слышно из каждого угла. Многие знакомы с Dalle-2, Dalle-3, Midjourney, Stable AI и это лишь модели из домена по генерации изображений.

✍️ Разработан инструмент, позволяющий художникам «отравлять» свой контент для ИИ
С тех пор, как год назад вышел ChatGPT, индустрия генерации цифрового контента находится в суматохе. Всех постепенно начинает вытеснять ИИ.

✍️ LLM'ы в преобразовании запроса на естественном языке в SQL (text2sql)
Многие организации инвестируют огромные средства в системы, способные хранить, обрабатывать и анализировать данные.

✍️ Как применять метод PCA для уменьшения размерности данных
Одной из ключевых задач при работе с данными является уменьшение размерности данных, чтобы улучшить их интерпретируемость, ускорить алгоритмы обучения машин и, в конечном итоге, повысить качество решений.

Очередной #дайджест по Python:

✍️ Как мы заинжектили кнопку на Behance
Как появился python‑модуль behance‑py, который, если верить статистике с pepy.tech, имеет более 5 тысяч установок и расширение для Chrome, о котором более подробно в статье.

✍️ “Ну и долго мне ещё до магазина?” Или пара слов о геоинформационном анализе с помощью Python
В статье раскрыли тему обработки пространственных данных средствами Python библиотеки estaty.

✍️ Борьба с несбалансированными данными
Почему несбалансированные данные — это такая большая проблема?

✍️ Головоломки на Python: Увлекательный Путь к Мастерству в Программировании
В этой статье автор представляет серию увлекательных головоломок, разработанных для развития навыков программирования на Python.

🤖 25 бесплатных AI-инструментов для разработчиков
ИИ-помощники способны заменить GitHub Copilot, проверить код и даже сделать UX/UI-дизайн. Мы сделали подборку.

🟣 Codeuim
Помогает писать код. Можно опробовать в браузере или установить в качестве расширения в популярные IDE. Поддерживает более 70 языков программирования.
🟣 Codiga
Проверит, проанализирует и отрефакторит ваш код.
🟣 GPT Pilot
Создатели инструмента утверждают, что он позволит ускорить процесс разработки в 20 раз. С помощью GPT Pilot можно пошагово разработать собственное приложение.
🟣 Open Interpreter
Альтернатива официальному плагину Code Interpreter от Open AI. Может управлять браузером Chrome для поиска в интернете.
🟣 GPT-Code-Clippy
А это опенсорсный аналог GitHub Copilot на базе GPT-3.

Ещё 20 инструментов можно найти здесь

О других классных новых инструментах мы писали тут
#дайджест

Свежий #дайджест по DS

✍️ Чем может быть полезно хеширование в рекомендательных системах
У простой модели рекомендательной системы при использовании может возникнуть проблема масштабирования. Справиться с этим позволяет следующий трюк — множество пользователей сопоставляется с одним скрытым (latent) представлением с помощью хеш-функции.
✍️ Риски и перспективы использования LLM для проверки фактов
Авторы новой статьи проверили, как большие языковые модели справляются с фактчекингом. Оказалось, что хорошо, когда у них есть контекстуальная информация. При этом GPT-4 превосходит GPT-3.
✍️ Управление рисками искусственного интеллекта в эпоху быстрого прогресса
Авторы статьи предлагают серьёзно отнестись к возможности того, что универсальные системы ИИ превзойдут способности человека во многих критически важных областях в течение этого десятилетия или следующего.
✍️ 6 способов уменьшить галлюцинации ChatGPT
Про улучшение ответов модели с помощью промптов.

Очередной #дайджест по Data Science:

✍️ Исследование режима Copy-on-Write в Pandas
Подробный разбор в двух частях. Автор объясняет механизм работы CoW, который позволяет удобно изменять любой объект DataFrame или Series, полученный из другого объекта.
✍️ Как улучшить точность генеративных ответов LLM с помощью собственного RAG
Большие языковые модели могут галлюцинировать при ответах на вопросы по загруженным документам. Иными словами, LLM выдаёт неправильные ответы, поскольку использует устаревшие данные из «весов». Справиться с этим поможет Retrieval-augmented generation (RAG).
✍️ «ChatGPT-детектор» отличает сгенерированные ИИ научные статьи от настоящих с высокой точностью
Исследователи рассказывают о создании классификатора, который с высокой точностью определяет фальшивки.
✍️ Создание игры Angry Pumpkins с помощью нейросетей
Перевод статьи разработчика Javi Lopez, в которой он рассказывает, как создал игру только с помощью промптов к GPT-4, Midjourney и DALL-E.

Свежий #дайджест по статьям и видеороликам:

✍️ Обзор методов повышения производительности LLM
Это один из роликов с конференции DevDay, которые OpenAI опубликовала только сегодня ночью. Представленные выступления шли после блока анонсов от главы компании Сэма Альтмана. В них разработчики рассказали любопытные подробности.
✍️ Влияние больших языковых моделей на научные открытия
Практически книга, в которой рассказывается, как GPT-4 применим в открытии лекарств, биологии, вычислительной химии и т.д.
✍️ Эмбеддинги слов в PyTorch + Lightning
Ролик с песнями, объясняющий, как всё это накодить и использовать в PyTorch.
✍️ Введение в архитектуру MLOps
В статье перечислены ключевые компоненты архитектуры MLOps: от хранения данных до деплоя моделей и их мониторинга.
✍️ Как научить Transformer обрабатывать длинные тексты
Обзор основных идей по оптимизации self-attention.

Очередной #дайджест:

🟣 Практический пример использования модели детекции изображений
Автор подробно рассказывает об учебном проекте, в рамках которого прикрутил модель детекции изображений к умной кормушке.
🟣 Исследование: ChatGPT работает лучше на Julia, чем на Python и R
Перевод статьи исследователя из Массачусетского технологического института. Он, к своему удивлению, выяснил, что ChatGPT лучше справляется с задачами генерации кода на менее распространённом языке Julia.
🟣 Файн-тюнинг языковых моделей для уменьшения фактических ошибок
Авторы статьи представили метод, позволяющий увеличить процент сгенерированных правильных утверждений. Они увидели снижение количества фактических ошибок при генерации на 58% по сравнению с Llama 2 7B Chat.
🟣 Эмбеддинги и векторное хранилище с ChromaDB
Подробная статья о том, что такое векторное представление данных, как работать с эмбеддингами и использовать ChromaDB. Всё с большим количеством примеров кода.

Новый #дайджест статей по машинному обучению и работе с данными

🤖 Запускаем локальный ML-процесс в облаке с помощью DataSphere Jobs
В сервисе DataSphere можно удалённо запускать задания (jobs) — вычисления на ВМ DataSphere за пределами JupyterLab.
🤖 Как мы с помощью ML вылечили проблему, не дававшую перейти на автомаршрутизацию курьеров
Интересная статья от компании CDEK, рассказывающая о решении следующей задачи: определить, на какой маршрут поставить конкретный заказ до того, как появился сам маршрут.
🤖 Who's Harry Potter? Approximate Unlearning in LLMs
Авторы пытались заставить модель Llama2-7b «забыть» «Гарри Поттера».
🤖 Hadoop в Облаке: история миграции сотен петабайт
Рассказ от руководителя Data Platform в ОК о переносе Hadoop с Bare Metal в облако.
🤖 Open-source LLMs as LangChain Agents
Статья рассказывает о том, что такое LLM-агенты и как их интегрировать в системы с использованием LangChain.

Свежий #дайджест материалов по машинному обучению, Data Science и нейросетям

🤖 Создание генетического алгоритма для нейросети и нейроcети для графических игр с помощью Python и NumPy
Статья рассказывает о создании генетического алгоритма для нейросети, чтобы с помощью него она смогла проходить разные игры, например Pong и Flappy bird.
🤖 Метод главных компонент (PCA). Принцип работы и реализация с нуля на Python
Автор также прикладывает код.
🤖 Кластеризация в ML: от теоретических основ популярных алгоритмов к их реализации с нуля на Python
Обширная статья от того же автора, что и предыдущая. Довольно сложная и наполненная техническими деталями.
🤖 Visualisation 101: Choosing the Best Visualisation Type
Автор даёт советы по выбору наиболее подходящего типа визуализации в зависимости от конкретной задачи.
🤖 Design2Code: How Far Are We From Automating Front-End Engineering
Исследователи попытались понять, может ли GPT заменить разработчиков веб-страниц.

Свежий #дайджест материалов по ИИ, Data Science и машинному обучению

▪️Синтетическое генерирование данных (SMOTE)
SMOTE используется для решения проблемы несбалансированности классов в обучающих данных.
▪️Propensity score matching: как оценивать маркетинговые кампании, если невозможно провести A/B тесты
Propensity Score Matching (PSM) — это статистический метод, позволяющий оценить эффект вмешательства, сравнивая группы с похожим распределением ключевых характеристик, за исключением самого вмешательства.
▪️Логистическая и Softmax-регрессии. Основная идея и реализация с нуля на Python
Очень подробная статья с формулами и кодом.
▪️Ускорение инференса LLM
ML-разработчик из команды YandexGPT разобрал задачу ускорения инференса больших языковых моделей.
▪️What's next for AI agentic workflows ft. Andrew Ng of AI Fund
Эндрю Ын рассказывает о том, что будет дальше с ИИ-агентами.