🌟 Специалисты ИТМО представили результаты исследования Open Source решений в сфере ML/Data в России

Лидирующие позиции заняли Яндекс, Сбер и Т-банк. Исследование выявило, что разработчики ориентируются как на внутренний, так и на международный рынок. Также компании рассматривают open-source как способ развития отрасли.

Лидер рейтинга Яндекс представил 120 открытых решений. Среди них выделен топ-3:

🟢CatBoost: библиотека градиентного бустинга на дереве решений.

🟢YTsaurus: платформа для хранения и обработки больших данных.

🟢YDB: распределённая SQL база данных.

📌В список открытых решений попали и последние проекты компании: YaFSDP (Библиотека для ускорения обучения больших языковых моделей), Gravity UI (Набор библиотек и компонент для создания интерфейсов), Diplodoc (Платформа для написания технической документации), DataLens (платформа для визуализации и аналитики данных), а также ClickHouse, который развивается независимо.

🟡Исследование

@ai_machinelearning_big_data

#news #ai #ml

⚡️ Nemotron-Mini-4B-Instruct: инструктивная компактная модель от Nvidia

Nemotron-Mini-4B-Instruct - небольшая модель, полученная в результате файнтюна, обрезки (pruning), дистилляции и квантования модели Minitron-4B-Base.

Эта модель оптимизирована для roleplay-сценариев, RAG QA и вызова функций на английском языке.

Практическое применение модели ориентировано на интеграции в гейм-разработке, преимущественно - в экосистеме NVIDIA.

Модель обучалась в период февраль-август 2024 года.

При создании Nemotron-Mini-4B-Instruct использованы техники Grouped-Query Attention (GQA) и Rotary Position Embeddings (RoPE).

▶️Технические характеристики:

🟢total params - 4B;
🟢embedding size - 3072;
🟢attention heads - 32;
🟢MLP intermediate dimension - 9216;
🟢input context - 4096.

Пример инференса в Transformers, шаблоны простого промпта и instruct- шаблон в карточке модели на Huggingface.

Есть неофициальные квантованные (imatrix) GGUF - версии модели в 8 разрядностях, от 3-bit (2.18 Gb) до 16-bit (8.39 Gb) для запуска в llama.cpp и LM Studio.


📌Лицензирование : NVIDIA Community Model License.


🟡Страница модели на NGC Catalog
🟡Модель
🟡GGUF
🟡Arxiv
🟡Demo


@ai_machinelearning_big_data

#AI #NVIDIA #LLM #ML #Nemotron

Новостной дайджест

✔️ Runway открывает доступ к своей модели генерации видео через API.

Runway анонсировал API, который позволит интегрировать его модели в сторонние платформы, приложения и сервисы. Пока API Runway находится в ограниченном доступе, предлагая только одну модель — Gen-3 Alpha Turbo, более быструю, но менее функциональную версию флагманской модели Runway Gen-3 Alpha. Базовая цена составляет 1 цент за кредит (одна секунда видео стоит пять кредитов). Runway заявляет, что «доверенные стратегические партнеры», включая маркетинговую группу Omnicom, уже используют API.

API Runway имеет требования к использованию. Любые интерфейсы, использующие API, должны «явно отображать» баннер «Powered by Runway» со ссылкой на веб-сайт Runway.
techcrunch.com

✔️ Имплантат для восстановления зрения Neuralink получил одобрение FDA.

Имплантаты Neuralink уже вживлены в мозг двум парализованным пациентам, которые продемонстрировали значительный прогресс в управлении цифровыми технологиями с помощью мысли.

Полученное Neuralink разрешение относится к категории «революционных устройств», этот статус дает компании возможность приоритетного взаимодействия с экспертами FDA на этапе предпродажной проверки. Важно, что получение статуса не является окончательным одобрением FDA для продажи устройства на рынке.

Blindsight, так называется имплантат, работает путем вживления тонкой матрицы из сотен электродов глубоко в мозг пациента, в область, отвечающую за обработку зрительной информации. Blindsight стимулирует зрительную кору микроскопическими импульсами, имитируя сигналы, поступающие от глаз.

На первом этапе технология обеспечит зрение с низким разрешением, сравнимое с графикой старых видеоигр Atari.
inc.com

✔️ CAIS и Scale AI создадут "самый сложный экзамен человечества" для AI.

Некоммерческая организация The Center for AI Safety (CAIS) совместно со Scale AI объявили о создании «Последнего экзамена для человечества» - набора сложнейших вопросов, для оценки истинного уровня интеллекта ИИ. Инициатива возникла на фоне растущих опасений, что ИИ может превзойти человеческий интеллект и потенциально представлять угрозу для человечества.

Проект приглашает к участию экспертов и всех желающих, предлагая им придумать вопросы, которые поставят в тупик современные системы ИИ. Ответы на эти вопросы, собранные от различных моделей ИИ, будут проанализированы и использованы для создания нового стандарта оценки возможностей ИИ.

Авторы наиболее интересных и сложных вопросов будут приглашены стать соавторами научной статьи, посвященной проекту, и получат денежные призы из фонда в 500 000 долларов США. Авторы 50 лучших вопросов получат по 5000 долларов, а авторы следующих 500 лучших вопросов - по 500 долларов.
safe.ai

✔️ BitNet: экстремальное квантование языковых моделей.

Hugging Face успешно применили метод экстремального квантования BitNet к LLM, сократив требования к памяти и вычислениям без ущерба для производительности.

BitNet, разработанный Microsoft Research, представляет собой архитектуру, представляя каждый параметр только тремя значениями: -1, 0 и 1. В результате получается версия модели, которая использует всего 1,58 бит на параметр.

Для интеграции BitNet в архитектуру Transformer представлен новый метод "bitnet". Он заменяет стандартные линейные слои специализированными слоями BitLinear, совместимыми с BitNet. BitLinear квантует веса, используя троичную точность (со значениями -1, 0 и 1), а активации квантуются до 8-битной точности.

BitLinear использует разные реализации для обучения и для логического вывода. Во время обучения используется STE (Straight Through Estimator), который позволяет градиентам проходить через не дифференцируемую операцию округления, аппроксимируя ее градиент как 1. Таким образом, веса обновляются с помощью стандартных методов оптимизации на основе градиента.

Во время логического вывода веса просто квантуются до троичных значений без повторного масштабирования, а это ощутимо повышает скорость вывода.
huggingface.co

@ai_machinelearning_big_data

#news #ai #ml

🌟 Продвинутые техники RAG: Репозиторий Github c самой полной и актуальной подборкой ресурсов.

RAG-системы - это комбинация информационного поиска и генеративных моделей, целью которая предоставляет точные и контекстуально релевантные ответы на запросы пользователя.

В репозитории собран большой и регулярно обновляемый набор инструментов, документации и обучающих материалов, предназначенных для теоретического изучения и практического применения для желающих расширить свои знания и навыки в изучении возможностей RAG:

Базовые методы RAG:

🟢Простой RAG с использованием LangChain, LlamaIndex или CSV файлов;
🟢RAG с добавлением валидации и уточнения для обеспечения точности и релевантности извлекаемой информации;
🟢Выбор размера фрагмента текста;
🟢Разбивка на чанки для контроля и обработки запросов;

Инженерия запросов:

🟠Трансформация запросов: перефразирование, расширение контекста, декомпозиция на подзапросы;
🟠Гипотетические вопросы для улучшения соответствия между запросами и данными;

Обогащение контекста и содержания:

🟢Контекстуальные заголовки фрагментов для улучшения точности поиска;
🟢Извлечение релевантных сегментов для предоставления LLM более полного контекста;
🟢Расширение контекста с помощью соседних предложений;
🟢Семантическое фрагментирование текста;
🟢Контекстуальная компрессия для сохранения информации при сжатии;
🟢Дополнение документов вопросами для улучшения поиска;

Методы поиска:

🟠Fusion Retrieval;
🟠Intelligent Reranking;
🟠Multi-faceted Filtering;
🟠Hierarchical Indices;
🟠Ensemble Retrieval;
🟠Multi-modal Retrieval;

Итеративные и адаптивные методы:

🟢Retrieval with Feedback Loops;
🟢Adaptive Retrieval;
🟢Iterative Retrieval;

Интерпретируемость:

🟠Explainable Retrieval;

Архитектуры:

🟢Интеграция графа знаний (Graph RAG);
🟢GraphRag (Microsoft);
🟢RAPTOR: Recursive Abstractive Processing for Tree-Organized Retrieval;
🟢Self RAG;
🟢Corrective RAG.

▶️Практическое применение или изучение техник RAG в проектах:

# Клонируйте репозиторий
git clone https://github.com/NirDiamant/RAG_Techniques.git

#Перейдите к интересующей вас технике
cd all_rag_techniques/technique-name

#Следуйте подробному руководству по применению в каталоге каждой техники.

📌 Лицензирование : Apache 2.0 License.


🟡Сообщество в Discord
🖥Github


@ai_machinelearning_big_data

#AI #ML #RAG #AwesomeRAG #Github