LLaVaOLMoBitnet1B - мультимодальная модель, способная принимать в качестве входных данных изображение + текст (запрос) и отдавать согласованные текстовые ответы на выходе.
Архитектура модели состоит из 3-х частей:
Модель была обучена в 2 фазы. Первая - предварительное обучение для выравнивания функций и вторая фаза - тонкой настройки инструкций.
Фаза предварительного обучения состояла из 1 эпохи на отфильтрованном наборе данных 595 тыс. концептуальных текстовых аннотаций, с обновлением весов только проекционного слоя.
Для второй фазы точной настройки инструкций использовалась 1 эпоха с набором данных LLaVa-Instruct-150K с обновлением и весов слоя проекции и весов LLM.
⚠️ Примечание: Модель в репозитории IntelLabs на Huggingface находится в режиме акцепта доступа. После отправки запроса пройдет какое-то время, прежде чем владелец репозитория одобрит запрос.
# Clone repositry
git clone https://huggingface.co/IntelLabs/LlavaOLMoBitnet1B
# Move to folder & intall requirements
cd LlavaOLMoBitnet1B
pip install -r requirements.txt
# Run inference
python llava_olmo.py
text = "Be concise. Describe what is in the image"
url = "https://URL_TO_IMAGE.jpg"
@ai_machinelearning_big_data
#AI #Intel #ML #LlavaBitNet
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
👍21🔥9❤3
Спекулятивное декодирование (или вспомогательная генерация) — это техника, которая ускоряет генерацию токенов при использовании дополнительной, SLM модели-черновика.
Техника работает следующим образом: модель-черновик предсказывает следующие K-токенов один за другим авторегрессионным способом, а основная LLM проверяет эти предсказания и исправляет их при необходимости.
Процесс проходит по каждому предсказанному токену, и, если обнаруживается разница между SLM-черновиком и LLM, останавливается и сохраняет последний токен, предсказанный основной моделью. Затем SLM-черновик получает последнее предсказание LLM и снова пытается предсказать следующие K-токенов, повторяя цикл.
FastDraft — метод для обучения и согласования модели-черновика с любой LLM для использования со спекулятивным декодированием путем тонкой настройки на синтетических датасетах, сгенерированных целевой LLM.
Предобученные модели-черновики FastDraft (Llama-3.1-8B-Instruct-FastDraft-150M-int8-ov и Phi-3-mini-FastDraft-50M-int8-ov) до 3 раз эффективнее по сравнению с инференсом одиночной LLM в задачах завершения кода и до 2 раз в задачах обобщения, завершения текста и инструкций.
@ai_machinelearning_big_data
#AI #ML #LLM #Intel #FastDraft
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
❤19👍8🔥5
NVIDIA и Intel объявили о стратегическом партнёрстве сразу на несколько поколений продуктов.
NVIDIA инвестирует $5 млрд в акции Intel по $23.28 за штуку, а совместные решения будут объединять x86-CPU от Intel и RTX-GPU от NVIDIA через NVLink.
- Intel выпустит x86 SoC с интегрированными GPU-чиплетами NVIDIA RTX.
- Это даст более плотную связку CPU+GPU, чем PCIe (Peripheral Component Interconnect Express) - это высокоскоростная шина, которая используется для соединения различных компонентов компьютера)
- Intel создаст кастомные x86-CPU специально для NVIDIA.
- NVIDIA будет предлагать клиентам выбор: ARM или x86 в своих AI-платформах.
- Это усиливает позиции NVIDIA и даёт Intel шанс вернуться в топ.
💰 Финансовая часть
- NVIDIA покупает пакет акций Intel на $5 млрд.
- Сделка - про продуктовую коллаборацию, а не про производство GPU на Intel Foundry.
⚡️ Почему это интересно:
- Windows-ПК могут превратиться в полноценные AI-машины.
- Для дата-центров появится выбор CPU-архитектуры, что расширяет рынок NVIDIA.
- Для Intel — шанс доказать, что её CPU могут конкурировать в ключевых сегментах на рынке.
❓ Что остаётся за непонятным:
- Когда именно выйдут продукты и на каких процессах их будут делать.
- Детали NVLink: пропускная способность, топология памяти (DRAM ↔ HBM).
- Как будет выглядеть софт: CUDA/драйверы на Windows/x86, поддержка Linux.
- Как посчитают выручку: RTX-чиплеты в Intel-SoC и CPU в NVIDIA-платформах.
Это огромный плюс для Intel и стратегическое расширение для NVIDIA.
Если сделка произойдет, рынок ПК и дата-центров ждёт новая волна AI-систем.
А вот $AMD и $ARM теперь будет куда сложнее конкурировать.
После объявления о сделке акции Intel полетели вверх на безумные 30%.
@ai_machinelearning_big_data
#NVIDIA #Intel #NVDA #INTC #AI #GPU
Please open Telegram to view this post
VIEW IN TELEGRAM
👍77👨💻74🔥29❤17🤔13👏8🤬4