359K subscribers
4.23K photos
794 videos
17 files
4.74K links
Погружаемся в машинное обучение и Data Science

Показываем как запускать любые LLm на пальцах.

По всем вопросам - @haarrp

@itchannels_telegram -🔥best channels

Реестр РКН: clck.ru/3Fmqri
Download Telegram
🚨 NVIDIA показала будущее ИИ на GTC Paris

Вот 7 самых интересных анонсов 👇

1️⃣ NVL72 — система из 72 Blackwell GPU

NVIDIA Blackwell: пропускная способность — 130 ТБ/с. Заточен для масштабных AI-систем.
• Лидерство в скорости инференса
• Поддержка популярных моделей: DeepSeek-R1, Llama 3.1 405B, Llama 3.3 70B и другие
• Второе поколение Transformer Engine с поддержкой FP4
• TensorRT Model Optimizer для квантования моделей в FP4

2️⃣ Фабрики ИИ
Дженсен назвал их *"фабриками интеллекта"*. Огромные центры на Blackwell, NVLink и жидкостном охлаждении, работающие без остановки. «Мы строим сеть AI-фабрик в Европе, чтобы локальные идеи становились глобальными инновациями»*, — Дженсен Хуанг

3️⃣ Цифровые двойники
Всё, что создаётся в физическом мире, будет сперва оцифровано в виртуальный мир

4️⃣ Agentic AI — следующий важный этап
ИИ, которые наблюдают, размышляют, действуют и учатся. Постоянно обучающиеся агенты, способные переосмысливать свои решения.

5️⃣ CUDA-Q на Grace Blackwell
CUDA-Q — это open-source платформа для разработки гибридных квантовых приложений, объединяющая GPU, CPU и QPU в единую систему.
Она “qubit-agnostic” — поддерживает любые типы кубитов и QPU-архитектуры.
🔹 Гибридный код: квантовые и классические вычисления в одном потоке
🔹 До 2500× ускорение симуляций на GPU
🔹 Лучшие компиляторы и рантайм-инструменты
🔹 Интеграция с AI и HPC-воркфлоу
🔹 Поддержка всех типов QPU и кубитных технологий
🔹 Работает с реальными и симулируемыми квантовыми процессорами

6️⃣ Суверенный AI в Европе
Франция, Германия, UK, Финляндия, Италия и Испания создают свои AI-инфраструктуры в партнёрстве с NVIDIA.

7️⃣ DGX Cloud Lepton от NVIDIA + Hugging Face
Глобальный доступ к GPU в один клик. Hugging Face запускает Training Cluster as a Service — теперь обучение LLM напрямую интегрировано с Lepton.

@ai_machinelearning_big_data


#NVIDIA #GTC
91👍35🔥33🤣9🥰3❤‍🔥2
🌟 FlashInfer: библиотека ускорения LLM-инференса на GPU.

FlashInfer - это библиотека для ускорения работы с LLM, созданная NVIDIA, чтобы объединить скорость обработки на GPU и гибкость для разработчиков. Еt главная цель — сократить время вывода текста, одновременно позволяя инженерам быстро внедрять новые алгоритмы и адаптировать решения под разные задачи.

Ее архитектура спроектирована так, чтобы оставаться актуальной при появлении новых алгоритмов: будь то методы повторного использования кэша или эксперименты с форматами внимания. Плюс к этому, библиотека легковесна, она не требует установки лишних зависимостей, а ее API напоминает стандартные инструменты PyTorch.

FlashInfer базируется на 2 принципах : эффективное управление памятью и динамическое планирование вычислений. Библиотека оптимизирует хранение KV-cache через блочно-разреженные структуры, уменьшая объем лишних обращений к памяти.

Это особенно важно при обработке запросов с разной длиной текста. Также используется технология JIT-компиляции, которая на лету генерирует оптимизированные CUDA-ядра под конкретную задачу.

Архитектура FlashInfer разбита на 4 модуля: Attention, GEMM, Communication и Token sampling.

🟢«Attention» работает с любыми схемами маскирования и позиционного кодирования, используя унифицированное представление кэша как разреженной матрицы.

🟢GEMM и Communication отвечают за матричные операции, включая сложные сценарии вроде grouped-GEMM (множество мелких умножений за один вызов). Для распределенных систем реализованы алгоритмы all-reduce и all-to-all, что критично для MoE-моделей.

🟢"Token sampling" ускоряет генерацию текста, заменяя традиционные сортировки вероятностей на rejection-based алгоритмы, отсекающие маловероятные варианты на лету.

FlashInfer поддерживает PyTorch через собственные операторы и DLPack API, тем самым упрощает внедрение в фреймворки vLLM и SGLang. Благодаря разделению процесса на этапы «планирования» и «запуска» библиотека минимизирует задержки: на первом шаге выбирается оптимальное ядро под параметры запроса, а затем оно переиспользуется для последующих аналогичных задач.


📌 Лицензирование: Apache 2.0 License.


🟡Статья
🟡Документация
🟡Arxiv
🖥GitHub


@ai_machinelearning_big_data

#AI #ML #LLM #FlashInfer #NVIDIA
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
👍4719🔥15🥰2