🚨 NVIDIA показала будущее ИИ на GTC Paris
Вот 7 самых интересных анонсов 👇
1️⃣ NVL72 — система из 72 Blackwell GPU
NVIDIA Blackwell: пропускная способность — 130 ТБ/с. Заточен для масштабных AI-систем.
• Лидерство в скорости инференса
• Поддержка популярных моделей: DeepSeek-R1, Llama 3.1 405B, Llama 3.3 70B и другие
• Второе поколение Transformer Engine с поддержкой FP4
• TensorRT Model Optimizer для квантования моделей в FP4
2️⃣ Фабрики ИИ
Дженсен назвал их *"фабриками интеллекта"*. Огромные центры на Blackwell, NVLink и жидкостном охлаждении, работающие без остановки. «Мы строим сеть AI-фабрик в Европе, чтобы локальные идеи становились глобальными инновациями»*, — Дженсен Хуанг
3️⃣ Цифровые двойники
Всё, что создаётся в физическом мире, будет сперва оцифровано в виртуальный мир
4️⃣ Agentic AI — следующий важный этап
ИИ, которые наблюдают, размышляют, действуют и учатся. Постоянно обучающиеся агенты, способные переосмысливать свои решения.
5️⃣ CUDA-Q на Grace Blackwell
CUDA-Q — это open-source платформа для разработки гибридных квантовых приложений, объединяющая GPU, CPU и QPU в единую систему.
Она “qubit-agnostic” — поддерживает любые типы кубитов и QPU-архитектуры.
🔹 Гибридный код: квантовые и классические вычисления в одном потоке
🔹 До 2500× ускорение симуляций на GPU
🔹 Лучшие компиляторы и рантайм-инструменты
🔹 Интеграция с AI и HPC-воркфлоу
🔹 Поддержка всех типов QPU и кубитных технологий
🔹 Работает с реальными и симулируемыми квантовыми процессорами
6️⃣ Суверенный AI в Европе
Франция, Германия, UK, Финляндия, Италия и Испания создают свои AI-инфраструктуры в партнёрстве с NVIDIA.
7️⃣ DGX Cloud Lepton от NVIDIA + Hugging Face
Глобальный доступ к GPU в один клик. Hugging Face запускает Training Cluster as a Service — теперь обучение LLM напрямую интегрировано с Lepton.
@ai_machinelearning_big_data
#NVIDIA #GTC
Вот 7 самых интересных анонсов 👇
1️⃣ NVL72 — система из 72 Blackwell GPU
NVIDIA Blackwell: пропускная способность — 130 ТБ/с. Заточен для масштабных AI-систем.
• Лидерство в скорости инференса
• Поддержка популярных моделей: DeepSeek-R1, Llama 3.1 405B, Llama 3.3 70B и другие
• Второе поколение Transformer Engine с поддержкой FP4
• TensorRT Model Optimizer для квантования моделей в FP4
2️⃣ Фабрики ИИ
Дженсен назвал их *"фабриками интеллекта"*. Огромные центры на Blackwell, NVLink и жидкостном охлаждении, работающие без остановки. «Мы строим сеть AI-фабрик в Европе, чтобы локальные идеи становились глобальными инновациями»*, — Дженсен Хуанг
3️⃣ Цифровые двойники
Всё, что создаётся в физическом мире, будет сперва оцифровано в виртуальный мир
4️⃣ Agentic AI — следующий важный этап
ИИ, которые наблюдают, размышляют, действуют и учатся. Постоянно обучающиеся агенты, способные переосмысливать свои решения.
5️⃣ CUDA-Q на Grace Blackwell
CUDA-Q — это open-source платформа для разработки гибридных квантовых приложений, объединяющая GPU, CPU и QPU в единую систему.
Она “qubit-agnostic” — поддерживает любые типы кубитов и QPU-архитектуры.
🔹 Гибридный код: квантовые и классические вычисления в одном потоке
🔹 До 2500× ускорение симуляций на GPU
🔹 Лучшие компиляторы и рантайм-инструменты
🔹 Интеграция с AI и HPC-воркфлоу
🔹 Поддержка всех типов QPU и кубитных технологий
🔹 Работает с реальными и симулируемыми квантовыми процессорами
6️⃣ Суверенный AI в Европе
Франция, Германия, UK, Финляндия, Италия и Испания создают свои AI-инфраструктуры в партнёрстве с NVIDIA.
7️⃣ DGX Cloud Lepton от NVIDIA + Hugging Face
Глобальный доступ к GPU в один клик. Hugging Face запускает Training Cluster as a Service — теперь обучение LLM напрямую интегрировано с Lepton.
@ai_machinelearning_big_data
#NVIDIA #GTC
❤91👍35🔥33🤣9🥰3❤🔥2
FlashInfer - это библиотека для ускорения работы с LLM, созданная NVIDIA, чтобы объединить скорость обработки на GPU и гибкость для разработчиков. Еt главная цель — сократить время вывода текста, одновременно позволяя инженерам быстро внедрять новые алгоритмы и адаптировать решения под разные задачи.
Ее архитектура спроектирована так, чтобы оставаться актуальной при появлении новых алгоритмов: будь то методы повторного использования кэша или эксперименты с форматами внимания. Плюс к этому, библиотека легковесна, она не требует установки лишних зависимостей, а ее API напоминает стандартные инструменты PyTorch.
FlashInfer базируется на 2 принципах : эффективное управление памятью и динамическое планирование вычислений. Библиотека оптимизирует хранение KV-cache через блочно-разреженные структуры, уменьшая объем лишних обращений к памяти.
Это особенно важно при обработке запросов с разной длиной текста. Также используется технология JIT-компиляции, которая на лету генерирует оптимизированные CUDA-ядра под конкретную задачу.
Архитектура FlashInfer разбита на 4 модуля: Attention, GEMM, Communication и Token sampling.
FlashInfer поддерживает PyTorch через собственные операторы и DLPack API, тем самым упрощает внедрение в фреймворки vLLM и SGLang. Благодаря разделению процесса на этапы «планирования» и «запуска» библиотека минимизирует задержки: на первом шаге выбирается оптимальное ядро под параметры запроса, а затем оно переиспользуется для последующих аналогичных задач.
@ai_machinelearning_big_data
#AI #ML #LLM #FlashInfer #NVIDIA
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
👍47❤19🔥15🥰2