330K subscribers
4.17K photos
770 videos
17 files
4.69K links
Погружаемся в машинное обучение и Data Science

Показываем как запускать любые LLm на пальцах.

По всем вопросам - @haarrp

@itchannels_telegram -🔥best channels

Реестр РКН: clck.ru/3Fmqri
Download Telegram
🏆 NVIDIA Parakeet V2 возглавила рейтинг ASR-моделей на Hugging Face

Новая модель Parakeet-TDT-0.6B-V2 достигла рекордной точности распознавания речи на Open ASR Leaderboard от Hugging Face — 6.05 на Word Error Rate.

🦜 Parakeet V2 выводит автоматическое распознавание речи (ASR) на новый уровень:

Молниеносный инференс — RTFx 3386 (в 50 раз быстрее аналогов)
🔍 Поддержка необычных сценариев:
• Распознавание песен в текст (song-to-lyrics)
• Форматирование чисел и временных меток
• Высокоточная транскрибация

📌 Лицензирование: CC-BY-4.0

🔗 Leaderboard: huggingface.co/spaces/hf-audio/open_asr_leaderboard
🔗 Демо: huggingface.co/nvidia/parakeet-tdt-0.6b-v2
🔗 Попробовать: build.nvidia.com/explore/speech

@ai_machinelearning_big_data


#NVIDIA #ASR #SpeechRecognition #Parakeet #AIaudio
Please open Telegram to view this post
VIEW IN TELEGRAM
60👍31🔥11🥰6👌1
🌟 NVIDIA cuOpt: GPU-решатель для оптимизации решений.

NVIDIA опубликовала в открытом доступе свой проект cuOpt. Это набор инструментов оптимизации, который использует ресурсы и возможности GPU для решения сложных задач линейного программирования, маршрутизации и логистики.

cuOpt помогает находить эффективные решения для проблем с миллионами переменных, где традиционные методы терпят крах., превращая «нерешаемые» задачи в реальные решения, без жертвования масштабом или скоростью. Это, своего рода, «турбокомпрессоре» для задач, где время и точность критически важны, от доставки товаров до расписаний производства.

cuOpt состоит из C++-движка и API (Python, C и другие), которые работают как обертки, которые дают возможность гибко интегрировать библиотеку в разные проекты.

Для задач маршрутизаций (TSP, VRP, PDP) cuOpt генерирует начальные решения, а затем улучшает их итеративно, используя эвристические алгоритмы. Это не «лобовое» вычисление всех вариантов, а умный поиск, который экономит ресурсы и время.

Методы работы с линейным программированием (LP) и смешанными целочисленными задачами (MILP) тоже уникальны. Для LP применяется PDLP — алгоритм первого порядка, который использует градиентный спуск и работает на GPU, альтернативно запускаясь на CPU с симплекс-методом.

Смешанное целочисленное программирование - это метод математической оптимизации, позволяющий решать задачи с использованием смеси непрерывных переменных (которые могут иметь любое значение, включая десятичные и дробные), дискретных переменных и двоичных переменных.


В MILP немного сложнее: на GPU выполняются эвристики для поиска допустимых решений (локальный поиск, «feasibility pump»), а CPU занимается ветвлениями и границами, улучшая оценку. Решения между GPU и CPU обмениваются в реальном времени, создавая гибридную систему.

▶️ NVIDIA cuOpt предлагает несколько вариантов развертывания, адаптированных под разные задачи: pip, conda или готовый контейнер Docker / NSG.

Еще поддерживаются (с минимальным рефакторингом) инструменты AMPL и PuLP, с помощью которых сценарии использования cuOpt значительно расширяются.

В репозитории проекта разработчики собрали примеры и Jupyter-ноутбуки, которые можно запустить локально или в облачных сервисах: Google Colab (с выбором GPU-среды) или NVIDIA Launchable.


📌 Лицензирование: Apache 2.0 License.


🟡Страница проекта
🟡Документация
🖥GitHub


@ai_machinelearning_big_data

#AI #ML #DS #NVIDIA #CuOPT
Please open Telegram to view this post
VIEW IN TELEGRAM
45👍37🔥16🥰3
Media is too big
VIEW IN TELEGRAM
🚀 Cosmos-Predict2 — новая открытая версия видео-модели для Physical AI от NVIDIA!

Cosmos-Predict2 — ключевая часть экосистемы World Foundation Models (WFMs), созданная для Physical AI. Модель умеет предсказывать будущее состояние визуального мира, используя текст и видео. Cosmos разработан для ускорения обучения моделей, которые понимают физику, среду и действия — от автономных автомобилей до роботов. Выглядит очень интересно.

Это самое мощное поколение моделей в экосистеме Cosmos. Модель заметно улучшена по сравнению с Predict1:

🎯 лучшее качество видео
🧠 точнее соответствует текстовому описанию
🎥 более реалистичная динамика движения

📊 Cosmos-Predict2 превосходит другие open-source видео foundation-модели.

Веса
Полный код для инференса и обучения (с туториалами)

@ai_machinelearning_big_data


#Cosmos #NVIDIA
53🔥39👍23
🚨 NVIDIA показала будущее ИИ на GTC Paris

Вот 7 самых интересных анонсов 👇

1️⃣ NVL72 — система из 72 Blackwell GPU

NVIDIA Blackwell: пропускная способность — 130 ТБ/с. Заточен для масштабных AI-систем.
• Лидерство в скорости инференса
• Поддержка популярных моделей: DeepSeek-R1, Llama 3.1 405B, Llama 3.3 70B и другие
• Второе поколение Transformer Engine с поддержкой FP4
• TensorRT Model Optimizer для квантования моделей в FP4

2️⃣ Фабрики ИИ
Дженсен назвал их *"фабриками интеллекта"*. Огромные центры на Blackwell, NVLink и жидкостном охлаждении, работающие без остановки. «Мы строим сеть AI-фабрик в Европе, чтобы локальные идеи становились глобальными инновациями»*, — Дженсен Хуанг

3️⃣ Цифровые двойники
Всё, что создаётся в физическом мире, будет сперва оцифровано в виртуальный мир

4️⃣ Agentic AI — следующий важный этап
ИИ, которые наблюдают, размышляют, действуют и учатся. Постоянно обучающиеся агенты, способные переосмысливать свои решения.

5️⃣ CUDA-Q на Grace Blackwell
CUDA-Q — это open-source платформа для разработки гибридных квантовых приложений, объединяющая GPU, CPU и QPU в единую систему.
Она “qubit-agnostic” — поддерживает любые типы кубитов и QPU-архитектуры.
🔹 Гибридный код: квантовые и классические вычисления в одном потоке
🔹 До 2500× ускорение симуляций на GPU
🔹 Лучшие компиляторы и рантайм-инструменты
🔹 Интеграция с AI и HPC-воркфлоу
🔹 Поддержка всех типов QPU и кубитных технологий
🔹 Работает с реальными и симулируемыми квантовыми процессорами

6️⃣ Суверенный AI в Европе
Франция, Германия, UK, Финляндия, Италия и Испания создают свои AI-инфраструктуры в партнёрстве с NVIDIA.

7️⃣ DGX Cloud Lepton от NVIDIA + Hugging Face
Глобальный доступ к GPU в один клик. Hugging Face запускает Training Cluster as a Service — теперь обучение LLM напрямую интегрировано с Lepton.

@ai_machinelearning_big_data


#NVIDIA #GTC
91👍35🔥33🤣9🥰3❤‍🔥2
🌟 FlashInfer: библиотека ускорения LLM-инференса на GPU.

FlashInfer - это библиотека для ускорения работы с LLM, созданная NVIDIA, чтобы объединить скорость обработки на GPU и гибкость для разработчиков. Еt главная цель — сократить время вывода текста, одновременно позволяя инженерам быстро внедрять новые алгоритмы и адаптировать решения под разные задачи.

Ее архитектура спроектирована так, чтобы оставаться актуальной при появлении новых алгоритмов: будь то методы повторного использования кэша или эксперименты с форматами внимания. Плюс к этому, библиотека легковесна, она не требует установки лишних зависимостей, а ее API напоминает стандартные инструменты PyTorch.

FlashInfer базируется на 2 принципах : эффективное управление памятью и динамическое планирование вычислений. Библиотека оптимизирует хранение KV-cache через блочно-разреженные структуры, уменьшая объем лишних обращений к памяти.

Это особенно важно при обработке запросов с разной длиной текста. Также используется технология JIT-компиляции, которая на лету генерирует оптимизированные CUDA-ядра под конкретную задачу.

Архитектура FlashInfer разбита на 4 модуля: Attention, GEMM, Communication и Token sampling.

🟢«Attention» работает с любыми схемами маскирования и позиционного кодирования, используя унифицированное представление кэша как разреженной матрицы.

🟢GEMM и Communication отвечают за матричные операции, включая сложные сценарии вроде grouped-GEMM (множество мелких умножений за один вызов). Для распределенных систем реализованы алгоритмы all-reduce и all-to-all, что критично для MoE-моделей.

🟢"Token sampling" ускоряет генерацию текста, заменяя традиционные сортировки вероятностей на rejection-based алгоритмы, отсекающие маловероятные варианты на лету.

FlashInfer поддерживает PyTorch через собственные операторы и DLPack API, тем самым упрощает внедрение в фреймворки vLLM и SGLang. Благодаря разделению процесса на этапы «планирования» и «запуска» библиотека минимизирует задержки: на первом шаге выбирается оптимальное ядро под параметры запроса, а затем оно переиспользуется для последующих аналогичных задач.


📌 Лицензирование: Apache 2.0 License.


🟡Статья
🟡Документация
🟡Arxiv
🖥GitHub


@ai_machinelearning_big_data

#AI #ML #LLM #FlashInfer #NVIDIA
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
👍4719🔥15🥰2
🖥 Nvidia почти достигла рыночной капитализации в 4 триллиона долларов.

Во времена золотой лихорадки богатели продавцы лопат, а не старатели.
Сегодня тот же принцип работает в ИИ: NVIDIA — продавец лопат XXI века 🛠️

• Золотоискатели-2025 — стартапы и корпорации, обучающие LLM, строящие автономных агентов и генеративные сервисы.
• Лопаты — GPU серии A/H, NVLink, CUDA-стек, DGX-сервера и сетевые ускорители.
• Магазин инструментов — собственные облака NVIDIA и партнёрские дата-центры.

Пока одни ищут «золото» в данных, NVIDIA продаёт каждому из них новые лопаты — и зарабатывает на каждом.

💰 Если бы вы вложили $10,000 в Nvidia в 2010… сейчас у вас было бы $4,400,000.


@ai_machinelearning_big_data

#ai #ml #Nvidia #market

#AI #GPU #NVIDIA #Инфраструктура
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥86👍6020🤷‍♂4🤩2😈1
This media is not supported in your browser
VIEW IN TELEGRAM
🖥 Дженсен Хуанг: США должны продавать чипы даже Китаю — это усилит наше лидерство в AI

Глава NVIDIA объяснил, почему экспорт AI-чипов — это не слабость, а стратегия:

🗣 «Половина AI-разработчиков в мире — китайцы. Пусть они строят свои системы на нашей технологии

💡 Что он имеет в виду:

— Если весь мир (включая Китай) работает на американских чипах, платформах и фреймворках,
— США получают техническое и инфраструктурное преимущество,
— А значит — долгосрочное лидерство в AI, даже если некоторые страны развивают собственные модели.

🔍 А как же риски? Военные, шпионские?

> «Они не будут строить военные системы на чужих чипах. Просто не могут себе это позволить

Технологии, от которых зависит твой конкурент— это не оружие. Это рычаг влияния.

И чем больше стран завязаны на американском стеке — тем выше шансы, что США останутся в центре мировой AI-инфраструктуры.

Еще из интересного, после того как MIT выпустили исследование о том, что ИИ якобы снижает когнитивные способности человека, Хуанг в своём стиле — дал "жесткий" ответ:

> “Я не читал это исследование, лол”
> “Я каждый день пользуюсь ИИ — и мои когнитивные навыки только растут”

Критическое мышление никто не отменял
> “Я не принимаю ответ как есть — я его анализирую, критикую, уточняю”
> “Такой подход и развивает мышлени

Полное интервью Дженсена

@ai_machinelearning_big_data

#ai #Ml #nvidia
Please open Telegram to view this post
VIEW IN TELEGRAM
157👍95😁34🤣21🔥98🙉3
🧠 Как «вклеить» объект в картинку так, чтобы он выглядел естественно?

Это одна из самых сложных задач в семантической генерации:
🔸 нужно сохранить структуру сцены
🔸 вставить объект по текстовому описанию
🔸 и найти уместное место, а не просто налепить поверх

Большинство моделей с этим не справляются — объект добавляется не к месту или портит фон.

Новый метод Add-it от NVIDIA решает эту задачу без обучения модели.

Он расширяет механизм внимания в диффузионных моделях, чтобы учитывать сразу три источника:

1. Оригинальное изображение
2. Текстовый промпт
3. Промежуточную сгенерированную картинку

📌 Такой подход позволяет:
– сохранить геометрию сцены
– встроить объект туда, где он действительно мог бы быть
– не терять мелкие детали и текстуры

📊 Результаты:
– Add-it без дообучения обходит supervised‑модели
– На новом бенчмарке Additing Affordance показывает SOTA результат по «естественности размещения»
– В слепых тестах люди выбирают его в 80% случаев
– Улучшает метрики качества генерации

🟠Github: https://github.com/NVlabs/addit
🟠Demo: https://huggingface.co/spaces/nvidia/addit
🟠Paper: https://arxiv.org/abs/2411.07232
🟠Project: https://research.nvidia.com/labs/par/addit/

@ai_machinelearning_big_data


#NVIDIA #Diffusion #Addit #StableDiffusion #AIgen #ControllableGeneration
Please open Telegram to view this post
VIEW IN TELEGRAM
83🔥33👍30👻7💯6❤‍🔥1
This media is not supported in your browser
VIEW IN TELEGRAM
🐼 Pandas тормозит на больших данных?

NVIDIA показала, как ускорить его в 40 раз — без переписывания кода.

Команда NVIDIA провела эксперимент с 18 миллионами строк данных с фондовых рынков: они выполнили типичный анализ данных с помощью pandas на CPU, а затем тоже самое — на GPU, используя cudf.pandas.

Для примеры были взяты:
📉 Скользящие средние (50D и 200D)
📅 Недельная статистика закрытия рынков
🧊 В общей сложности ~18M строк

Результат впечатляет : удалось добиться**ускорения обработки данных в 20–40 раз

Код скрипта не менялся вообще — тот же pandas, но на GPU.

Это один из примеров, где ускорение достигается без переписывания логики кода.

🟡 Потестить самому можно в Colab
🟡 Другие примеры с кодом — здесь

@ai_machinelearning_big_data


#datascience #ml #nvidia #gpu #pandas #python
Please open Telegram to view this post
VIEW IN TELEGRAM
1124👍40🔥18😁3🤔3🤣2