⚡️ Ling-flash-2.0 теперь в открытом доступе! ⚡️
Модель 100 B параметров, но задействовано всего ≈6.1B активных, что делает модель очень экономной.
🚀 Чем хороша Ling-flash-2.0
- Обучена на более чем 20 триллионах токенов с до-обучением и RL-этапами.
- Демонстрирует state-of-the-art производительность среди плотных моделей до 40B параметров.
- Особенно хороша в сложном рассуждении, генерации кода и задачах с фронтендом.
⚙️ Архитектура и эффективность
- MoE-архитектура с активированием лишь части параметров (activation ratio 1/32).
- Много технических фишек: продвинутое распределение экспертов, баланс внимания, схема маршрутизации без вспомогательных потерь и др.
- На железе H20 модель генерирует 200+ токенов в секунду - в 3× быстрее по сравнению с плотной моделью 36B.
- Поддерживает контексты до 128K токенов (с YaRN).
https://huggingface.co/inclusionAI/Ling-flash-2.0
@ai_machinelearning_big_data
#moe #llm #ml #ai #opensource
Модель 100 B параметров, но задействовано всего ≈6.1B активных, что делает модель очень экономной.
🚀 Чем хороша Ling-flash-2.0
- Обучена на более чем 20 триллионах токенов с до-обучением и RL-этапами.
- Демонстрирует state-of-the-art производительность среди плотных моделей до 40B параметров.
- Особенно хороша в сложном рассуждении, генерации кода и задачах с фронтендом.
⚙️ Архитектура и эффективность
- MoE-архитектура с активированием лишь части параметров (activation ratio 1/32).
- Много технических фишек: продвинутое распределение экспертов, баланс внимания, схема маршрутизации без вспомогательных потерь и др.
- На железе H20 модель генерирует 200+ токенов в секунду - в 3× быстрее по сравнению с плотной моделью 36B.
- Поддерживает контексты до 128K токенов (с YaRN).
https://huggingface.co/inclusionAI/Ling-flash-2.0
@ai_machinelearning_big_data
#moe #llm #ml #ai #opensource
👍323❤49👏26🔥21🎉16😁10🤩8🥰7😢5😍5🏆5
Это новый подход, где LLM помогает оптимизировать CUDA-ядра для PyTorch.
• Слияние операций ускоряет forward/backward-проходы, результаты выше стандартных Torch-базлайнов
• Полный пайплайн: PyTorch → генерация CUDA-кода → эволюционная оптимизация во время работы
• Проверка через LLM: модели автоматически отмечают неправильные ядра (дает +30% к производительности)
• robust-kbench — собственный бенчмарк, где измеряют не только скорость, но и корректность работы LLM
Авторы пишут о 2.5x ускорении над PyTorch eager и даже 6x в линейных операциях
Но большинство примеров — это тесты на слияние операций с неотюненной базой, так что цифры спорные.
К тому же PyTorch 2.5 уже внедряет похожие оптимизации ), поэтому такие рекорды могут быстро обесцениться.
Это интересный подход к самообучающимся AI-компиляторам, но заявленные ускорения стоит проверять на праактике.
@ai_machinelearning_big_data
#AI #CUDA #PyTorch #SakanaAI #LLM #Optimizatio
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
👍138🤔104❤24🔥16🤩12🎉10👏5😢4💘1😎1
⚡️ Вышли новые версии Qwen3-Next-80B в формате FP8!
📌 Модели:
- Qwen3-Next-80B-A3B-Instruct-FP8: 80B, обученная в формате Instruct. Сочетает MoE-архитектуру и FP8-квантование, при большом размере работает быстро и кушает меньше памяти, поддерживает длинный контекст - до 262k токенов (с расширением до миллиона) и оптимизирована для сложных задач рассуждения и работы с большими документами.
- Qwen3-Next-80B-A3B-Thinking-FP8
— Thinking модель, с акцентом на рассуждения, и решение логических задач. Гибридное внимание: Gated DeltaNet + Gated Attention → работа с супердлинными контекстами. Thinking-версия** показывает топ-результаты на задачах рассуждений, обгоняя не только Qwen3-30B/32B, но и закрытую Gemini-2.5-Flash-Thinking
- FP8-точность → быстрый инференс при сохранении качества.
- Полная совместимость с Transformers, vLLM и SGLang.
- Подходит для продакшн-задач, где важны скорость и эффективность.
🟠 Hugging Face: https://huggingface.co/collections/Qwen/qwen3-next-68c25fd6838e585db8eeea9d
🟠 ModelScope: https://modelscope.cn/collections/Qwen3-Next-c314f23bd0264a
@ai_machinelearning_big_data
#qwen #opensource #llm #ml
📌 Модели:
- Qwen3-Next-80B-A3B-Instruct-FP8: 80B, обученная в формате Instruct. Сочетает MoE-архитектуру и FP8-квантование, при большом размере работает быстро и кушает меньше памяти, поддерживает длинный контекст - до 262k токенов (с расширением до миллиона) и оптимизирована для сложных задач рассуждения и работы с большими документами.
- Qwen3-Next-80B-A3B-Thinking-FP8
— Thinking модель, с акцентом на рассуждения, и решение логических задач. Гибридное внимание: Gated DeltaNet + Gated Attention → работа с супердлинными контекстами. Thinking-версия** показывает топ-результаты на задачах рассуждений, обгоняя не только Qwen3-30B/32B, но и закрытую Gemini-2.5-Flash-Thinking
- FP8-точность → быстрый инференс при сохранении качества.
- Полная совместимость с Transformers, vLLM и SGLang.
- Подходит для продакшн-задач, где важны скорость и эффективность.
@ai_machinelearning_big_data
#qwen #opensource #llm #ml
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
❤51👍23🔥14❤🔥1💘1
🐳 Обновленная DeepSeek-V3.1-Terminus
Она даёт более стабильные и полные результаты на тестах по сравнению с предыдущей версией.
Языковая консистентность -китайцы значительно улучшили вывод модель - меньше случайных иероглифов и мешанины CN/EN.
Ряд Агентных апгрейдов рузльтаты на Code Agent и Search Agent стали заметно сильнее.
Доступна в приложении и в веб-версии и через API.
🔗 Открытые веса: https://huggingface.co/deepseek-ai/DeepSeek-V3.1-Terminus
@ai_machinelearning_big_data
#DeepSeek #opensource #llm
Она даёт более стабильные и полные результаты на тестах по сравнению с предыдущей версией.
Языковая консистентность -китайцы значительно улучшили вывод модель - меньше случайных иероглифов и мешанины CN/EN.
Ряд Агентных апгрейдов рузльтаты на Code Agent и Search Agent стали заметно сильнее.
Доступна в приложении и в веб-версии и через API.
🔗 Открытые веса: https://huggingface.co/deepseek-ai/DeepSeek-V3.1-Terminus
@ai_machinelearning_big_data
#DeepSeek #opensource #llm
👍68❤23🔥10🤨2💘1
🚀 Новая китайская модель LongCat-Flash-Thinking
🧠 Это модель для рассуждений, которая показала SOTA-результаты среди open-source решений.
⚡ Основное:
- Архитектура MoE, 560B параметров, из них 27B активируются.
- Эффективность: требует на **64,5% меньше токенов**( чем другим открытым моделям того же класса), чтобы достичь топ-результатов на AIME25 (с нативным использованием инструментов,).
- Контекст: 128k, обучение с усилением на задачах рассуждений и кода, многоэтапное пост-тюнинг обучение с мультиагентным синтезом.
- Инфраструктура: асинхронный RL даёт 3x ускорение по сравнению с синхронными фреймворками.
⚙️ Оптимизации для продакшена:
- Свои оптимизированные ядра для работы с MoE и специальные приёмы распределённого обучения,
- KV-cache reduction, квантование, chunked prefill,
- статическая/эластичная маршрутизация, peer-to-peer cache transfer, heavy-hitter replication и PD-disaggregation.
- Поддержка SGLang и vLLM для эффективного деплоя.
📊 Бенчмарки:
- Лидирует в tool use (**τ²-Bench, VitaBench**)
- Хорошие результаты по instruction following (**IFEval, COLLIE, Meeseeks-zh**).
Китайцы стабильно удерживают лидерство в reasoning-моделях.
🟠 HF: https://huggingface.co/meituan-longcat/LongCat-Flash-Thinking
@ai_machinelearning_big_data
#AI #LLM #Reasoning #MoE #DeepLearning #OpenSource
🧠 Это модель для рассуждений, которая показала SOTA-результаты среди open-source решений.
⚡ Основное:
- Архитектура MoE, 560B параметров, из них 27B активируются.
- Эффективность: требует на **64,5% меньше токенов**( чем другим открытым моделям того же класса), чтобы достичь топ-результатов на AIME25 (с нативным использованием инструментов,).
- Контекст: 128k, обучение с усилением на задачах рассуждений и кода, многоэтапное пост-тюнинг обучение с мультиагентным синтезом.
- Инфраструктура: асинхронный RL даёт 3x ускорение по сравнению с синхронными фреймворками.
⚙️ Оптимизации для продакшена:
- Свои оптимизированные ядра для работы с MoE и специальные приёмы распределённого обучения,
- KV-cache reduction, квантование, chunked prefill,
- статическая/эластичная маршрутизация, peer-to-peer cache transfer, heavy-hitter replication и PD-disaggregation.
- Поддержка SGLang и vLLM для эффективного деплоя.
📊 Бенчмарки:
- Лидирует в tool use (**τ²-Bench, VitaBench**)
- Хорошие результаты по instruction following (**IFEval, COLLIE, Meeseeks-zh**).
Китайцы стабильно удерживают лидерство в reasoning-моделях.
@ai_machinelearning_big_data
#AI #LLM #Reasoning #MoE #DeepLearning #OpenSource
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥40❤18🥰7👍4💘1
Модель обрабатывает текст, изображения, аудио и видео в одной модели.
На бенчмарках выглядит так, как будто все модальности работают одинаково качественно.
- Первое место на 22 из 36 аудио- и мультимодальных бенчмарков
- Поддержка: 119 языков текста,
- Минимальная задержка — 211 мс
- Обработка аудио до 30 минут длиной
- ПОзволяет гибко настраивать через системные промпты
- Встроенный tool calling
Компания выложила три версии:
- Qwen3-Omni-30B-A3B-Instruct
- Qwen3-Omni-30B-A3B-Thinking
- Qwen3-Omni-30B-A3B-Captioner
👉 Попробовать можно здесь:
💬 Chat: https://chat.qwen.ai/?models=qwen3-omni-flash
💻 GitHub: https://github.com/QwenLM/Qwen3-Omni
🤗 Hugging Face: https://huggingface.co/collections/Qwen/qwen3-omni-68d100a86cd0906843ceccbe
🤖 ModelScope: https://modelscope.cn/collections/Qwen3-Omni-867aef131e7d4f
🎬 Demo: https://huggingface.co/spaces/Qwen/Qwen3-Omni-Demo
@ai_machinelearning_big_data
#qwen #opensource #llm #ml
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
👍114❤44🔥33💘1