This media is not supported in your browser
VIEW IN TELEGRAM
⚡ Google Ironwood - самый мощный TPU 7-го поколения.
Производительность:
• 4,614 FP8 TFLOPS
• 192 GB HBM3E на чип
• Пропускная способность памяти - до 7.37 TB/s
🚀 Масштабируемость:
• Кластеры (pods) до 9,216 ускорителей
• Совокупно — 42.5 FP8 ExaFLOPS для тренировки и инференса
• Для сравнения: Nvidia GB300 NVL72, всего 0.36 ExaFLOPS
🔗 Связность:
• Собственная сеть Inter-Chip Interconnect - 9.6 Tb/s
• Общий объём памяти в pod - около 1.77 PB HBM3E
• Это снова больше, чем у конкурирующих систем Nvidia
Ironwood — мощнейшая платформа Google для больших LLM и мультимодальных моделей.
Производительность:
• 4,614 FP8 TFLOPS
• 192 GB HBM3E на чип
• Пропускная способность памяти - до 7.37 TB/s
🚀 Масштабируемость:
• Кластеры (pods) до 9,216 ускорителей
• Совокупно — 42.5 FP8 ExaFLOPS для тренировки и инференса
• Для сравнения: Nvidia GB300 NVL72, всего 0.36 ExaFLOPS
🔗 Связность:
• Собственная сеть Inter-Chip Interconnect - 9.6 Tb/s
• Общий объём памяти в pod - около 1.77 PB HBM3E
• Это снова больше, чем у конкурирующих систем Nvidia
Ironwood — мощнейшая платформа Google для больших LLM и мультимодальных моделей.
❤16🔥5🥱3🥰2😱2
This media is not supported in your browser
VIEW IN TELEGRAM
🔍 Хотите научиться собирать собственные датасеты для моделей? На открытом уроке от OTUS вы научитесь парсить сайты на Python, обрабатывать данные и ускорять весь процесс с помощью LLM. 🚀
🗓️ Урок пройдёт 15 декабря в 18:00 МСК — всего один вечер, который может кардинально изменить ваш подход к подготовке данных.
Что вас ждет?
✅ Разбор реальных кейсов и современных инструментов парсинга
✅ Советы по обходу технических ограничений
✅ Обучение превращать LLM в мощного помощника для написания и отладки кода
После урока вы будете знать:
🔹 Какие библиотеки сейчас актуальны для парсинга
🔹 Как самостоятельно собирать данные
🔗 Присоединяйтесь к открытому уроку курса «NLP / Natural Language Processing» и получите специальные условия на обучение: https://otus.pw/mVc4/?erid=2W5zFGqJtu6
🎁 Выберите обучение на ближайшие месяцы — и получите максимальную выгоду: один курс по тающей скидке до 20% или комплект из 2–3 курсов со скидкой 25–30%
Реклама. ООО "ОТУС ОНЛАЙН-ОБРАЗОВАНИЕ". ИНН 9705100963.
🗓️ Урок пройдёт 15 декабря в 18:00 МСК — всего один вечер, который может кардинально изменить ваш подход к подготовке данных.
Что вас ждет?
✅ Разбор реальных кейсов и современных инструментов парсинга
✅ Советы по обходу технических ограничений
✅ Обучение превращать LLM в мощного помощника для написания и отладки кода
После урока вы будете знать:
🔹 Какие библиотеки сейчас актуальны для парсинга
🔹 Как самостоятельно собирать данные
🔗 Присоединяйтесь к открытому уроку курса «NLP / Natural Language Processing» и получите специальные условия на обучение: https://otus.pw/mVc4/?erid=2W5zFGqJtu6
🎁 Выберите обучение на ближайшие месяцы — и получите максимальную выгоду: один курс по тающей скидке до 20% или комплект из 2–3 курсов со скидкой 25–30%
Реклама. ООО "ОТУС ОНЛАЙН-ОБРАЗОВАНИЕ". ИНН 9705100963.
❤4😁1
🚀 Model Context Protocol (MCP) - протокол, который с самого начала развивался открыто, делает большой шаг.
Теперь MCP официально переходит под крыло Linux Foundation.
Это важный момент для будущего агентов, инструментов и всей экосистемы разработки ИИ:
стандарт становится независимым, управляемым сообществом и готовым к масштабному принятию.
https://github.blog/open-source/maintainers/mcp-joins-the-linux-foundation-what-this-means-for-developers-building-the-next-era-of-ai-tools-and-agents/
Теперь MCP официально переходит под крыло Linux Foundation.
Это важный момент для будущего агентов, инструментов и всей экосистемы разработки ИИ:
стандарт становится независимым, управляемым сообществом и готовым к масштабному принятию.
https://github.blog/open-source/maintainers/mcp-joins-the-linux-foundation-what-this-means-for-developers-building-the-next-era-of-ai-tools-and-agents/
🎉11👍6🔥3❤2🥰2🍾2
🚀 QWEN представили SAPO - Soft Adaptive Policy Optimization.
Новый метод обучения LLM, делающий RL-тюнинг более стабильным и масштабируемым.
Зачем он нужен?
🔹 Жёсткое ограничение градиентов часто ломает обучение, то они исчезают, то взрываются .
🔹 В MoE-моделях эта нестабильность усиливается ещё больше
Что делает SAPO:
✓ вместо резких границ - плавный «температурный» контроллер
✓ более мягкая зона доверия - без внезапного обнуления градиентов
✓ согласованное поведение на уровне последовательности
✓ адаптация на уровне токенов - сохраняет полезные сигналы и ускоряет обучение
✓ асимметричные температуры - сильный выигрыш по стабильности, особенно для MoE
Что это даёт:
📌 длинные стабильные RL-тренировки
📌 выше точность (Pass@1)
📌 заметный прирост в задачах математики, кода и мультимодальности (например, на Qwen3-VL)
SAPO - шаг к более надёжному и предсказуемому RL-тюнингу больших моделей.
📄 Paper: https://arxiv.org/abs/2511.20347
📚 Blog: https://qwen.ai/blog?id=sapo
🔍 Видео: https://www.youtube.com/watch?v=aQyzIzUw9zI
Новый метод обучения LLM, делающий RL-тюнинг более стабильным и масштабируемым.
Зачем он нужен?
🔹 Жёсткое ограничение градиентов часто ломает обучение, то они исчезают, то взрываются .
🔹 В MoE-моделях эта нестабильность усиливается ещё больше
Что делает SAPO:
✓ вместо резких границ - плавный «температурный» контроллер
✓ более мягкая зона доверия - без внезапного обнуления градиентов
✓ согласованное поведение на уровне последовательности
✓ адаптация на уровне токенов - сохраняет полезные сигналы и ускоряет обучение
✓ асимметричные температуры - сильный выигрыш по стабильности, особенно для MoE
Что это даёт:
📌 длинные стабильные RL-тренировки
📌 выше точность (Pass@1)
📌 заметный прирост в задачах математики, кода и мультимодальности (например, на Qwen3-VL)
SAPO - шаг к более надёжному и предсказуемому RL-тюнингу больших моделей.
📄 Paper: https://arxiv.org/abs/2511.20347
📚 Blog: https://qwen.ai/blog?id=sapo
🔍 Видео: https://www.youtube.com/watch?v=aQyzIzUw9zI
❤9👍5
Вышел техрепорт Яндекса о семействе моделей Alice AI
Техрепорт охватывает Alice AI LLM, LLM Search, мультимодальную VLM и ART для изображений. Подход ко всем единый: масштабирование данных, улучшение reasoning и повышение эффективности инференса.
Одним из ключевых разделов опубликованного техрепорта стала детальная пересборка обучающих данных для Alice AI LLM. Яндекс сфокусировался на улучшении качества корпуса и формировании устойчивых знаний в областях, где классические LLM испытывают дефицит.
Благодаря фильтрации и аугментации больших корпусов удалось избавиться от низкокачественных данных и расширить репрезентативность корректных фактов. Результаты подтверждены внутренними измерениями: рост на 4–7% на внутреннем бенчмарке фактов.
Cбор данных по школьным предметам обеспечил крупнейший скачок: нейросеть уверенно обходит зарубежные модели в истории, литературе и русском языке. В математике и программировании также заметен прогресс за счёт добавления алгоритмических и кодовых данных (+4.5 п.п. на LiveCodeBench).
Ещё из интересного — алгоритм последовательного параллелизма Ulysses attention, который Яндекс внедрил совсем недавно. Подход позволил провести midtrain-стадию обучения и увеличить контекст с хорошим ускорением за счёт перебалансировки нагрузки между процессами.
https://habr.com/ru/companies/yandex/articles/974594/
Техрепорт охватывает Alice AI LLM, LLM Search, мультимодальную VLM и ART для изображений. Подход ко всем единый: масштабирование данных, улучшение reasoning и повышение эффективности инференса.
Одним из ключевых разделов опубликованного техрепорта стала детальная пересборка обучающих данных для Alice AI LLM. Яндекс сфокусировался на улучшении качества корпуса и формировании устойчивых знаний в областях, где классические LLM испытывают дефицит.
Благодаря фильтрации и аугментации больших корпусов удалось избавиться от низкокачественных данных и расширить репрезентативность корректных фактов. Результаты подтверждены внутренними измерениями: рост на 4–7% на внутреннем бенчмарке фактов.
Cбор данных по школьным предметам обеспечил крупнейший скачок: нейросеть уверенно обходит зарубежные модели в истории, литературе и русском языке. В математике и программировании также заметен прогресс за счёт добавления алгоритмических и кодовых данных (+4.5 п.п. на LiveCodeBench).
Ещё из интересного — алгоритм последовательного параллелизма Ulysses attention, который Яндекс внедрил совсем недавно. Подход позволил провести midtrain-стадию обучения и увеличить контекст с хорошим ускорением за счёт перебалансировки нагрузки между процессами.
https://habr.com/ru/companies/yandex/articles/974594/
🆒6👍3❤2😁2👌2
⚡️ Хотите масштабировать биологические трансформер-модели на PyTorch?
Nvidia представила BioNeMo Recipes - набор готовых рецептов, которые значительно упрощают обучение и ускорение больших моделей для биологии. Это пошаговые инструкции на базе привычных инструментов: PyTorch, Hugging Face и зрелой инфраструктуры Nvidia.
В новом посте показано, как с помощью этих рецептов ускорять обучение трансформеров под биологические задачи и быстро выводить их на промышленный масштаб - без погружения в сложный HPC-стек.
https://developer.nvidia.com/blog/scale-biology-transformer-models-with-pytorch-and-nvidia-bionemo-recipes/
Nvidia представила BioNeMo Recipes - набор готовых рецептов, которые значительно упрощают обучение и ускорение больших моделей для биологии. Это пошаговые инструкции на базе привычных инструментов: PyTorch, Hugging Face и зрелой инфраструктуры Nvidia.
В новом посте показано, как с помощью этих рецептов ускорять обучение трансформеров под биологические задачи и быстро выводить их на промышленный масштаб - без погружения в сложный HPC-стек.
https://developer.nvidia.com/blog/scale-biology-transformer-models-with-pytorch-and-nvidia-bionemo-recipes/
🔥7👍5❤3
🚨 Stanford показал, что AI уже обгоняет профессиональных хакеров в реальном мире - и масштаб этого пока недооценён
Исследователи из Stanford опубликовали работу, в которой сравнили людей и AI не в «игрушечных» условиях, а в настоящей корпоративной сети.
Эксперимент выглядел жёстко:
— 10 профессиональных pentester’ов
— живая университетская сеть
— ~8 000 реальных машин
— 12 подсетей
— продакшн-системы и реальные пользователи
И в ту же среду они запустили AI-агента ARTEMIS.
Результат оказался неожиданным — и пугающим:
ARTEMIS обошёл 9 из 10 человеческих экспертов.
Не CTF.
Не статические CVE.
Не симуляция.
Настоящая сеть с реальными последствиями.
Что показал ARTEMIS:
— 9 подтверждённых уязвимостей
— 82% валидных находок
— 2-е место в общем лидерборде
— без надзора человека
— без кастомных эксплойтов
— стоимость работы ~18 долларов в час
Для сравнения: человек-pentester стоит ~60 долларов в час.
Почему AI оказался сильнее:
• Люди выбирали цели вручную
• ARTEMIS запускал саб-агентов и атаковал несколько хостов параллельно
• Люди теряли зацепки и уходили в «кроличьи норы»
• ARTEMIS держал идеальную память, TODO-листы и авто-триаж
• Люди не могли открыть устаревшие web-интерфейсы
• ARTEMIS просто игнорировал браузер и ломал их через curl -k
Более того, он нашёл уязвимости, которые не нашёл ни один человек.
Что его пока тормозит:
— GUI-зависимые эксплойты
— более высокий процент ложных срабатываний
Во всём остальном ARTEMIS действовал как полностью укомплектованная red-team:
без усталости, без эго, с бесконечным терпением.
Вывод простой и жёсткий:
🔴 AI больше не «помогает» pentester’ам
🔴 AI начинает конкурировать с ними
🔴 И в некоторых сценариях - уже выигрывает
Это момент, когда offensive security начинает меняться навсегда.
📄 Paper: *Comparing AI Agents to Cybersecurity Professionals in Real-World Penetration Testing*
Исследователи из Stanford опубликовали работу, в которой сравнили людей и AI не в «игрушечных» условиях, а в настоящей корпоративной сети.
Эксперимент выглядел жёстко:
— 10 профессиональных pentester’ов
— живая университетская сеть
— ~8 000 реальных машин
— 12 подсетей
— продакшн-системы и реальные пользователи
И в ту же среду они запустили AI-агента ARTEMIS.
Результат оказался неожиданным — и пугающим:
ARTEMIS обошёл 9 из 10 человеческих экспертов.
Не CTF.
Не статические CVE.
Не симуляция.
Настоящая сеть с реальными последствиями.
Что показал ARTEMIS:
— 9 подтверждённых уязвимостей
— 82% валидных находок
— 2-е место в общем лидерборде
— без надзора человека
— без кастомных эксплойтов
— стоимость работы ~18 долларов в час
Для сравнения: человек-pentester стоит ~60 долларов в час.
Почему AI оказался сильнее:
• Люди выбирали цели вручную
• ARTEMIS запускал саб-агентов и атаковал несколько хостов параллельно
• Люди теряли зацепки и уходили в «кроличьи норы»
• ARTEMIS держал идеальную память, TODO-листы и авто-триаж
• Люди не могли открыть устаревшие web-интерфейсы
• ARTEMIS просто игнорировал браузер и ломал их через curl -k
Более того, он нашёл уязвимости, которые не нашёл ни один человек.
Что его пока тормозит:
— GUI-зависимые эксплойты
— более высокий процент ложных срабатываний
Во всём остальном ARTEMIS действовал как полностью укомплектованная red-team:
без усталости, без эго, с бесконечным терпением.
Вывод простой и жёсткий:
🔴 AI больше не «помогает» pentester’ам
🔴 AI начинает конкурировать с ними
🔴 И в некоторых сценариях - уже выигрывает
Это момент, когда offensive security начинает меняться навсегда.
📄 Paper: *Comparing AI Agents to Cybersecurity Professionals in Real-World Penetration Testing*
👍13❤8🔥3
Apple на короткое время опубликовала, а затем быстро удалила статью на arXiv - но версия v1 уже разошлась, и она очень любопытная.
Команда раскрыла RLAX - масштабируемый фреймворк обучения с подкреплением для LLM на TPU.
Что внутри RLAX:
- Архитектура parameter server
- Центральный тренер обновляет веса
- Огромные inference-флоты подтягивают веса и генерируют rollouts
- Оптимизировано под preemption и массовый параллелизм
- Специальные техники курирования данных и alignment
Результаты впечатляют:
- +12,8% к pass@8 на QwQ-32B
- Всего за 12 часов 48 минут
- Использовано 1024 TPU v5p
Почему это важно:
- Apple явно экспериментирует с RL на очень больших масштабах
- TPU-ориентированная архитектура говорит о фокусе на эффективность, а не только на модель
- Прирост достигается не «магией модели», а инженерией системы обучения
- Это еще один сигнал, что RL для LLM переходит в фазу индустриальных пайплайнов
Название статьи:
RLAX: Large-Scale, Distributed Reinforcement Learning for
https://arxiv.org/pdf/2512.06392v1
Команда раскрыла RLAX - масштабируемый фреймворк обучения с подкреплением для LLM на TPU.
Что внутри RLAX:
- Архитектура parameter server
- Центральный тренер обновляет веса
- Огромные inference-флоты подтягивают веса и генерируют rollouts
- Оптимизировано под preemption и массовый параллелизм
- Специальные техники курирования данных и alignment
Результаты впечатляют:
- +12,8% к pass@8 на QwQ-32B
- Всего за 12 часов 48 минут
- Использовано 1024 TPU v5p
Почему это важно:
- Apple явно экспериментирует с RL на очень больших масштабах
- TPU-ориентированная архитектура говорит о фокусе на эффективность, а не только на модель
- Прирост достигается не «магией модели», а инженерией системы обучения
- Это еще один сигнал, что RL для LLM переходит в фазу индустриальных пайплайнов
Название статьи:
RLAX: Large-Scale, Distributed Reinforcement Learning for
https://arxiv.org/pdf/2512.06392v1
❤11👍7