Forwarded from Machinelearning
Новая архитектура Mamba-3 делает модели быстрее, стабильнее и эффективнее при работе с длинными контекстами.
Главная идея - не в слоях внимания, а в state-space моделях, где модель хранит и обновляет внутреннее состояние во времени.
📘 Краткие эускурс:
- Mamba-1 ввела непрерывную динамику и выборочное обновление памяти - помнила эффективно без высокой цены attention.
- Mamba-2 показала, что обновления состояния и attention - это две стороны одной математики, что ускорило вычисления на GPU.
- Mamba-3 довела концепцию до зрелости: теперь внутренняя память развивается плавнее и устойчивее за счёт перехода от простого шага Эйлера к трапецеидальному интегрированию.
Вместо простого шага Эйлера, как в Mamba-2, Mamba-3 аппроксимирует интеграл обновления состояния не только по правому концу интервала, но усреднением между началом и концом, с коэффициентом λ, зависящим от данных. Это даёт более точное приближение (второго порядка) и делает динамику состояния более выразительной.
🧠 Что изменилось под капотом:
- Память стала «ритмичной»: теперь модель может хранить повторяющиеся и периодические паттерны (например, структуры языка или музыки).
- Новый multi-input-multi-output дизайн позволяет обрабатывать несколько потоков параллельно — идеально для современных GPU.
⚙️ Что это даёт на практике:
- Эффективная работа с длинными последовательностями: документы, геномы, временные ряды.
- Линейное время выполнения и стабильная задержка делают её идеальной для реального времени: чат-ботов, перевода, речи.
- Энергоэффективность и масштабируемость открывают путь к on-device AI, где большие модели работают локально, без облака.
Mamba-3 - это не просто ускоренная альтернатива Transformers.
Это новая архитектура, которая объединяет глубокое понимание контекста, скорость и устойчивость, от серверных систем до умных устройств.
@ai_machinelearning_big_data
#ssm #mamba3 #llm,#architecture #ai
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
❤17👍8
Samsung решила изменить правила игры на рынке чипов и убедить Nvidia повысить официальную скорость HBM4, даже несмотря на то, что конкуренты: SK Hynix и Micron - раньше показали первые образцы.
Обычно разработчики HBM (High Bandwidth Memory) делают акцент на контроле температуры, ведь многослойная DRAM быстро нагревается. Но теперь Nvidia потребовала большего - выше частоты, выше скорость.
Для Hynix и Micron это стало неожиданностью: их решения оптимизированы под стабильность, а не под разгон.
А вот Samsung оказалась готова. Её HBM4-чипы уже достигли более высоких частот на тестах - благодаря технологическому преимуществу:
- DRAM-чипы производятся по 1c-процессу (6-е поколение 10 нм),
- базовый логический кристалл - на 4-нм техпроцессе Samsung Foundry.
Для сравнения:
- SK Hynix использует 12-нм процесс TSMC,
- Micron - старый DRAM-процесс.
Более продвинутая литография даёт Samsung лучший контроль над энергопотреблением и сигналами.
Компания уже ускоряет производство и планирует вывести HBM4 на рынок в 2026 году, когда спрос на память для AI-систем резко превысит предложение.
Такой шаг может вернуть Samsung утраченные позиции после неудачи с HBM3E.
Ключевой момент - тесты Nvidia Rubin. Если HBM4 покажет проблемы с нагревом или надёжностью при интеграции, вся стратегия может рухнуть.
Но если всё пройдёт успешно, Samsung сможет опередить Hynix и Micron, снова захватив лидерство в памяти для AI-ускорителей.
Итог: Samsung делает ставку на скорость, технологии и масштаб. Это рискованный, но стратегический шаг, который может определить баланс сил на рынке AI-чипов в ближайшие годы.
#Samsung #Nvidia #AI
Please open Telegram to view this post
VIEW IN TELEGRAM
❤7👍5🔥3
🎥 Lynx: Высококачественная генерация персонализированного видео
Lynx — это модель генерации видео, которая создает персонализированные ролики на основе одного изображения. Использует Diffusion Transformer с адаптерами для сохранения идентичности и улучшения деталей.
🚀 Основные моменты:
- Генерация видео с высоким качеством из одного изображения.
- Легковесные модели для эффективного создания видео.
- Поддержка различных адаптеров для улучшения качества.
📌 GitHub: https://github.com/bytedance/lynx
#python
Lynx — это модель генерации видео, которая создает персонализированные ролики на основе одного изображения. Использует Diffusion Transformer с адаптерами для сохранения идентичности и улучшения деталей.
🚀 Основные моменты:
- Генерация видео с высоким качеством из одного изображения.
- Легковесные модели для эффективного создания видео.
- Поддержка различных адаптеров для улучшения качества.
📌 GitHub: https://github.com/bytedance/lynx
#python
❤6🔥4👍2
Media is too big
VIEW IN TELEGRAM
Всего 900 строк кода - и у вас уже есть рабочий интерфейс с анимациями, меню, браузером и даже терминалом.
Модель справляется с этим за 172 секунды.
Код и демо уже доступны - а инсайдеры шепчут, что официальный релиз выйдет на этой неделе.
Первые тестеры называют Gemini 3 Pro «лучшим ИИ для кодинга на сегодня».
https://codepen.io/ChetasLua/pen/EaPvqVo
Please open Telegram to view this post
VIEW IN TELEGRAM
👍27🔥14❤7😐1
🚀 Новый курс на Stepik: AI Agents PRO
Если вы работаете с ML/DS и хотите перейти от моделей → к готовым продуктам на базе LLM, без понимания агентов уже никуда.
🔹 Что внутри:
Архитектура агентов (FSM, DAG, Supervisor–Worker, Critic–Executor).
Интеграции: API, БД, браузеры, CRM.
Retrieval-Augmented Generation (Qdrant, Weaviate, FAISS).
Надёжность: ретраи, guardrails, работа с PII.
LLMOps: метрики качества, A/B-тесты, дашборды.
Продакшн-деплой: Docker, очереди сообщений, CI/CD.
Итоговый проект: собственный агент под реальный бизнес-кейс.
🎯 По итогу вы сможете строить и выкатывать production-ready AI-агентов, а не просто писать демки в ноутбуках.
🔥 Спец-условия: только по промо AGENTS30 — -30% на старт (действует 48ч).
👉 Пройти курс со скидкой
Если вы работаете с ML/DS и хотите перейти от моделей → к готовым продуктам на базе LLM, без понимания агентов уже никуда.
🔹 Что внутри:
Архитектура агентов (FSM, DAG, Supervisor–Worker, Critic–Executor).
Интеграции: API, БД, браузеры, CRM.
Retrieval-Augmented Generation (Qdrant, Weaviate, FAISS).
Надёжность: ретраи, guardrails, работа с PII.
LLMOps: метрики качества, A/B-тесты, дашборды.
Продакшн-деплой: Docker, очереди сообщений, CI/CD.
Итоговый проект: собственный агент под реальный бизнес-кейс.
🎯 По итогу вы сможете строить и выкатывать production-ready AI-агентов, а не просто писать демки в ноутбуках.
🔥 Спец-условия: только по промо AGENTS30 — -30% на старт (действует 48ч).
👉 Пройти курс со скидкой
❤4👍3
⚡ Goldman Sachs: ИИ съест 20% всей мировой энергии к 2030 году
По прогнозу Goldman Sachs, к 2030 году спрос на электроэнергию со стороны дата-центров вырастет на 25%, а доля ИИ в общем энергопотреблении достигнет 20%.
🔥 Когда-то огонь изменил жизнь человека - с ним началась кулинария, эволюция мозга и социальное развитие.
⚙️ Затем электричество стало топливом индустриальной эпохи, двигая экономику и прогресс.
🤖 Теперь настала очередь искусственного интеллекта: один запрос к ChatGPT потребляет около 2,9 ватта, почти в 10 раз больше, чем обычный поиск Google.
Если ИИ реализует хотя бы часть своего потенциала, то энергия станет главным ограничителем его роста.
И, как отмечает Goldman, это создаёт новую инвестиционную волну — не только в чипы и модели, но и в энергетику.
📊 По оценке McKinsey, к 2030 году потребление электроэнергии дата-центрами в США вырастет с 3–4% до 11–12%, увеличившись с 25 до 80 ГВт.
По прогнозу Goldman Sachs, к 2030 году спрос на электроэнергию со стороны дата-центров вырастет на 25%, а доля ИИ в общем энергопотреблении достигнет 20%.
🔥 Когда-то огонь изменил жизнь человека - с ним началась кулинария, эволюция мозга и социальное развитие.
⚙️ Затем электричество стало топливом индустриальной эпохи, двигая экономику и прогресс.
🤖 Теперь настала очередь искусственного интеллекта: один запрос к ChatGPT потребляет около 2,9 ватта, почти в 10 раз больше, чем обычный поиск Google.
Если ИИ реализует хотя бы часть своего потенциала, то энергия станет главным ограничителем его роста.
И, как отмечает Goldman, это создаёт новую инвестиционную волну — не только в чипы и модели, но и в энергетику.
📊 По оценке McKinsey, к 2030 году потребление электроэнергии дата-центрами в США вырастет с 3–4% до 11–12%, увеличившись с 25 до 80 ГВт.
❤9🔥3🌚3👍1
✨ ByteDance представила FaceCLIP - новую модель для генерации изображений с сохранением личности
Модель FaceCLIP обучается представлять лицо (Identity) и текстовое описание в едином векторном пространстве, что позволяет создавать изображения, где сохраняется похожесть субъекта и при этом учитывать желаемую стилистику или указания из текста.
Авторы отказались от подходов с адаптерами и предложили унифицированную мультимодальную стратегию кодирования: лицо + текст → общее представление, которое направляет генеративную модель (UNet / DiT) при синтезе.
Преимущества FaceCLIP:
- лучшие результаты в сохранении идентичности на портретах
- более точное соответствие текстовым инструкциям
- высокая реалистичность по сравнению с предыдущими методами
Модель доступна под лицензией MIT / некоммерческое исследовательское использование — с предупреждением об ответственном использовании.
📄 HF: https://huggingface.co/ByteDance/FaceCLIP
Модель FaceCLIP обучается представлять лицо (Identity) и текстовое описание в едином векторном пространстве, что позволяет создавать изображения, где сохраняется похожесть субъекта и при этом учитывать желаемую стилистику или указания из текста.
Авторы отказались от подходов с адаптерами и предложили унифицированную мультимодальную стратегию кодирования: лицо + текст → общее представление, которое направляет генеративную модель (UNet / DiT) при синтезе.
Преимущества FaceCLIP:
- лучшие результаты в сохранении идентичности на портретах
- более точное соответствие текстовым инструкциям
- высокая реалистичность по сравнению с предыдущими методами
Модель доступна под лицензией MIT / некоммерческое исследовательское использование — с предупреждением об ответственном использовании.
📄 HF: https://huggingface.co/ByteDance/FaceCLIP
1❤7🔥4👍3
This media is not supported in your browser
VIEW IN TELEGRAM
По одному промпту получили интерактивную страницу с эффектами симуляции: сетки под объектами, прогрессивная подгрузка текстур, глюки физики, матричный дождь кода, переключение между видами rendered и source, фоновый шум процессора и финальный мета-момент, где сайт признаёт, что на него смотрят.
Всё укладывается в один HTML-файл и открывается в Chrome.
Промпт:
Write code for a mysterious website about simulation theory. Make it feel like reality is rendering in real-time — wireframe grids that appear under solid objects, textures that load progressively, physics glitches where elements float momentarily. Include matrix-style falling code backgrounds, sections that flicker between "rendered" and "source code" views, ambient computer processing sounds, and a final meta moment where the website acknowledges it's being viewed. Design it like a philosophy professor's existential crisis coded by a game engine developer. make sure I can paste it all into a single HTML file and open it in Chrome.
Please open Telegram to view this post
VIEW IN TELEGRAM
❤9🔥6👍2🥴2
🚀 Школа аналитиков данных МТС Web Services: прием заявок
Возможность получить дополнительное профессиональное образование для студентов последних курсов технических специальностей, Junior/middle аналитиков данных, ИТ-специалистов, желающих лучше изучить анализ данных.
🔹 Что вас ждет:
10-месячное бесплатное онлайн-обучение по программе, разработанной с учетом ключевых направлений в изучении больших данных: SQL, Python, ML, Big Data, работа с нейросетями и рекомендательными системами.
Регулярные вебинары от действующих экспертов из разных продуктов Центра BigData MWS и обратная связь специалистов в течение всего курса, в том числе разбор практических кейсов.
🎯 Самые талантливые студенты смогут пройти стажировку в МТС Web Services и получить оффер.
Оставить заявку и пройти профильное тестирование можно до 30 октября здесь.
Возможность получить дополнительное профессиональное образование для студентов последних курсов технических специальностей, Junior/middle аналитиков данных, ИТ-специалистов, желающих лучше изучить анализ данных.
🔹 Что вас ждет:
10-месячное бесплатное онлайн-обучение по программе, разработанной с учетом ключевых направлений в изучении больших данных: SQL, Python, ML, Big Data, работа с нейросетями и рекомендательными системами.
Регулярные вебинары от действующих экспертов из разных продуктов Центра BigData MWS и обратная связь специалистов в течение всего курса, в том числе разбор практических кейсов.
🎯 Самые талантливые студенты смогут пройти стажировку в МТС Web Services и получить оффер.
Оставить заявку и пройти профильное тестирование можно до 30 октября здесь.
www.teta.mts.ru
Школа аналитиков данных МТС
Бесплатная программа, созданная экспертами из Центра BigData MTS, для подготовки специалистов в области Data Science
👍5❤3🔥2
Они протестировали ChatGPT-4o на 250 вопросах с 5 уровнями вежливости:
• Очень вежливо → 80.8% точности
• Вежливо → 81.4%
• Нейтрально → 82.2%
• Грубо → 82.8%
• Очень грубо → 84.8%
Статистический анализ подтвердил: это не случайность — жёсткие запросы стабильно дают лучший результат.
Ещё интереснее: старые модели вроде GPT-3.5 реагировали *наоборот*.
А вот GPT-4 и новее становятся точнее, когда с ними разговаривают резче.
Источник: https://arxiv.org/abs/2510.04950
Please open Telegram to view this post
VIEW IN TELEGRAM
🤯11❤4🔥3🥰2
🏆 Sakana AI выиграла ICFP 2025 - благодаря новой системе эволюции кода ShinkaEvolve
Исследователи из Sakana AI и команда Unagi показали, что большие языковые модели можно использовать не просто для генерации программ, а для пошаговой эволюции и оптимизации уже существующего кода.
ShinkaEvolve - это эволюционный фреймворк, где языковая модель играет роль «генетического программиста».
Она не пишет решения с нуля, а мутирует, оценивает и улучшает уже работающий код.
Процесс идёт циклами, похожими на естественный отбор.
1. Инициализация
Модель получает исходный код (обычно корректный, но неоптимальный) и описание метрики — например, скорость или точность.
2. Мутации (Variations)
LLM вносит небольшие изменения: перестраивает цикл, меняет структуру данных, переписывает логику с рекурсии на итерацию, удаляет лишние вычисления и т.д.
3. Оценка (Evaluation)
Каждая версия автоматически компилируется и запускается на тестах.
Система измеряет, стало ли решение быстрее или стабильнее.
4. Отбор (Selection)
Лучшие варианты проходят дальше, худшие отбрасываются.
LLM получает обратную связь: что сработало, а что нет.
5. Итерации
Процесс повторяется десятки или сотни раз.
В исследовании — около 320 поколений за ~60 долларов вычислительных затрат.
Изначально решение ICFP-задачи использовало SAT-кодирование (логическую форму для solver'а), но плохо масштабировалось.
ShinkaEvolve смогла:
- переписать часть кода, чтобы сократить количество ограничений;
- внедрить промежуточное представление («дверь → вершина → дверь»), что уменьшило сложность;
- оптимизировать поиск и кэширование данных.
Результат — ускорение до 10×, а на некоторых тестах — почти в 10 раз быстрее базового решения.
ShinkaEvolve — не просто автоматический оптимизатор.
Это новый способ мышления об ИИ-программировании: модель не заменяет разработчика, а ведёт себя как «цифровой соавтор», который предлагает гипотезы и тестирует их сотни раз быстрее, чем человек.
🟠 Подробнее: https://sakana.ai/icfp-2025
🟠 Код: https://github.com/SakanaAI/ShinkaEvolve
🟠 Статья: https://arxiv.org/abs/2509.19349
🟠 Блог: https://sakana.ai/shinka-evolve/
Исследователи из Sakana AI и команда Unagi показали, что большие языковые модели можно использовать не просто для генерации программ, а для пошаговой эволюции и оптимизации уже существующего кода.
ShinkaEvolve - это эволюционный фреймворк, где языковая модель играет роль «генетического программиста».
Она не пишет решения с нуля, а мутирует, оценивает и улучшает уже работающий код.
Процесс идёт циклами, похожими на естественный отбор.
1. Инициализация
Модель получает исходный код (обычно корректный, но неоптимальный) и описание метрики — например, скорость или точность.
2. Мутации (Variations)
LLM вносит небольшие изменения: перестраивает цикл, меняет структуру данных, переписывает логику с рекурсии на итерацию, удаляет лишние вычисления и т.д.
3. Оценка (Evaluation)
Каждая версия автоматически компилируется и запускается на тестах.
Система измеряет, стало ли решение быстрее или стабильнее.
4. Отбор (Selection)
Лучшие варианты проходят дальше, худшие отбрасываются.
LLM получает обратную связь: что сработало, а что нет.
5. Итерации
Процесс повторяется десятки или сотни раз.
В исследовании — около 320 поколений за ~60 долларов вычислительных затрат.
Изначально решение ICFP-задачи использовало SAT-кодирование (логическую форму для solver'а), но плохо масштабировалось.
ShinkaEvolve смогла:
- переписать часть кода, чтобы сократить количество ограничений;
- внедрить промежуточное представление («дверь → вершина → дверь»), что уменьшило сложность;
- оптимизировать поиск и кэширование данных.
Результат — ускорение до 10×, а на некоторых тестах — почти в 10 раз быстрее базового решения.
ShinkaEvolve — не просто автоматический оптимизатор.
Это новый способ мышления об ИИ-программировании: модель не заменяет разработчика, а ведёт себя как «цифровой соавтор», который предлагает гипотезы и тестирует их сотни раз быстрее, чем человек.
Please open Telegram to view this post
VIEW IN TELEGRAM
❤8👍4🔥2
Технологическая платформа Авито ускорила в 5 раз процесс поиска и проверки уязвимостей. Компания внедрила в работу отдела кибербезопасности собственную языковую модель, которую обучили на тысячах примерах уязвимостей. К работе также подключили сканер от Авито DeepSecrets — каждый разработчик может бесплатно его использовать, все лежит на GitHub.
Модель научилась выявлять 99 из 100 потенциальных уязвимостей — она анализирует потенциально чувствительные данные и учитывает контекст кода. Чтобы не пропустить угрозы, код проверяют дополнительными алгоритмами, а инженеры выборочно оценивают работу нейросети. Такой подход позволил освободить 25% рабочего времени специалистов по кибербезопасности. Если раньше на оценку 50 000 предупреждений специалисты могли потратить полгода, то сейчас с этим объемом машина справляется за день.
В планах Авито — внедрить ИИ в оценку рисков и моделирование угроз. Это эффективно, как доказывают исследования: компании, которые применяют ИИ, на 100 дней быстрее находят утечки данных.
Подпишитесь на полезные каналы Авито
Модель научилась выявлять 99 из 100 потенциальных уязвимостей — она анализирует потенциально чувствительные данные и учитывает контекст кода. Чтобы не пропустить угрозы, код проверяют дополнительными алгоритмами, а инженеры выборочно оценивают работу нейросети. Такой подход позволил освободить 25% рабочего времени специалистов по кибербезопасности. Если раньше на оценку 50 000 предупреждений специалисты могли потратить полгода, то сейчас с этим объемом машина справляется за день.
В планах Авито — внедрить ИИ в оценку рисков и моделирование угроз. Это эффективно, как доказывают исследования: компании, которые применяют ИИ, на 100 дней быстрее находят утечки данных.
Подпишитесь на полезные каналы Авито
🔥3🥴1🐳1
☀️ Google DeepMind и Commonwealth Fusion Systems запускают проект по созданию управляемого ИИ ядерного синтеза
Google DeepMind объединяется с Commonwealth Fusion Systems (CFS), чтобы применить искусственный интеллект для ускорения разработки термоядерной энергии — того самого процесса, который питает Солнце.
🔬 Как это работает:
DeepMind создаёт систему управления, способную с помощью ИИ смоделировать миллионы виртуальных экспериментов в симуляторе TORAX.
Ещё до запуска установки SPARC, ИИ определяет наиболее стабильные и энергоэффективные режимы плазмы, находя оптимальные условия для удержания температуры и плотности.
🔥 При работе на полную мощность SPARC выделяет огромное количество тепла, сконцентрированного в очень малой области.
ИИ будет в реальном времени управлять формой и динамикой плазмы, чтобы равномерно распределять это тепло и защищать материалы реактора.
> «Мы исследуем, как агенты с подкреплением могут научиться динамически контролировать плазму — чтобы поддерживать устойчивую работу и избегать перегрева.»
💡 Этот проект открывает новую эру - “AI-guided fusion”:
ИИ становится не просто инструментом анализа, а активным управляющим звеном, которое помогает человечеству приблизиться к источнику чистой, безопасной и практически бесконечной энергии.
⚡ Благодаря ИИ путь к «пост-дефицитной» цивилизации становится реальностью - и, возможно, гораздо ближе, чем кажется.
https://deepmind.google/discover/blog/bringing-ai-to-the-next-generation-of-fusion-energy/
#AI #DeepMind #FusionEnergy #Google #CFS #ReinforcementLearning #SPARC #CleanEnergy #Science #Innovation
Google DeepMind объединяется с Commonwealth Fusion Systems (CFS), чтобы применить искусственный интеллект для ускорения разработки термоядерной энергии — того самого процесса, который питает Солнце.
🔬 Как это работает:
DeepMind создаёт систему управления, способную с помощью ИИ смоделировать миллионы виртуальных экспериментов в симуляторе TORAX.
Ещё до запуска установки SPARC, ИИ определяет наиболее стабильные и энергоэффективные режимы плазмы, находя оптимальные условия для удержания температуры и плотности.
🔥 При работе на полную мощность SPARC выделяет огромное количество тепла, сконцентрированного в очень малой области.
ИИ будет в реальном времени управлять формой и динамикой плазмы, чтобы равномерно распределять это тепло и защищать материалы реактора.
> «Мы исследуем, как агенты с подкреплением могут научиться динамически контролировать плазму — чтобы поддерживать устойчивую работу и избегать перегрева.»
💡 Этот проект открывает новую эру - “AI-guided fusion”:
ИИ становится не просто инструментом анализа, а активным управляющим звеном, которое помогает человечеству приблизиться к источнику чистой, безопасной и практически бесконечной энергии.
⚡ Благодаря ИИ путь к «пост-дефицитной» цивилизации становится реальностью - и, возможно, гораздо ближе, чем кажется.
https://deepmind.google/discover/blog/bringing-ai-to-the-next-generation-of-fusion-energy/
#AI #DeepMind #FusionEnergy #Google #CFS #ReinforcementLearning #SPARC #CleanEnergy #Science #Innovation
🔥11❤7👍2
📱 MobileLLM-Pro - языковая модель (~1B параметров) , оптимизированная для эффективной работы *на устройстве* (on-device).
Модель превосходит Gemma 3 1B и Llama 3.2 1B по задачам рассуждения, знаний и длинного контекста, поддерживая до 128 000 токенов.
Благодаря гибридному вниманию (локальное + глобальное в соотношении 3:1, окно 512) достигается низкая задержка и экономия памяти KV-кэша.
Квантование в 4-бит (int4) почти не снижает качество:
• CPU - групповое квантование весов и динамическая активация
• GPU - поканальное квантование
Модель дополнительно прошла instruction fine-tuning, что делает её подходящей для задач общения, генерации и обработки текста.
https://huggingface.co/facebook/MobileLLM-Pro
Модель превосходит Gemma 3 1B и Llama 3.2 1B по задачам рассуждения, знаний и длинного контекста, поддерживая до 128 000 токенов.
Благодаря гибридному вниманию (локальное + глобальное в соотношении 3:1, окно 512) достигается низкая задержка и экономия памяти KV-кэша.
Квантование в 4-бит (int4) почти не снижает качество:
• CPU - групповое квантование весов и динамическая активация
• GPU - поканальное квантование
Модель дополнительно прошла instruction fine-tuning, что делает её подходящей для задач общения, генерации и обработки текста.
https://huggingface.co/facebook/MobileLLM-Pro
❤4👍2🔥1