Что если ИИ-агент в браузере не просто «делает всё сам», а работает вместе с тобой — предлагает план, спрашивает разрешения, показывает действия и обучается на опыте?
Именно так работает Magentic‑UI — новый эксперимент от Microsoft Research.
Magentic‑UI — это платформа, в которой ИИ-агенты помогают людям выполнять сложные задачи в браузере (заполнить форму, найти нужные данные, скачать файлы и т.д.), но при этом не берут всё на себя, а работают в паре с пользователем.
Это не автономный бот, а интерфейс взаимодействия: человек остаётся в центре принятия решений, а агент — в роли помощника.
1) Планирует вместе с тобой
Агент предлагает пошаговый план действий. Ты можешь изменить, утвердить или уточнить его.
2) Показывает, что делает
Все действия видны — клики, ввод текста, навигация. Никакой «магии за кадром».
3) Спрашивает разрешение перед важными действиями
Агент не будет нажимать на кнопки "удалить" или "оплатить" без твоего согласия.
4) Обучается на успешных сценариях
Завершил задачу? Теперь этот план можно переиспользовать в будущем.
Где это может пригодиться?
• Заполнение длинных форм и анкет
• Автоматизация рутинных действий в браузере
• Создание умных пользовательских сценариев (например: «найди и скачай последние отчёты с нужного сайта»)
• Обучение и настройка собственных браузерных агентов
А как насчёт безопасности?
• Агент работает только на разрешённых сайтах (white-list)
• Весь код и браузер изолированы в Docker — ничего не утечёт
• Все действия — прозрачны и отменяемы
@ai_machinelearning_big_data
#microsoft #ai #aiuagent #ml
Please open Telegram to view this post
VIEW IN TELEGRAM
12👍70❤18🔥14👌3🤣3⚡2🐳1🎄1
GUI-Actor — методика на базе VLM, которая вместо традиционной генерации координат текстом при визуальной обработке интерфейса использует внимание внутри модели.
Чтобы уйти от координатного подхода, в GUI-Actor используется специальный токен
<ACTOR>, который "учится" связываться с визуальными патчами, соответствующими целевой области экрана. За один проход модель может запомнить сразу несколько кандидатов на действие.Например, все кнопки "Сохранить" в сложном интерфейсе. Это очень похоже на человеческое восприятие: видеть сам элемент, а не его позиции по осям Х и Y.
Выбрать наиболее подходящий вариант из элементов-кандидатов помогает "верификатор". Это отдельная модель, оценивающая кандидатов от
<ACTOR> и отбирающая самый подходящий для действия. Она не только улучшает точность, но и универсальна: ее можно подключить к другим моделям.Обучение требует минимум ресурсов. Можно заморозить основную VLM (Qwen2-VL-7B) и дообучить только новый action head и токены. Это всего ~100М параметров для 7B-модели.
Комбинация из такого быстрого обучения + верификатор почти догоняет полноценно обученные аналоги, сохраняя общие способности базовой модели. Никакого "катастрофического забывания" - агент учится кликать интерфейсы, не разучиваясь описывать картинки.
Результаты тестов на сложном бенчмарке ScreenSpot-Pro с высоким разрешением и незнакомыми интерфейсами (CAD, научный софт) GUI-Actor-7B с Qwen2-VL показал 40.7 балла, а с Qwen2.5-VL — 44.6, обойдя даже UI-TARS-72B (38.1).
На других тестах (ScreenSpot, ScreenSpot-v2) он тоже лидирует, особенно в иконках и текстовых элементах, демонстрируя крутую адаптацию к разным разрешениям и версткам.
В планах - выпуск еще двух моделей на основе Qwen2.5-VL (3B и 7B), демо GUI-Actor, код для модели-верификатора и датасеты для обучения.
@ai_machinelearning_big_data
#AI #ML #VLM #GUIActor #Microsoft
Please open Telegram to view this post
VIEW IN TELEGRAM
5👍49❤20🔥15🥰2
Microsoft Research представила методы, усиливающие способность языковых моделей, от компактных до гигантских к сложным рассуждениям. Технологии фокусируются на 3 направлениях: архитектура малых моделей, математическая строгость и кросс-доменное обобщение.
Ключ для маленьких моделей (1.5–7 млрд параметров) в имитации человеческого пошагового мышления.
rStar-Math использует алгоритм MCTS в цикле самообучения: сначала декомпозиция задачи на шаги, затем Process Preference Model (PPM), который учит модель оценивать качество каждого шага через "метки награды", и наконец — итеративная доработка. За 4 цикла MCTS, стратегия и PPM совместно улучшают результат.
Logic-RL — это фреймворк обучения с подкреплением, который награждает модель только при идеально оформленном ходе рассуждений и верном ответе, исключая любые попытки выбора обходных путей.
Для математической надежности разработан LIPS, гибрид ИИ и символьных движков. LIPS распределяет задачи: языковая модель распознает паттерны и переформулирует условия (например, неравенства), а символьный решатель выполняет точные преобразования (масштабирование, упрощение).
Чтобы ИИ понимал условия без ошибок, создан нейро-символический фреймворк генерации данных: символьные системы создают задачи, а языковые модели переводят их в "человеческий" текст. Для проверки выводов используются символьная эквивалентность (сравнение формул) и семантическая согласованность (анализ смысла через эмбеддинги), повышая точность на 35%.
Дополнительный бонус — неожиданное обобщение. Тренировка на математике резко улучшила результаты моделей в программировании и естественных науках.
Для унификации подходов создан Chain-of-Reasoning (CoR), позволяющий гибко комбинировать текстовые, программные и символьные рассуждения в одном решении. А Critical Plan Step Learning (CPL) учит ИИ стратегическому планированию: разбивать проблему, выделять ключевые шаги и отбрасывать слабые варианты через комбинацию Plan-based MCTS и Step-APO.
@ai_machinelearning_big_data
#AI #ML #LLM #RL #Reasoning #Microsoft
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
❤60👍40🔥19🌭5🥰1🤣1
This media is not supported in your browser
VIEW IN TELEGRAM
🔥 Microsoft снова доказывает силу синтетических данных для задач компьютерного зрения!
Современные модели компьютерного зрения с фокусом на человека (Human-centric CV) требуют миллиардов параметров, гигантских датасетов и дорогостоящего инференса. Но можно ли добиться такой же точности, не тратя миллионы?
Исследователи показали: модели можно обучать только на синтетических данных высокого качества — и при этом достигать тех же результатов.
Microsoft представили DAViD — open-source фреймворк, позволяющий создавать цифровых людей с точной геометрией лиц и текстурами.
Проект демонстрирует, как можно использовать синтетические датасеты для:
🟠 Предсказания глубины изображения (Depth Prediction)
🟠 Оценки поверхностей (Normal Estimation)
🟠 Сегментации фона и людей на фото/видео (Background & Human Segmentation)
Почему это круто:
🟢 Синтетические данные = пиксельная точность разметки
🟢 Почти бесконечное разнообразие сцен, ракурсов, освещения и поз
🟢 Прекрасно масштабируются для обучения моделей с нуля или дообучения
Самое приятное, что Microsoft выложили всё в опенсорс:
✔️ 300 000 сэмплов
✔️ Предобученные модели
✔️ Исходный код фреймворка
🟢 Проект: https://microsoft.github.io/DAViD/
🟢 Статья: https://arxiv.org/abs/2507.15365
🟢 Github: https://github.com/microsoft/DAViD
@ai_machinelearning_big_data
Если ты работаешь с human-centric CV — это мощный старт. Даже без реальных данных.
#cv #microsoft #opensource
Современные модели компьютерного зрения с фокусом на человека (Human-centric CV) требуют миллиардов параметров, гигантских датасетов и дорогостоящего инференса. Но можно ли добиться такой же точности, не тратя миллионы?
Исследователи показали: модели можно обучать только на синтетических данных высокого качества — и при этом достигать тех же результатов.
Microsoft представили DAViD — open-source фреймворк, позволяющий создавать цифровых людей с точной геометрией лиц и текстурами.
Проект демонстрирует, как можно использовать синтетические датасеты для:
Почему это круто:
Самое приятное, что Microsoft выложили всё в опенсорс:
✔️ 300 000 сэмплов
✔️ Предобученные модели
✔️ Исходный код фреймворка
@ai_machinelearning_big_data
Если ты работаешь с human-centric CV — это мощный старт. Даже без реальных данных.
#cv #microsoft #opensource
Please open Telegram to view this post
VIEW IN TELEGRAM
11❤74👍53🔥23❤🔥3🤩1🥱1👨💻1
Microsoft выросла до $4 трлн не за счёт Windows, а благодаря облакам и ИИ.
☁️ Azure строили 10 лет. Сегодня она:
— на втором месте после AWS
— обгоняет Google Cloud по выручке
— питает всё: от Office и Xbox до Copilot и генеративных моделей
Каждый продукт — это ещё один повод платить за облако. Всё работает на одной инфраструктуре.
🚀 Satya Nadella (генеральный директор (CEO) компании Microsoft уже выделил $80 млрд на новые дата-центры.
Ставка очевидна: весь Microsoft переезжает в облако.
@ai_machinelearning_big_data
#ai #ml #news #microsoft
Please open Telegram to view this post
VIEW IN TELEGRAM
❤72👍29🔥20🤔5👨💻1
⚡ Agent Lightning — ускоритель обучения для ИИ-агентов от Microsoft
Agent Lightning — это фреймворк для обучения и оптимизации LLM-агентов с помощью Reinforcement Learning без изменения их кода.
🧠 Поддерживает:
• LangChain
• AutoGen
• OpenAI Agents SDK
• и другие фреймворки на Python
🔧 Как он работает:
• Агент не нужно переписывать — он подключается как есть
• Вся его работа разбивается на отдельные шаги (эпизоды), которые можно анализировать
• Специальный алгоритм LightningRL оценивает, какие действия были полезны, а какие — нет
• Система может учитывать не только финальный результат, но и промежуточные сигналы (награды)
• Эти данные автоматически собираются и используются для дообучения агента
🔥 Преимущества:
• Не требует модификации логики агента
• Можно легко подключить к существующим пайплайнам
• Улучшает точность и устойчивость в сложных задачах: от генерации кода до Text-to-SQL
Отличный инструмент для всех, кто хочет сделать своих LLM-агентов.
🟠 Проект: https://microsoft.com/en-us/research/project/agent-lightning/
🟠 Статья: https://arxiv.org/abs/2508.03680
🟠 Github: https://github.com/microsoft/agent-lightning
@ai_machinelearning_big_data
#agent #reinforcementlearning #mlops #llm #Microsoft
Agent Lightning — это фреймворк для обучения и оптимизации LLM-агентов с помощью Reinforcement Learning без изменения их кода.
🧠 Поддерживает:
• LangChain
• AutoGen
• OpenAI Agents SDK
• и другие фреймворки на Python
🔧 Как он работает:
• Агент не нужно переписывать — он подключается как есть
• Вся его работа разбивается на отдельные шаги (эпизоды), которые можно анализировать
• Специальный алгоритм LightningRL оценивает, какие действия были полезны, а какие — нет
• Система может учитывать не только финальный результат, но и промежуточные сигналы (награды)
• Эти данные автоматически собираются и используются для дообучения агента
🔥 Преимущества:
• Не требует модификации логики агента
• Можно легко подключить к существующим пайплайнам
• Улучшает точность и устойчивость в сложных задачах: от генерации кода до Text-to-SQL
Отличный инструмент для всех, кто хочет сделать своих LLM-агентов.
@ai_machinelearning_big_data
#agent #reinforcementlearning #mlops #llm #Microsoft
Please open Telegram to view this post
VIEW IN TELEGRAM
❤47🔥21👍14👨💻2
MAI-Image-1 создаётся с упором на реализм, разнообразие и художественную точность, а не шаблонные стили.
Она особенно сильна в фотореалистичных сценах - свет, тени, отражения и текстуры выглядят максимально естественно.
Microsoft отмечает, что обучение велось на тщательно отобранных данных с участием художников и дизайнеров, чтобы улучшить восприятие и применимость модели в реальных проектах.
Главное преимущество модельки - скорость и качество: можно мгновенно визуализировать идею, а затем доработать её в привычных инструментах.
💡 В ближайшее время модель появится в Copilot и Bing Image Creator. Сейчас MAI-Image-1 доступна для тестирования на LMArena, где можно посмотреть, как ведёт себя модель.
🔗 Подробнее здесь: https://microsoft.ai/news/introducing-mai-image-1-debuting-in-the-top-10-on-lmarena/
@ai_machinelearning_big_data
#Microsoft
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
👍56❤24🔥15😐5🥰4💘3😁2
⏱️ Speedrun Science: как ИИ-команды Кремниевой долины работают по 100 часов в неделю
Ведущие AI-команды Кремниевой долины работают по 80–100 часов в неделю, стараясь выпускать модели и функции быстрее конкурентов.
Речь идёт об Anthropic, Microsoft, Google, Meta, Apple и OpenAI, где взят темп «прорыв → релиз» измеряется уже месяцами, а не годами. Основная тяжесть ложится на узкий круг инженеров и исследователей, которые буквально живут между тестами и деплоями, в то время как остальная организация работает в нормальном режиме.
Руководители называют это «уникальным окном возможностей» - и многие принимают нагрузку ради влияния на сферу, любопытства и доли в успехе.
В стартапах даже встречаются контракты с ожидаемыми 80+ часами работы, хотя чаще культура компаний сама к этому подталкивает.
Чтобы поддерживать ритм, компании внедряют ротацию “captains” - инженеров, следящих за работой над моделями 24×7.
Разрыв между «исследованием и внедрением» сжался до «разницы между четвергом и пятницей».
Исследователи говорят, что обучение по-прежнему непредсказуемо, поэтому графики постоянно меняются по итогам реальных результатов. Атмосфера -«speedrun-науки».
Один из фаундеров пошутил:
Источник: wsj.com/tech/ai/ai-race-tech-workers-schedule-1ea9a116
@ai_machinelearning_big_data
#AI #Tech #Startups #SiliconValley #OpenAI #Anthropic #Microsoft #Google
Ведущие AI-команды Кремниевой долины работают по 80–100 часов в неделю, стараясь выпускать модели и функции быстрее конкурентов.
Речь идёт об Anthropic, Microsoft, Google, Meta, Apple и OpenAI, где взят темп «прорыв → релиз» измеряется уже месяцами, а не годами. Основная тяжесть ложится на узкий круг инженеров и исследователей, которые буквально живут между тестами и деплоями, в то время как остальная организация работает в нормальном режиме.
Руководители называют это «уникальным окном возможностей» - и многие принимают нагрузку ради влияния на сферу, любопытства и доли в успехе.
В стартапах даже встречаются контракты с ожидаемыми 80+ часами работы, хотя чаще культура компаний сама к этому подталкивает.
Чтобы поддерживать ритм, компании внедряют ротацию “captains” - инженеров, следящих за работой над моделями 24×7.
Разрыв между «исследованием и внедрением» сжался до «разницы между четвергом и пятницей».
Исследователи говорят, что обучение по-прежнему непредсказуемо, поэтому графики постоянно меняются по итогам реальных результатов. Атмосфера -«speedrun-науки».
Один из фаундеров пошутил:
«Если 9-9-6 — это график с 9 утра до 9 вечера, 6 дней в неделю,
то у нас – 0-0-2: с полуночи до полуночи, с 2-часовым перерывом на выходных».
Источник: wsj.com/tech/ai/ai-race-tech-workers-schedule-1ea9a116
@ai_machinelearning_big_data
#AI #Tech #Startups #SiliconValley #OpenAI #Anthropic #Microsoft #Google
👍62😨58🫡16❤14🏆6🔥5😁3🦄3
💰 Microsoft объявила, что достигла соглашения с OpenAI по поводу своей доли владения.
Основные детали:
• Microsoft теперь владеет 27% акций OpenAI, что оценивается в 135 млрд долларов.
• OpenAI обязалась закупить услуг Azure на сумму 250 млрд долларов.
До тех пор, пока OpenAI официально не объявит о создании AGI, Microsoft остаётся её эксклюзивным облачным и API-партнёром с полными правами на текущие модели и интеграции.
После того как AGI будет подтверждён независимой комиссией, эксклюзивность прекращается, однако Microsoft сохранит права собственности и использования всех технологий, разработанных до появления AGI.
https://openai.com/index/next-chapter-of-microsoft-openai-partnership/
@ai_machinelearning_big_data
#OpenAI #Microsoft #agi #llm
Основные детали:
• Microsoft теперь владеет 27% акций OpenAI, что оценивается в 135 млрд долларов.
• OpenAI обязалась закупить услуг Azure на сумму 250 млрд долларов.
До тех пор, пока OpenAI официально не объявит о создании AGI, Microsoft остаётся её эксклюзивным облачным и API-партнёром с полными правами на текущие модели и интеграции.
После того как AGI будет подтверждён независимой комиссией, эксклюзивность прекращается, однако Microsoft сохранит права собственности и использования всех технологий, разработанных до появления AGI.
https://openai.com/index/next-chapter-of-microsoft-openai-partnership/
@ai_machinelearning_big_data
#OpenAI #Microsoft #agi #llm
❤57👍28👀22😁12🔥8😐7🦄5👻3😨3🤔1👨💻1
🧾 Microsoft раскрыла цифры, которые показывают масштабы расходов OpenAI.
В отчёте для SEC видно: OpenAI потеряла около $11.5 млрд за один квартал.
Это считается по методу учёта доли — Microsoft владеет примерно 27% OpenAI и списала у себя $3.1 млрд. Если 27% = $3.1 млрд убытка, то общий минус - около $11.5 млрд.
Ещё один факт: Microsoft уже перечислила $11.6 млрд из обещанных $13 млрд - почти всё финансирование уже пришло в OpenAI.
И при этом Microsoft за тот же период заработала $27.7 млрд чистой прибыли, так что такой минус она спокойно выдерживает.
Гонка за лидерство в ИИ - это игра, где даже крупнейшие компании готовы сжигать гигантские суммы.
Интересно посмотреть, сколько она ещё продлится и кто выдержит дольше?
theregister.com/2025/10/29/microsoft_earnings_q1_26_openai_loss
@ai_machinelearning_big_data
#opanai #Microsoft #money
В отчёте для SEC видно: OpenAI потеряла около $11.5 млрд за один квартал.
Это считается по методу учёта доли — Microsoft владеет примерно 27% OpenAI и списала у себя $3.1 млрд. Если 27% = $3.1 млрд убытка, то общий минус - около $11.5 млрд.
Ещё один факт: Microsoft уже перечислила $11.6 млрд из обещанных $13 млрд - почти всё финансирование уже пришло в OpenAI.
И при этом Microsoft за тот же период заработала $27.7 млрд чистой прибыли, так что такой минус она спокойно выдерживает.
Гонка за лидерство в ИИ - это игра, где даже крупнейшие компании готовы сжигать гигантские суммы.
Интересно посмотреть, сколько она ещё продлится и кто выдержит дольше?
theregister.com/2025/10/29/microsoft_earnings_q1_26_openai_loss
@ai_machinelearning_big_data
#opanai #Microsoft #money
👍85🤔76🔥31❤23🤓16😐7😁6🤗1