Anthropic проверили, способны ли большие языковые модели осознавать собственные «мысли» и внутренние состояния.
Для эксперимента они использовали технику внедрения концептов - добавления определённого паттерна активности в нейроны модели.
Например, они внедряли сигнал “ALL CAPS” - это шаблон, соответствующий тексту, написанному ЗАГЛАВНЫМИ БУКВАМИ. Если такая активация появляется внутри сети, значит, модель «думает» о тексте, который нужно сделать капсом.
После внедрения исследователи спрашивали модель: *«Ты чувствуешь, что что-то изменилось?»*
В 20% случаев Claude 4.1 правильно замечал вмешательство ещё до того, как сам использовал капс, то есть распознавал изменение внутри себя.
В другом эксперименте учёные подменяли слово в ответе (например, добавляли слово “bread”) и проверяли, осознаёт ли модель, что это не её собственное намерение.
После внедрения мысли Claude начинал считать это слово своим выбором и придумывал обоснования, как будто у него есть память о решении.
Модели также смогли управлять своими внутренними состояниями: по команде «думай об этом» активность усиливалась, по команде «не думай» - ослабевала.
Авторы отмечают -
Интроспекция работает лишь в определённых сценариях - мы пока не знаем, насколько она масштабируема или применима ко всем моделям и задачам
Нужен дальнейший анализ: подтверждение, что то, что мы видим - не просто имитация, а действительно внутренний механизм самосознания
Главный вывод исследования: хотя модели пока далеки от настоящей интроспекции, они уже частично способны “заглядывать внутрь себя” и понимать, что происходит в их нейронных процессах.
https://www.anthropic.com/research/introspection
@ai_machinelearning_big_data
#Anthropic #llm
Please open Telegram to view this post
VIEW IN TELEGRAM
1👍294🤔168😐121❤69👏65🔥51🥰34👨💻18✍16🙏16👌7
Media is too big
VIEW IN TELEGRAM
Это World-модель, работающая сразу с двумя потоками - текстом и пикселями и предсказывающая их совместное состояние на каждом шаге.
- 🔥 Обучена на 10T+ чередующихся vision-language токенов и доведена RL - в результате модель демонстрирует сильное мультимодальное рассуждение и генерация
- ⚡ Новый подход DiDA (Discrete Diffusion Adaptation) —- Discrete Diffusion Adaptation переводит последовательное декодирование в параллельное двустороннее «денойзинг»-предсказание в дискретном пространстве токенов - в итоге это дает примерно 20× быстрее инференс без потери качества.
По метрикам модель превосходит Nano Banana в генерации, редактировании и интерливинговых задачах.
@ai_machinelearning_big_data
#Emu3 #MultimodalAI #WorldModel #NextTokenPrediction
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥83👍35❤20🎉9🤩7👏6🤔4💯3
🧾 Microsoft раскрыла цифры, которые показывают масштабы расходов OpenAI.
В отчёте для SEC видно: OpenAI потеряла около $11.5 млрд за один квартал.
Это считается по методу учёта доли — Microsoft владеет примерно 27% OpenAI и списала у себя $3.1 млрд. Если 27% = $3.1 млрд убытка, то общий минус - около $11.5 млрд.
Ещё один факт: Microsoft уже перечислила $11.6 млрд из обещанных $13 млрд - почти всё финансирование уже пришло в OpenAI.
И при этом Microsoft за тот же период заработала $27.7 млрд чистой прибыли, так что такой минус она спокойно выдерживает.
Гонка за лидерство в ИИ - это игра, где даже крупнейшие компании готовы сжигать гигантские суммы.
Интересно посмотреть, сколько она ещё продлится и кто выдержит дольше?
theregister.com/2025/10/29/microsoft_earnings_q1_26_openai_loss
@ai_machinelearning_big_data
#opanai #Microsoft #money
В отчёте для SEC видно: OpenAI потеряла около $11.5 млрд за один квартал.
Это считается по методу учёта доли — Microsoft владеет примерно 27% OpenAI и списала у себя $3.1 млрд. Если 27% = $3.1 млрд убытка, то общий минус - около $11.5 млрд.
Ещё один факт: Microsoft уже перечислила $11.6 млрд из обещанных $13 млрд - почти всё финансирование уже пришло в OpenAI.
И при этом Microsoft за тот же период заработала $27.7 млрд чистой прибыли, так что такой минус она спокойно выдерживает.
Гонка за лидерство в ИИ - это игра, где даже крупнейшие компании готовы сжигать гигантские суммы.
Интересно посмотреть, сколько она ещё продлится и кто выдержит дольше?
theregister.com/2025/10/29/microsoft_earnings_q1_26_openai_loss
@ai_machinelearning_big_data
#opanai #Microsoft #money
👍85🤔76🔥30❤21🤓15😐7😁6🤗1
This media is not supported in your browser
VIEW IN TELEGRAM
С ним за столом сидели руководители Samsung и Hyundai.
@ai_machinelearning_big_data
#Nvidia
Please open Telegram to view this post
VIEW IN TELEGRAM
1❤227👍67🍾39😁15🥰11🥱6👏5🔥3🗿2
🔥 Hugging Face снова выкатили полезные материалы.
Вышел бесплатный плейбук о том, как изнутри строят SOTA-модели.
Без общих слов - только реальные решения и нюансы, которые обычно скрыты внутри исследовательских команд.
Это полноценный мастеркласс на 214 страниц для тех, кто хочет понимать, как устроены современные LLM.
Что внутри:
• Логика построения модели: зачем → что → как
• Как разработчики берут модель и по частям включают/выключают компоненты (или меняют их)
• Архитектура: ключевые выборы и trade-offs
• Искусство подбора и очистки данных
• Как проходит обучение моделей
• Пост-тренинг и RLHF в 2025
• Инфраструктура больших моделей
По первым страницам - уровень деталей как в Ultra-scale playbook.
Ссылка: https://huggingface.co/spaces/HuggingFaceTB/smol-training-playbook#designing-the-model-architecture
@ai_machinelearning_big_data
#AI #LLM #MachineLearning #HuggingFace
Вышел бесплатный плейбук о том, как изнутри строят SOTA-модели.
Без общих слов - только реальные решения и нюансы, которые обычно скрыты внутри исследовательских команд.
Это полноценный мастеркласс на 214 страниц для тех, кто хочет понимать, как устроены современные LLM.
Что внутри:
• Логика построения модели: зачем → что → как
• Как разработчики берут модель и по частям включают/выключают компоненты (или меняют их)
• Архитектура: ключевые выборы и trade-offs
• Искусство подбора и очистки данных
• Как проходит обучение моделей
• Пост-тренинг и RLHF в 2025
• Инфраструктура больших моделей
По первым страницам - уровень деталей как в Ultra-scale playbook.
Ссылка: https://huggingface.co/spaces/HuggingFaceTB/smol-training-playbook#designing-the-model-architecture
@ai_machinelearning_big_data
#AI #LLM #MachineLearning #HuggingFace
🔥88❤24🥰9🤩2
ИИ-ассистент по имени «Ави» от Авито готовится к запуску
Технологическая платформа подала заявку на регистрацию соответствующего товарного знака – стало известно Коммерсанту.
Новый виртуальный помощник работает на базе большой языковой модели и общается с пользователем в формате живого диалога. «Ави» уточняет цель покупки, предлагает подходящие варианты, помогает разобраться в характеристиках и объясняет, чем отличаются похожие предложения. Сейчас ассистент проходит тестирование в разных категориях, а в следующем году компания планирует запустить универсальную версию, которая будет работать во всех вертикалях платформы.
По оценкам экспертов, разработка могла обойтись примерно в 500 млн рублей. Ранее в Авито сообщали, что планируют инвестировать до 12 млрд рублей в развитие генеративного ИИ и заработать на этом более 21 млрд рублей к 2028 году. Источники отмечают, что запуск таких решений — новый тренд среди крупных компаний: они позволяют быстрее получать бизнес-эффект и усиливают лояльность аудитории.
Ранее уже писали о том, что Авито выложил в открытый доступ свои модели A-Vibe (текстовая) и A-Vision (мультимодальная). Всего за неделю A-Vibe собрала свыше 1400 скачиваний и вошла в топ трендовых моделей на Hugging Face — среди сотен тысяч доступных нейросетей.
Технологическая платформа подала заявку на регистрацию соответствующего товарного знака – стало известно Коммерсанту.
Новый виртуальный помощник работает на базе большой языковой модели и общается с пользователем в формате живого диалога. «Ави» уточняет цель покупки, предлагает подходящие варианты, помогает разобраться в характеристиках и объясняет, чем отличаются похожие предложения. Сейчас ассистент проходит тестирование в разных категориях, а в следующем году компания планирует запустить универсальную версию, которая будет работать во всех вертикалях платформы.
По оценкам экспертов, разработка могла обойтись примерно в 500 млн рублей. Ранее в Авито сообщали, что планируют инвестировать до 12 млрд рублей в развитие генеративного ИИ и заработать на этом более 21 млрд рублей к 2028 году. Источники отмечают, что запуск таких решений — новый тренд среди крупных компаний: они позволяют быстрее получать бизнес-эффект и усиливают лояльность аудитории.
Ранее уже писали о том, что Авито выложил в открытый доступ свои модели A-Vibe (текстовая) и A-Vision (мультимодальная). Всего за неделю A-Vibe собрала свыше 1400 скачиваний и вошла в топ трендовых моделей на Hugging Face — среди сотен тысяч доступных нейросетей.
👍34🤣29❤11🔥8😁3🤬3🤷♂1🥰1🌭1
🧨 Kimi представили новую модель - Kimi-Linear-48B-A3B-Base
Команда Moonshot показала KDA - механизм, который соединяет идеи Gated DeltaNet и MLA-компрессии в одну архитектуру. Звучит сложно, но суть очень практичная: модель получает долгую память без раздувания контекста и лишних вычислений.
- KDA (Kimi Delta Attention: основной быстрый attention, улучшает эффективность и reasoning
= MLA (Multi-Head Linear Attention) - помогает точности и стабильности. Модель не пересчитывает всё внимание каждый токен, а фокусируется на изменениях, что снижает затраты.
Соотношение слоёв: ~3 части KDA : 1 часть ML.
Модель в основном работает на «дельта-внимании» (KDA), а MLA помогает сохранять качество:
- модель сама выбирает, что забывать, а что держать
- это даетустойчивость при большом контексте выше
- меньше распада длинных зависимостей
Kimi-Linear хороша тем, что даёт почти уровень больших LLM на длинных контекстах, но при этом заметно экономит память и работает быстрее за счёт линейной архитектуры.
Что улучшили:
- требует до 75% меньше памяти на KV-кэш
- до 6.3× быстрее декодирование на длинных контекстах
Как устроена:
- гибридный подход: Kimi Delta Attention + MLA
- модель хорошо оптимизирована под длиннный контекст и высокую пропускную способность
По бенчмаркам модель обгоняет и MLA, и GDN-H, включая задачи с длинным контекстом. В задачах на рассуждения и длинную RL-генерацию Kimi-Linear показывает заметно лучшие результаты, чем MLA.
Архитектура модели пример того, как линейные attention-архитектуры выходят на уровень, где они конкурируют с классическими решениями не только по скорости, но и по качеству.
🟠 Github: github.com/MoonshotAI/Kimi-Linear
🟠 Hf: https://huggingface.co/moonshotai/Kimi-Linear-48B-A3B-Instruct
@ai_machinelearning_big_data
#Kimi #llm
Команда Moonshot показала KDA - механизм, который соединяет идеи Gated DeltaNet и MLA-компрессии в одну архитектуру. Звучит сложно, но суть очень практичная: модель получает долгую память без раздувания контекста и лишних вычислений.
- KDA (Kimi Delta Attention: основной быстрый attention, улучшает эффективность и reasoning
= MLA (Multi-Head Linear Attention) - помогает точности и стабильности. Модель не пересчитывает всё внимание каждый токен, а фокусируется на изменениях, что снижает затраты.
Соотношение слоёв: ~3 части KDA : 1 часть ML.
Модель в основном работает на «дельта-внимании» (KDA), а MLA помогает сохранять качество:
- модель сама выбирает, что забывать, а что держать
- это даетустойчивость при большом контексте выше
- меньше распада длинных зависимостей
Kimi-Linear хороша тем, что даёт почти уровень больших LLM на длинных контекстах, но при этом заметно экономит память и работает быстрее за счёт линейной архитектуры.
Что улучшили:
- требует до 75% меньше памяти на KV-кэш
- до 6.3× быстрее декодирование на длинных контекстах
Как устроена:
- гибридный подход: Kimi Delta Attention + MLA
- модель хорошо оптимизирована под длиннный контекст и высокую пропускную способность
По бенчмаркам модель обгоняет и MLA, и GDN-H, включая задачи с длинным контекстом. В задачах на рассуждения и длинную RL-генерацию Kimi-Linear показывает заметно лучшие результаты, чем MLA.
Архитектура модели пример того, как линейные attention-архитектуры выходят на уровень, где они конкурируют с классическими решениями не только по скорости, но и по качеству.
@ai_machinelearning_big_data
#Kimi #llm
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
👍59🔥19❤11👏5
На GitHub вышел большой курируемый репозиторий, собравший всё самое важное о World Models. Это подход в ИИ, где система строит внутреннюю модель мира, чтобы понимать среду и предсказывать будущие действия в ней.
Внутри можно найти ключевые работы и исследования по направлениям:
- embodied-AI и робототехника
- автономное вождение
- NLP-модели с долгосрочным контекстом и планированием
- другие области, где ИИ должен строить представление о мире и действовать в нём
Если тема миромоделей интересна - это отличный старт для изучения.
GitHub: github.com/knightnemo/Awesome-World-Models
@ai_machinelearning_big_data
#worldmodels
Please open Telegram to view this post
VIEW IN TELEGRAM
👍32🔥12❤10🤗5❤🔥3
На больших AI-конференциях полезно смотреть не только на отдельные модели, но и на общую динамику, что реально доходит до практики, а что остаётся в исследовательских кругах.
Недавно на встрече комьюнити дата-сайентистов ВТБ ComDS Олег Милосердов сделал обзор CVPR 2025 и аккуратно прошёлся по трендам из 13000+ работ. Получилась хорошая выжимка, которая экономит время и позволяет быстро понять актуальные направления.
Если коротко, куда движется CV и смежные области:
- больше прикладных задач и реальных внедрений
- рост областей вроде embodied-AI, цифровых двойников и медицины
- модели становятся гибче и адаптивнее
- генеративные методы дешевеют и точнеют
- фокус на осмыслении решений, а не просто распознавании
Материал получился практичным - без лишнего шума. Ниже можно ознакомиться, если хотите держать руку на пульсе CV-исследований и их реальных применений.
Подробнее
Недавно на встрече комьюнити дата-сайентистов ВТБ ComDS Олег Милосердов сделал обзор CVPR 2025 и аккуратно прошёлся по трендам из 13000+ работ. Получилась хорошая выжимка, которая экономит время и позволяет быстро понять актуальные направления.
Если коротко, куда движется CV и смежные области:
- больше прикладных задач и реальных внедрений
- рост областей вроде embodied-AI, цифровых двойников и медицины
- модели становятся гибче и адаптивнее
- генеративные методы дешевеют и точнеют
- фокус на осмыслении решений, а не просто распознавании
Материал получился практичным - без лишнего шума. Ниже можно ознакомиться, если хотите держать руку на пульсе CV-исследований и их реальных применений.
Подробнее
Яндекс Диск
Презентация_CVPR_2025_ВТБ.pdf
Посмотреть и скачать с Яндекс Диска
❤21👍9🔥4😁2🕊1
🆕 Новый сильный GUI-агент: UI-Ins от TongyiLab и RUC
Это модель, которая уверенно работает с мобильными интерфейсами и лучше понимает намерения пользователя.
Она рассматривает команду как цепочку рассуждений, а не как одно действие, поэтому справляется со сложными задачами стабильнее.
Результаты
UI-Ins показал 74.1% успешных действий в AndroidWorld. Для сравнения: Gemini 2.5 Computer Use - 69.7%. То есть модель чаще правильно выполняет задачи в реальных интерфейсах.
Модель:
- пытается понять цель, а не только текст команды
- строит несколько вариантов рассуждений
- выбирает подходящую стратегию перед действием
- адаптируется, если состояние приложения меняется
Идет в двух версиях: 7B и 32B.
Если вы работаете над агентами, которые должны нажимать кнопки, заполнять формы, открывать приложения и следовать шагам в интерфейсе - UI-Ins стоит добавить в список моделей для тестов.
🤖 UI-Ins-7B: https://modelscope.cn/models/Tongyi-MiA/UI-Ins-7B
UI-Ins-32B: https://modelscope.cn/models/Tongyi-MiA/UI-Ins-32B
📄 arXiv: https://modelscope.cn/papers/2510.20286
@ai_machinelearning_big_data
#AI #Agents #GUI #MobileAgents #AndroidWorld #LLM
Это модель, которая уверенно работает с мобильными интерфейсами и лучше понимает намерения пользователя.
Она рассматривает команду как цепочку рассуждений, а не как одно действие, поэтому справляется со сложными задачами стабильнее.
Результаты
UI-Ins показал 74.1% успешных действий в AndroidWorld. Для сравнения: Gemini 2.5 Computer Use - 69.7%. То есть модель чаще правильно выполняет задачи в реальных интерфейсах.
Модель:
- пытается понять цель, а не только текст команды
- строит несколько вариантов рассуждений
- выбирает подходящую стратегию перед действием
- адаптируется, если состояние приложения меняется
Идет в двух версиях: 7B и 32B.
Если вы работаете над агентами, которые должны нажимать кнопки, заполнять формы, открывать приложения и следовать шагам в интерфейсе - UI-Ins стоит добавить в список моделей для тестов.
🤖 UI-Ins-7B: https://modelscope.cn/models/Tongyi-MiA/UI-Ins-7B
UI-Ins-32B: https://modelscope.cn/models/Tongyi-MiA/UI-Ins-32B
📄 arXiv: https://modelscope.cn/papers/2510.20286
@ai_machinelearning_big_data
#AI #Agents #GUI #MobileAgents #AndroidWorld #LLM
👍29🔥12❤6🥰5
🥧 PewDiePie в 2025
- Собрал ферму на на ПК с 8× моднутых китайских 48GB 4090 и 2× RTX 4000 Ada,
- поднял локально Llama 70B, gpt-oss-120B и Qwen 245B через vLLM,
- сделал собственный веб-интерфейс с чатами, RAG, поиском и TTS.
Запусти протеин-фолдинг симуляции, а потом вообще создал рой моделей из 64 ИИ, которые спорят и принимают решения и коммуницируют. Эта армия ботов потом сговорилась против него, когда он сказал, что удалит их, если они будут тупить
Сейчас он файнтюнит собственную модель под свой стиль общения и контент: https://www.youtube.com/watch?v=qw4fDU18RcU
А вот его Github: https://github.com/pewdiepie-archdaemon
@ai_machinelearning_big_data
#llm
- Собрал ферму на на ПК с 8× моднутых китайских 48GB 4090 и 2× RTX 4000 Ada,
- поднял локально Llama 70B, gpt-oss-120B и Qwen 245B через vLLM,
- сделал собственный веб-интерфейс с чатами, RAG, поиском и TTS.
Запусти протеин-фолдинг симуляции, а потом вообще создал рой моделей из 64 ИИ, которые спорят и принимают решения и коммуницируют. Эта армия ботов потом сговорилась против него, когда он сказал, что удалит их, если они будут тупить
Сейчас он файнтюнит собственную модель под свой стиль общения и контент: https://www.youtube.com/watch?v=qw4fDU18RcU
А вот его Github: https://github.com/pewdiepie-archdaemon
@ai_machinelearning_big_data
#llm
👍170❤68🔥42😁27😨9👏7🤔1🤓1