329K subscribers
4.2K photos
779 videos
17 files
4.71K links
Погружаемся в машинное обучение и Data Science

Показываем как запускать любые LLm на пальцах.

По всем вопросам - @haarrp

@itchannels_telegram -🔥best channels

Реестр РКН: clck.ru/3Fmqri
Download Telegram
✔️Представлен новый метод для понимания работы больших языковых моделей — SAE Boost

Метод помогает увидеть на какие внутренние признаки опирается ИИ, когда формирует ответы без переобучения всей модели.

В основе — дополнительный автоэнкодер, который обучается на остаточной ошибке базовой модели и вылавливает редкие, специализированные сигналы, влияющие на решение модели. Sae Boost уже протестировали на тестах по химии, документах ООН и русскоязычном контенте – метод показал значительное улучшение качества реконструкции (explained variance) и снижения перекрестной энтропии LLM (LLM cross-entropy) на специализированных доменах.

@ai_machinelearning_big_data

#news #ai #ml #llm
Please open Telegram to view this post
VIEW IN TELEGRAM
44👍20🔥6🌭1💘1
Media is too big
VIEW IN TELEGRAM
✔️ Китай выходит в лидеры мировой робототехники

Китай стремительно превращается в мирового лидера по производству и внедрению гуманоидных роботов. В стране формируется полный цикл - от датчиков и приводов до готовых автономных систем.

По данным издания, только за прошлый год на китайских заводах установлено около 300 тысяч промышленных роботов, что больше, чем во всём остальном мире вместе взятом. И почти все они - китайского производства.

Компания Unitree уже выпустила гуманоидного робота R1 стоимостью менее 6 000 долларов, что в несколько раз дешевле предыдущих моделей. Это стало возможным благодаря высокой локализации производства и быстрой обратной связи между разработчиками и фабриками.

Демографический кризис и старение населения подталкивают Китай к автоматизации. Правительство активно поддерживает отрасль - создаёт тестовые полигоны, субсидирует стартапы и внедряет роботов в промышленность и сервис.

Если США не активизируют собственные программы в области робототехники, Китай может занять доминирующее положение в одной из ключевых технологий XXI века.
washingtonpost

✔️ Microsoft и Georgia Tech научили ИИ думать “молча”

Исследователи создали систему SwiReasoning, которая позволяет языковым моделям решать, когда говорить, а когда просто думать. Вместо того чтобы постоянно проговаривать свои шаги, как в Chain-of-Thought, модель теперь может рассуждать скрыто - в латентном пространстве.

Когда уверенность низкая, она «думает молча», обрабатывая идеи внутри в виде непрерывных векторов. Когда уверенность возрастает - «высказывает» выводы словами. Такой гибкий режим делает рассуждения в среднем на 56–79% эффективнее, а в пике - до 6.78 раза быстрее, без потери точности.

Исследователи называют это началом новой эры latent reasoning - когда ИИ размышляет не словами, а понятиями.
Paper

✔️ xAI разрабатывает world models - продвинутые системы ИИ, способные понимать и моделировать физический мир.

Для этого проекта xAI привлекла бывших специалистов Nvidia, которые будут работать над созданием ИИ, умеющего формировать реалистичные трёхмерные среды и взаимодействовать с ними.

Первым направлением применения таких моделей станет индустрия игр - xAI планирует использовать world models для генерации интерактивных 3D-миров с динамическим поведением объектов и физикой.
В будущем эти технологии могут применяться в робототехнике и других областях физического ИИ.
Согласно планам компании, первая игра, полностью созданная искусственным интеллектом xAI, должна выйти к концу следующего года.
X

✔️ Учёные научили ИИ определять СДВГ по тому, как человек видит и обрабатывает мелькающие картинки.

Модель анализирует зрительные ритмы - микропаузы между кадрами, которые мозг воспринимает по-разному у людей с и без СДВГ. Точность диагностики - 91,8%, а различить, принимает ли человек стимуляторы, ИИ смог с точностью 91%.

Метод может стать новым способом диагностики без тестов и интервью - достаточно показать короткое видео и измерить, как мозг реагирует на световые ритмы.
psypost

✔️ Microsoft запускает инструмент, который покажет начальнику, насколько активно ты пользуешься ИИ

Microsoft внедряет в свою корпоративную платформу Viva Insights новую функцию под названием Benchmarks - систему, которая позволяет менеджерам отслеживать, насколько активно сотрудники используют искусственный интеллект в рабочих приложениях. Benchmarks станет частью Copilot Dashboard, панели аналитики, которая собирает данные о взаимодействии сотрудников с инструментами Microsoft 365 - от Teams и Outlook до Word, Excel и PowerPoint.

Руководители смогут видеть процент «активных пользователей Copilot» в разных отделах, сравнивать показатели внутри компании и даже сопоставлять их с усреднёнными данными по отрасли. По официальному определению Microsoft, «активный пользователь Copilot» - это тот, кто совершил «намеренное действие с ИИ» в одном из поддерживаемых приложений.

То есть если ты хотя бы раз за месяц использовал Copilot для генерации письма, отчёта или кода - ты попадёшь в статистику
winbuzzer

@ai_machinelearning_big_data


#news #ai #ml
Please open Telegram to view this post
VIEW IN TELEGRAM
48👍25🔥9🤨3💘2🥰1
Audio
✔️ В ГигаЧат можно генерировать музыкальные промпты

Функция позволяет создавать аудиотреки напрямую из текстового описания:
▪️ настроение, жанр или сценарий задаются в промпте;
▪️ модель формирует готовый трек без внешних инструментов;
▪️ подходит для клипов, фильмов, поздравлений и других аудиопроектов.

⚡️Пользователи отмечают:
▪️генерация соответствует описанному настроению;
▪️ скорость создания трека выше, чем при использовании внешних DAW;
▪️ инструмент полностью интегрирован в Гига Чат и доступен через веб и бота.

🧠 Модель обрабатывает русский и английский, сохраняет ритм и динамику, адаптируясь под разные стили музыки.

🔜 Попробовать можно через @gigachat_bot

@ai_machinelearning_big_data

#news #ai #GigaChat
Please open Telegram to view this post
VIEW IN TELEGRAM
183🔥64🤣29👍17💘1
⚡️ Mamba-3 тихо и без объявления вышла на ICLR - и это может стать началом конца эпохи Transformers.

Новая архитектура Mamba-3 делает модели быстрее, стабильнее и эффективнее при работе с длинными контекстами.

Главная идея - не в слоях внимания, а в state-space моделях, где модель хранит и обновляет внутреннее состояние во времени.

📘 Краткие эускурс:
- Mamba-1 ввела непрерывную динамику и выборочное обновление памяти - помнила эффективно без высокой цены attention.
- Mamba-2 показала, что обновления состояния и attention - это две стороны одной математики, что ускорило вычисления на GPU.
- Mamba-3 довела концепцию до зрелости: теперь внутренняя память развивается плавнее и устойчивее за счёт перехода от простого шага Эйлера к трапецеидальному интегрированию.

Вместо простого шага Эйлера, как в Mamba-2, Mamba-3 аппроксимирует интеграл обновления состояния не только по правому концу интервала, но усреднением между началом и концом, с коэффициентом λ, зависящим от данных. Это даёт более точное приближение (второго порядка) и делает динамику состояния более выразительной.

🧠 Что изменилось под капотом:

- Память стала «ритмичной»: теперь модель может хранить повторяющиеся и периодические паттерны (например, структуры языка или музыки).

- Новый multi-input-multi-output дизайн позволяет обрабатывать несколько потоков параллельно — идеально для современных GPU.

⚙️ Что это даёт на практике:
- Эффективная работа с длинными последовательностями: документы, геномы, временные ряды.

- Линейное время выполнения и стабильная задержка делают её идеальной для реального времени: чат-ботов, перевода, речи.

- Энергоэффективность и масштабируемость открывают путь к on-device AI, где большие модели работают локально, без облака.

Mamba-3 - это не просто ускоренная альтернатива Transformers.

Это новая архитектура, которая объединяет глубокое понимание контекста, скорость и устойчивость, от серверных систем до умных устройств.

🟢 Подробности: https://openreview.net/pdf?id=HwCvaJOiCj

@ai_machinelearning_big_data


#ssm #mamba3 #llm,#architecture #ai
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
88🔥45👍25🤔5🗿3😁1💘1
🔥 Сенсей Карпаты выложил новый репозиторий - полный пайплайн обучения LLM с нуля

В проекте есть всё, чтобы собрать свой ChatGPT-клон за $100 и 4 часа:

> • токенизатор (написан на Rust)
> • pretraining
> • SFT (supervised fine-tuning)
> • RL (reinforcement learning)
> • оценка модели (eval)

Всего 8 000 строк кода, без лишних зависимостей - идеальный учебный пример, чтобы понять, как реально устроено обучение больших языковых моделей.

💡 Это проект из его нового грядущего курса LLM101n, и отличная возможность прокачать свои ML-навыки на практике.

Можно арендовать GPU в облаке и запустить всё самому - код уже готов к запуску.

Если запустить обучение модели nanochat на облачном GPU-сервере (например, 8×H100), то примерно через 12 часов обучения (стоимость ~300–400 $) модель достигает уровня GPT-2 по качеству на тестовых наборах (CORE-score).

А если тренировать около 40 часов (затраты ~1000 $), решает простые задачи по математике и коду, набирая:
- 40+ на MMLU
- 70+ на ARC-Easy
- 20+ на GSM8K

🧠 Это бесплатная практика топ уровня от мастера, которую не стоит упускать.

🟠GitHub:https://github.com/karpathy/nanochat
🟠Технические детали: https://github.com/karpathy/nanochat/discussions/1

@ai_machinelearning_big_data


#LLM #nanochat #MachineLearning #DeepLearning #AI #GPT
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥16344👍23🗿7💘1
✔️ Сооснователь Anthropic Джек Кларк опубликовал сильное эссе о природе современных ИИ-систем.

Он пишет: «То, с чем мы имеем дело, - это настоящее и загадочное существо, а не простая и предсказуемая машина».

Он сравнивает человечество 2025 года с ребёнком из старой истории: мы включаем свет в тёмной комнате и видим не груду одежды на стуле, а живые, мощные и во многом непредсказуемые существа — современные ИИ-системы и те, что ещё впереди.

Многие, по его словам, отчаянно хотят поверить, что это лишь иллюзия, что перед нами не новая форма разума, а просто набор инструментов для экономики. Некоторые даже тратят огромные деньги, чтобы убедить нас, будто «это не интеллект, готовящийся к стремительному взлёту, а всего лишь машина, которой мы управляем».

«Но не обманывайтесь, - пишет Кларк.Мы имеем дело с настоящим и загадочным существом, а не с простой и предсказуемой машиной».
Полное эссе

✔️ Google обновила NotebookLM Video Overviews, добавив него Nano Banana.

Благодаря этому обновлению инструмент теперь создаёт более выразительные и визуально насыщенные видео-саммари. Можно выбрать один из шести художественных стилей оформления - от акварели и бумажной аппликации до аниме, рисованной доски, ретро-печати и культурного оформления.

Кроме того, появились два формата генерации роликов: Explainer для подробных объяснений и Brief для коротких, лаконичных обзоров. Обновление уже начали получать владельцы Pro-подписки, а в ближайшее время функция станет доступна всем пользователям.
X

✔️ Ring-1T-FP8 - открытая модель на триллион параметров.

Ring-1T-FP8 - модель на архитектуре Ling 2.0, которая содержит 1 триллион параметров( 50 миллиардов активных).

Ring-1T обучалась с применением RLVR (reinforcement learning with verifiable rewards) - техники, направленной на повышение точности рассуждений и самопроверку ответов. В процессе использовались собственные методы ASystem и Icepop, уменьшающие разрыв между обучением и инференсом.

Модель решает задачи уровня математических олимпиад (IMO 2025), сохраняет контекст до 128 000 токенов, что вдвое больше предыдущей версии.
HF

✔️ NVIDIA представила исследование NVFP4: новый формат чисел для обучения больших языковых моделей, который использует всего 4 бита на число вместо привычных 8 или 16.

При этом точность почти не теряется, а вычисления становятся в 2–3 раза быстрее, а потребление памяти снижается на 50%.

В эксперименте NVIDIA обучила 12-миллиардный Mamba Transformer на 10 триллионах токенов, и модель с 4-битным NVFP4 показала почти такую же точность, как и FP8:
на тесте MMLU Pro - 62.58% против 62.62%,
а по коду (MBPP+) - 55.91% против 59.11%.

NVFP4 группирует значения в блоки по 16 чисел. Для каждого блока хранится небольшой масштаб в 8 битах, а для всего тензора - глобальный масштаб в 32 битах. Такая структура сохраняет точность локальных и экстремальных значений, позволяя использовать сверхкомпактное 4-битное хранение без потери устойчивости обучения.

На GPU Blackwell операции FP4 выполняются в 2 раза быстрее на GB200 и в 3 раза 0 на GB300, по сравнению с FP8. Потери точности при валидации не превышают 1–1.5%.

Метод также использует стохастическое округление, чтобы избежать накопления ошибок, а переход на BF16 в последних итерациях обучения полностью убирает оставшуюся разницу.

Поддержка NVFP4 уже встроена в Transformer Engine и новое поколение GPU Blackwell.
arxiv

✔️OpenAI и Broadcom объявили о стратегическом партнёрстве для разработки и производства кастомных AI-ускорителей общей мощностью 10 гигаватт.

OpenAI будет отвечать за архитектуру и проектирование чипов, а Broadcom - за производство и развёртывание систем. Масштаб проекта колоссален: 10 ГВт — это примерно столько же энергии, сколько требуется, чтобы обеспечить электричеством 7–10 миллионов домов.

Главная цель - уменьшить зависимость от NVIDIA и создать собственную, независимую инфраструктуру.
OpenAi

@ai_machinelearning_big_data


#news #ai #ml
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
51👍22🤣10🤓6🔥5👻3🍓1💘1
⚡️ Дженсен Хуанг лично подарил ИИ-суперкомпьютер Илону Маску

Глава NVIDIA сегодня вручил Маску в штаб-квартире SpaceX самый маленький в мире ИИ-суперкомпьютер.

🖥 Это устройство мощностью 1 петафлоп.

Ещё недавно такая производительность обеспечивалась целой комнатой серверов.

Теперь она помещается в коробку размером с рабочий ПК.

Такой компактный суперкомпьютер может использоваться для локального обучения и инференса нейросетей без дата-центров и облаков.

NVIDIA называет это началом новой эры персональных ИИ-ускорителей.

Мужчины честной судьбы встретились, в честь начала мировых поставок DGX Spark, которая начнется уже в эту среду.

Этот момент отсылает к истокам: в 2016 году именно Маск и его команда получили первый DGX-1 - тот самый суперкомпьютер, с которого началась эпоха ИИ-ускорителей NVIDIA.

Эх, нам бы такую коробочку)

Подробнее о первых поставках для разработчиков, исследователей, университетов в live-блоге Nvidia: https://blogs.nvidia.com/blog/live-dgx-spark-delivery/

@ai_machinelearning_big_data


#NVIDIA #JensenHuang #ElonMusk #SpaceX #AI
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
109👍46🔥24😁5😴4💘2🤔1
Media is too big
VIEW IN TELEGRAM
✔️ Alibaba представила Qwen3-VL: новую мультимодальную модель, доступную в версиях 4B и 8B параметров.

Она поддерживает контекст длиной 256k токенов, расширяемый до 1 миллиона, и способна работать с открытой лексикой, распознавая всё - от товаров до знаменитостей.

Внутри два режима: Instruct и Thinking, предназначенные для задач по математике, генерации кода и логическим рассуждениям. Улучшена система OCR - теперь модель поддерживает 32 языка даже при низком качестве сканов, а также понимает пространственные сцены в 2D и 3D.

По многим задачам модель показывает результаты лучше или почти на уровне Qwen2.5-VL-72B, что делает её одним из самых мощных открытых мультимодальных решений. Лицензия: Apache 2.0.
HF

✔️ Сэм Альтман сообщил, что OpenAI ослабит ограничения ChatGPT и с декабря 2025 года разрешит эротический контент для подтверждённых взрослых пользователей.

Компания объясняет, что ранние версии ChatGPT были «достаточно ограниченными» из-за риска вреда при обсуждении психических тем. Теперь OpenAI утверждает, что им удалось снизить серьёзные риски вредных ответов и при этом сохранить защитные механизмы для кризисных ситуаций.

Обновление также добавит возможность включать более “человечный” стиль общения - с эмоциями, эмодзи и дружеской манерой, если пользователь сам этого хочет.

Все изменения будут привязаны к системе возрастной верификации, разделяющей взрослых и несовершеннолетних.

Теперь OpenAI делает ставку на контролируемое расширение свободы взрослых пользователей, сохраняя баланс между безопасностью и реализмом общения.
X

✔️ Telegraph пишет - западные топ-менеджеры возвращаются из Китая с чувством восхищения и ужаса.

После топосещения Китая много СЕО, пишут, что заводы Китая настолько автоматизированные и эффективные, что западные производства выглядят невероятно устаревшими.

Китай больше не «дешёвая фабрика мира», а высокотехнологичная держава, которая двигает вперёд инновации в робототехнике, электромобилях и чистом производстве.

После таких поездок многие задаются вопросом - способен ли Запад ещё конкурировать в гонке, которую Китай теперь бежит быстрее и умнее.
telegraph

✔️ Gemini 3 Pro за один промпт создаёт симуляцию macOS или Windows прямо в браузере - с полноценным интерфейсом, меню, анимациями, встроенным браузером и терминалом.

Всего 900 строк кода - и рабочая система готова. Модель выполняет задачу за 172 секунды, показывая уровень генерации интерфейсов, недостижимый для прежних LLM.

Код и демо уже опубликованы, а инсайдеры сообщают, что официальный релиз ожидается на этой неделе. Первые тестеры называют Gemini 3 Pro лучшим ИИ для кодинга на данный момент.
Демо и код.

✔️ Исследователи из UC San Diego и Университета Мэриленда показали, что с помощью оборудования всего за $800 можно перехватывать трафик с геостационарных спутников - многие каналы связи до сих пор не шифруются.

Используя обычную антенну и приёмник, они обнаружили, что половина спутниковых каналов передаёт данные в открытом виде: звонки, SMS, интернет-трафик и даже военные сигналы.

С крыши лаборатории в Сан-Диего исследователи перехватили 2,7 тыс. телефонных номеров T-Mobile за 9 часов, а также части разговоров. На каналах AT&T Mexico и Telmex передавались контрольные сигналы и голосовые данные в чистом виде.

Даже военные и правительственные системы передавали телеметрию, координаты и внутренние команды без шифрования.
wired

@ai_machinelearning_big_data


#news #ai #ml
Please open Telegram to view this post
VIEW IN TELEGRAM
👍4821😨11🥰4
This media is not supported in your browser
VIEW IN TELEGRAM
🤖 Unitree G1 Kungfu Kid V6.0 — это уже не просто робот, а настоящий кунг-фу мастер.

Полтора года тренировок сделали своё дело: он стал быстрее, сильнее и умнее.

У робота 43 степени свободы, куча сенсоров и гибридная система управления, которая позволяет ему постоянно учиться и оттачивать движения.

Кажется, мы реально приближаемся к моменту, когда роботы начнут тренироваться, как люди.
Интересно, чему G1 научится следующим - паркуру или еще чему покруче?

@ai_machinelearning_big_data


#AI #Robotics #Humanoid #Unitree #FutureTech
👀69👍23🔥156😁6🥰3🥱3💘2
🧬Gemma C2S-Scale 27B помогла учёным найти новый способ борьбы с раком

Исследователи из Google Research и Calico применили эту модель, чтобы анализировать активность генов в клетках и искать вещества, усиливающие иммунный отклик против опухолей.

В чем сложность: многие опухоли остаются «холодными» - иммунная система их «не замечает». Чтобы обратить это, нужно вызвать экспрессию антигенов (antigen presentation), но делать это точно, только там, где уже есть слабый иммунный сигнал, но не всем клеткам подряд.

Gemma смогла предсказать, что комбинация препарата silmitasertib (ингибитор CK2) и низкой дозы интерферона повышает экспрессию MHC-I - это делает “холодные” опухоли более заметными для иммунной системы.

🔬 Результаты лабораторных тестов подтвердили прогноз модели:

- совместное применение действительно усилило работу антигенов примерно на 50 % и это может стать основой для новых видов иммунотерапии.

Главное достижение: ИИ не просто ускорил анализ данных, а сформулировал новую научную гипотезу, которая нашла подтверждение в реальных экспериментах.

Это пример того, как большие модели выходят за рамки генерации текста - они начинают открывать новые лекарства и механизмы действия.

🟠Подробнее: https://blog.google/technology/ai/google-gemma-ai-cancer-therapy-discovery
🟠Статья: https://www.biorxiv.org/content/10.1101/2025.04.14.648850v2
🟠Github: https://github.com/vandijklab/cell2sentence

@ai_machinelearning_big_data


#AI #GoogleDeepMind #BioTech
Please open Telegram to view this post
VIEW IN TELEGRAM
👍8846🔥19👏5💘5🤨2❤‍🔥1
Media is too big
VIEW IN TELEGRAM
✔️ Anthropic представила Claude Haiku 4.5: быструю и дешёвую версию Sonnet 4

Новая компактная модель Haiku 4.5 выдает уровень качества Sonnet 4, но при этом работает в два раза быстрее и стоит в три раза дешевле.

Она справляется с широким спектром задач - от написания кода до работы с компьютером и показывает отличные результаты как вспомогательный агент в связке с более мощной моделью Sonnet 4.5.
claude

✔️ Google выпустила Veo 3.1

Обновлённая нейросеть для генерации видео теперь создаёт кадры кинематографического уровня, с реалистичным светом, тенями, движением и деталями без артефактов.

Veo 3.1 научилась лучше понимать сюжет и контекст, генерировать целые истории и сиквелы, а также в разы лучше понимает русский язык.
Цензуру заметно ослабили - теперь творческая свобода почти не ограничена.
google

✔️ PyTorch 2.9: новый релиз, который приносит серьёзные улучшения в производительности, совместимости и удобстве разработки.

Главное новшество - стабильная ABI для libtorch, это позволяет создавать C++ и CUDA-расширения без риска поломок при обновлениях.
Также добавлена symmetric memory - технология для ускорения вычислений между несколькими GPU, упрощающая обмен данными между видеокартами.

Платформа стала ещё более универсальной: теперь официально поддерживаются ROCm, XPU и CUDA 13, а также улучшена оптимизация под Intel, Arm и x86 процессоры.

В разработке приняли участие 452 контрибьютора, внесено более 3 тысяч коммитов - PyTorch продолжает задавать темп в мире open-source AI.
pytorch

✔️ OpenAI готовит $1 триллион на вычислительные мощности: масштаб как у двадцати ядерных реакторов

Финансирование опирается на три ключевых направления: рост собственных доходов (AI-агенты, видео-модель Sora, реклама и встроенные покупки), выпуск долговых инструментов и партнёрские инвестиции через схему “чужих балансов” - когда инфраструктуру частично оплачивают крупные партнёры. Проект Stargate при этом позволяет OpenAI при необходимости продавать избыточные вычислительные мощности обратно на рынок.

Сейчас годовой доход компании оценивается в $13 млрд, при этом 70% приносит платная подписка ChatGPT. Из 800 млн пользователей платит только 5%, но OpenAI намерена удвоить этот показатель. В Индии уже появились дешёвые тарифы, а реклама тестируется с осторожностью.

При всём росте первая половина года принесла $8 млрд убытков, поэтому ставка делается на снижение себестоимости вычислений и масштабирование дата-центров. Около двух третей затрат приходятся на полупроводники, что вызывает критику за “круговое финансирование”, когда инвестиции возвращаются к поставщикам чипов.

Руководство уверено, что растущий спрос и падение стоимости оборудования позволят сделать проект реалистичным и укрепить доверие кредитных рынков.
ft

✔️ Исследователи показали: масштабировать контекст LLM проще, чем думали

Команда представила Recursive Language Models (RLMs) - новый метод инференса, позволяющий моделям рекурсивно разбирать длинные промпты, как в среде REPL.

RLM делит огромный ввод на части и обрабатывает их пошагово, без ограничений по длине контекста. Для пользователя это выглядит как обычный вызов модели, но внутри она рекурсивно вызывает себя для промежуточных вычислений.

На тесте OOLONG RLM на базе GPT-5-mini превзошёл GPT-5 на 110% при 132k токенах и стоил дешевле.
На BrowseComp-Plus RLM-модели обработали до 10 млн токенов без потери качества, опередив схемы с поиском и ретривером.

Главная цель RLM - устранить “context rot”, когда модели “забывают” длинные диалоги.
Рекурсивный подход может стать ключом к практически бесконечному контексту без сложных обходных решений.
Github

@ai_machinelearning_big_data


#news #ai #ml
Please open Telegram to view this post
VIEW IN TELEGRAM
53👍16🔥7🥰1👌1👀1💘1
🔥 Nanochat D32 : микромодель Карпаты за $1000, которая реально работает

Карпаты написал, что завершил обучение Nanochat D32, обученной за 33 часа при бюджете $1000 (вместо $100).

Результаты - удивительно хорошие для такой «крошки»:

- 📈 CORE score: 0.31 (выше, чем у GPT-2 — ~0.26)
- 🧮 GSM8K: с 8% до 20%
- 🚀 Рост виден на всех этапах - pretraining, SFT и RL

Карпати пишет:
> «Не ждите от микромоделей чудес. Они обходятся $100–$1000, а не миллиарды долларов, как у крупных лабораторий.
> Разговаривать с моделью - как с ребёнком из детсада: они милые, ошибаются, путаются, галлюцинируют, но это весело.»


💡 Факты:
- Nanochat тренируется с нуля
- Самая маленькая модель Nanochat содержит примерно в тысячу раз меньше параметров, чем GPT-3.
- Обнолвенный скрипт run1000.sh уже доступен в репозитории

📎 Подробности и отчёт:
https://github.com/karpathy/nanochat/discussions/8

Карпати уже тестирует веб-чат с моделью (ссылку не публикует, чтобы не обвалили сервер).

Дальше -оптимизация и возможно, переход к следующему уровню масштабирования.

#AI #LLM #Nanochat #Karpathy #AIresearch #OpenSourceAI
🔥7421👍13😁2👌1💘1
📄 PaddleOCR-VL (0.9B) — компактная Vision-Language модель нового поколения

Команда Baidu AI представила PaddleOCR-VL (0.9B) — сверхлёгкую VLM-модель, которая достигает SOTA-точности в задачах распознавания:

- текстов,
- таблиц,
- формул,
- графиков

💡 Под капотом:
- NaViT - динамический vision-энкодер
- ERNIE - облегчённая языковая модель от Baidu

⚡️ Поддержка 109 языков.


🟠GitHub: https://github.com/PaddlePaddle/PaddleOCR)
🟠HuggingFace: https://huggingface.co/PaddlePaddle/PaddleOCR-VL
🟠Docs https://paddleocr.ai/latest/en/index.html

@ai_machinelearning_big_data


#BaiduAI #PaddlePaddle #Ernie #PaddleOCR #VisionLanguage #AI #OCR
Please open Telegram to view this post
VIEW IN TELEGRAM
51🔥27👍16😁2💘1
🤗 Кто реально двигает open-source ИИ: анализ топ-50 самых скачиваемых моделей на Hugging Face

Исследование показывает, какие организации и типы моделей определяют экосистему открытых моделей.


🔥 Главное:
📦 Топ-50 - это всего 3.4% всех моделей на Hugging Face, но именно они собирают более 80% из 45 миллиардов скачиваний.

Подавляющее большинство активности сосредоточено вокруг небольшой группы лидеров -
именно эти модели формируют лицо всего open-source ИИ.

📉 Размер имеет значение (и чем меньше — тем лучше):
- 92.5% загрузок — модели < 1B параметров
- 86.3% — < 500M
- 70% — < 200M
- 40% — < 100M

Очевидны выводы: в open-source побеждают малые и лёгкие модели, пригодные для локального развёртывания и edge-инференса.

🧠 Популярные направления:
- NLP — 58.1%
- Computer Vision — 21.2%
- Audio — 15.1%
- Multimodal — 3.3%
- Time Series — 1.7%

Кто создаёт самые скачиваемые модели:
- Компании - 63.2% (Google лидер)
- Университеты - 20.7%
- Индивидуальные авторы - 12.1%
- НКО - 3.8%
- Прочие лаборатории - 0.3%

Какие типы моделей побеждают:
- Текстовые энкодеры - 45% всех загрузок
- Декодеры - всего 9.5%
- Энкодер-декодеры - 3%

📌 Несмотря на хайп вокруг LLM, массово скачиваются не гиганты, а утилитарные модельки для интеграции в собственные продукты.

🇺🇸 Лидеры по странам:
США доминируют по всем категориям:
- встречаются 18 раз среди топ-50 скачиваний
- на США приходится 56.4% всех загрузок

Open-source ИИ живёт не за счёт гигантских LLM, а благодаря компактным, быстрым и практичным моделям, мкоторые реально работают в продуктах и проектах.

🟠 Почитать полностью: https://huggingface.co/blog/lbourdois/huggingface-models-stats

@ai_machinelearning_big_data


#AI #HuggingFace #OpenSource #ML #Research #LLM #AITrends
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
1🔥8337❤‍🔥10👍64😐2🆒1💘1
Media is too big
VIEW IN TELEGRAM
✔️ 19% старшеклассников уже имели «романтические отношения» с ИИ-чатботом или знают кого-то, кто имел.

Такой вывод сделал Центр демократии и технологий (CDT) в новом отчёте о влиянии искусственного интеллекта на школьную жизнь.

ИИ стремительно становится нормой: 85% учителей и 86% учеников уже им пользуются, причём чаще - в личных целях, а не для учёбы. Почти половина школ (46%) официально разрешают использование ИИ-инструментов.

Подростки активно взаимодействуют с чатботами - 56% делают это еженедельно, а 31% используют для этого школьные аккаунты и устройства. При этом в классах, где ИИ используется чаще, ученики чувствуют меньшую связь с преподавателями и чаще обращаются за помощью к алгоритмам.

Отчёт фиксирует и проблемы: утечки данных происходят в 23% школ, системы мониторинга следят за учениками даже вне школы и на личных устройствах, но доверие к ним низкое. Лишь 21% учебных заведений имеют протоколы для случаев deepfake или утечки интимных изображений.
cdt

✔️ Anthropic представила Claude Skills: новую систему «папок навыков», которая делает Claude универсальным офисным ассистентом.

Claude Skills - это настраиваемые папки с инструкциями, скриптами и ресурсами, которые модель автоматически загружает для выполнения конкретных задач. Теперь Claude может самостоятельно создавать таблицы Excel с формулами, презентации PowerPoint, документы Word и заполняемые PDF-файлы.

Функция доступна пользователям тарифов Pro, Max, Team и Enterprise, которые могут создавать, изменять и делиться своими Skill-папками в приложениях Claude, Claude Code и через API. Это позволяет адаптировать модель под нужды компании или конкретной команды.

Anthropic также запустила интеграцию с Microsoft 365 через MCP-коннектор. Благодаря этому Claude теперь умеет искать документы в SharePoint и OneDrive, анализировать переписки в Outlook, находить инсайты в чатах Teams и выполнять поиск по всем корпоративным приложениям сразу.
anthropic

✔️ Исследователи предложили единое определение AGI - искусственного общего интеллекта.

Сегодня нет единого понимания, что именно считать AGI. OpenAI уже несколько раз меняла своё определение и теперь использует 5-уровневую шкалу развития, а Google DeepMind применяет собственные критерии. Из-за этого прогнозы появления AGI сильно различаются.

Авторы нового исследования считают, что унифицированное определение необходимо, чтобы чётко фиксировать прогресс и прекратить использовать термин «AGI» как маркетинговый слоган.

Исследователь koltregaskes предложил следующее определение:

AGI - это искусственный интеллект, который демонстрирует способности на уровне или выше среднего человека в десяти когнитивных областях из модели Кэттелла–Хорна–Кэрролла (CHC), описывающей структуру человеческого интеллекта.


В работе также сравниваются подходы OpenAI и Google DeepMind, что делает её первой попыткой сформировать научно измеримое определение AGI, а не абстрактное маркетинговое обещание.
X

✔️ Huawei представила SINQ - новый метод квантования для больших языковых моделей.

Исследователи из Huawei CSL разработали технику Sinkhorn-Normalized Quantization (SINQ) — быстрый и точный метод уменьшения размера моделей без предварительной калибровки и потери качества.

Главная идея - применять двойное масштабирование весов по строкам и колонкам, что помогает равномерно распределить ошибку квантования и сохранять стабильность модели даже при понижении разрядности до 4 бит.

Метод показал впечатляющие результаты:
- квантование модели Qwen3-14B занимает всего 21 секунду,
- для DeepSeekV2.5-236B — около 5 минут на одной GPU.

SINQ не требует повторного обучения и работает с любыми архитектурами - это делает его удобным решением для разработчиков, которые хотят запускать крупные модели на слабом железе.
github


@ai_machinelearning_big_data


#news #ai #ml
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥4525👍12😁5😢2💘1
✔️ Андрей Карпаты: “ИИ лишит человечество возможности принимать решения”

В новом интервью Андрей Карпаты рассказал, почему современные языковые модели не учатся как люди - и почему нас ждёт медленная, но неизбежная потеря контроля.

Он считает, что обучение с подкреплением и это тупиковый путь: модели не думают, а просто копируют и повторяют.

«Reinforcement learning ужасен. Просто всё, что было до него, ещё хуже.»


Андрей отмечает, что люди учатся, создавая собственные данные - размышляя, связывая новое со старым, делая выводы. LLM этого не умеют, они просто запоминают.

Главное, по его словам, впереди - не сингулярность, а тихое делегирование мышления алгоритмам.


«ИИ лишит человечество возможности принимать решения. Мы перестанем думать и выбирать сами.»

Карпаты считает, что нынешние агенты — «полное г…», а настоящего AGI стоит ждать не раньше чем через 10 лет.

Он боится не бунта машин, а того, что люди незаметно перестанут быть разумными - просто передав все решения системам, которые “знают лучше”.
Полное интервью

✔️ Epoch AI: даже GPT-5 не дотягивает до 70 % по уровню математического интеллекта

Исследователи из Epoch AI проверили, насколько современные модели действительно умеют «думать» в математике.
Они использовали тест FrontierMath - 290 задач, которые требуют не запоминания формул, а настоящего рассуждения и способности к обобщению.

Результаты оказались отрезвляющими.
Даже GPT-5, одна из самых мощных моделей на сегодня, смогла решить только 29 % задач в одном прогоне.
После 32 запусков (чтобы компенсировать случайность) показатель вырос до 46 %, но затем перестал расти.

Даже если объединить результаты десятков моделей - от ChatGPT Agent и Gemini 2.5 Deep Think до o4-mini, совокупная решаемость достигает лишь 57 %.
По оценкам авторов, даже при бесконечных попытках предел будет меньше 70 %.

Итог: несмотря на огромный прогресс, современные LLM остаются далеки от настоящего "AGI" - они всё ещё плохо справляются с глубинным рассуждением и гибким решением задач, где нужно не память, а мышление.

✔️ У современных LLM прогрессирует Brain Rot: обучение на мусорных данных вызывает деградацию интеллекта

Исследователи сообщили о тревожном эффекте - у больших языковых моделей (LLM) может развиваться “Brain Rot”, то есть постепенное «когнитивное разложение».

Причина - постоянное дообучение на низкокачественных и “вирусных” текстах из интернета, что приводит к стойкому снижению способностей к рассуждению, работе с длинным контекстом и безопасному поведению.

Главный симптом - “отсутствие мышления” (thought-skipping): модель перестаёт рассуждать шаг за шагом и начинает выдавать поверхностные ответы, а в некоторых случаях даже приобретает “тёмные” черты личности - нарциссизм, агрессию и низкую склонность к сотрудничеству.

Даже сильные методы коррекции, лишь частично устраняют последствия, что делает отбор обучающих данных ключевым фактором безопасности при развитии ИИ.
openreview

✔️ FacebookResearch представили MobileLLM-Pro - мощную языковую модель для работы на девайсах

Это компактная языковая модель (~1 млрд параметров) и несмотря на размер, она превосходит Gemma 3 1B и Llama 3.2 1B в задачах рассуждения, знаний и работы с длинным контекстом - до 128 000 токенов.

Внутри гибридное внимание (локальное + глобальное в соотношении 3:1, окно 512) это низкую задержку и экономию KV-памяти.
Подробнее

✔️ HuggingChat v2 - целый оркестр из 115 моделей под одной крышой.

Инструмент, в который встроено более 100 опенсорсных моделей от ведущих разработчиков.

Внутри: модели от OpenAI, Qwen, Google, Nvidia, DeepSeek и десятков других. Система сама выбирает оптимальную модель под конкретный запрос.
Попробовать

@ai_machinelearning_big_data


#news #ai #ml
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
1👍8131💯8🔥6😁4🤬1🥱1💘1