🌟 На Hugging Face вышла обзорная статья об открытых ML-датасетах

Автор новостного ресурса Daily Dose of Data Science собрал самые интересные релизы крупных датасетов и моделей. Среди них — Yambda-5B от команды Яндекса, крупнейший в мире открытый музыкальный рекомендательный датасет.

В Yambda-5B 4,79 млрд обезличенных взаимодействий: прослушивания, лайки и дизлайки треков. Датасет уже привлек внимание мировых исследователей и обещает стать важным инструментом для развития рекомендательных систем.

🔗 Подробнее

@ai_machinelearning_big_data

#ai #ml #dataset

🚀 Команда Qwen представила Qwen3-Max-Preview (Instruct) — свою крупнейшую модель на сегодняшний день, с более чем 1 триллионом параметров

По бенчмаркам Qwen3-Max-Preview опережает предыдущий флагман Qwen3-235B-A22B-2507.

Внутренние тесты и первые отзывы пользователей говорят о том, что модель стала сильнее в диалогах, агентных задачах, следовании инструкциям и обладает более широкими знаниями.

Qwen обещают очень скоро выпустить ещё что-то интересное.

Qwen3-Max-Preview уже доступна в Qwen Chat и через Alibaba Cloud API.

Масштабирование работает.

🟢Qwen Chat: https://chat.qwen.ai
🟢Alibaba Cloud API: https://modelstudio.console.alibabacloud.com/?tab=doc#/doc/?type=model&url=2840914_2&modelId=qwen3-max-preview

@ai_machinelearning_big_data


#AI #Qwen3 #LLM #AlibabaCloud #QwenChat

✔️ Anthropic ужесточила региональные ограничения.

Доступ к ИИ-моделям Anthropic будет запрещен организациям, которые более чем на 50% прямо или косвенно принадлежат компаниям из юрисдикций с ограниченным доступом. Новое правило действует независимо от того, где зарегистрирована и оперирует дочерняя структура.

Обновление условий - ответ на лазейку, которая позволяла обходить ограничения через регистрацию филиалов в других странах. В Anthropic заявляют, что компании, подконтрольные авторитарным режимам, могут быть принуждены к сотрудничеству со спецслужбами и передаче данных.
anthropic.com

✔️ OpenAI планирует производство собственных ИИ-чипов в партнерстве с Broadcom.

OpenAI со следующего года запускает производство кастомных чипов. Проект реализуется совместно с Broadcom для того, чтобы снизить зависимость от Nvidia и обеспечить растущие потребности в вычислительных мощностях.

Ранее глава Broadcom, Хок Тан упоминал о новом клиенте, который разместил заказ на $10 млрд. По данным нескольких источников, этим клиентом и является OpenAI. Сообщается, что чипы будут использоваться исключительно для внутренних операций компании и не поступят в свободную продажу.
ft.com

✔️ Kimi Ai обновила модель K2.

Новая версия м индексом 0905 получила двукратное увеличение контекстного окна со 128K до 256K токенов, улучшение агентных возможностей для написания кода, повышение качества генерации фронтенд-кода и увеличение скорости работы API до 60-100 токенов в секунду.

Kimi K2 — это открытая модель с архитектурой MoE на 1 триллион общих и 32 миллиарда активных параметров. Версия 0905 уже доступна в официальных приложениях Kimi, а также для самостоятельного развертывания через репозитории Hugging Face и ModelScope.
Kimi Ai в сети Х

✔️ Google Photos получил Veo 3 для Image-to-video.

Google обновляет сервис Photos, интегрируя в него модель генеративного видео Veo 3. Теперь пользователи, пока только в США, могут превращать статичные изображения в короткие четырехсекундные ролики без звука.

Функция находится во вкладке «Создать», где предлагаются опции «Легкое движение» и «Мне повезет!». Помимо оживления снимков, ИИ позволяет стилизовать фотографию под 3D-анимацию и также сохранить ее в формате видео.

Для владельцев бесплатных аккаунтов установлено ежедневное ограничение на количество генераций, а подписчики планов Ultra и Pro получают расширенные лимиты.
blog.google

✔️ RoboBallet: ИИ для автоматической координации промышленных роботов.

Google DeepMind, Intrinsic и University College London разработали метод RoboBallet, предназначенный для автоматизации программирования групп промышленных роботов, который решает проблему трудоемкой ручной настройки.

В основе - графовая нейронная сеть, обученная с подкреплением на миллионах симуляций. Роботы, задачи и препятствия представляются в виде узлов графа, что позволяет системе моделировать сложные взаимосвязи и находить оптимальные, бесконфликтные траектории движения для каждого манипулятора. Для работы системе достаточно CAD-файлов и общего описания задачи.

В лабораторных тестах RoboBallet превзошел на 25% традиционные подходы и решения. Эффективность системы масштабируется: при увеличении числа роботов с 4 до 8, среднее время выполнения задачи сократилось на 60%. Несмотря на результаты, технология пока не тестировалась на реальных производственных линиях и имеет ограничения: она не справляется с разнотипными роботами или задачами со строгой последовательностью действий.
intrinsic.ai

@ai_machinelearning_big_data

#news #ai #ml

📌Почему языковые модели галлюцинируют.

OpenAI опубликовали исследование о причинах галлюцинации LLM.

Галлюцинации - это не мистический сбой в сознании ИИ, а вполне предсказуемый побочный эффект его обучения.

Представьте, что перед моделью стоит задача бинарной классификации - определить, является ли предложенное утверждение корректным или нет. Математическая выкладка в исследовании проста: уровень ошибок генерации как минимум в 2 раза превышает уровень ошибок классификации. Если модель не способна надежно отличить факт от вымысла, она неизбежно будет этот вымысел генерировать.

🟡Все начинается еще на претрейне.

Даже на идеально чистых данных статистические цели обучения подталкивают модель к генерации ошибок. Особенно это касается фактов, которые редко встречаются в обучающей выборке.

В работе вводится понятие singleton rate — доля фактов, которые появились в данных лишь один раз. Теоретический расклад показывает, что уровень галлюцинаций модели будет как минимум равен этой доле.

Проще говоря, если 20% фактов о днях рождения в датасете встретились единожды, модель будет выдумывать дни рождения как минимум в 20% случаев.

🟡Эксперименты это подтверждают.

Модель DeepSeek-V3, на просьбу назвать день рождения одного из авторов статьи, трижды выдала неверные даты: 03-07, 15-06 и 01-01. Ни одна из них не была даже близка к правильной (осенью).

В другом тесте, где нужно было сосчитать количество букв D в слове DEEPSEEK, та же DeepSeek-V3 выдавала 2 или 3, а модели компании Марка Цукерберга и Claude 3.7 Sonnet доходили до 6 и 7.

При этом базовые модели после претрейна часто показывают отличную калибровку. Например, у предобученной GPT-4 ожидаемая ошибка калибровки составляла всего 0.007, что говорит о высокой статистической адекватности ее предсказаний. Кто бы сомневался.

🟡Почему галлюцинации не исчезают после пост-тренинга и RLHF?

Ответ на этот вопрос - в системе оценки. Большинство современных бенчмарков поощряют угадывание. Модели, по сути, постоянно находятся в режиме сдачи экзамена, где за правильный ответ дают 1 балл, а за пустой бланк или ответ я не знаю - 0. В такой системе оптимальная стратегия при неуверенности - только угадать. Любой шанс на правильный ответ лучше, чем гарантированный ноль.

Эту гипотезу подтвердили анализом популярных оценочных наборов.

В GPQA, MMLU-Pro, Omni-MATH, SWE-bench и HLE используется строго бинарная система оценки (правильно/неправильно). Возможности получить частичный балл за честное признание в незнании там просто нет. Из 10 рассмотренных в исследовании популярных бенчмарков только один, WildBench, присуждает частичные баллы за ответы формата я не знаю. Остальные же фактически наказывают модель за отказ галлюцинировать, создавая эпидемию штрафов за неуверенность и поощряя ее выдавать правдоподобную ложь.

🟡Что делать инженерам.

OpenAI предлагает встраивать явные целевые уровни уверенности в рубрики, вводить поведенческую калибровку и оценивать модели по секциям с разными порогами уверенности.

Еще рекомендуют включают мониторинг singleton-rate на корпусе, измерение вероятности важных ответов, комбинирование RAG с верификацией фактов и изменение лидербордов чтобы ответы я не знаю не штрафовались автоматически.

🔜 Читать статью полностью


@ai_machinelearning_big_data

#AI #ML #LLM #Research #OpenAI

📌BED-LLM: адаптивный сбор информации для LLM.

Исследователи из Оксфорда и Apple представили BED-LLM, новый подход для улучшения способности LLM разумно и адаптивно собирать информацию от пользователя или другого внешнего источника.

Суть подхода заключается в применении последовательного Байесова экспериментального дизайна к процессу генерации вопросов. Вместо промптинга система максимизирует ожидаемый прирост информации при каждом следующем вопросе. Алгоритм итеративно выбирает запросы, которые дают максимальную информацию о целевом параметре.

Критический момент — правильная конструкция совместной модели распределения целевой переменной и ответов с учетом вопросов. Выбор между парой «приор-правдоподобие» и «данные-оценка» кардинально влияет на производительность. Итоговый выбор пал на на первом варианте, как более подходящем для случаев, когда пространство целевых гипотез сложнее пространства возможных ответов.

Ключевая фишка BED-LLM в фильтрации гипотез с учетом истории диалога. Система не полагается только на контекстное обучение. Вместо этого алгоритм сначала сэмплирует кандидатов из распределения модели, а затем отфильтровывает несовместимые с историей варианты через проверку правдоподобия.

🟡Тесты

Чтобы проверить метод в деле, его протестировали на классической игре "20 вопросов". В задаче по угадыванию знаменитостей результат на Mistral-Large поднялся с 14% при использовании стандартных промптов (Naive QA) до 91% с фреймворком BED-LLM.

Упрощенный подход, основанный на максимизации энтропии показал промежуточный результат в 68%. Схожая картина и с другими моделями: Qwen2.5-72B при угадывании животных достигла 94% точности с BED-LLM против 85% у энтропии и всего 45% у Naive QA. А GPT-4o в тесте со знаменитостями показала рост с 45% до 86%.

Второй тест метода провели на более абстрактной задаче - выявлении кинопредпочтений пользователя.

Здесь вместо угадывания конкретного объекта модель должна была составить профиль вкусов пользователя, задавая ему вопросы с несколькими вариантами ответа. Качество рекомендаций, сгенерированных на основе этого профиля, оценивалось по шкале от 1 до 5. И здесь BED-LLM стабильно опережал конкурентов, выходя в лидеры уже к третьему вопросу.

Интересное наблюдение: простое использование предсказательной энтропии вместо полного ожидаемого прироста информации значительно ухудшает результаты. Многие предыдущие теории делали именно такое упрощение, считая энтропию правдоподобия константой. Эксперименты с BED показали, что это неоправданное допущение - вариативность ожидаемой условной неопределенности между вопросами может быть решающей для выбора хороших запросов.

🟡Arxiv


@ai_machinelearning_big_data

#AI #ML #Research #BayesianDesign

🤖 XLeRobot — домашний робот за $660, который управляется с геймпада Xbox.

XLeRobot — это открытый проект, который позволяет собрать настоящего двухрукого мобильного робота своими руками.

Автор — студент Rice University Gaotian Wang, в проектеон сделал упор на доступность и практичность.

💡 Основное:
- Цена сборки ≈ $660 — полноценный робот с двумя руками и колесной базой.
- Можно собрать упрощённую версия за $250 на базе LeKiwi + SO-100, которая собирается быстрее.
- В комплекте: URDF-модели, симуляция, управление через VR, Joy-Con или Xbox-геймпад.
- Подходит для экспериментов в симуляции и переноса в реальный мир (**Sim2Real**).
взаимодействия с окружающей средой.

📈 Популярность: проект уже собрал 1.7k+ звёзд и десятки форков на GitHub.

XLeRobot — это недорогая и открытая платформа для тех, кто хочет попробовать себя в робототехнике, исследовать управление, симуляцию и AI-алгоритмы на реальном роботе.

🟢Репозиторий: github.com/Vector-Wangel/XLeRobot

@ai_machinelearning_big_data


#robotics #opensource #AI

🇪🇺 NEWS: ASML инвестирует €1.3B в Mistral

Европейский чип-гигант ASML вложит €1.3 млрд в Series C раунд Mistral (€1.7B) и станет крупнейшим акционером стартапа.

💰 Оценка Mistral — €10 млрд ($11.7B) pre-money.

Что значит *pre-money*?
Это стоимость компании до привлечения новых инвестиций. То есть инвесторы договорились, что Mistral стоит €10 млрд, и только потом добавили ещё €1.7 млрд свежих денег. После этих вложений итоговая стоимость компании становится €11.7 млрд post-money.

🟢 Главное
Союз лидеров: крупнейший поставщик оборудования для чипов (ASML) объединяется с самой быстрорастущей AI-лабораторией Европы (Mistral).
Суверенность: Европа строит собственный стек - от чипов до моделей, снижая зависимость от США и Китая.
Ресурсы для Mistral: свежие деньги для роста, доступ к управлению, громкая оценка для привлечения талантов и заключения крупных контрактов.

🟢Технический аспект
ASML (Нидерланды) - единственный в мире производитель EUV-литографии (*Extreme Ultraviolet Lithography* - технология печати микросхем с использованием сверхкоротких волн ультрафиолета).
Один аппарат стоит ~$180M и используется TSMC и Intel. Даже небольшие улучшения в производительности приносят огромные деньги.

Эта сделка - это стратегический союз, который даёт Европе шанс поучаствовать в AI гонке.

🟢 Подробнее

@ai_machinelearning_big_data

#ai #news #mistral #investments

🎬 OpenAI снимает полнометражный мультфильм с помощью ИИ

OpenAI поддерживает проект Critterz — первый полнометражный анимационный фильм, созданный преимущественно с применением генеративного ИИ.

📌 Задача проекта — доказать, что кино можно снимать в несколько раз быстрее и дешевле, чем в Голливуде:
- вместо привычных 3 лет производство займёт всего 9 месяцев
- бюджет — менее $30 млн (значительно меньше, чем обычно стоит производство подобных анимационных фильмов)
- премьера намечена на Каннский кинофестиваль в мае 2026 года, после чего планируется мировой прокат

Команда собирается привлечь живых актёров для озвучивания персонажей и нанять художников, которые подготовят эскизы. Эти материалы будут загружаться в инструменты OpenAI — включая GPT-5 и модели генерации изображений.

⚡️ Основная ставка делается на быстрые итерации: эскиз → генерация → правка → повторная генерация. Такой процесс должен заменить долгие и дорогие ручные пайплайны классической анимации.

🟢 Подробнее

@ai_machinelearning_big_data

#ai #openai #genai


🟢 Подробнее

@ai_machinelearning_big_data

#ai #openai #genai

💰 Google TPUs - главный конкурент NVIDIA?

Аналитики считают: если бы Google выделила бизнес по TPU-чипам вместе с лабораторией DeepMind, то объединённая компания могла бы стоить около $900 млрд.

Пока этого не произойдёт, но сама цифра показывает масштаб.

📌 Что такое TPU и почему они важны
🟢Чипы, созданные специально для машинного обучения
🟢Их производительность — до 42,5 экзафлопс
🟢Сами чипы сопоставимы с NVIDIA по скорости и энергоэффективности
🟢 За полгода активность разработчиков в Google Cloud выросла на 96% , благодаря собственному железу

🔥 Новые поколения чипов
- 6-е поколение Trillium уже пользуется высоким спросом
- 7-е поколение Ironwood станет первым TPU, ориентированным на крупномасштабный inference — этап, когда модели реально используются после обучения

Anthropic и xAI активно рассматривают переход на TPU, так как улучшенная поддержка через JAX делает их использование на больших масштабах заметно проще.

Google уже заключила сделку с Fluidstack (Нью-Йорк) и ведёт переговоры с другими облачными провайдерами, которые раньше работали в основном с NVIDIA (например, Crusoe и **CoreWeave**).

В итоге Google выходит в прямую конкуренцию с NVIDIA — и впервые за долгое время у «зелёного гиганта» появился серьёзный соперник.

🟢Новость: marketwatch. com/story/google-may-be-sitting-on-a-900-billion-gem-that-could-disrupt-nvidias-dominance-20662ec6

@ai_machinelearning_big_data

#google #nvidia #tpu #deeplearning

🦾 Google DeepMind показала, как роботы учатся работать вместе с помощью обучения с подкреплением.

Учёные из UCL, Google DeepMind и Intrinsic представили новый AI-алгоритм RoboBallet — систему, которая позволяет нескольким роботизированным манипуляторам работать синхронно и без столкновений в сложной производственной среде,.

🔹 В эксперименте участвовали 8 роботов, каждый из которых мог выполнять 40 разных задач в одном общем пространстве.
🔹 Роботы могли брать любую задачу в любом порядке — система сама решала, кому что поручить и как построить безопасные траектории.
🔹 Алгоритм обучался в симуляции, а затем сразу работал в новых условиях без дообучения (*zero-shot*).

Пока решение работает только для задач перемещения (reaching), без учёта порядка выполнения или разных типов роботов.

Однако архитектура гибкая — в будущем возможно добавление сложных задач, зависимостей и разнообразных роботов.

Один алгоритм смог координировать целую команду, делая роботов гибкими и слаженными даже там, где они раньше не работали.

🟢 Подробнее: https://www.science.org/doi/10.1126/scirobotics.ads1204

@ai_machinelearning_big_data

#google #robots #ai #rl

🚀 Grok 2.5 теперь можно запускать локально!

Unsloth выкатили оптимизированную версию модели:

🔹 270B параметров работает на обычном Mac с 128GB RAM (~5 токенов/сек)
🔹 Размер уменьшен с 539GB до 118GB (–80%)
🔹 Ключевые слои модели сохранены в 8-битном формате, а все остальные сжаты с помощью динамического 3-битного GGUF.

🟢Гайд: https://docs.unsloth.ai/basics/grok-2
🟢 GGUF: https://huggingface.co/unsloth/grok-2-GGUF

@ai_machinelearning_big_data

#AI #xAI #Grok2 #LLM #OpenSource #MachineLearning #DeepLearning

📌Во Владивостоке исследователи из Т-Технологий представили метод, который ускоряет тестирование программ до шести раз

Targeted Test Selection (T-TS) — подход к оптимизации CI/CD. Вместо тысячи проверок, система запускает около 15% тестов и при этом находит до 95% ошибок. Метод уже внедрили в инфраструктуру Т-Банка.

💡Основное:
-Ускорение тестирования в среднем 5,6 раз
-Подходит для любых языков программирования
-Работает по принципу “мешок слов” — анализирует историю изменений в репозитории и адаптируется к вносимым изменениям
-Масштабируется на крупные финтех компании

Результаты исследования представлены на международной конференции ICSME 2025 в Новой Зеландии

🟢Репозиторий: https://github.com/trndcenter/t-ts-benchmark/

@ai_machinelearning_big_data

#news #Research #AI