Как сгенерировать миллиард демо-примеров для обучения роботов?

Проект Dex1B показывает, как это сделать просто — с помощью симуляции и генеративных моделей!

📌 Цель проекта: создать масштабный датасет для двух задач:
● Grasping — захват объектов 🖐️
● Articulation — манипуляции с подвижными частями робота

Как это работает:

1. Создание Seed-датасета
Сначала используется оптимизационный алгоритм, чтобы вручную (или полуавтоматически) собрать небольшой, но точный набор демонстраций — так называемый *Seed Dataset*.

2. Обучение генеративной модели
На основе Seed-датасета обучается DexSimple— простая C-VAE модель (Conditional Variational Autoencoder). Она умеет порождать новые сцены, основываясь на контексте: тип объекта, поза руки, желаемое взаимодействие.

3. Масштабирование до 1 миллиарда
С помощью DexSimple создаются миллиарды новых демонстраций. При генерации учитывается разнообразие поз и объектов: используется преднамеренное «смешение» данных, чтобы не переобучаться на узком распределении.

4. Симуляция и проверка
Все демонстрации валидируются в физическом симуляторе ManiSkill/SAPIEN. Только успешные взаимодействия остаются в финальном наборе.

✔️ Что внутри:

- Grasping-сцены (1 млн штук): построены на базе ассетов из Objaverse
- Articulation-сцены: используют объекты из PartNet-Mobility — богатая коллекция с подвижными частями (двери, ящики, рычаги и т.п.)
- Каждая сцена содержит: 3D-модель объекта, позу руки, физику взаимодействия и результат

Почему это важно:

- Ручной сбор миллиардов примеров невозможен — здесь это решается генеративным путём
- Dex1B создаёт разнообразные и физически валидные примеры
- Это открывает путь к масштабному обучению роботов с использованием имитационного обучения


🟡 Сайт проекта: https://jianglongye.com/dex1b)
🟡Статья : https://jianglongye.com/dex1b/static/dex1b.pdf

@ai_machinelearning_big_data

#ai #robots #ml

🔥 Unitree A2 Stellar Hunter!

Новый четырёхногий робот весом всего 37 кг

🚀 Запас хода без нагрузки — 20 км

Работа стал: Легче, Прочнее, Быстрее.

Разработан специально для промышленных задач, где важны автономность, манёвренность и надёжность.

Инженерная мощь нового поколения — в компактном корпусе.

@ai_machinelearning_big_data


#ai #robots #Unitree

🎯 🔁 Ещё один любопытный спортивный робот — на этот раз от UC Berkeley.

Инженеры показали гуманоида, играющего в настольный теннис и способного отбить 106 ударов подряд.

Работает полностью автономно, без телоуправления.

- Планировщик прогнозирует траекторию мяча и выбирает точку, время и скорость удара.
- Контроллер на основе RL превращает план в согласованные движения рук и ног, удерживая баланс при замахе.
- Обучение основано на видео с реальных матчей, поэтому удары выглядят естественно, а не «роботизировано».
- Контур управления работает быстрее секунды, что позволяет вести долгие розыгрыши без сбоев.

@ai_machinelearning_big_data


#Berkeley #robots

🦾 Google DeepMind показала, как роботы учатся работать вместе с помощью обучения с подкреплением.

Учёные из UCL, Google DeepMind и Intrinsic представили новый AI-алгоритм RoboBallet — систему, которая позволяет нескольким роботизированным манипуляторам работать синхронно и без столкновений в сложной производственной среде,.

🔹 В эксперименте участвовали 8 роботов, каждый из которых мог выполнять 40 разных задач в одном общем пространстве.
🔹 Роботы могли брать любую задачу в любом порядке — система сама решала, кому что поручить и как построить безопасные траектории.
🔹 Алгоритм обучался в симуляции, а затем сразу работал в новых условиях без дообучения (*zero-shot*).

Пока решение работает только для задач перемещения (reaching), без учёта порядка выполнения или разных типов роботов.

Однако архитектура гибкая — в будущем возможно добавление сложных задач, зависимостей и разнообразных роботов.

Один алгоритм смог координировать целую команду, делая роботов гибкими и слаженными даже там, где они раньше не работали.

🟢 Подробнее: https://www.science.org/doi/10.1126/scirobotics.ads1204

@ai_machinelearning_big_data

#google #robots #ai #rl

🤖 Robbyant R1 — конкурент Tesla Optimus из Китая

Ant Group показала своего первого гуманоида - R1. Это двуручный робот на колёсах, созданный для реальной работы: от готовки до экскурсовода.

⚙️ Характеристики:
- вес — 110 кг
- рост — 1.6–1.75 м
- скорость — до 1.5 м/с
- 34 степени свободы

🛠 Особенность подхода
Ant не просто продаёт робота, а сразу упаковывает его в готовые сценарии для применения: «железо + софт + инструменты + сервисные команды». Это снижает сложности внедрения и обслуживания.

Разрабы показали демку, как R1 готовит еду и водит экскурсии. Первые внедрения — например, в историческом музее.

🧠 За интеллект отвечает Bailing LLM - 300B mixture-of-experts модель, которая планирует действия для физического тела работа.

Обучение идёт в симуляции, а затем переносится в реальный мир.

Главная проблема таких роботов остаётся прежней: надёжный и безопасный embodied AI, который сможет справляться с хаотичными ситуациями - от грязной кухни до неожиданных взаимодействий с людьми.

Ant Group вошла в гонку за роботов нового поколения, где уже играют Unitree и Tesla.

@ai_machinelearning_big_data


#ai #robots

🦾 Y-Hand M1 — универсальная рука для человекоподобных роботов

Компания Yuequan Bionic представила Y-Hand M1 - самую универсальную и ловкую антропоморфную руку с рекордной степенью свободы движений.

Что умеет:
- Вести ручку по бумаге
- Открывать бутылки
- Резать бумагу
- Выполнять мелкие бытовые задачи почти как человек

🔧 Технические характеристики:
- 38 степеней свободы, нагрузка до 28.7 кг
- Точность позиционирования кончика пальца — 0.04 мм
- Полное сжатие пяти пальцев за 0.2 секунды
- Репликация суставов пальцев с помощью собственных магнитоэлектрических искусственных мышц

⚡️ По сути, это шаг к тому, чтобы роботы получили руки, которые по ловкости максимально близки к человеческим.

@ai_machinelearning_big_data


#ai #robots