🤖 Reachy Mini — первый доступный робот от Hugging face

Reachy Mini — это выразительный и полностью open-source робот, созданный для взаимодействия с человеком, коммуникации и экспериментов с ИИ.

🧠 Что делает его особенным?
- Все ПО открыто и написано на Python, а скоро будет достнуо — и на JavaScript и Scratch
- Базовая версия стоит $299, еще доступна wireless-версия за $449
- Открытая архитектура и SDK — идеален для экспериментов с LLM, аудио- и визуальными агентами

С ним можно разрабатывать, тестировать, запускать и делиться реальными ИИ-приложениями — на базе современных LLM-моделей.

Технические характеристики

- Высота: 28 см, в режиме сна — 23 см
- Ширина: 16 см, вес: 1.5 кг
- Поставляется в виде конструктора:
- Lite-версия — базовый функционал
- Полноценная версия — автономная версия с Raspberry 5 внутри, встроенным питанием, Wi‑Fi, микрофонами и камерой

🎤 Датчики и интерфейсы
- Микрофоны: Lite — 2, Wireless — 4 встроенных микрофонов
hyper.ai
- Камера: широкоугольная фронтальная камера (в wireless-версии)
- Акселерометр: встроен в Wireless-версию

🔗 Подробнее: http://hf.co/blog/reachy-mini

@ai_machinelearning_big_data

#huggingface #Reachy #opensource #Python

📌 ThinkSound: новый video-to-sound инструмент

ThinkSound — духовный наследник mmAudio — который способен генерировать звук к видео с высокой точностью.

▪ Поддерживает chain-of-thought промпты: позволяет по шагам объяснить, как должен звучать объект (например: «это металл, он падает на плитку, должно звучать звонкой эхо»)
▪ Учитывает контекст сцены, физику движения объектов, состав материалов и многое другое
▪ Работает с видео как reasoning-модель, а не просто визуально-аудиофильтр

В демках можно послушать звук шагов на песке, звон разбитого стекла, шум дождя — всё сгенерировано на лету, без записанных сэмплов.

Из минусов - сложно подобрать промпт, но когда получается, то модель выдает годноту.

🟡Github: https://github.com/FunAudioLLM/ThinkSound
🟡Демо: https://thinksound-project.github.io/
🟡Статья: https://arxiv.org/pdf/2506.21448
🟡Проект: https://ThinkSound-Demo.github.io

@ai_machinelearning_big_data

#python #videotosound

🌟 PyRoki: Библиотека кинематики роботов на Python.

PyRoki (Python Robot Kinematics) - это модульный, расширяемый и кроссплатформенный инструментарий, заточенный под задачи кинематической оптимизации и реализованный полностью на Python.

Фишка библиотеки - в предоставлении дифференцируемой модели прямой кинематики робота, которая строится на основе URDF-файлов, тем самым избавляя инженера от необходимости вручную прописывать кинематические цепи: система не только парсит описание робота, но и автоматически генерирует примитивы коллизий.

С точки зрения математического аппарата, PyRoki интегрируется с решателем Levenberg-Marquardt (через jaxls). Это дает возможность проводить оптимизацию на многообразиях, а также обрабатывать жесткие ограничения с помощью решателя на основе модифицированной функции Лагранжа.

Библиотека предлагает готовые реализации cost-функций: поза рабочего органа, коллизии с самим собой или объектами мира и метрики манипулируемости.

Если стандартного набора недостаточно, архитектура позволяет задавать свои функции затрат, используя как автоматическое дифференцирование, так и аналитические якобианы.

Благодаря базе JAX, библиотека кроссплатформенна: ее работа возможна на CPU, GPU и TPU.

🟡При внедрении PyRoki в пайплайн важно учитывать специфику JIT-компиляции в JAX.

Компиляция триггерится при первом запуске, а также каждый раз, когда меняются формы входных данных: например, количество целей или препятствий.

Чтобы избежать расходов на перекомпиляцию, рекомендуется использовать предварительный паддинг массивов, что позволяет векторизовать вычисления для входов с различными шейпами.

Также стоит учитывать, что в библиотеке отсутствуют планировщики, основанные на сэмплировании (графы, деревья), поэтому задачи глобального планирования пути придется решать внешними средствами.

🟡Типы поддерживаемых соединений и геометрия ограничены.

На данный момент PyRoki работает исключительно с кинематическими деревьями; замкнутые механизмы или параллельные манипуляторы не поддерживаются.

Список доступных типов джоинтов ограничен 4 позициями: вращательные, непрерывные, призматические и фиксированные. Любые другие типы соединений, встреченные в URDF, будут автоматически интерпретироваться системой как фиксированные.

Для геометрии коллизий набор примитивов также фиксирован: поддерживаются сферы, капсулы, полупространства и карты высот.

Если ваша модель использует сложные меши, коллизии для них будут аппроксимироваться капсулами.

В вопросах производительности, особенно в сценариях с интенсивными проверками коллизий, PyRoki, вероятно, уступает CuRobo, хотя, как говорится в документации - сравнительные тесты скорости и точности авторами пока не проводились.


📌Лицензирование: MIT License.


🟡Страница проекта
🟡Arxiv
🟡Документация
🖥GitHub


@ai_machinelearning_big_data

#AI #ML #Robotics #Pyroki #Python