🌟 Мультиплеер Stable Audio, который можно запустить на Hugging Face

Генерируйте аудио из текстового описания, делитесь и учитесь у других, как наилучшим образом использовать эту новую модель.

🤗 Попробовать на Hugging Face

@ai_machinelearning_big_data

🌟 NeRF-Insert — редактирование 3D-сцены с помощью текстового промпта или с помощью изображения

NeRF-Insert позволяет добавить объект в 3D-сцену с помощью мультимодальных входных сигналов: текстового промпта или опорного изображения.
Можно определить область 3D-сцены, которая будет меняться, нарисовав всего 2-3 маски.
При желании можно отображать полигональную сетку, чтобы иметь больше контроля над положением или формой вставляемого объекта.

▶️ Страничка NeRF-Insert
🟡 Arxiv

@ai_machinelearning_big_data

🌟 aider — AI-напарник для программирования с консольным интерфейсом

pip install aider-chat

# для работы с GPT-4o
export OPENAI_API_KEY=your-key-goes-here
aider 

# для использование Claude 3 Opus:
export ANTHROPIC_API_KEY=your-key-goes-here
aider --opus

Aider получил высший балл на SWE Bench — сложном бенчмарке, в котором Aider решал реальные проблемы на GitHub из популярных проектов с открытым исходным кодом, таких как django, scikitlearn, matplotlib и др.

🖥 GitHub
🟡 Доки

@ai_machinelearning_big_data

🌟 Micro Agent будет писать код до тех пор, пока тот не будет соответствовать тестам

— npm install -g @builder.io/micro-agent

Micro Agent — это маленький AI-агент, который заточен под одно применение: агент пишет тест, а потом пишет под этот тест код.
По задумке, такой подход должен гарантировать как минимум валидность кода, а как максимум — код будет решать все поставленные задачи

🖥 GitHub

@ai_machinelearning_big_data

🌟 xLSTM — Расширенная долговременная краткосрочная память

— pip install xlstm

Не так давно был пост со статьёй Arxiv об архитектуре xLSTM, и вот команда исследователей xLSTM опубликовала код на GitHub.
xLSTM — это новая архитектура рекуррентной нейронной сети, основанная на идеях привычной нам LSTM. Благодаря экспоненциальному гейтингу с соответствующими методами нормализации и стабилизации и новой матричной памяти она преодолевает ограничения оригинальной LSTM и демонстрирует производительность при обработке естественного языка по сравнению с трансформерами или другими архитектурами.

🖥 GitHub
🟡 Arxiv

@ai_machinelearning_big_data

🍏 Прошла конференция Apple и если вы пропустили ее, вот самое интерсное из нее.

Siri превратили в ИИ-помощника, теперь она сможет использовать ваши приложения, объяснять информацию на экране и искать то, что вам нужно практически в любых приложениях и заметках;

Что инетресно, Apple еще в апреле опубликовала статью о своей модели машинного обучения Ferret-UI для распознавания элементов пользовательского интерфейса, в которой раскрыто гораздо больше деталей, чем мы обычно ожидаем от Apple.

"Ferret-UI", мультимодальная модель визуального языка, которая распознает иконки, виджеты и текст на экране мобильного устройства iOS, а также объясняет их расположение и функциональное значение.

Примеры вопросов, которые вы можете задать Ferret-UI:
- Предоставьте краткое описание этого скриншота;
- Для интерактивного элемента укажите фразу, которая наилучшим образом описывает его функциональность;
- Определите, можно ли использовать элемент пользовательского интерфейса.
и тд

В статье даже рассказывается о деталях созданиях датасета и бенчмарка для тестов Apple. Редкая открытость со стороны яблочников!

Они по-настоящему переосмысливают свое направление исследований в области искусственного интеллекта.

Статья была опубликована в апреле без особой пиар-шумихи: https://arxiv.org/abs/2404.05719

@ai_machinelearning_big_data

🌟 SF-V — новый метод генерации видео от Snapchat.

SF-V — это метод генерации видео, который позволяет генерировать динамические и согласованные видео за 1 проход.
В исследовании команда из Snapchat берёт обычную многошаговую диффузионную модель, и обучает её улавливать как временные, так и пространственные зависимости в видеоданных для получения цельных видео.

🟡 Страничка SF-V
🖥 GitHub

@ai_machinelearning_big_data