🌟 SEE-2-SOUND — метод генерации сложного пространственного звука на основе изображений и видео

— pip install see2sound

SEE-2-SOUND — новая разработка университета Торонто, передовой метод генерации пространственного звука из изображений, анимации и видео.

Модель состоит из трех основных компонентов: оценка источника звука, генерация звука и пространственная генерация объемного звука.

🟡 Страничка SEE-2-SOUND
🖥 GitHub
🟡 Hugging Face
🟡 Arxiv

@ai_machinelearning_big_data

🌟 Video-Infinity — быстрая генерация длинных видеороликов

conda create -n video_infinity_vc2 python=3.10
conda activate video_infinity_vc2
pip install -r requirements.txt

python inference.py --config examples/config.json

Video-Infinity позволяет быстро генерировать длинные видеоролики с использованием нескольких GPU.
Скорость на уровне 2300 кадров за 5 минут, что в 100 раз быстрее, предыдущих методов.

🟡 Страничка Video-Infinity
🖥 GitHub
🟡 Arxiv

@ai_machinelearning_big_data

🌟 MG-LLaVA — мультимодальная LLM с продвинутыми возможностями работы с визуальной информацией

Буквально только что ребята из Шанхайского университета выкатили MG-LLaVA — MLLM, которая расширяет возможности обработки визуальной информации за счет использования дополнительных компонентов: специальных компонентов, которые отвечают за работу с низким и высоким разрешением.

В MG-LLaVA интегрирован дополнительный визуальный энкодер высокого разрешения для захвата мелких деталей, которые затем объединяются с базовыми визуальными признаками с помощью сети Conv-Gate.

Обученная исключительно на общедоступных мультимодальных данных, MG-LLaVA демонстрирует отличные результаты.

🟡 Страничка MG-LLaVA
🖥 GitHub

@ai_machinelearning_big_data