📌 ThinkSound: новый video-to-sound инструмент

ThinkSound — духовный наследник mmAudio — который способен генерировать звук к видео с высокой точностью.

▪ Поддерживает chain-of-thought промпты: позволяет по шагам объяснить, как должен звучать объект (например: «это металл, он падает на плитку, должно звучать звонкой эхо»)
▪ Учитывает контекст сцены, физику движения объектов, состав материалов и многое другое
▪ Работает с видео как reasoning-модель, а не просто визуально-аудиофильтр

В демках можно послушать звук шагов на песке, звон разбитого стекла, шум дождя — всё сгенерировано на лету, без записанных сэмплов.

Из минусов - сложно подобрать промпт, но когда получается, то модель выдает годноту.

🟡Github: https://github.com/FunAudioLLM/ThinkSound
🟡Демо: https://thinksound-project.github.io/
🟡Статья: https://arxiv.org/pdf/2506.21448
🟡Проект: https://ThinkSound-Demo.github.io

@ai_machinelearning_big_data

#python #videotosound