VGGT: Visual Geometry Grounded Transformer

Долгие годы создание трехмерных моделей из набора фотографий было уделом сложных и медленных алгоритмов вроде Structure-from-Motion. Этот процесс напоминает многоэтапный конвейер: найти ключевые точки, сопоставить их между кадрами, триангулировать, а затем долго и мучительно оптимизировать геометрию всей сцены.

Инженеры из компании Марка Цукерберга и Оксфордского университета решили, что пришло время отдать всю эту работу одной нейросети. И, кажется, у них получилось.

Их разработка, VGGT (Visual Geometry Grounded Transformer), и это, по сути, первая настоящая фундаментальная модель для 3D-реконструкции.

Она не просто ускоряет старые процессы, а полностью меняет парадигму, превращая сложный многоступенчатый пайплайн в вызов одной функции. Вы просто скармливаете ему от одной до сотен фотографий, а модель за несколько секунд выдает полный набор 3D-атрибутов: точные параметры каждой камеры, карты глубины, плотное облако точек и даже траектории движения точек по всей последовательности изображений.

И все это за один проход, без какой-либо итеративной оптимизации.

Под капотом у VGGT - трансформер на 1.2 миллиарда параметров с механизмом попеременного внимания. Модель то «всматривается» в детали каждого отдельного кадра, то «окидывает взглядом» всю сцену целиком, анализируя связи между разными ракурсами. Это позволяет ей одновременно понимать и локальный контекст, и глобальную геометрию.

Даже в «сыром» виде, без постобработки, VGGT опережает DUSt3R и MASt3R: 0.2 секунды против почти 10 секунд. Но самое интересное начинается, когда на выходные данные VGGT «накладывают» быструю классическую оптимизацию Bundle Adjustment. Этот гибридный подход бьет все рекорды, устанавливая новый стандарт качества в задачах оценки поз камер и реконструкции.

⚠️ На одной H100 с Flash Attention 3 обработка 1 входного изображения занимает 0.04 сек при потреблении VRAM 1.88 ГБ, 10 изображений - 0.14 сек и 3.63 ГБ, 50-ти - всего 1.04 сек при 11.41 Гб, а 200 изображений - 8.57 сек с 40.63 Гб.


📌Лицензирование: CC-BY-NC-4.0 License.


🟡Страница проекта
🟡Модель
🟡Arxiv
🟡Demo
🖥GitHub


@ai_machinelearning_big_data

#AI #ML #Transformer #3DRecon #VGGT

AI21 представила Jamba 3B - компактную модель, которая обошла Qwen 3 4B и IBM Granite 4 Micro по качеству рассуждений.

Более высокая эффективность, в сравнении с AI21 - 2–5× улучшение в производительности по сравнению с конкурентами за счёт меньшего KV-кэша и гибридной архитектуры.

Секрет в архитектуре:
🔹 сочетание Transformer attention и Mamba state-space слоёв.
🔹 Mamba-часть эффективно обрабатывает длинные последовательности без тяжёлых attention-кэшей,
🔹 а Transformer-слои сохраняют способность к сложным рассуждениям.

Результат, модель кушает меньше памяти, выдает высокую скорость и плавно работает даже на ноутбуках, GPU и мобильных устройствах.

📏 Контекст: до 256K токенов.
⚡ Скорость: около 40 токенов/сек даже на длинных контекстах, тогда как другие модели резко замедляются.

На графике “интеллект против скорости” Jamba 3B опережает Gemma 3 4B, Llama 3.2 3B и Granite 4.0 Micro, демонстрируя высший интеллект и более быструю генерацию.

🟢Подробнее: huggingface.co/ai21labs/AI21-Jamba-Reasoning-3B

@ai_machinelearning_big_data


#AI #LLM #Jamba3B #AI21 #Mamba #Transformer #DeepLearning