🔥 RenderFormer: как нейросети меняют 3D-рендеринг - Новое Исследование Microsoft Research

RenderFormer — это нейросеть, которая способна полностью заменить традиционный рендеринг (ray tracing, rasterization), используя только машинное обучение.
- Она работает с любыми 3D-сценами, поддерживает глобальное освещение и отображение материалов.

📌 Как это устроено
- Сцена представляется через * tokens* — треугольники с информацией о позиции, нормалях и свойствах материалов.
- Источники света также моделируются треугольниками.
- Используются два трансформера:
1. View-independent — для теней, рассеянного освещения и эффектов, не зависящих от угла обзора.
2. View-dependent — для отражений, бликов и других эффектов, связанных с перспективой.
- Результат работы модели — токены, которые преобразуются в финальное изображение.

📌 Обучение и результаты
- Датасет: Objaverse (сотни тысяч 3D-объектов).
- Обучение проходило в два этапа: сначала низкое разрешение и меньше треугольников, затем — более высокое качество и больше деталей.
- RenderFormer воспроизводит реалистичные тени, отражения и освещённость.

📌 Ограничения и перспективы
- Масштабирование на очень сложные сцены пока вызывает трудности.
- Для работы требуются большие вычислительные мощности.
- Но подход открывает путь к новому поколению технологий: от визуального синтеза и генерации видео до робототехники.

https://www.microsoft.com/en-us/research/blog/renderformer-how-neural-networks-are-reshaping-3d-rendering/

@ai_machinelearning_big_data


#RenderFormer #NeuralRendering #3DGraphics #MicrosoftResearch #Transformers #ComputerVision #GlobalIllumination