Microsoft Research представила KBLaM - архитектуру, которая решает ключевую проблему LLM — добавление новых внешних знаний. В отличие от традиционных методов файнтюна и RAG, KBLaM кодирует новые для LLM структурированные данные в виде векторных пар «ключ-значение», встраивая их напрямую в слои внимания модели. Это позволяет избежать дорогостоящего дообучения и построение дополнительных модулей, сохраняя линейную масштабируемость даже для баз знаний в 10 000 триплетов.
В KBLaM триплет — это структурированный элемент знания, состоящий из трех компонентов: сущности, свойства и значения. Например, в утверждении «Москва — столица России» сущностью выступает «Москва», свойством — «столица», а значением — «Россия».
В основе KBLaM - «прямоугольный механизм внимания»: языковые токены взаимодействуют с токенами знаний, но не наоборот. Такая структура сокращает вычислительные затраты до линейных, позволяя обрабатывать эквивалент 200 тыс. токенов на одном GPU. При этом модель динамически обновляет знания без пересчёта всей базы — достаточно изменить один триплет.
Эксперименты с KBLaM показали, что он не только эффективен, но и прозрачен: веса внимания визуализируют, какие факты использует модель. Например, при запросе о медицинском диагнозе высокие оценки внимания к соответствующим триплетам снижают риск «галлюцинаций», при этом, если ответ на запрос лежит вне базы знаний, модель отказывается на него отвечать.
Как заявляют авторы, KBLaM — не просто шаг к умным LLM, а мост между обученными на базовых знаниях моделями и реальным миром, где знания постоянно обновляются.
В опубликованном на Github коде для применения KBLaM поддерживаются модели с HF:
и эмбединги для генерации базы знаний:
⚠️ Чтобы добавить поддержку других моделей, необходимо отредактировать скрипты обработки моделей и включить в них адаптер, подобный
llama_model.py
в src/kblam/models
.@ai_machinelearning_big_data
#AI #ML #LLM #MicrosoftResearch #KBLaM
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥82👍18❤17🤝2
RenderFormer — это нейросеть, которая способна полностью заменить традиционный рендеринг (ray tracing, rasterization), используя только машинное обучение.
- Она работает с любыми 3D-сценами, поддерживает глобальное освещение и отображение материалов.
- Сцена представляется через * tokens* — треугольники с информацией о позиции, нормалях и свойствах материалов.
- Источники света также моделируются треугольниками.
- Используются два трансформера:
1. View-independent — для теней, рассеянного освещения и эффектов, не зависящих от угла обзора.
2. View-dependent — для отражений, бликов и других эффектов, связанных с перспективой.
- Результат работы модели — токены, которые преобразуются в финальное изображение.
📌 Обучение и результаты
- Датасет: Objaverse (сотни тысяч 3D-объектов).
- Обучение проходило в два этапа: сначала низкое разрешение и меньше треугольников, затем — более высокое качество и больше деталей.
- RenderFormer воспроизводит реалистичные тени, отражения и освещённость.
📌 Ограничения и перспективы
- Масштабирование на очень сложные сцены пока вызывает трудности.
- Для работы требуются большие вычислительные мощности.
- Но подход открывает путь к новому поколению технологий: от визуального синтеза и генерации видео до робототехники.
https://www.microsoft.com/en-us/research/blog/renderformer-how-neural-networks-are-reshaping-3d-rendering/
@ai_machinelearning_big_data
#RenderFormer #NeuralRendering #3DGraphics #MicrosoftResearch #Transformers #ComputerVision #GlobalIllumination
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
👍63❤12🔥11