🌟 rStar: Концепция взаимно рассуждающих языковых моделей.

rStar - метод, который помогает улучшить способности языковых моделей рассуждать и решать задачи. При этом не нужно переобучать модель или использовать более мощные модели. rStar делит процесс рассуждения на два этапа – самообучение с генерацией и проверка (дискриминация) полученной генерации.

На первом этапе модель использует алгоритм поиска по дереву Монте-Карло (MCTS). MCTS помогает модели построить разные варианты решения задачи, как будто она рассуждает, как человек. На втором этапе другая модель проверяет каждый вариант решения, который построила первая модель. Если обе модели согласны с каким-то вариантом решения, значит, он считается правильным.

Для того, чтобы в этом состязательном процессе генерации и дискриминации модели не ушли в бесконечный цикл, в rStar применяется способ достижения консенсуса, который называется «взаимная согласованность», а чтобы расширить траектории рассуждения, rStar использует набор дополнительных действий, которые имитируют мышление человека: разбивка на подзадачи, переформулировка задачи, прямое или последовательное решение и т.д

Эксперименты на пяти SLM показали, что rStar может успешно справляться с задачами рассуждения: GSM8K, GSM-Hard, MATH, SVAMP и StrategyQA.

Результаты тестов показали, что rStar повышает точность решения GSM8K с 12,51 % до 63,91 % для LLaMA2-7B, с 36,46 % до 81,88 % для Mistral-7B, с 74,53 % до 91,13 % для LLaMA3-8B-Instruct.

Программная реализация метода выполняется на условном датасете (MATH, GSM8K, GSM8KHARD, STG, SVAMP, MULTIARITH) запуском ролей генерации и дискриминации двух моделей.


📌Лицензирование : MIT License.


🟡Arxiv
🖥Github


@ai_machinelearning_big_data

#AI #ML #LLM #rSar