🌟 RL-фреймворк для обучения MoE-моделей от создателей Chatbot Arena.

Miles - фреймворк для RL-обучения от команды LMSYS ORG, ориентированный на энтерпрайз-уровень.

Если вы следите за опенсорс разработками, вы наверняка слышали о предшественнике этой системы, проекте slime. Это легкий инструмент, который используют во многих современных пайплайнов пост-трейна. На нем, кстати, запускали GLM-4.6.

Slime доказал, что легковесный дизайн работает, и Miles делает следующий шаг - масштабное обучение архитектур MoE и поддержка тяжелых промышленных нагрузок.

🟡Технические детали.

Miles предлагает то, что называют "True On-Policy". Раньше между тренировкой и инференсом часто возникало расхождение. Теперь же, благодаря инфраструктурному подходу, LMSYS добилась нулевой дивергенции. Это стало возможным благодаря использованию Flash Attention 3, библиотеки DeepGEMM и ядер от Thinking Machines Lab, работающих в связке с torch.compile.

Вторая особенность - в использовании спекулятивного декодирования. Обычно в RL черновая модель замораживается, что мешает ей следовать политике целевой модели. LMSYS добавили онлайн-обучение черновой модели.

Результаты на тестах положительные: ускорение генерации более чем на 25%, особенно на поздних стадиях обучения.

🟡Стабильность.

Для энтерпрайза память - это деньги. В Miles включили механизмы, предотвращающие падение системы при некритичных ошибках OOM и исправили чрезмерное потребление памяти в FSDP.

В дорожной карте проекта обещают поддержку мультимодального обучения, совместимость со SGLang v2 и расширенное спекулятивное декодирование.


🟡Статья
🖥Github


@ai_machinelearning_big_data

#AI #ML #RL #Miles #LMSYS

🌟 LLM Council: на ваши запросы отвечает совет из языковых моделей.

Андрей Карпаты опять выходит на связь опубликовал очередной vibecode проект.

Его идея в том, что вместо того, чтобы задавать вопрос одной LLM, вы можете объединить их в «Совет моделей».

LLM Council - это простое локальное веб-приложение, с интерфейсом как у ChatGPT, но с той разницей, что запрос отправляется через Openrouter нескольким LLM. Полученные ответы перекрестно оцениваются и ранжируются, и, наконец, «модель-председатель совета» формирует окончательный ответ.

Более подробно процесс выглядит так:

🟢Этап 1: Сбор мнений. 
Запрос отправляется всем моделям по отдельности, и их ответы собираются. Ответы каждой модели отображаются в отдельной вкладке, чтобы можно было их посмотреть вручную.

🟢Этап 2: Рецензирование. 
Каждая модель получает ответы других моделей. При этом идентификаторы анонимизированы, чтобы исключить «игру в любимчиков» при оценке чужих результатов. На этом этапе ответы ранжируются их по точности и глубине анализа.

🟢Этап 3: Итоговый ответ. 
Модель-председатель принимает все ответы моделей и компилирует их в единый окончательный ответ.


⚠️ Для использования нужен API-ключ OpenRouter. На платформе есть бесплатные модели


🖥Github


@ai_machinelearning_big_data

#AI #ML #LLMCouncil #Github

⚡️ МТС провела шоу-финал всероссийского ИТ-чемпионата в гибридной реальности.

Более 14 тысяч участников – школьники, студенты и опытные айтишники - боролись за звание лучших в алгоритмическом и робототехническом программировании True Tech Champ, но в финал в Москве выбились только 350 из них.

Заключительный этап прошел в формате шоу-битвы роботов в гибридной реальности:
🟡сложные лабиринты с необычными поверхностями;
🟡парящие платформы;
🟡4 тысячи зрителей в зале;
🟡почти миллион онлайн-наблюдателей.

Первое место и 1 млн рублей в первом треке забрал Максим Гороховский из Москвы. Во втором треке победу одержала команда «Зато по ГОСТу» - 4 млн рублей разделили Андрей и Михаил Семенищевы. Общий призовой фонд составил 10 млн рублей.


📎 Интересный факт: по мировой статистике, 80% победителей подобных олимпиад сегодня работают в крупнейших технологических компаниях или создали собственные бизнесы стоимостью более 100 млн долларов.

«Турниры развивают умение работать под давлением, дисциплину и креативность, а также становятся площадкой для ИТ-комьюнити, где единомышленники общаются и обмениваются опытом. Такой нетворкинг может стать основой для создания перспективных технологических проектов», - прокомментировал генеральный директор МТС Web Services Павел Воронин.