383K subscribers
4.46K photos
860 videos
17 files
4.89K links
Погружаемся в машинное обучение и Data Science

Показываем как запускать любые LLm на пальцах.

По всем вопросам - @haarrp

@itchannels_telegram -🔥best channels

Реестр РКН: clck.ru/3Fmqri
Download Telegram
Media is too big
VIEW IN TELEGRAM
✔️ Anthropic покупает создателей скоростного JavaScript-рантайма.

Компания объявила о приобретении Bun — популярного инструментария для запуска и сборки JavaScript-приложений. Технологии и команда стартапа станут фундаментом для дальнейшего масштабирования платформы Claude Code.

Bun, основанный Джаредом Самнером в 2021 году, завоевал популярность как экстремально быстрая альтернатива Node.js, объединяющая в себе рантайм, пакетный менеджер, бандлер и тестовый раннер.

Bun останется опенсорсным проектом под лицензией MIT. Anthropic обещает продолжить инвестировать в инструмент, сохраняя его статус независимого и универсального решения для JS/TS-экосистемы.
anthropic.com

✔️ AWS представила 3-нм чипы Trainium3 и серверы UltraServer.

Это третье поколение тензорных процессоров Amazon. Trainium3, изготовленный по 3-нм техпроцессу, показывает буст по производительности до 4.4x и энергоэффективности в 4 раза по сравнению с Trainium 2. Архитектура чипа поддерживает новые форматы данных MXFP8 и MXFP4.

UltraServer - это вычислительный узел, объединяющий 144 чипа с общим объемом памяти 20.7 ТБ HBM3e и агрегированной пропускной способностью 706 ТБ/с. Такие серверы можно объединять в кластеры EC2 UltraClusters масштабом более 1 млн. чипов.

Также AWS потизерила будущий Trainium 4: следующее поколение чипов получит совместимость с GPU NVIDIA через шину NVLink Fusion.
aws.amazon.com

✔️ vLLM-Omni: расширение экосистемы vLLM.

Команда vLLM анонсировала релиз vLLM-Omni, расширения, созданного для адаптации инфраструктуры под omni-модели, которые могут бесшовно работать с текстом, изображениями, видео и аудио в рамках одного процесса.

Архитектура vLLM-Omni предлагает полностью переработанный поток данных. Система использует дезагрегированный пайплайн, объединяющий 3 этапа: мультимодальные энкодеры, логическое ядро на базе vLLM и генераторы.

vLLM-Omni может эффективно оркестрировать сложные гетерогенные рабочие процессы и параллельно выполнять вычисления. Фреймворк сохраняет простоту внедрения, поддерживая полную совместимость с OpenAI API и Hugging Face.
blog.vllm.ai

✔️ SGLang получил поддержку NVIDIA Model Optimizer.

Важное обновление SGLang, которое кардинально упрощает работу ML-инженеров, позволяя проводить квантование и деплой моделей внутри одной экосистемы без использования сторонних утилит и сложных пайплайнов.

Теперь разработчики могут напрямую через API конвертировать модели в форматы NVFP4, MXFP4, FP8 и сразу запускать их в продакшн. Тесты на архитектуре NVIDIA Blackwell показали, что использование квантования NVFP4 через SGLang удваивает пропускную способность по сравнению с базовым FP8.
lmsys.org

✔️ Artificial Analysis запустила индекс открытости ИИ-моделей.

Openness Index — новый стандарт оценки ИИ, который отделяет настоящий опен-сорс от моделей, которые лишь притворяются открытыми. Рейтинг анализирует проекты по 2 направлениям: доступность весов и прозрачность процесса разработки (методология и датасеты для пре- и пост-трейна).

Верхние строчки рейтинга заняли китайские разработки. Среди коммерческих решений хороший результат показала Nemotron Nano 9B v2 (67 баллов), а вот полностью закрытые проприетарные модели ожидаемо остались на дне рейтинга с оценками в 1–5 баллов. Лидером списка стала модель OLMo с показателем 89.

Индекс наглядно подсвечивает проблему термина «open weights»: модели, публикующие только веса без контекста, теряют баллы на прозрачности.
Artificial Analysis в сети Х

@ai_machinelearning_big_data

#news #ai #ml
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥4635👍7🍓6🦄1
🌟 Trinity Nano и Trinity Mini: ответ американских разработчиков на китайское доминирование.

В последний год любой, кто следит за развитием моделей с открытыми весами знает - Китай недостижим.

Qwen и DeepSeek фактически задали стандарт того, как должна выглядеть современная архитектура MoE. В США же большинство компаний занимались лишь доработкой чужих чекпоинтов.

И вот, американская компания Arcee AI собралась Make America Great Again вернуть инициативу и создать семейство открытых моделей, обученных "от и до" в США, весами которых бизнес может владеть по-настоящему.

Компания столкнулась с тем, что корпоративным клиентам нужна "юрисдикционная безопасность" . Специалистов по комплаенсу уже не устраивает ответ "мы дообучили модель неизвестного происхождения". Им нужен полный контроль над пайплайном данных.

Семейство моделей Arcee AI получило имя Trinity. Пока в превью-релиз вошли 2 конфигурации:

🟢Trinity Mini — это обычная ризонинг-модель на 26 млрд. общих и 3 млрд активных параметров, обученная с нуля.

🟢Trinity Nano Preview — это модель чата. Она создана, чтобы быть харизматичной и интересной в общении несмотря на свои скромные 6 млрд. общих и 1 млрд. активных параметров.

И пока мы тестируем Nano и Mini, Arcee AI тренирует флагмана Trinity Large.

Его релиз запланирован на январь 2026 года. Это будет модель на 420 млрд. параметров, из которых 13 млрд. будут активны.

Обе доступные модели, Trinity Nano и Trinity Mini выпущены под лицензией Apache 2.0. Они опубликованы на Hugging Face и поддерживаются llama.cpp, LM Studio и vLLM.

Mini также доступна через OpenRouter по очень привлекательной цене - около 4,5 центов за 1 млн. токенов.


📌Лицензирование: Apache 2.0 License.


🟡Статья
🟡Набор моделей
🟡Demo Trinity Mini


@ai_machinelearning_big_data

#AI #ML #MoE #Trinity #ArceeAi
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
👍4417🔥13🥰5🦄3