Нейроредактор в Браузере — это отдельный инструмент, который может создавать и редактировать тексты прямо там с помощью YandexGPT. При его улучшении команда разработки экспериментировала с различными подходами к обучению моделей:
Эксперименты привели к ускорению в 2 раза и среднему улучшению качества на 10% на открытых наборах данных.
В Нейроредакторе расширили поддержку Маркдауна. Исходные модели могли непредсказуемо убрать часть спецсимволов или, наоборот, добавить. Это было исправлено путем восстановления разметки и переобучения модели.
@ai_machinelearning_big_data
#AI #ML #LLM
Please open Telegram to view this post
VIEW IN TELEGRAM
👍19❤7🔥7🗿4🥰1👌1
Vikhr Team — сообщество энтузиастов, занимающихся созданием и развитием русифицированных LLM, выпустили две новые модели, оптимизированные для русского языка в задачах генерации кода, решения математических задач, обобщения, ответов на вопросы и построения логических выводов. Обе модели адаптированы для RAG и могут выступать реранкером на уровне LLM.
В бенчмарке Ru-Arena General, Vikhr-Nemo-12B-Instruct-R-21-09-24 достигла результата в 79.8, уступая только двум моделям семейства GPT-4 .
Для файнтюна базовых моделей Mistral-Nemo-12B и Llama-3.1-8B, Vikhr Team разработали уникальный метод выравнивания — Simple Margin Preference Optimization (SMPO).
Он представляет собой микс из техник, заимствованных из CRLFT, IPO и SimPO, с добавлением своей функции потерь. Метод опубликован в репозитории на GitHub в комплекте тулкита скриптов и конфигураций, использовавшихся для обучения представленных моделей.
В процессе обучения моделей использовался кастомный SFT-датасет GrandMaster-PRO-MAX, собранный Vikhr Team самостоятельно, для следования самым разным наборам инструкций на разных языках (в основном на русском) и отвечать также - на русском языке. В него была включена CoT-способность.
@ai_machinelearning_big_data
#AI #ML #LLM #Vikhr
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥43👍18❤8😁1
PDLP (PDHG для LP) - это метод быстрого решения задач линейного программирования с высокой точностью, что важно для многих областей применения - от машинного обучения до оптимизации бизнес-процессов.
PDLP ориентирован на решение крупномасштабных задач, где традиционные методы, такие как симплекс-метод и метод внутренних точек, становятся неэффективными из-за необходимости факторизации матриц.
В основе PDLP лежит принцип primaldual hybrid gradient (PDHG), примененный к задаче седловой точки, эквивалентной исходной задаче ЛП. Для повышения эффективности PDHG в PDLP реализован ряд усовершенствований:
Алгоритм PDLP начинает работу с предварительного решения и диагонального предобуславливания. Предварительное решение упрощает задачу путем выявления и устранения избыточных ограничений, переменных и других упрощений.
Диагональное предобуславливание масштабирует матрицу ограничений для улучшения сходимости алгоритма. После выполнения этих операций запускается основной итерационный процесс PDHG с адаптивным выбором шага и перезапусками.
Для оценки эффективности алгоритма PDLP использовались три набора данных: MIP Relaxations, LP benchmark и Netlib. Результаты сравнивались с baseline PDHG и с другими методами первого порядка: SCS (в прямом и матрично-свободном режимах) и улучшенной реализацией метода экстраградиента.
Эксперименты показали, что PDLP значительно превосходит baseline PDHG по скорости решения задач и количеству решенных задач. При этом PDLP на некоторых задачах показывает производительность, сопоставимую с коммерческим решателем линейного программирования Gurobi.
Важным результатом является успешное применение PDLP для решения задачи ранжирования веб-страниц PageRank, где традиционные методы не справляются из-за больших размеров задачи.
Тестирование проводилось на случайных графах типа Barabási-Albert с макс. количеством узлов до 10^7.
PDLP успешно решил задачи PageRank за 5.4 часа (граф 10^7 узлов с точностью 10^-8), в то время как Gurobi столкнулся с ошибками нехватки памяти.
# set up the necessary packages:
$ julia --project -e 'import Pkg; Pkg.instantiate()'
# run solve.jl script
$ julia --project scripts/solve.jl \
--instance_path=INSTANCE_PATH --output_directory=OUTPUT_DIRECTORY \
--tolerance=TOLERANCE --time_sec_limit=TIME_SEC_LIMIT
# The results are written to JSON and text files
# in is the working directory.
@ai_machinelearning_big_data
#AI #ML #LP #PDLP
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
❤24👍8🔥5🥰2
Новостной дайджест
✔️ Cloudflare позволит сайтам взимать плату с AI-ботов за скрапинг.
В следующем году Cloudflare планирует запустить торговую площадку, на которой владельцы веб-сайтов смогут продавать разработчикам моделей ИИ доступ к своему контенту для обучения. Это решение является частью стратегии компании, направленной на предоставление владельцам сайтов большего контроля над ИИ-ботами.
Новая торговая площадка предложит различные варианты оплаты: от фиксированной платы до модели, основанной на количестве запросов.
Многие разработчики ИИ используют контент небольших веб-сайтов без соответствующей компенсации, что негативно отражается на бизнес-моделях этих сайтов, а также приводит к увеличению нагрузки на серверы и росту расходов.
techcrunch.com
✔️ AnySkin - универсальный сменный тактильный датчик для роботов.
AnySkin - это новый сенсорный датчик для роботов, который легко собирается, совместим с различными манипуляторами и может быть использован на разных типах поверхностей.
Датчик работает за счет измерения искажений магнитного поля, создаваемого намагниченными железными частицами на сенсорной поверхности.
Благодаря гибкой и легко заменяемой конструкции AnySkin решает проблему долговечности и универсальности, которая долгое время препятствовала развитию эффективных тактильных сенсоров для роботов.
any-skin.github.io
✔️ В Китае открылась первая в мире больница с AI - врачами.
«Agent Hospital» - детище Tsinghua University открылся в Пекине. В клинике "работают" 14 ИИ-врачей и 4 виртуальные медсестры. Agent Hospital может обслуживать 10 000 пациентов всего за несколько дней, в то время как у врачей-людей на это ушло бы до двух лет.
Интеграция ИИ в медицинское обслуживание должна повысить доступность, скорость и оперативность реагирования на потребности пациентов.
С ростом спроса на медицинские услуги и увеличением нагрузки на медицинских работников, решения по типу такой клиники может снизить нагрузку на врачей и медсестер, предоставляя при этом быстрый и точный уход за пациентами.
thedailycpec.com
✔️ Intel Gaudi 3 выйдет на следующей неделе.
Intel готовится выпустить на следующей неделе свой новый ИИ-ускоритель Gaudi 3, который, по заявлению компании, превосходит по энергоэффективности своего предшественника более чем в два раза и способен запускать ИИ-модели в 1,5 раза быстрее, чем GPU Nvidia H100.
Ускоритель был протестирован на Llama от Meta и Falcon от TII, и продемонстрировал способность эффективно обучать и развертывать языковые и мультимодальные модели.
В 2025 году Intel планирует выпустить Falcon Shores – преемника Gaudi 3, который объединит ИИ-возможности Gaudi с мощными GPU Intel в одном корпусе.
analyticsindiamag.com
✔️ В Калифорнии принят закон, защищающий наследие умерших артистов.
Сенат Калифорнии принял законопроект №1836, который запрещает использование "цифровых копий" умерших артистов без согласия их наследников.
Закон распространяется на фильмы, телепередачи, видеоигры, аудиокниги, звукозаписи и другие медиа. Эта инициатива стала результатом протестов профсоюза актеров SAG-AFTRA против использования ИИ без контроля со стороны артистов.
Закон определяет «цифровую копию» как созданное компьютером, очень реалистичное электронное медиа, которое легко идентифицируется как голос или образ человека.
Новая правовая мера направлена на то, чтобы помочь наследникам умерших артистов контролировать использование их наследия. Ожидается, что закон в ближайшее время подпишет губернатор Гэвин Ньюсом.
miamarket.it
@ai_machinelearning_big_data
#news #ai #ml
В следующем году Cloudflare планирует запустить торговую площадку, на которой владельцы веб-сайтов смогут продавать разработчикам моделей ИИ доступ к своему контенту для обучения. Это решение является частью стратегии компании, направленной на предоставление владельцам сайтов большего контроля над ИИ-ботами.
Новая торговая площадка предложит различные варианты оплаты: от фиксированной платы до модели, основанной на количестве запросов.
Многие разработчики ИИ используют контент небольших веб-сайтов без соответствующей компенсации, что негативно отражается на бизнес-моделях этих сайтов, а также приводит к увеличению нагрузки на серверы и росту расходов.
techcrunch.com
AnySkin - это новый сенсорный датчик для роботов, который легко собирается, совместим с различными манипуляторами и может быть использован на разных типах поверхностей.
Датчик работает за счет измерения искажений магнитного поля, создаваемого намагниченными железными частицами на сенсорной поверхности.
Благодаря гибкой и легко заменяемой конструкции AnySkin решает проблему долговечности и универсальности, которая долгое время препятствовала развитию эффективных тактильных сенсоров для роботов.
any-skin.github.io
«Agent Hospital» - детище Tsinghua University открылся в Пекине. В клинике "работают" 14 ИИ-врачей и 4 виртуальные медсестры. Agent Hospital может обслуживать 10 000 пациентов всего за несколько дней, в то время как у врачей-людей на это ушло бы до двух лет.
Интеграция ИИ в медицинское обслуживание должна повысить доступность, скорость и оперативность реагирования на потребности пациентов.
С ростом спроса на медицинские услуги и увеличением нагрузки на медицинских работников, решения по типу такой клиники может снизить нагрузку на врачей и медсестер, предоставляя при этом быстрый и точный уход за пациентами.
thedailycpec.com
Intel готовится выпустить на следующей неделе свой новый ИИ-ускоритель Gaudi 3, который, по заявлению компании, превосходит по энергоэффективности своего предшественника более чем в два раза и способен запускать ИИ-модели в 1,5 раза быстрее, чем GPU Nvidia H100.
Ускоритель был протестирован на Llama от Meta и Falcon от TII, и продемонстрировал способность эффективно обучать и развертывать языковые и мультимодальные модели.
В 2025 году Intel планирует выпустить Falcon Shores – преемника Gaudi 3, который объединит ИИ-возможности Gaudi с мощными GPU Intel в одном корпусе.
analyticsindiamag.com
Сенат Калифорнии принял законопроект №1836, который запрещает использование "цифровых копий" умерших артистов без согласия их наследников.
Закон распространяется на фильмы, телепередачи, видеоигры, аудиокниги, звукозаписи и другие медиа. Эта инициатива стала результатом протестов профсоюза актеров SAG-AFTRA против использования ИИ без контроля со стороны артистов.
Закон определяет «цифровую копию» как созданное компьютером, очень реалистичное электронное медиа, которое легко идентифицируется как голос или образ человека.
Новая правовая мера направлена на то, чтобы помочь наследникам умерших артистов контролировать использование их наследия. Ожидается, что закон в ближайшее время подпишет губернатор Гэвин Ньюсом.
miamarket.it
@ai_machinelearning_big_data
#news #ai #ml
Please open Telegram to view this post
VIEW IN TELEGRAM
1❤21👍15🔥5🥰1
Большой, подробный и лаконичный туториал в 2-х частях по оптимизации матричного умножения на микроархитектуре Hopper (H100) с использованием библиотеки CUTLASS.
CUTLASS - это набор реализаций алгоритмов линейной алгебры (шаблонов) для использования на CUDA в задачах глубокого обучения, инженерных расчетах и научных исследованиях.
В этой части подробно рассматривается концепция «ядерных матриц» и «матричных дескрипторов», которые нужны для эффективной работы с WGMMA.
В конце туториала кратко описывается реализация конвейеризации в GEMM-ядрах для архитектуры Ampere.
@ai_machinelearning_big_data
#AI #ML #CUTLASS #Tutorial
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
👍21❤5🔥4🎉3
Инженеры NASA разработали OnAIR, который делает космические аппараты более автономными и отказоустойчивыми. OnAIR — это программный комплекс с открытым исходным кодом на платформе GitHub для разработки и развертывания алгоритмов ИИ.
Прототип OnAIR был протестирован в миссии NASA NAMASTE, где дроны измеряли выбросы метана в районах вечной мерзлоты на Аляске. Он позволил дронам оптимизировать сбор данных, обрабатывая информацию с датчиков и корректируя маршрут в реальном времени.
OnAIR также был протестирован на Международной космической станции (МКС) с использованием платформы SpaceCube.
Инженеры NASA интегрировали его с основной системой управления SpaceCube, преодолев технические сложности - ограниченная вычислительная мощность и адаптация ПО к архитектуре процессора.
spacenews.com
Разработчики готовится представить на этой неделе голосовой чат-бот с голосами известных актеров, включая Джуди Денч, Кристен Белл и Джона Сину. Пользователи смогут выбирать голос знаменитости для взаимодействия с цифровым помощником Meta, аналогичным ChatGPT.
Запуск функции запланирован в США и других англоязычных странах и будет доступен в приложениях компании, включая Facebook, Instagram и WhatsApp.
В прошлом году Meta уже экспериментировала с добавлением элементов звездности в чат-бот, запустив текстовые версии с образами Пэрис Хилтон и Снуп Дога, но они не получили большой популярности.
reuters.com
Проект на Github представляет собой программную реализацию метода "Deep Convolutional Networks for Supervised Morpheme Segmentation of Russian Language" для проведения морфемного анализа и сегментации слов русского языка.
Обученная модель проекта способна сегментировать слова на приставки, корни, соединительные гласные, дефисы, суффиксы, постфиксы и окончания.
Проект, помимо инференса, укомплектован скриптами для самостоятельной тренировки и валидации модели.
ruMorpheme
Customer Engagement Suite (CES) с Google AI — комплексное решение, которое сочетает в себе функции ИИ (Gemini Flash 1.5) для контакт-центров. CES формирует целостный и последовательный подход к обслуживанию клиентов с широким спектром сторонних решений: телефонию, CRM и HR.
Customer Engagement Suite включает в себя : Conversational Agents для создания виртуальных агентов с детерминированной (основанной на правилах) и GenAI функциональностью, Agent Assist для оказания поддержки в реальном времени, Conversational Insights для анализа данных о взаимодействии с клиентами и выявления областей для улучшения.
Платформа поддерживает многоканальное взаимодействие через веб-интерфейсы, мобильные устройства, голосовые каналы, электронную почту и приложения, и работает с текстовой, голосовой и визуальной информацией.
cloud.google.com
@ai_machinelearning_big_data
#news #ai #ml
Please open Telegram to view this post
VIEW IN TELEGRAM
👍12🔥10❤8🤣2
Llama 3.1-Nemotron-51B-Instruct основана на Llama 3.1-70B и предназначена для NLP-задач генерации текста, чата, рассуждения и обобщения. Мультиязычность наследована от родительская модель. Llama 3.1-Nemotron-51B-Instruct также умеет обрабатывать языки программирования.
Архитектура модели построена с использованием методологии Neural Architecture Search (NAS) и блочной дистилляции.
NAS позволяет отобрать наиболее эффективные блоки трансформера для каждого слоя модели, а блочная дистилляция обеспечивает перенос знаний от исходной модели Llama 3.1-70B к более компактной Llama 3.1-Nemotron-51B-Instruct.
Полученная архитектура имеет нерегулярную структуру блоков с уменьшенным количеством операций внимания и полносвязных слоев, что существенно снижает вычислительную сложность и объем используемой памяти.
В процессе обучения модели использовались бенчмаркиMT-Bench и MMLU. Тестирование проводилось на задачах генерации текста, перевода и ответов на вопросы.
Результаты показали, что инференс Llama 3.1-Nemotron-51B-Instruct в 2.2 раза быстрее "родительской" модели (Llama 3.1-70B) при сохранении практически той же точности.
Благодаря сниженным требованиям к памяти, модель может обрабатывать в 4 раза большие объемы данных на одном GPU.
import torch
import transformers
model_id = "nvidia/Llama-3_1-Nemotron-51B-Instruct"
model_kwargs = {"torch_dtype": torch.bfloat16, "trust_remote_code": True, "device_map": "auto"}
tokenizer = transformers.AutoTokenizer.from_pretrained(model_id)
tokenizer.pad_token_id = tokenizer.eos_token_id
pipeline = transformers.pipeline(
"text-generation",
model=model_id,
tokenizer=tokenizer,
max_new_tokens=20,
**model_kwargs
)
print(pipeline([{"role": "user", "content": "Hey how are you?"}]))
@ai_machinelearning_big_data
#AI #ML #LLM #Nemotron
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
👍24❤8🔥4
Обучение LLM требует огромных вычислительных ресурсов. Поскольку размеры моделей исчисляются миллиардами параметров, специализированные методы распараллеливания необходимы для того, чтобы сделать обучение выполнимым.
В статье "Исследование параллельных стратегий с Jax" подробно рассматривается реализация некоторых стратегий масштабирования в Jax - фреймворке Python, предназначенном для высокопроизводительных численных вычислений с поддержкой ускорителей GPU и TPU.
Стратегии, описанные в туториале с примерами кода и иллюстрациями:
@ai_machinelearning_big_data
#AI #ML #LLM #JAX #Tutorial
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
👍13❤6🔥3🎉2🤝1
Только что были опубликованы набор моделей семейства Lllama 3.2.
Семейство Llama 3.2 разработано для решения мультимодальных задач: понимание документов с графиками и диаграммами, создание аннотаций к изображениям, локализация объектов на изображениях по текстовому описанию.
Список моделей релиза:
Малые модели (1B и 3B) созданы методом обрезки и дистилляции знаний на основе модели Llama-3.1-8B. Они оптимизированы для работы на мобильных устройствах и предназначены для обобщения текста, обработка инструкций и генерации текста.
Модели были дополнительно настроены для обработки контекста длиной до 128 тыс. токенов. Эти модели протестированы на оборудовании Qualcomm и MediaTek и оптимизированы для процессоров Arm.
Архитектура больших моделей (11B и 90B) основана на предобученных текстовых моделях Llama 3.1, дополненных адаптерами и энкодерами для обработки изображений.
Результаты тестирования показали, что vision-модели Llama 3.2 сопоставимы с Claude 3 Haiku и GPT4o-mini, в задачах распознавания изображений и визуального понимания.
Модель 3B превосходит модели Gemma 2 2.6B и Phi 3.5-mini в обработке инструкций, обобщения, генерации текста и использования инструментов.
Развертывание на устройствах осуществляется с помощью PyTorch ExecuTorch, а распространение на одном узле - с помощью Ollama. В родительском репозитории дополнительно опубликованы клиентские SDK на NodeJS, Python, Swift, Kotlin.
Все модели Llama 3.2 доступными для скачивания на llama.com и Hugging Face, а также на партнерских платформах : AMD, AWS, Databricks, Dell, Google Cloud, Groq, IBM, Intel, Microsoft Azure, NVIDIA, Oracle Cloud, Snowflake и др.
@ai_machinelearning_big_data
#AI #ML #LLM #Llama
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
👍29❤8🔥8❤🔥3🥰1