🎙️ NVIDIA выпустили Canary-1B v2 — открытую модель для распознавания и перевода речи, которая работает с 25 европейскими языками.

Что она умеет:
- 📝 Точное ASR (распознавание речи) и AST (перевод речи) между английским и 24 другими языками.
- Автоматическая пунктуация, капитализация и точные таймстампы до слова.
- Поддержка русского, французского, немецкого, испанского и многих других языков.

Чем интересна
- До 10× быстрее инференс, чем у моделей в 3 раза больше.
- Уже показывает state-of-the-art точность среди открытых моделей на Hugging Face.
- Лицензия CC-BY-4.0 — можно свободно использовать в проектах.

Под капотом:
- Архитектура: FastConformer-энкодер + Transformer-декодер (~978M параметров).
- Форматы: .wav и .flac, моно 16 кГц.
- Легко интегрируется через NVIDIA NeMo или прямо с Hugging Face.

Где пригодится:
🟢 голосовые ассистенты
🟢 субтитры и перевод видео
🟢 чат-боты с речевым вводом
🟢 real-time анализ речи

Всего ~978M параметров → легче, быстрее и дешевле в использовании, чем большие модели конкурентов.

🟠 Попробовать можно здесь: https://huggingface.co/nvidia/canary-1b-v2
🟠SET: https://huggingface.co/datasets/nvidia/Granary
🟠PARAKEET: https://huggingface.co/nvidia/parakeet-tdt-0.6b-v3

@ai_machinelearning_big_data


#AI #NVIDIA #SpeechRecognition #ASR #AST #Multilingual #MachineLearning #DeepLearning

🚀 Google выпустила EmbeddingGemma: лёгкую open-source модель для текстовых эмбеддингов.

Модельку можно запускать прямо на телефоне или ноутбуке, без интернета и с сохранением приватности.

EmbeddingGemma - новый лидер среди открытых многоязычных моделей <500M на MTEB

🟢Что внутри:
• 308M параметров, но по качеству обгоняет все модели до 500M (по MTEB)
• Работает очень быстро: менее 15 мс на EdgeTPU (256 токенов)
• Понимает 100+ языков
• Размер эмбеддингов можно уменьшать (768 → 128) без потери качества
• Контекст до 2000 токенов
• Уже доступна в Sentence-Transformers, LangChain, llama.cpp, transformers.js, Weaviate и др.

🟠Blog: https://developers.googleblog.com/en/introducing-embeddinggemma/
🟠Models: https://huggingface.co/collections/google/embeddinggemma-68b9ae3a72a82f0562a80dc4

@ai_machinelearning_big_data

#AI #Google #Gemma #EmbeddingGemma #ML #DeepLearning #LLM #NLP

🚀 Релиз: Qwen3-Next-80B-A3B - эффективная модель заточенная на работа работу с очень длинным контекстом!

🔹 80B параметров, но активируется только 3B на токен → тренировка и инференс 10x дешевле и быстрее, чем у Qwen3-32B (особенно при 32K+ контексте).
🔹 Гибридная архитектура: Gated DeltaNet + Gated Attention → сочетает скорость и точность.
🔹 Ultra-sparse MoE: 512 экспертов, маршрутизируется 10 + 1 общий.
🔹 Multi-Token Prediction → ускоренное speculative decoding.
🔹 По производительности обходит Qwen3-32B и приближается к Qwen3-235B в рассуждениях и long-context задачах.

🟢Qwen3-Next-80B-A3B-Instruct показатели почти на уровне 235B flagship.
🟢 Qwen3-Next-80B-A3B-Thinking превосходит Gemini-2.5-Flash-Thinking.

▪ Попробовать: https://chat.qwen.ai
▪ Анонс: https://qwen.ai/blog?id=4074cca80393150c248e508aa62983f9cb7d27cd&from=research.latest-advancements-list
▪ HuggingFace: https://huggingface.co/collections/Qwen/qwen3-next-68c25fd6838e585db8eeea9d
▪ ModelScope: https://modelscope.cn/collections/Qwen3-Next-c314f23bd0264a
▪ Kaggle: https://kaggle.com/models/qwen-lm/qwen3-next-80b
▪ Alibaba Cloud API: https://alibabacloud.com/help/en/model-studio/models#c5414da58bjgj

@ai_machinelearning_big_data

#AI #LLM #Qwen #DeepLearning #MoE #EfficientModels #LongContext #Reasonin

⚡️ LoRA почти так же хороша, как полный fine-tuning, но в разы дешевле

Thinking Machines выпустили новое исследование, которое смотрит на LoRA под другим углом.

Главная идея исследования: LoRA может обучаться почти как полный fine-tuning, но при этом быть проще, дешевле и предсказуемее.

Они доказали это экспериментально: взяли одинаковую модель, прогнали обучение двумя способами: полным fine-tuning и LoRA - и сравнили кривые потерь (loss vs steps).

Процесс:
- Дали чёткий рецепт, а не случайные гипотезы.
- Показали, что процесс можно повторять с одинаковым результатом.
- Выяснили, что если адаптеру не хватает памяти, модель не ломается, а просто замедляется.

Результат показал, что при правильных настройках LoRA движется по той же траектории, что и FullFT. То есть качество модели и динамика обучения совпадают, пока у адаптера хватает параметров. Когда лимит достигается, у LoRA кривая не «обрывается», а просто идёт дальше медленнее.

Именно за счёт этого LoRA демонстрирует предсказуемое и воспроизводимое поведение, а не случайные провалы, которые часто происходят при подборе гиперпараметров «на глаз».

✔️ Правила от команды Thinking Machines
1. Ставить LoRA на все слои, а не только на attention.
2. Использовать ~10× больший learning rate, чем обычно.
3. Не раздувать batch size - иначе падает стабильность.

✔️ Что в итоге:
- Кривые обучения LoRA почти совпадают с full fine-tuning.
- Даже в упоре в лимит адаптера модель ведёт себя плавно.
- Вычислений требуется на треть меньше, чем у FullFT.

LoRA может стать инструментом для надёжного и дешёвого пост-трейнинга.

Для Thinking Machines это шаг к миссии: они уверены, что непредсказуемость моделей - это не фича, а баг, который можно исправить.

Если убрать случайность и сделать выходы стабильными - ИИ станет безопасным даже для критически важных процессов.

📌 Подробнее

@ai_machinelearning_big_data


#LoRA #FineTuning #AI #MachineLearning #DeepLearning #LLM

📘 Learning Deep Representations of Data Distributions — новая бесплатная книга от исследователей UC Berkeley (Sam Buchanan, Druv Pai, Peng Wang, Yi Ma).

Главная идея книги - показать, почему и как глубокие нейросети учатся извлекать сжатые, информативные представления сложных данных, и что у них внутри:

💡В книге вы найдите:

🟠простое объяснение фундаментальных принципов архитектур нейросетей через оптимизацию и теорию информации.
🟠как модели формируют инвариантные и устойчивые представления
🟠связь с PCA, автоэнкодерами и дифференцируемыми отображениями — то есть, как нейросети по сути обобщают классические методы сжатия данных и учатся находить их оптимальное представление
🟠взгляд на обучение через энергию, энтропию и структуру данных
🟠свежие идеи для понимания LLM и генеративных моделей

📖 Читать онлайн: ma-lab-berkeley.github.io/deep-representation-learning-book

🖥 Github: https://github.com/Ma-Lab-Berkeley/deep-representation-learning-book

@ai_machinelearning_big_data

#book #deeplearning #representationlearning #ucberkeley #machinelearning

🧩 Новая архитектура нейросетей от Samsung: Tiny Recursive Model (TRM) - обошла DeepSeek-R1, Gemini 2.5 Pro и o3-mini в задачах рассуждения ARC-AGI 1 и ARC-AGI 2.

✔️ Размер модели - всего 7 миллионов параметров и около 1000 обучающих примеров.

Это меньше в 10 000 раз, чем у современных LLM, но результат лучше.

Как работает TRM:

1️⃣ Черновой ответ: модель сразу формирует быстрый набросок решения, а не пишет его по словам.
2️⃣ Скрачпад: создаёт внутреннее пространство для логики и промежуточных рассуждений.
3️⃣ Самокритика: многократно (6 раз) проверяет свои рассуждения, уточняя и исправляя ошибки.
4️⃣ Переписывание: на основе улучшённой логики создаёт новую, более точную версию ответа.
5️⃣ Цикличность: повторяет процесс до 16 раз, пока не достигнет уверенного, логически цельного решения.

💡 Чем интересна модель:

- Меньше затрат на вычисления, а результат выше; высокая эффективность при низких издержках.
- Доказательство того, что собственная логика и архитектура могут быть сильнее простого размера модели. Можно коротко описать ее: «думай, прежде чем действовать».
- Мощные рассуждающие системы становятся доступными даже без огромных кластеров, модель можно запускать на ограниченных ресурсах.

Это не просто «компактаная LLM», это другой способ мышления: модель, которая действительно *думает, прежде чем говорить*.

🟠Статья: https://arxiv.org/abs/2510.04871v1
🟠Github: https://github.com/SamsungSAILMontreal/TinyRecursiveModels

@ai_machinelearning_big_data

#TinyRecursiveModels #TRM #DeepLearning #NeuralNetworks

AI21 представила Jamba 3B - компактную модель, которая обошла Qwen 3 4B и IBM Granite 4 Micro по качеству рассуждений.

Более высокая эффективность, в сравнении с AI21 - 2–5× улучшение в производительности по сравнению с конкурентами за счёт меньшего KV-кэша и гибридной архитектуры.

Секрет в архитектуре:
🔹 сочетание Transformer attention и Mamba state-space слоёв.
🔹 Mamba-часть эффективно обрабатывает длинные последовательности без тяжёлых attention-кэшей,
🔹 а Transformer-слои сохраняют способность к сложным рассуждениям.

Результат, модель кушает меньше памяти, выдает высокую скорость и плавно работает даже на ноутбуках, GPU и мобильных устройствах.

📏 Контекст: до 256K токенов.
⚡ Скорость: около 40 токенов/сек даже на длинных контекстах, тогда как другие модели резко замедляются.

На графике “интеллект против скорости” Jamba 3B опережает Gemma 3 4B, Llama 3.2 3B и Granite 4.0 Micro, демонстрируя высший интеллект и более быструю генерацию.

🟢Подробнее: huggingface.co/ai21labs/AI21-Jamba-Reasoning-3B

@ai_machinelearning_big_data


#AI #LLM #Jamba3B #AI21 #Mamba #Transformer #DeepLearning

🔥 Сенсей Карпаты выложил новый репозиторий - полный пайплайн обучения LLM с нуля

В проекте есть всё, чтобы собрать свой ChatGPT-клон за $100 и 4 часа:

> • токенизатор (написан на Rust)
> • pretraining
> • SFT (supervised fine-tuning)
> • RL (reinforcement learning)
> • оценка модели (eval)

Всего 8 000 строк кода, без лишних зависимостей - идеальный учебный пример, чтобы понять, как реально устроено обучение больших языковых моделей.

💡 Это проект из его нового грядущего курса LLM101n, и отличная возможность прокачать свои ML-навыки на практике.

Можно арендовать GPU в облаке и запустить всё самому - код уже готов к запуску.

Если запустить обучение модели nanochat на облачном GPU-сервере (например, 8×H100), то примерно через 12 часов обучения (стоимость ~300–400 $) модель достигает уровня GPT-2 по качеству на тестовых наборах (CORE-score).

А если тренировать около 40 часов (затраты ~1000 $), решает простые задачи по математике и коду, набирая:
- 40+ на MMLU
- 70+ на ARC-Easy
- 20+ на GSM8K

🧠 Это бесплатная практика топ уровня от мастера, которую не стоит упускать.

🟠GitHub:https://github.com/karpathy/nanochat
🟠Технические детали: https://github.com/karpathy/nanochat/discussions/1

@ai_machinelearning_big_data


#LLM #nanochat #MachineLearning #DeepLearning #AI #GPT