Machine learning Interview
33.5K subscribers
1.44K photos
110 videos
13 files
991 links
Разбираем вопросы с собеседований по Machine Learning, Data Science, Deep Learning и Нейронным сетям, Python.

Вопросы - @notxxx1


@itchannels_telegram -🔥лучшие it каналы

РКН: clck.ru/3FmwRz
Download Telegram
⚡️ Новый HunyuanImage-2.1 — мощный генератор 2K изображений от Tencent

В Hugging Face появился свежий Spacetencent/HunyuanImage-2.1, где можно тестировать новейшую текст-в-изображение модель от Tencent.

Что это за модель?
HunyuanImage-2.1 — это эффективная текст-в-изображение модель, способная генерировать изображения в разрешении 2K (2048×2048) с отличной семантической связью и качеством. Основана на двухступенчатом пайплайне:
1. Базовая модель с двумя энкодерами текста (мультимодальный LLM и ByT5) и 17 млрд параметров, усиленная RLHF.
2. Refiner-модель улучшает детализацию и устраняет артефакты.

Также имеются:
- PromptEnhancer — автоматически улучшает ввод для более точных и выразительных изображений.
- Meanflow-дистилляция — ускоряет инференс с минимальным числом шагов.

Почему это интересно?
- Обеспечивает качественную генерацию семантически точных и визуально выразительных изображений. Модель демонстрирует сравнимый или лучший результат по сравнению с открытыми и закрытыми аналогами в оценках SSAE и GSB :contentReference[oaicite:0]{index=0}.
- Работает с мультиязычным вводом (английский и китайский) и поддерживает различные соотношения сторон (1:1, 16:9, 4:3 и др.).
- Бесплатно доступна: вес модели, код и демонстрация прямо в браузере через Hugging Face.

Как попробовать?
Перейдите на Space, введите свой текстовый запрос, и за секунды получите 2K визуализацию.

HunyuanImage-2.1 демонстрирует, как современные модели могут генерировать крупные и точные изображения, оставаясь при этом доступными и удобными в использовании.

Github: https://github.com/Tencent-Hunyuan/HunyuanImage-2.1


#HunyuanImage21 #TextToImage #AI #OpenSource
8🔥6👍5
⚛️🔬🚀 PsiQuantum привлекла рекордные $1 млрд для строительства квантового компьютера с 1 млн кубитов к 2028 году — это крупнейший раунд финансирования в истории квантовых технологий.

📈 Теперь компания оценена в $7 млрд и напрямую конкурирует с Google и IBM в гонке за создание полнофункциональной машины.

💰 Среди инвесторов: BlackRock, Temasek, Baillie Gifford и венчурное подразделение Nvidia.

Квантовые компьютеры рассматриваются как ключ к созданию новых материалов и разработке лекарств, с чем классические методы справиться не могут. Но реальная польза от них появится только тогда, когда кубиты будут достаточно стабильны, а коррекция ошибок станет рабочим стандартом. PsiQuantum делает ставку на фотонные кубиты — частицы света, которые можно производить на обычных полупроводниковых фабриках и использовать с меньшим количеством криогенного оборудования. Именно эта ставка может позволить компании обойти конкурентов.

⚠️ Вызовы
- Полной коррекции ошибок пока нет
- Ранее цель на 2024 год по готовой системе была сорвана
- 1 млн физических кубитов нужен, чтобы получить лишь несколько надёжных логических кубитов для долгих программ

🌍 Контекст
- Конкуренты активно растут: Quantinuum собрал $600M (оценка $10B), IQM — $300M
- IonQ, Rigetti и D-Wave взлетели в капитализации до $22B (с <$5B в ноябре)
- Nvidia участвует в проекте, несмотря на осторожные прогнозы (20 лет до работающих систем), делая ставку на гибридный путь: квантовые + GPU суперкомпьютеры

🏗️ Первую полную квантовую установку PsiQuantum планирует построить в Австралии при поддержке правительства (A$940M), а вторую — в Чикаго.

🔗 Подробнее: https://ft.com/content/0a16281f-6bb4-4e60-a6f0-3a9d6f8d764a

#quantum #ai #nvidia #google #ibm #hardware #future
🔥9🤩6👍4🥰4😁2
🚀 Unsloth показал, как динамическая квантизация (Dynamic GGUFs) может радикально ускорить и облегчить работу LLM, не теряя качество.

В чём суть
Обычные методы квантизации уменьшают разрядность весов модели одинаково для всех слоёв.
Unsloth пошёл дальше: каждому слою подбирается своё число бит.
- Ключевые слои → 6–8 бит (чтобы сохранить точность).
- Второстепенные → 1–3 бита (для максимального сжатия).

Результаты, которых удалось добиться:
- 671B DeepSeek-V3.1: сжатие модели с 671GB до 192GB (–75%).
- 1-бит версия уже обгоняет GPT-4.1 и GPT-4.5 в «no-thinking» задачах.
- 3-бит версия превосходит Claude-4-Opus в «thinking» задачах.
- 5-бит версия догоняет и стабильно держит уровень SOTA.

🟢Почему это интересно:
- Сжатие → модели становятся доступнее для запуска на меньших GPU.
- Качество не падает, а иногда даже растёт за счёт умного распределения битности.
- Тесты на Aider Polyglot benchmark показывают лучшие результаты среди существующих quant-моделей.

🟢Итог
Dynamic GGUF от Unsloth — это не просто ещё один способ «урезать» модель, а технология, которая делает триллионные LLM компактными, быстрыми и при этом сверхточными.

Пост: https://docs.unsloth.ai/basics/unsloth-dynamic-ggufs-on-aider-polyglot

#Unsloth #LLM #Quantization #AI #AiderPolyglot
Please open Telegram to view this post
VIEW IN TELEGRAM
16👍61
Как большие языковые модели могут избежать катастрофического забывания во время файнтюнига?

Ответы пишите в комменариях👇

🤔 Проблема
Катастрофическое забывание возникает, когда модель во время дообучения на новых данных теряет уже выученные знания.

Ещё хуже ситуация с коллапсом модели — когда в датасет начинают попадать тексты, сгенерированные самой LLM: это искажает данные, стирает редкие примеры и усиливает ошибки.

Подходы на практике:

1️⃣ LoRA / параметро-эффективное дообучение:
- Обновляются не все веса, а только адаптеры.
- Это снижает риск забывания базовых знаний, сохраняя при этом гибкость для дообучения.
2️⃣Dynamic replay / rehearsal (динамическое повторное смешивание)
- К кастомному датасету подмешивают данные из предобучения.
- Обычно берут в 2–3 раза больше примеров из базового корпуса.
- Так сохраняется «фон» общих знаний модели.
3️⃣ Dataset mixing (смешивание датасетов)
- Не дают модели «зарыться» в узкий домен.
- Сочетание специализированных и базовых данных удерживает баланс.
4️⃣ Variation across epochs (вариативность между эпохами)
- На каждой эпохе берут новые сэмплы из предобученного корпуса.
- Это повышает разнообразие и снижает риск переобучения к конкретному подмножеству.

📌 Как ответить на собеседовании
«Чтобы избежать забывания, используют LoRA (параметро-эффективное дообучение), динамический replay с базовыми данными (в пропорции 1:2 или 1:3), а также варьируют сэмплы из pretrain-корпуса между эпохами. Это сохраняет старые знания и даёт гибкость для новых».

@machinelearning_interview

#AI #LLM #MachineLearning #Forgetting #FineTuning
Please open Telegram to view this post
VIEW IN TELEGRAM
👍14🔥73😘3💯1