💼 Ежегодный отчёт AI Index 2025, опубликованный Стэнфордом HAI (Human-Centered Artificial Intelligence), представляет собой ежегодное исследование, которое систематизирует и анализирует ключевые тенденции в области искусственного интеллекта (ИИ).

Главное:
▪Резкий рост производительности ИИ: Ai модели показывают значительное улучшение на сложных бенчмарках (например, +48.9% на GPQA, +67.3% на SWE-bench за год).

▪ Глубокая интеграция в жизнь: ИИ активно используется в медицине (FDA одобрило 223 ИИ-устройства в 2023, против 6 в 2015) и транспорте (Waymo: 150,000+ поездок/неделю).

▪ Бум инвестиций и использования в бизнесе: 78% организаций используют ИИ (рост с 55% за год). Частные инвестиции в США достигли $109.1 млрд (против $9.3 млрд в Китае). Глобальные инвестиции в генеративный ИИ - $33.9 млрд.

▪ Геополитика ИИ: США лидируют, Китай догоняет: США создали 40 передовых моделей, Китай – 15, но быстро сокращает разрыв в качестве.

▪ Ответственный ИИ (RAI) и регулирование ИИ: Развитие RAI неравномерно, но правительства активизируются. В США число федеральных ИИ-регуляторов удвоилось (59 в 2024). Глобальные упоминания ИИ в законодательстве выросли в 9 раз с 2016 года.

▪ Доступность ИИ растет: Стоимость вычислений (inference) для модели уровня GPT-3.5 упала более чем в 280 раз за ~2 года. Стоимость оборудования снижается на 30% ежегодно. Открытые модели почти догнали закрытые по производительности на некоторых задачах (разрыв сократился с 8% до 1.7% за год).

▪ Индустрия ИИ доминирует, конкуренция усиливается: Почти 90% передовых моделей созданы тех гигантами. Разрыв между топ-1 и топ-10 моделями сократился с 11.9% до 5.4% за год.

🟡Основные инсайты
🟡Полный отчет

#ai #AIIndexReport #stanford

💡 Исследователи из ByteDance и Stanford предложили новый метод для генерации длинных видео — Mixture of Contexts.

🔑 В чём проблема:
Когда видео становится длинным, внимание модели сильно «раздувается»: растёт стоимость вычислений, модель теряет детали на генерациях, забывает персонажей и «дрейфует».

⚡ Чем интересен Mixture of Contexts:
- Видео разбивается на куски (кадры, шоты, подписи).
- Каждый запрос выбирает только нужные чанки, вместо того чтобы учитывать всю историю.
- Для этого используется простая оценка релевантности: сравнение признаков чанков с текущим запросом.
- Обязательно учитываются два «якоря»: полный текстовый промпт и локальный шот для деталей видео.
- Causal mask блокирует внимание к будущим кадрам, чтобы не было зацикливаний.
- Дальше применяется Flash Attention только к выбранным чанкам — вычисления растут не с длиной всего видео, а только с полезным контекстом.

📊 Результаты:
- В 7 раз меньше FLOPs
- В 2.2 раза быстрее работа
- На длинных сценах (180k токенов) отсекается 85% ненужного внимания

🎥 Итог:
- Короткие клипы сохраняют качество
- Длинные сцены становятся более плавными, а персонажи — стабильными
- Время генерации заметно сокращается

Главное: модель учится сама понимать, на что смотреть, получая «память» на минуты видео без изменения базовой архитектуры.

🟠 Подробнее

@ai_machinelearning_big_data

#AI #ML #ByteDance #Stanford #videogeneration