👾 Есть ли emergent properties у LLM?

Emergent properties или возникающиие свойства — новые способности нейросети к решению новых задач, возникающие без заведомо заложенных данных во время обучения. У языковых моделей emergent properties обычно связываются с промпт инжинирингом и способностью легко подстраиваться под новые сложные задачи, например, машинный перевод или игру в шахматы, после модели на большом корпусе. Впервые свойства были замечены в статье GPT-2, где описаны способности моделей решать совершенно новые задачи при наличии нескольких примеров в затравке (few-shot learning, in-context learning).

🟣Но существуют ли emergent properties вообще?
Вполне возможно, что нет. Может быть, в огромных веб-корпусах уже были все возможные форматы задач, и этого совершенно достаточно, чтобы никаких обобщений навыков от нейросети не требовалось вообще? С какого процента качества на задаче, размера нейросети и объема данных вообще проводить границу и считать, что новое свойство "возникло"?

🟣Аргументы против
— Разговоры во многом напоминают 17 век, когда считалось, мухи на мясе "самозарождались". Эмерджентностью в нейронауках и эволюционной психологии иногда объясняют возникновение языка и даже сознания, но фальсифицировать это, конечно, затруднительно. Чего не скажешь о нейросетях! Многое можно смоделировать и проверить.
— Работа "Searching for Needles in a Haystack" на примере задаич машинного перевода и PaLM наглядно показала, что если тщательно профильтровать корпус и удалить все примеры параллельного переовода из данных, а затем повторить обучение модели, то способность к машинному переводу значительно ухудшается.
— Насколько сильное влияние на конечный результат оказывают few-shot (примеры в затравках) и instruction tuning базовых моделей? Эксперименты с их исключением показывают, что именно few-shot примеры и in-context learning вносят основной вклад в итоговое качество на новых задачах. Instruction tuning не оказывает такого существенного влияния, а только улучшает уже имевшиеся ранее у моделей способности.
— Работа "Data Distributional Properties Drive Emergent In-Context Learning in Transformers" показывает, что обобщение у языковых моделей хорошо работает на уровне токенов, не увиденных при обучении, но способность не подтверждается для новых последовательностей, т.е. новых формулировок задач.
— Многие заявленные примеры из работы "Sparks of Artificial General Intelligence" сообществу не удалось воспрозвести от слова совсем.

🟣Аргументы за
— С момента выхода первых крупных языковых моделей было заявлено 137 emergent properties для разных архитектур: GPT-3, PaLM, Chinchilla, бенчмарк BigBench... от игры в шахматы до пословиц на суахили — языковые модели показывали способности к обобщению на новых тематиках, областях знаний, языках, задачах.
— Многие заявленные emergent properties завязаны не только на работу с затравками: это и способности к факт-чекингу (Gopher 7B), и ризонинг (PaLM, LaMDa), и построение индекса информации (T5) — чего нельзя объяснить запоминанием примеров изобучения.
— Нестабильность качества объясняется воспроизведением распределения самих людей — кто-то отвечает лучше, кто-то хуже, в зависимости от подготовки и мотивации.
#nlp #про_nlp #nlp_papers #ai_alignment #ИИ #AI #машинное_обучение #искусственный_интеллект

🔵 Эпсилон

🖥 Sora AI — долгожданный инструмент от OpenAI. Анонсировалось, что эта нейросеть представит новый уровень генерации видео и создания контента. Самые главные ожидания — реалистичность и качество. Заявляется, что главное отличие Sora AI от других генераторов видео заключается в её подходе к созданию контента. Вместо генерации видео по кадрам, как это делают другие модели, Sora использует диффузионную модель, которая формирует видеоролик целиком. Это позволяет сохранить связность сюжета и целостность объектов, избегая искажений или некорректного воспроизведения деталей.

Плюсы:
▪️ Реалистичные видео: качество до 1080p и длина до 20 сек (в подписке Pro).
▪️ Универсальность: Работает с текстом, изображениями и видео.
▪️ Точность деталей: Минимизирует деформацию объектов, характерную для аналогичных моделей.
▪️ Быстрая генерация.
▪️ Создание видео в режиме раскадровки.

Минусы:
▪️ Проблемы с доступом: Доступна Sora не во всех регионах. Первую неделю из-за повышенного интереса невозможно было создать аккаунт.
▪️ Стоимость: Подписка Plus крайне ограничена в возможностях. Более полноценная стоит 200$ в месяц.

А пробовали ли наши подписчики создавать свои нейросети с генерацией видео? Расскажите об этом в комментариях.

#AI #искусственный_интеллект #нейронные_сети #машинное_обучение #artifical_intelligent

🔵 Эпсилон // @epsilon_h

🤖 Человекоподобные роботы: Насколько близко мы подошли к будущему из фильмов?

Вот что происходит на передовой робототехники прямо сейчас:

✨ Atlas от Boston Dynamics
Тот самый, что лихо делает сальто назад и бегает по парку. Это не CGI — это реальность. Его алгоритмы учатся на ошибках, а динамические движения поражают. Хотя он и создан для поисково-спасательных операций, выглядит он как прототип того, кто однажды принесет вам посылку.

🧠 Ameca от Engineered Arts
Лицо этого робота — настоящий хит. Мимика, плавные движения бровей и губ. Разработчики сделали ставку на социальное взаимодействие. Ameca не побежит марафон, но может поддержать беседу и удивительно естественно выражать эмоции. И да, это немного жутковато (спасибо, Uncanny Valley!).

🏭 Tesla Optimus
Илон Маск верит, что однажды Optimus будет готовить нам завтрак и работать на заводах. Пока он ходит чуть медленнее нас с вами, но команда Tesla совершенствует его ежедневно. Главный козырь — массовость и интеграция с ИИ от Tesla.

💡 Почему это важно?
Человекоподобные роботы — это не просто «круто выглядит». Это мост между людьми и машинами. Они могут работать в нашей среде (лестницы, двери, инструменты) без перестройки мира под себя.

А как вы думаете?
👉 Наши помощники и коллеги в будущем?
👽 Или первый шаг к тому, о чем предупреждали в «Матрице»?

#роботы #технологии #будущее #ии #innovation #science #AI

🔵 Эпсилон // @epsilon_h