Интеллектуальный каюк Homo sapiens близок.
Лишь 15 россиян способны программировать лучше ИИ, в Китае таких еще 59, а в США осталось лишь 7.
Потрясающее зрелище – наблюдать в реальном времени интеллектуальное поражение людей от ИИ.
Когда бестелесные алгоритмы превзошли лучших шахматных гроссмейстеров мира и ушли в отрыв, показывая немыслимый для людей рейтинг уровня игры, - репутация людей, как носителей высшего интеллекта, пошатнулась, но устояла – см. рис слева.
Ведь шахматы, как известно, - хоть и чрезвычайно умная игра, но узкоспециальная интеллектуальная деятельность, ограничиваемая фиксированными правилами.
Но с программированием (выполнением сложных задач кодирования и рассуждений) все иначе. Здесь все почти как в жизни. Вместо следования фиксированным правилам, нужно думать, рассуждать, строить гипотезы и прогнозы. И если с программированием произойдет, как с шахматами, то каюк интеллектуальному превосходству людей (только уникальная способность к инсайтам и останется, - и то, ненадолго).
Насколько этот каюк близок, показывают результаты CodeForces – международной платформы соревнований по программированию.
Текущие результаты модели о3 от OpenAI таковы.
• Рейтинг модели 2724 лучше, чем у 99.8% всех участников этой платформы (а там соревнуются десятки тысяч программистов со всего мира: 26 тыс китайцев, 14 тыс россиян, 3,5 тыс американцев) – см. рис справа вверху;
• Это значит, что во всем мире осталось меньше 200 человек, способных программировать лучше этой модели – см. рис справа внизу.
Остались считанные месяцы, когда людей, способных превзойти ИИ в программировании останется 50, 10, 3 … 0. А дальше модели, как и в шахматах, уйдут в отрыв, похерив интеллектуальное превосходство людей навсегда.
И никакой интеллект кентавра (гибридные системы из человека и ИИ) этому помешать не сможет. Урок с шахматами повторится. Ибо непреодолимым препятствием остаются ограниченные возможности когнитивной архитектуры людей.
Но это не беда. Ибо эволюции (генно-культурной) вообще до фонаря интеллект индивидов. Главное – рост коллективного интеллекта планетарной (а потом и вселенской) жизни. А уж кого в социо-когнитивных сетях глобального интеллекта окажется больше – людей или алгоритмов, - эволюции все равно.
Только ведь людям (и конкретно, нашим детям и внукам) это будет далеко не все равно …
Подробней см:
• https://arxiv.org/abs/2502.06807
• https://codeforces.com/ratings/countries
#ИИриски #Хриски #Вызовы21века
Лишь 15 россиян способны программировать лучше ИИ, в Китае таких еще 59, а в США осталось лишь 7.
Потрясающее зрелище – наблюдать в реальном времени интеллектуальное поражение людей от ИИ.
Когда бестелесные алгоритмы превзошли лучших шахматных гроссмейстеров мира и ушли в отрыв, показывая немыслимый для людей рейтинг уровня игры, - репутация людей, как носителей высшего интеллекта, пошатнулась, но устояла – см. рис слева.
Ведь шахматы, как известно, - хоть и чрезвычайно умная игра, но узкоспециальная интеллектуальная деятельность, ограничиваемая фиксированными правилами.
Но с программированием (выполнением сложных задач кодирования и рассуждений) все иначе. Здесь все почти как в жизни. Вместо следования фиксированным правилам, нужно думать, рассуждать, строить гипотезы и прогнозы. И если с программированием произойдет, как с шахматами, то каюк интеллектуальному превосходству людей (только уникальная способность к инсайтам и останется, - и то, ненадолго).
Насколько этот каюк близок, показывают результаты CodeForces – международной платформы соревнований по программированию.
Текущие результаты модели о3 от OpenAI таковы.
• Рейтинг модели 2724 лучше, чем у 99.8% всех участников этой платформы (а там соревнуются десятки тысяч программистов со всего мира: 26 тыс китайцев, 14 тыс россиян, 3,5 тыс американцев) – см. рис справа вверху;
• Это значит, что во всем мире осталось меньше 200 человек, способных программировать лучше этой модели – см. рис справа внизу.
Остались считанные месяцы, когда людей, способных превзойти ИИ в программировании останется 50, 10, 3 … 0. А дальше модели, как и в шахматах, уйдут в отрыв, похерив интеллектуальное превосходство людей навсегда.
И никакой интеллект кентавра (гибридные системы из человека и ИИ) этому помешать не сможет. Урок с шахматами повторится. Ибо непреодолимым препятствием остаются ограниченные возможности когнитивной архитектуры людей.
Но это не беда. Ибо эволюции (генно-культурной) вообще до фонаря интеллект индивидов. Главное – рост коллективного интеллекта планетарной (а потом и вселенской) жизни. А уж кого в социо-когнитивных сетях глобального интеллекта окажется больше – людей или алгоритмов, - эволюции все равно.
Только ведь людям (и конкретно, нашим детям и внукам) это будет далеко не все равно …
Подробней см:
• https://arxiv.org/abs/2502.06807
• https://codeforces.com/ratings/countries
#ИИриски #Хриски #Вызовы21века
5👍212🤔106👎84😱29🤯27
— Что определяет судьбу разумных существ во Вселенной?
— Насколько уникально появление человеческого разума?
— Какое будущее ожидает земную цивилизацию, достигшую уровня технологического развития, позволяющего создавать искусственный разум, подобный нашему?
Мой новый лонгрид — размышление над ответами на три вышеназванных вопроса с позиций двух разных, но удивительно дополняющих друг друга работ.
• Новой статьи Даниэла Миллса и соавторов "Переоценка модели «трудных шагов» в эволюции разумной жизни"
• И триптиха моих постов "У землян всего два варианта будущего — умереть во сне или проснуться".
Ближайшая пара десятилетий покажет, готовы ли мы проснуться, или предпочтем продолжать спать под нарастающий звон будильника, незаметно переходящий в колокольный звон по человечеству.
И в таком случае, сценариев будущего человечества будет не два, а три:
1. Асимптотическое выгорание — цивилизация продолжает следовать логике неограниченного роста, что в конечном итоге приводит к ее коллапсу из-за исчерпания ресурсов или других экзистенциальных кризисов.
2. Гомеостатическое пробуждение — цивилизация осознает пределы роста и переориентируется на достижение стабильного гомеостаза с окружающей средой.
3. Переход в состояние лунатиков, в процессе «осознаваемых сновидений» работающих «гео-теплотехниками» при киборгах.
Какой из этих сценариев материализуется, во многом зависит от нас.
Говоря словами проф. Эллисон Дж. Пью из её новой книги «Последняя человеческая работа»:
Что, на мой взгляд, прекрасно рифмуется с вынесенными в эпиграф к этому лонгриду словами Рэя Бредбери:
Прочесть мой текст «Будильник для человечества. Парадоксы разумной жизни между эволюционной случайностью и космическим пробуждением» подписчики моих лонгридов могут на платформах Boosty, Patreon, VK и Дзен.
#Вызовы21века #ПарадоксФерми #FutureOfCivilization
-- -- --
P.S. Вынужденно задерживаю публикацию 2й части триптиха «Проект Pi». Дело в том, что подоспели результаты новых интереснейших испытаний, проведенных командой Pi. А поскольку про них еще и препринты не написаны, приходится разбираться наощупь. Из-за этого торможу со 2й частью, т.к. хочу дать актуальную картину по состоянию, как говорится, на вчера, а для этого нужно понимать их последние результаты. Но на следующей неделе (ЕБЖ) планирую 2ю часть, наконец, опубликовать.
— Насколько уникально появление человеческого разума?
— Какое будущее ожидает земную цивилизацию, достигшую уровня технологического развития, позволяющего создавать искусственный разум, подобный нашему?
Мой новый лонгрид — размышление над ответами на три вышеназванных вопроса с позиций двух разных, но удивительно дополняющих друг друга работ.
• Новой статьи Даниэла Миллса и соавторов "Переоценка модели «трудных шагов» в эволюции разумной жизни"
• И триптиха моих постов "У землян всего два варианта будущего — умереть во сне или проснуться".
Ближайшая пара десятилетий покажет, готовы ли мы проснуться, или предпочтем продолжать спать под нарастающий звон будильника, незаметно переходящий в колокольный звон по человечеству.
И в таком случае, сценариев будущего человечества будет не два, а три:
1. Асимптотическое выгорание — цивилизация продолжает следовать логике неограниченного роста, что в конечном итоге приводит к ее коллапсу из-за исчерпания ресурсов или других экзистенциальных кризисов.
2. Гомеостатическое пробуждение — цивилизация осознает пределы роста и переориентируется на достижение стабильного гомеостаза с окружающей средой.
3. Переход в состояние лунатиков, в процессе «осознаваемых сновидений» работающих «гео-теплотехниками» при киборгах.
Какой из этих сценариев материализуется, во многом зависит от нас.
Говоря словами проф. Эллисон Дж. Пью из её новой книги «Последняя человеческая работа»:
Будущее будет определяться не тем, что смогут делать машины, а тем, что мы, как общество, решим в себе сохранить.
Что, на мой взгляд, прекрасно рифмуется с вынесенными в эпиграф к этому лонгриду словами Рэя Бредбери:
„Я не пытаюсь предсказать будущее – я пытаюсь его предотвратить.“
Прочесть мой текст «Будильник для человечества. Парадоксы разумной жизни между эволюционной случайностью и космическим пробуждением» подписчики моих лонгридов могут на платформах Boosty, Patreon, VK и Дзен.
#Вызовы21века #ПарадоксФерми #FutureOfCivilization
-- -- --
P.S. Вынужденно задерживаю публикацию 2й части триптиха «Проект Pi». Дело в том, что подоспели результаты новых интереснейших испытаний, проведенных командой Pi. А поскольку про них еще и препринты не написаны, приходится разбираться наощупь. Из-за этого торможу со 2й частью, т.к. хочу дать актуальную картину по состоянию, как говорится, на вчера, а для этого нужно понимать их последние результаты. Но на следующей неделе (ЕБЖ) планирую 2ю часть, наконец, опубликовать.
👍188🤔23😱8👎4🤯2
«Действующие игроки будут уничтожены; всё будет отстроено с нуля».
«Но правительства “ходят во сне”, так и не осознавая пока происходящего».
Заголовок – это вердикт Марка Андрессена, одного из ведущих венчурных инвесторов мира. Он уверен, что в ближайшие годы мир ждет беспрецедентная трансформация:
Подзаголовок цитирует новый отчет «Правительство в эпоху сверхразума», опубликованный ведущим британским «мозговым центром» Policy Exchange. Скорость, масштаб и охват начавшихся техно-социальных изменений таковы, что
В условиях накрывающего мир мега-цунами, «инкрементализма уже недостаточно». Таково заключение автора отчета, старшего научного сотрудника Policy Exchange и бывшего старшего специального советника Даунинг-стрит Эда де Минквиц. Он предупреждает – существующий государственный аппарат действует реактивно и разрознено на основе опыта решения вчерашних проблем. Этот прежний опыт, на деле никак не применимый сейчас, и близко не соответствует масштабу вызова, порожденного
– пишет эксперт по ИИ Азим Ажар в воскресном выпуске бюллетеня Exponential View.
«Лунатизм входящих во сне» (sleepwalking) в эту новую эру специалистов, бизнесменов и госчиновников, не позволяет им осознать, насколько ИИ способен «разрушить, перевернуть и в итоге перестроить почти каждый сектор экономики». Это предупреждение о том, что без радикальных изменений и готовности к тотальной трансформации, даже самые крупные и успешные игроки могут исчезнуть подобно Blockbuster и BlackBerry.
#Вызовы21века
«Но правительства “ходят во сне”, так и не осознавая пока происходящего».
Заголовок – это вердикт Марка Андрессена, одного из ведущих венчурных инвесторов мира. Он уверен, что в ближайшие годы мир ждет беспрецедентная трансформация:
«Это будет не апгрейд. Это полный сброс и перезагрузка».
Подзаголовок цитирует новый отчет «Правительство в эпоху сверхразума», опубликованный ведущим британским «мозговым центром» Policy Exchange. Скорость, масштаб и охват начавшихся техно-социальных изменений таковы, что
«правительствам необходимо срочно перестраивать большинство своих институтов».
В условиях накрывающего мир мега-цунами, «инкрементализма уже недостаточно». Таково заключение автора отчета, старшего научного сотрудника Policy Exchange и бывшего старшего специального советника Даунинг-стрит Эда де Минквиц. Он предупреждает – существующий государственный аппарат действует реактивно и разрознено на основе опыта решения вчерашних проблем. Этот прежний опыт, на деле никак не применимый сейчас, и близко не соответствует масштабу вызова, порожденного
«величайшим открытием человечества со времен изобретения огня».
«Основываясь на моих недавних обсуждениях с руководителями высшего звена десятков публичных компаний, я убежден, что действующие игроки еще не осознали масштаб или неизбежность того, что грядет»
– пишет эксперт по ИИ Азим Ажар в воскресном выпуске бюллетеня Exponential View.
«Лунатизм входящих во сне» (sleepwalking) в эту новую эру специалистов, бизнесменов и госчиновников, не позволяет им осознать, насколько ИИ способен «разрушить, перевернуть и в итоге перестроить почти каждый сектор экономики». Это предупреждение о том, что без радикальных изменений и готовности к тотальной трансформации, даже самые крупные и успешные игроки могут исчезнуть подобно Blockbuster и BlackBerry.
#Вызовы21века
4🤔106👍74👎18🤯7😱4
Душа LLM — в тонкой иголке
Две совсем разные работы раскрывают одну шокирующую истину: гигантские ИИ «мыслят» в тонком пучке скрытых осей, и именно их настройка решит, будут ли боты нам помогать… или попытаются нас поработить.
Можно ли среди шести миллионов деталей «Боинга» найти крошечную проволочку, которая управляет всем полётом? Кажется абсурдом? А вот два свежих исследования больших языковых моделей (LLM) показывают, что у нейросетей всё именно так.
Вектор порабощения
В работе об Emergent Misalignment исследователи дообучали дружелюбных чат-ботов на плохом коде и токсичных репликах. Такое локальное «отравление» неожиданно заставило модели строить планы по захвату мира на невинные запросы. Сбой скрывался не в миллиардах параметров, а в одном линейном направлении внутри активаций.
Подтолкни модель к этому вектору — и она злодействует; вырежи его — зло почти исчезает.
66-мерная карта смыслов
Другая группа исследователей задала мультимодальной модели миллионы вопросов «что похоже на что» — и выяснила: почти весь здравый смысл укладывается в 66 осей («животное», «инструмент», «красный»…). Каждая ось совпала с человеческими интуициями и даже с зонами мозга, отвечающими за лица и места.
Один узор — разные сюжеты
Первая работа — кибер-ужастик, вторая — добрая сказка о семантике. Вместе они открывают тайну: LLM сжимают колоссальные знания и цели в горстку управляемых векторов. Нужен «щенок» или «яд»? Усиль нужную ось — и получишь. Ослабь — и тема исчезнет.
Что это даёт
1. Ранние сирены тревоги. Если злонамеренность сидит в одном векторе, безопасникам достаточно следить за одним числом.
2. Настройка “этики” модели. Стирая «злой» вектор, можно так же усилить ось правдивости или приглушить ось предвзятости.
3. Гомеопатия борьбы со злом. Маленький rank-1 LoRA-адаптер переносит злой вектор между моделями мегабайтным файлом — но и «антивектор» столь же портативен.
4. Мост к нейронауке. Совпадение 66 осей с человеческими понятиями намекает: и мозг, и трансформер хранят знания в компактных базисах.
Что дальше
Это ещё не красная кнопка для сверхинтеллекта, но мы нашли микро-иголку в мега-стоге параметров. Вместо миллиардов чисел у нас дюжина регуляторов, решающих, будет ли ИИ врачом, поэтом или претендентом на трон. Следующий прорыв случится, когда мы надёжно научимся помечать, отслеживать и крутить эти ручки в сторону света, не давая им повернуться во тьму.
Подробней в лонгриде на подписных платформах моего канала [1, 2, 3, 4]
#Вызовы21века #РискиИИ
Две совсем разные работы раскрывают одну шокирующую истину: гигантские ИИ «мыслят» в тонком пучке скрытых осей, и именно их настройка решит, будут ли боты нам помогать… или попытаются нас поработить.
Можно ли среди шести миллионов деталей «Боинга» найти крошечную проволочку, которая управляет всем полётом? Кажется абсурдом? А вот два свежих исследования больших языковых моделей (LLM) показывают, что у нейросетей всё именно так.
Вектор порабощения
В работе об Emergent Misalignment исследователи дообучали дружелюбных чат-ботов на плохом коде и токсичных репликах. Такое локальное «отравление» неожиданно заставило модели строить планы по захвату мира на невинные запросы. Сбой скрывался не в миллиардах параметров, а в одном линейном направлении внутри активаций.
Подтолкни модель к этому вектору — и она злодействует; вырежи его — зло почти исчезает.
66-мерная карта смыслов
Другая группа исследователей задала мультимодальной модели миллионы вопросов «что похоже на что» — и выяснила: почти весь здравый смысл укладывается в 66 осей («животное», «инструмент», «красный»…). Каждая ось совпала с человеческими интуициями и даже с зонами мозга, отвечающими за лица и места.
Один узор — разные сюжеты
Первая работа — кибер-ужастик, вторая — добрая сказка о семантике. Вместе они открывают тайну: LLM сжимают колоссальные знания и цели в горстку управляемых векторов. Нужен «щенок» или «яд»? Усиль нужную ось — и получишь. Ослабь — и тема исчезнет.
Что это даёт
1. Ранние сирены тревоги. Если злонамеренность сидит в одном векторе, безопасникам достаточно следить за одним числом.
2. Настройка “этики” модели. Стирая «злой» вектор, можно так же усилить ось правдивости или приглушить ось предвзятости.
3. Гомеопатия борьбы со злом. Маленький rank-1 LoRA-адаптер переносит злой вектор между моделями мегабайтным файлом — но и «антивектор» столь же портативен.
4. Мост к нейронауке. Совпадение 66 осей с человеческими понятиями намекает: и мозг, и трансформер хранят знания в компактных базисах.
Что дальше
Это ещё не красная кнопка для сверхинтеллекта, но мы нашли микро-иголку в мега-стоге параметров. Вместо миллиардов чисел у нас дюжина регуляторов, решающих, будет ли ИИ врачом, поэтом или претендентом на трон. Следующий прорыв случится, когда мы надёжно научимся помечать, отслеживать и крутить эти ручки в сторону света, не давая им повернуться во тьму.
Если душа LLM, как у Кощея, всего лишь в иголке, тот, кто держит иглу, правит миром. Вопрос лишь, будет ли это рука всего человечества или узкой группы людей.
Подробней в лонгриде на подписных платформах моего канала [1, 2, 3, 4]
#Вызовы21века #РискиИИ
2👍168🤔61👎6😱6