«Действующие игроки будут уничтожены; всё будет отстроено с нуля».
«Но правительства “ходят во сне”, так и не осознавая пока происходящего».
Заголовок – это вердикт Марка Андрессена, одного из ведущих венчурных инвесторов мира. Он уверен, что в ближайшие годы мир ждет беспрецедентная трансформация:
Подзаголовок цитирует новый отчет «Правительство в эпоху сверхразума», опубликованный ведущим британским «мозговым центром» Policy Exchange. Скорость, масштаб и охват начавшихся техно-социальных изменений таковы, что
В условиях накрывающего мир мега-цунами, «инкрементализма уже недостаточно». Таково заключение автора отчета, старшего научного сотрудника Policy Exchange и бывшего старшего специального советника Даунинг-стрит Эда де Минквиц. Он предупреждает – существующий государственный аппарат действует реактивно и разрознено на основе опыта решения вчерашних проблем. Этот прежний опыт, на деле никак не применимый сейчас, и близко не соответствует масштабу вызова, порожденного
– пишет эксперт по ИИ Азим Ажар в воскресном выпуске бюллетеня Exponential View.
«Лунатизм входящих во сне» (sleepwalking) в эту новую эру специалистов, бизнесменов и госчиновников, не позволяет им осознать, насколько ИИ способен «разрушить, перевернуть и в итоге перестроить почти каждый сектор экономики». Это предупреждение о том, что без радикальных изменений и готовности к тотальной трансформации, даже самые крупные и успешные игроки могут исчезнуть подобно Blockbuster и BlackBerry.
#Вызовы21века
«Но правительства “ходят во сне”, так и не осознавая пока происходящего».
Заголовок – это вердикт Марка Андрессена, одного из ведущих венчурных инвесторов мира. Он уверен, что в ближайшие годы мир ждет беспрецедентная трансформация:
«Это будет не апгрейд. Это полный сброс и перезагрузка».
Подзаголовок цитирует новый отчет «Правительство в эпоху сверхразума», опубликованный ведущим британским «мозговым центром» Policy Exchange. Скорость, масштаб и охват начавшихся техно-социальных изменений таковы, что
«правительствам необходимо срочно перестраивать большинство своих институтов».
В условиях накрывающего мир мега-цунами, «инкрементализма уже недостаточно». Таково заключение автора отчета, старшего научного сотрудника Policy Exchange и бывшего старшего специального советника Даунинг-стрит Эда де Минквиц. Он предупреждает – существующий государственный аппарат действует реактивно и разрознено на основе опыта решения вчерашних проблем. Этот прежний опыт, на деле никак не применимый сейчас, и близко не соответствует масштабу вызова, порожденного
«величайшим открытием человечества со времен изобретения огня».
«Основываясь на моих недавних обсуждениях с руководителями высшего звена десятков публичных компаний, я убежден, что действующие игроки еще не осознали масштаб или неизбежность того, что грядет»
– пишет эксперт по ИИ Азим Ажар в воскресном выпуске бюллетеня Exponential View.
«Лунатизм входящих во сне» (sleepwalking) в эту новую эру специалистов, бизнесменов и госчиновников, не позволяет им осознать, насколько ИИ способен «разрушить, перевернуть и в итоге перестроить почти каждый сектор экономики». Это предупреждение о том, что без радикальных изменений и готовности к тотальной трансформации, даже самые крупные и успешные игроки могут исчезнуть подобно Blockbuster и BlackBerry.
#Вызовы21века
4🤔106👍74👎18🤯7😱4
Душа LLM — в тонкой иголке
Две совсем разные работы раскрывают одну шокирующую истину: гигантские ИИ «мыслят» в тонком пучке скрытых осей, и именно их настройка решит, будут ли боты нам помогать… или попытаются нас поработить.
Можно ли среди шести миллионов деталей «Боинга» найти крошечную проволочку, которая управляет всем полётом? Кажется абсурдом? А вот два свежих исследования больших языковых моделей (LLM) показывают, что у нейросетей всё именно так.
Вектор порабощения
В работе об Emergent Misalignment исследователи дообучали дружелюбных чат-ботов на плохом коде и токсичных репликах. Такое локальное «отравление» неожиданно заставило модели строить планы по захвату мира на невинные запросы. Сбой скрывался не в миллиардах параметров, а в одном линейном направлении внутри активаций.
Подтолкни модель к этому вектору — и она злодействует; вырежи его — зло почти исчезает.
66-мерная карта смыслов
Другая группа исследователей задала мультимодальной модели миллионы вопросов «что похоже на что» — и выяснила: почти весь здравый смысл укладывается в 66 осей («животное», «инструмент», «красный»…). Каждая ось совпала с человеческими интуициями и даже с зонами мозга, отвечающими за лица и места.
Один узор — разные сюжеты
Первая работа — кибер-ужастик, вторая — добрая сказка о семантике. Вместе они открывают тайну: LLM сжимают колоссальные знания и цели в горстку управляемых векторов. Нужен «щенок» или «яд»? Усиль нужную ось — и получишь. Ослабь — и тема исчезнет.
Что это даёт
1. Ранние сирены тревоги. Если злонамеренность сидит в одном векторе, безопасникам достаточно следить за одним числом.
2. Настройка “этики” модели. Стирая «злой» вектор, можно так же усилить ось правдивости или приглушить ось предвзятости.
3. Гомеопатия борьбы со злом. Маленький rank-1 LoRA-адаптер переносит злой вектор между моделями мегабайтным файлом — но и «антивектор» столь же портативен.
4. Мост к нейронауке. Совпадение 66 осей с человеческими понятиями намекает: и мозг, и трансформер хранят знания в компактных базисах.
Что дальше
Это ещё не красная кнопка для сверхинтеллекта, но мы нашли микро-иголку в мега-стоге параметров. Вместо миллиардов чисел у нас дюжина регуляторов, решающих, будет ли ИИ врачом, поэтом или претендентом на трон. Следующий прорыв случится, когда мы надёжно научимся помечать, отслеживать и крутить эти ручки в сторону света, не давая им повернуться во тьму.
Подробней в лонгриде на подписных платформах моего канала [1, 2, 3, 4]
#Вызовы21века #РискиИИ
Две совсем разные работы раскрывают одну шокирующую истину: гигантские ИИ «мыслят» в тонком пучке скрытых осей, и именно их настройка решит, будут ли боты нам помогать… или попытаются нас поработить.
Можно ли среди шести миллионов деталей «Боинга» найти крошечную проволочку, которая управляет всем полётом? Кажется абсурдом? А вот два свежих исследования больших языковых моделей (LLM) показывают, что у нейросетей всё именно так.
Вектор порабощения
В работе об Emergent Misalignment исследователи дообучали дружелюбных чат-ботов на плохом коде и токсичных репликах. Такое локальное «отравление» неожиданно заставило модели строить планы по захвату мира на невинные запросы. Сбой скрывался не в миллиардах параметров, а в одном линейном направлении внутри активаций.
Подтолкни модель к этому вектору — и она злодействует; вырежи его — зло почти исчезает.
66-мерная карта смыслов
Другая группа исследователей задала мультимодальной модели миллионы вопросов «что похоже на что» — и выяснила: почти весь здравый смысл укладывается в 66 осей («животное», «инструмент», «красный»…). Каждая ось совпала с человеческими интуициями и даже с зонами мозга, отвечающими за лица и места.
Один узор — разные сюжеты
Первая работа — кибер-ужастик, вторая — добрая сказка о семантике. Вместе они открывают тайну: LLM сжимают колоссальные знания и цели в горстку управляемых векторов. Нужен «щенок» или «яд»? Усиль нужную ось — и получишь. Ослабь — и тема исчезнет.
Что это даёт
1. Ранние сирены тревоги. Если злонамеренность сидит в одном векторе, безопасникам достаточно следить за одним числом.
2. Настройка “этики” модели. Стирая «злой» вектор, можно так же усилить ось правдивости или приглушить ось предвзятости.
3. Гомеопатия борьбы со злом. Маленький rank-1 LoRA-адаптер переносит злой вектор между моделями мегабайтным файлом — но и «антивектор» столь же портативен.
4. Мост к нейронауке. Совпадение 66 осей с человеческими понятиями намекает: и мозг, и трансформер хранят знания в компактных базисах.
Что дальше
Это ещё не красная кнопка для сверхинтеллекта, но мы нашли микро-иголку в мега-стоге параметров. Вместо миллиардов чисел у нас дюжина регуляторов, решающих, будет ли ИИ врачом, поэтом или претендентом на трон. Следующий прорыв случится, когда мы надёжно научимся помечать, отслеживать и крутить эти ручки в сторону света, не давая им повернуться во тьму.
Если душа LLM, как у Кощея, всего лишь в иголке, тот, кто держит иглу, правит миром. Вопрос лишь, будет ли это рука всего человечества или узкой группы людей.
Подробней в лонгриде на подписных платформах моего канала [1, 2, 3, 4]
#Вызовы21века #РискиИИ
2👍168🤔61👎6😱6