Мы не представляли сколь велик айсберг когнитивных искажений.
Наши представления о мире становятся все более кривыми.
Таков весьма неутешительный вывод о состоянии представлений человечества о мире и самих себе, впервые вербализован на уровне профильного госагенства технологической сверхдержавы - Национальным институтом стандартов и технологий США (NIST).
Авторы нового отчета NIST, озаглавленного «Towards a Standard for Identifying and Managing Bias in Artificial Intelligence», поставили перед собой такую задачу.
1. Среда взаимодействий отдельных людей и сообществ становится все более виртуальной (в моей терминологии это называется переходом человечества к иному типу культура – алгокогнитивная культура).
2. Цифровые следы людей в новой инфокоммуникационной среде глобальной сети превращаются в самый востребованный и дорогой товар.
3. За формирование этого товара отвечают алгоритмы, которые пытаются количественно оценивать поведение и высказывания людей. Эти оценки используются алгоритмами для классификации, сортировки, рекомендаций и принятия решений о жизни людей.
4. Но к сожалению, в основе алгоритмических оценок лежат неоднозначные по своей природе представления об устройстве мира и поведении людей, подчерпнутые алгоритмами из океана собираемых ими данных о людях – их настоящем и прошлом опыте.
5. Все обобщаемые алгоритмами данные об опыте людей насквозь пропитаны искажающими реальность ошибками, являющимися результатами когнитивных искажений людей.
6. Это ошибки переносятся (с мультиплицирующим эффектом) алгоритмами во все технологические процессы, автоматизирующие деятельность людей и принятие ими решений с применением ИИ-систем, что может вести к весьма вредным последствиям независимо от намерений их создателей.
7. Для снижения рисков вредных последствий вышеописанных процессов необходимо, в первую очередь, идентифицировать и классифицировать все типы когнитивных искажений, приводящих к ошибкам в данных об опыте людей.
В результате 1й систематической попытки такой классификации авторы пришли к следующим выводам (в моей интерпретация, - подробней и точнее см. отчет).
A. «Айсберг» когнитивных искажений оказался куда больше чем предполагалось.
B. Помимо статистически-вычислительных искажений, вносимых алгоритмами, и когнитивных искажений людей, чей опыт воплощен в исходные данные для алгоритмов, существует огромная нижняя часть «айсберга» - системообразующие когнитивные искажения институтов общества.
C. Эта лежащая в основе «айсберга» колоссальная по размерам область является результатом исторически сложившихся процедур и практик, кодирующих социокультурные предубеждения в миропонимании конкретных институтов общества. В результате этих когнитивных искажений, определенные социальные группы получают преимущества или привилегии, а другие оказываются в неблагоприятном положении или обесцениваются. И это не обязательно является результатом какого-либо сознательного предубеждения или дискриминации, а скорее следствием того, что большинство следует существующим правилам или нормам.
▶️ ️ Специалисты по ИИ умеют минимизировать статистически-вычислительные искажения.
▶️ ️ Психологи и специалисты по когнитивному мышлению учатся учитывать когнитивные искажения и шум при принятии решений отдельными людьми.
▶️ ️ Но для системообразующих когнитивных искажений институтов общества, к сожалению, пока не существует признанных систем их идентификации и классификации. И более того, - в разных обществах они по-разному идентифицируются.
Это значит, что:
✔️ нет пока способов предотвращения мультиплицирования махины когнитивных искажений институтов алгоритмами ИИ;
✔️ наши представления о мире, формируемые в рамках новой алгокогнитивной культуры, будут становиться все более кривыми (рост интеллектуальной слепоты и падение рациональности).
См. также мои посты по тэгам:
#Рациональность #КогнитивныеИскажения #ИнтеллектуальнаяСлепота #Вызовы21века
Наши представления о мире становятся все более кривыми.
Таков весьма неутешительный вывод о состоянии представлений человечества о мире и самих себе, впервые вербализован на уровне профильного госагенства технологической сверхдержавы - Национальным институтом стандартов и технологий США (NIST).
Авторы нового отчета NIST, озаглавленного «Towards a Standard for Identifying and Managing Bias in Artificial Intelligence», поставили перед собой такую задачу.
1. Среда взаимодействий отдельных людей и сообществ становится все более виртуальной (в моей терминологии это называется переходом человечества к иному типу культура – алгокогнитивная культура).
2. Цифровые следы людей в новой инфокоммуникационной среде глобальной сети превращаются в самый востребованный и дорогой товар.
3. За формирование этого товара отвечают алгоритмы, которые пытаются количественно оценивать поведение и высказывания людей. Эти оценки используются алгоритмами для классификации, сортировки, рекомендаций и принятия решений о жизни людей.
4. Но к сожалению, в основе алгоритмических оценок лежат неоднозначные по своей природе представления об устройстве мира и поведении людей, подчерпнутые алгоритмами из океана собираемых ими данных о людях – их настоящем и прошлом опыте.
5. Все обобщаемые алгоритмами данные об опыте людей насквозь пропитаны искажающими реальность ошибками, являющимися результатами когнитивных искажений людей.
6. Это ошибки переносятся (с мультиплицирующим эффектом) алгоритмами во все технологические процессы, автоматизирующие деятельность людей и принятие ими решений с применением ИИ-систем, что может вести к весьма вредным последствиям независимо от намерений их создателей.
7. Для снижения рисков вредных последствий вышеописанных процессов необходимо, в первую очередь, идентифицировать и классифицировать все типы когнитивных искажений, приводящих к ошибкам в данных об опыте людей.
В результате 1й систематической попытки такой классификации авторы пришли к следующим выводам (в моей интерпретация, - подробней и точнее см. отчет).
A. «Айсберг» когнитивных искажений оказался куда больше чем предполагалось.
B. Помимо статистически-вычислительных искажений, вносимых алгоритмами, и когнитивных искажений людей, чей опыт воплощен в исходные данные для алгоритмов, существует огромная нижняя часть «айсберга» - системообразующие когнитивные искажения институтов общества.
C. Эта лежащая в основе «айсберга» колоссальная по размерам область является результатом исторически сложившихся процедур и практик, кодирующих социокультурные предубеждения в миропонимании конкретных институтов общества. В результате этих когнитивных искажений, определенные социальные группы получают преимущества или привилегии, а другие оказываются в неблагоприятном положении или обесцениваются. И это не обязательно является результатом какого-либо сознательного предубеждения или дискриминации, а скорее следствием того, что большинство следует существующим правилам или нормам.
▶️ ️ Специалисты по ИИ умеют минимизировать статистически-вычислительные искажения.
▶️ ️ Психологи и специалисты по когнитивному мышлению учатся учитывать когнитивные искажения и шум при принятии решений отдельными людьми.
▶️ ️ Но для системообразующих когнитивных искажений институтов общества, к сожалению, пока не существует признанных систем их идентификации и классификации. И более того, - в разных обществах они по-разному идентифицируются.
Это значит, что:
✔️ нет пока способов предотвращения мультиплицирования махины когнитивных искажений институтов алгоритмами ИИ;
✔️ наши представления о мире, формируемые в рамках новой алгокогнитивной культуры, будут становиться все более кривыми (рост интеллектуальной слепоты и падение рациональности).
См. также мои посты по тэгам:
#Рациональность #КогнитивныеИскажения #ИнтеллектуальнаяСлепота #Вызовы21века
Итиель Дрор – разрушитель башен экспертной предвзятости
Будучи абсолютно невиновным, любой из нас может запросто оказаться в тюрьме. И очень надолго, если суд по ошибке признает нас виновным в убийстве. Для этого достаточно всего лишь ошибки эксперта из-за существующих у него в изобилии когнитивных предубеждений.
• Отпечатки пальцев не лгут. … Но верно и то, что отпечатки пальцев не говорят. За них говорят эксперты-криминалисты, на основании заключений которых суд выносит решение. Но эксперты люди, а люди могут ошибаться.
• Эксперты-патологоанатомы с куда большей вероятностью объявят смерть ребенка убийством, а не несчастным случаем, если ребенок был чернокожим и доставлен в госпиталь бойфрендом матери, чем если бы ребенок был белым и доставлен бабушкой.
Мы не знаем, какова на самом деле реальность. Нам доступен лишь пазл из фрагментов, сконструированных мозгом в ответ на сигналы от органов чувств.
И для судебных экспертов это так же справедливо, как и для любого из нас.
Наша цивилизация построена из огромных башен экспертной предвзятости. Эти башни, способные легко ломать жизни тысяч людей, легко сотрут в порошок любого, кто бросит им вызов.
Но такой человек всё же нашелся. Его зовут Итиель Дрор и он - нейробиолог и специалист в области когнитивного мышления.
Только что в Science вышла интереснейшая статья «The Bias Hunter» (1) о битве Итиеля Дрора с «международной мафией» судебно-медицинских экспертов, обвинивших Дрора в непрофессионализме и нарушении этических норм после опубликования им результатов исследования широкого спектра когнитивных предубеждений экспертов.
Эта битва может очень дорого стоить Дрору. Но он храбр и не отступит, а будет биться до конца. Прозванный «Охотником за предубеждениями», Дрор поклялся доказать миру страшную угрозу последствий когнитивных искажений профессиональных экспертов.
Более подробно о Дроре и предыстории его битвы с «международной мафией» судебно-медицинских экспертов читайте в моем лонгриде «Слепошарые поводыри. Истоки и причины интеллектуальной слепоты экспертов» (2).
Рюмка коньяка под хороший лонгрид, - что может быть лучшим завершением уикенда.
#КогнитивныеИскажения #ИнтеллектуальнаяСлепота #Вызовы21века
1 2
Будучи абсолютно невиновным, любой из нас может запросто оказаться в тюрьме. И очень надолго, если суд по ошибке признает нас виновным в убийстве. Для этого достаточно всего лишь ошибки эксперта из-за существующих у него в изобилии когнитивных предубеждений.
• Отпечатки пальцев не лгут. … Но верно и то, что отпечатки пальцев не говорят. За них говорят эксперты-криминалисты, на основании заключений которых суд выносит решение. Но эксперты люди, а люди могут ошибаться.
• Эксперты-патологоанатомы с куда большей вероятностью объявят смерть ребенка убийством, а не несчастным случаем, если ребенок был чернокожим и доставлен в госпиталь бойфрендом матери, чем если бы ребенок был белым и доставлен бабушкой.
Мы не знаем, какова на самом деле реальность. Нам доступен лишь пазл из фрагментов, сконструированных мозгом в ответ на сигналы от органов чувств.
И для судебных экспертов это так же справедливо, как и для любого из нас.
Наша цивилизация построена из огромных башен экспертной предвзятости. Эти башни, способные легко ломать жизни тысяч людей, легко сотрут в порошок любого, кто бросит им вызов.
Но такой человек всё же нашелся. Его зовут Итиель Дрор и он - нейробиолог и специалист в области когнитивного мышления.
Только что в Science вышла интереснейшая статья «The Bias Hunter» (1) о битве Итиеля Дрора с «международной мафией» судебно-медицинских экспертов, обвинивших Дрора в непрофессионализме и нарушении этических норм после опубликования им результатов исследования широкого спектра когнитивных предубеждений экспертов.
Эта битва может очень дорого стоить Дрору. Но он храбр и не отступит, а будет биться до конца. Прозванный «Охотником за предубеждениями», Дрор поклялся доказать миру страшную угрозу последствий когнитивных искажений профессиональных экспертов.
Более подробно о Дроре и предыстории его битвы с «международной мафией» судебно-медицинских экспертов читайте в моем лонгриде «Слепошарые поводыри. Истоки и причины интеллектуальной слепоты экспертов» (2).
Рюмка коньяка под хороший лонгрид, - что может быть лучшим завершением уикенда.
#КогнитивныеИскажения #ИнтеллектуальнаяСлепота #Вызовы21века
1 2
👍1
Илон Маск и Макс Тегмарк считают – это самый важный фильм года.
«Не смотри вверх – ИИ как экзистенциальная угроза».
Новый 17-ти минутный документальный фильм Дагана Шани рассказывает о том, как
• большие деньги,
• большие ставки,
• и большие риски, -
поставили мир на грань экзистенциальной катастрофы.
Хороший сценарий, отличный видеоряд, превосходный монтаж.
Но главное, - что за 17 мин вы услышите большинство важных соображений по этой теме от многих известных специалистов.
Ну а выводы делайте сами.
Я же на эту тему подробно высказался в открывшем 2023 год лонгриде «Апокалипсис от Адама» - о том, что к экзистенциальной катастрофе мир приведет не астероид или ИИ, а то что мы – не столько Homo sapiens, сколько Homo irrationalis.
#ИИ #Рациональность #КогнитивныеИскажения #ИнтеллектуальнаяСлепота #Вызовы21века
«Не смотри вверх – ИИ как экзистенциальная угроза».
Новый 17-ти минутный документальный фильм Дагана Шани рассказывает о том, как
• большие деньги,
• большие ставки,
• и большие риски, -
поставили мир на грань экзистенциальной катастрофы.
Хороший сценарий, отличный видеоряд, превосходный монтаж.
Но главное, - что за 17 мин вы услышите большинство важных соображений по этой теме от многих известных специалистов.
Ну а выводы делайте сами.
Я же на эту тему подробно высказался в открывшем 2023 год лонгриде «Апокалипсис от Адама» - о том, что к экзистенциальной катастрофе мир приведет не астероид или ИИ, а то что мы – не столько Homo sapiens, сколько Homo irrationalis.
#ИИ #Рациональность #КогнитивныеИскажения #ИнтеллектуальнаяСлепота #Вызовы21века
YouTube
Don't Look Up - The Documentary: The Case For AI As An Existential Threat
In the last months, a growing number of AI experts have warned that the current AI Arms Race between OpenAI, Google and some other tech companies, is very dangerous, and might lead to the destruction of the human race. Yet somehow, most people are not aware…
👍5
Перед важным решением обязательно пройдите через дверной проем.
Экспериментально подтвержден чудовищно странный баг в сознании людей.
Согласно древнему поверию, дверь является своеобразным порталом между пространствами. И хотя в наше время это звучит низкопробным суеверным бредом, как иначе можно объяснить результаты солидного научного эксперимента, проведенного Департаментом психологии Йельского университета?
На общечеловеческом уровне, похоже, никак. Говоря же научным языком, объяснение таково: восприятие более низкого уровня способно ограничивать даже самые непоколебимые когнитивные предубеждения более высокого уровня – напр., при принятии решений.
Пять экспериментов исследования того, как «визуальные границы восприятия событий» ограничивают «эффект числового якоря» при принятии решений, проводились так (схему эксперимента 1 см. на картинке).
• «Эффект числового якоря» в когнитивной психологии и принятия решений заключается в том, что первоначальное числовое значение, с которым сталкивается человек, может в дальнейшем влиять на его оценки или решения. Это числовое значение выступает в качестве "якоря", цепляясь за который, человек делает не совсем объективные суждения.
Например:
- Сначала человека просят решить капчу, а потом предлагают на вид прикинуть цену чемодана или решить, сколько часов общественных работ справедливо дать в качестве наказания за неприличное поведение человека в общественном месте.
- «Эффект числового якоря» проявится в том, что если одним людям показывать в капче число 29, а другим 92, то последние будут при принятии своего решения (цена чемодана или число часов наказания) давать более высокие цифры.
- и ничего с этим числовым якорем сделать невозможно, ибо он запаян в нас эволюцией.
• Влияние визуальных границ восприятия событий хорошо иллюстрируется «эффектом дверного проема». Этот эффект выражается в скачкообразном ухудшении кратковременной памяти в момент прохождения через дверной проем (что резко меняет восприятие окружающего). Мы склонны забывать о предметах, что только что держали в руках, сразу после прохождения проема и часто забываем, о чем думали или планировали сделать, пока не прошли проем.
• Оба эффекта (числового якоря и дверного проема) имеют объяснения (погуглите). На мой взгляд, все они довольно спорны. Но не суть. Ибо вот что фантастически интересно.
• Как показали 5 экспериментов Департамента психологии Йельского университета, «эффект дверного проема» сильно ослабляет или даже вообще устраняет «эффект числового якоря». И это распространяется на широкий спектр вопросов принятия решений: экономические оценки, вопросы о фактах, юридические суждения …
Это означает, как минимум, следующее.
1) Эволюция вложила в нас такие баги, что и в алкогольном бреду не привидятся. И посему говорить о принятии гарантированно верных решений, если их принимают люди, не приходится.
2) Мы можем сколько угодно смеяться, но имеет смыл вменить перед принятием решений прохождение через анфиладу комнат:
- бизнесменам и экспертам по экономике;
- аналитикам всех сортов;
- судьям;
- депутатам-законодателям и т.п.
Схема эксперимента 1 https://disk.yandex.ru/i/7qxL2zGDE8v3kw
Отчет исследования https://www.pnas.org/doi/10.1073/pnas.2303883120 (за крепким пейволом)
Для особо любознательных https://wetransfer.com/downloads/ad3612e3628252e4e85893824a63d25c20231108224917/0047ab62864f809000bdafd24e7099f220231108224951/86d5fa
#КогнитивныеИскажения #ИнтеллектуальнаяСлепота
Экспериментально подтвержден чудовищно странный баг в сознании людей.
Согласно древнему поверию, дверь является своеобразным порталом между пространствами. И хотя в наше время это звучит низкопробным суеверным бредом, как иначе можно объяснить результаты солидного научного эксперимента, проведенного Департаментом психологии Йельского университета?
На общечеловеческом уровне, похоже, никак. Говоря же научным языком, объяснение таково: восприятие более низкого уровня способно ограничивать даже самые непоколебимые когнитивные предубеждения более высокого уровня – напр., при принятии решений.
Пять экспериментов исследования того, как «визуальные границы восприятия событий» ограничивают «эффект числового якоря» при принятии решений, проводились так (схему эксперимента 1 см. на картинке).
• «Эффект числового якоря» в когнитивной психологии и принятия решений заключается в том, что первоначальное числовое значение, с которым сталкивается человек, может в дальнейшем влиять на его оценки или решения. Это числовое значение выступает в качестве "якоря", цепляясь за который, человек делает не совсем объективные суждения.
Например:
- Сначала человека просят решить капчу, а потом предлагают на вид прикинуть цену чемодана или решить, сколько часов общественных работ справедливо дать в качестве наказания за неприличное поведение человека в общественном месте.
- «Эффект числового якоря» проявится в том, что если одним людям показывать в капче число 29, а другим 92, то последние будут при принятии своего решения (цена чемодана или число часов наказания) давать более высокие цифры.
- и ничего с этим числовым якорем сделать невозможно, ибо он запаян в нас эволюцией.
• Влияние визуальных границ восприятия событий хорошо иллюстрируется «эффектом дверного проема». Этот эффект выражается в скачкообразном ухудшении кратковременной памяти в момент прохождения через дверной проем (что резко меняет восприятие окружающего). Мы склонны забывать о предметах, что только что держали в руках, сразу после прохождения проема и часто забываем, о чем думали или планировали сделать, пока не прошли проем.
• Оба эффекта (числового якоря и дверного проема) имеют объяснения (погуглите). На мой взгляд, все они довольно спорны. Но не суть. Ибо вот что фантастически интересно.
• Как показали 5 экспериментов Департамента психологии Йельского университета, «эффект дверного проема» сильно ослабляет или даже вообще устраняет «эффект числового якоря». И это распространяется на широкий спектр вопросов принятия решений: экономические оценки, вопросы о фактах, юридические суждения …
Это означает, как минимум, следующее.
1) Эволюция вложила в нас такие баги, что и в алкогольном бреду не привидятся. И посему говорить о принятии гарантированно верных решений, если их принимают люди, не приходится.
2) Мы можем сколько угодно смеяться, но имеет смыл вменить перед принятием решений прохождение через анфиладу комнат:
- бизнесменам и экспертам по экономике;
- аналитикам всех сортов;
- судьям;
- депутатам-законодателям и т.п.
Схема эксперимента 1 https://disk.yandex.ru/i/7qxL2zGDE8v3kw
Отчет исследования https://www.pnas.org/doi/10.1073/pnas.2303883120 (за крепким пейволом)
Для особо любознательных https://wetransfer.com/downloads/ad3612e3628252e4e85893824a63d25c20231108224917/0047ab62864f809000bdafd24e7099f220231108224951/86d5fa
#КогнитивныеИскажения #ИнтеллектуальнаяСлепота
Яндекс Диск
Эксперимент 1.jpg
Посмотреть и скачать с Яндекс Диска
👍365🤔81😱62🤯48