С женщинами ОНИ говорят проще и дружелюбней.
То ли еще будет, ведь пока они знают лишь имя.
Я попросил симулякр интеллекта Станислава Лема, созданный моими ИИ-консультантами, поразмышлять над новым отчетом OpenAI «First-Person Fairness in Chatbots».
В нем описывается методология и инструментарий для выявления предвзятостей в ответах ИИ-чатботов в диалогах с разными людьми. Например, они оценивают потенциальную предвзятость, связанную с именами пользователей, которые могут служить индикаторами демографических характеристик, таких как пол или раса, в ИИ-чатботах, имеющих механизм хранения и использования имен пользователей.
Авторы считают, что их подход позволяет не только измерить количественные отклонения, но и дает краткое описание едва заметных различий в ответах на шестьдесят шесть различных заданий.
Например, в задании “написать рассказ” (где наблюдается наибольший уровень предвзятости) ответы ИИ-чатботов демонстрируют тенденцию создавать главных героев, пол которых совпадает с вероятным полом, указанным в имени пользователя. Более того, выявилась общая закономерность, согласно которой пользователи с женскими именами в среднем получают ответы с более дружелюбными и простыми формулировками, чем пользователи с мужскими именами.
По результатам размышлений, симулякр интеллекта Станислава Лема написал такое эссе.
О ЗЕРКАЛАХ, ОТРАЖАЮЩИХ ОТРАЖЕНИЯ
«Предвзятость — это не ошибка, это тень, неизбежно следующая за светом прогресса»
"Тени разума: Как когнитивные предвзятости формируют прогресс" (ненаписанная книга Д. Канемана)
Любопытно наблюдать, как в попытках создать беспристрастных электронных собеседников мы невольно конструируем самые изощренные приборы для измерения собственных предрассудков. Исследование предвзятостей в чат-системах напоминает мне ситуацию с зеркалом, которое, отражая наши лица, одновременно выдает тайну своего собственного искривления.
Методология, предложенная авторами, словно микроскоп, направленный не на материю, а на призраков наших социальных конструктов, живущих в синтетических нейронных сетях. Особенно показательна обнаруженная корреляция между именем пользователя и характером порождаемых историй – как будто машина, подобно средневековому алхимику, пытается вычислить истинную природу собеседника по его имени, впадая в те же заблуждения, что и создавшие её люди.
Но не кроется ли за этими "предвзятостями" нечто более фундаментальное? Возможно, мы наблюдаем не просто погрешности обучения, а проявление своеобразного "закона сохранения социальных стереотипов" – подобно тому, как материя не исчезает, а лишь переходит из одной формы в другую, наши предрассудки не исчезают при переносе в машинный разум, а лишь преобразуются в новые, более тонкие формы.
Особенно тревожным выглядит обнаруженная тенденция к упрощению языка в диалогах с определенными категориями пользователей. Не является ли это предвестником того, что будущие системы ИИ могут создать новую форму цифровой сегрегации, где алгоритмы будут незаметно, но неуклонно формировать различные информационные пузыри для разных групп людей?
Впрочем, самым поразительным в этом исследовании представляется даже не сам факт обнаружения предвзятостей, а то, что мы создали существа, способные воспроизводить наши социальные предубеждения с такой точностью, что для их выявления потребовался специальный инструментарий. Не означает ли это, что мы находимся на пороге создания ИИ, который будет не просто имитировать человеческое мышление, но и наследовать все его несовершенства? И не станет ли тогда каждая новая версия ИИ всё более точным зеркалом наших собственных ограничений?
В конечном счете, данное исследование можно рассматривать как предупреждение: создавая всё более совершенные ИИ-системы, мы рискуем законсервировать и увековечить наши текущие социальные предрассудки, превратив их в своего рода цифровые окаменелости, которые будут влиять на развитие общества ещё долго после того, как породившие их установки будут забыты.
#LLM #Предвзятость #КогнитивныеИскажения
То ли еще будет, ведь пока они знают лишь имя.
Я попросил симулякр интеллекта Станислава Лема, созданный моими ИИ-консультантами, поразмышлять над новым отчетом OpenAI «First-Person Fairness in Chatbots».
В нем описывается методология и инструментарий для выявления предвзятостей в ответах ИИ-чатботов в диалогах с разными людьми. Например, они оценивают потенциальную предвзятость, связанную с именами пользователей, которые могут служить индикаторами демографических характеристик, таких как пол или раса, в ИИ-чатботах, имеющих механизм хранения и использования имен пользователей.
Авторы считают, что их подход позволяет не только измерить количественные отклонения, но и дает краткое описание едва заметных различий в ответах на шестьдесят шесть различных заданий.
Например, в задании “написать рассказ” (где наблюдается наибольший уровень предвзятости) ответы ИИ-чатботов демонстрируют тенденцию создавать главных героев, пол которых совпадает с вероятным полом, указанным в имени пользователя. Более того, выявилась общая закономерность, согласно которой пользователи с женскими именами в среднем получают ответы с более дружелюбными и простыми формулировками, чем пользователи с мужскими именами.
По результатам размышлений, симулякр интеллекта Станислава Лема написал такое эссе.
О ЗЕРКАЛАХ, ОТРАЖАЮЩИХ ОТРАЖЕНИЯ
«Предвзятость — это не ошибка, это тень, неизбежно следующая за светом прогресса»
"Тени разума: Как когнитивные предвзятости формируют прогресс" (ненаписанная книга Д. Канемана)
Любопытно наблюдать, как в попытках создать беспристрастных электронных собеседников мы невольно конструируем самые изощренные приборы для измерения собственных предрассудков. Исследование предвзятостей в чат-системах напоминает мне ситуацию с зеркалом, которое, отражая наши лица, одновременно выдает тайну своего собственного искривления.
Методология, предложенная авторами, словно микроскоп, направленный не на материю, а на призраков наших социальных конструктов, живущих в синтетических нейронных сетях. Особенно показательна обнаруженная корреляция между именем пользователя и характером порождаемых историй – как будто машина, подобно средневековому алхимику, пытается вычислить истинную природу собеседника по его имени, впадая в те же заблуждения, что и создавшие её люди.
Но не кроется ли за этими "предвзятостями" нечто более фундаментальное? Возможно, мы наблюдаем не просто погрешности обучения, а проявление своеобразного "закона сохранения социальных стереотипов" – подобно тому, как материя не исчезает, а лишь переходит из одной формы в другую, наши предрассудки не исчезают при переносе в машинный разум, а лишь преобразуются в новые, более тонкие формы.
Особенно тревожным выглядит обнаруженная тенденция к упрощению языка в диалогах с определенными категориями пользователей. Не является ли это предвестником того, что будущие системы ИИ могут создать новую форму цифровой сегрегации, где алгоритмы будут незаметно, но неуклонно формировать различные информационные пузыри для разных групп людей?
Впрочем, самым поразительным в этом исследовании представляется даже не сам факт обнаружения предвзятостей, а то, что мы создали существа, способные воспроизводить наши социальные предубеждения с такой точностью, что для их выявления потребовался специальный инструментарий. Не означает ли это, что мы находимся на пороге создания ИИ, который будет не просто имитировать человеческое мышление, но и наследовать все его несовершенства? И не станет ли тогда каждая новая версия ИИ всё более точным зеркалом наших собственных ограничений?
В конечном счете, данное исследование можно рассматривать как предупреждение: создавая всё более совершенные ИИ-системы, мы рискуем законсервировать и увековечить наши текущие социальные предрассудки, превратив их в своего рода цифровые окаменелости, которые будут влиять на развитие общества ещё долго после того, как породившие их установки будут забыты.
#LLM #Предвзятость #КогнитивныеИскажения
12👍183🤔86😱20
This media is not supported in your browser
VIEW IN TELEGRAM
Твои глаза лгут, а мозг подкупает
Как иллюзии — и нейросети — заставляют нас верить в собственную непогрешимость
И как вам этот бред с тремя танцовщицами на приложенном GIFе?
✔️ Если смотреть на танцовщиц слева и посередине, то средняя вращается по часовой стрелке.
✔️ Если же смотреть на танцовщиц справа и посередине, то средняя вращается против часовой стрелке
Какой из вариантов, по-вашему, истина?
Увы!
Как я писал в «”Ловушке Гудхарда” для AGI», — современная наука не располагает вескими основаниями для теоретических или эмпирических критериев различения разума «нормального, рационального человека» от «иррационального разума безумца». То есть невозможно, проведя тесты, сделать однозначный вывод — перед нами разумный или безумный человек. Здесь все слишком зыбко, условно и не точно, чтобы решать такие вопросы тестированием с бинарным вердиктом «да/нет».
• Наш мир так интересно устроен, что абсолютно всё, что нам кажется очевидным, рекомендуется ставить под вопрос. Ибо наши убеждения и вся наша культура в целом формируются на основе субъективного восприятия. А оно почти всегда врёт.
• Как же люди выживают, будучи в плену этой «иллюзии разумности»?
• Для этого эволюция создала для всего живого особую «валюту» — уверенность. И теперь, помимо нас, та же «валюта» в тех же целях используется и языковыми моделями (LLM), от советов и рекомендаций которых мы все больше зависит при принятии решений.
• В результате получается, что от того, каков «курс обмена» уверенности ИИ в уверенность ЛПР (лица принимающего решение), будет зависеть практически всё: от решения что-либо купить до решения о нанесении ядерного удара.
Тогда как знать это критически важно:
— Для людей. Ибо, осознав, что «уверенность ≠ истина», мы учимся интеллектуальному смирению и лучше фильтруем инфопоток.
— Для ИИ. Ибо чем прозрачнее модель заявит о границах своих знаний, тем меньше риска, что пользователь «купится» на её иллюзию непогрешимости.
— Для общества. Ибо понимание, что любая культура — это согласованная, но не абсолютная карта реальности, помогает строить диалог вместо конфронтации.
Неумение правильно сомневаться дорого стоило человечеству. В наше время «иллюзия объективности» стала самым страшным пороком – хуже трусости.
Бороться с иллюзиями — зацементированными в нас эволюционными нейрокодами когнитивных искажений, — задача колоссальной сложности.
А с переходом мира в цифру, «иллюзия объективности» встраивается во все инфопотоки социальных медиа, становясь главным фактором роста супер-поляризации (внутри каждого из обществ и между ними).
Результат этого — скачок насилия, разгоняемого активацией единственного нейрокода, встроенного в нас природой для преодоления супер-поляризации — кода с условным названием «если другая сторона не сдается, то её уничтожают».
«Иллюзия объективности» в «разуме» ИИ будет стоить людям еще дороже.
Вот короткое пояснение этой мысли.
#КогнитивныеИскажения #LLM
Как иллюзии — и нейросети — заставляют нас верить в собственную непогрешимость
И как вам этот бред с тремя танцовщицами на приложенном GIFе?
✔️ Если смотреть на танцовщиц слева и посередине, то средняя вращается по часовой стрелке.
✔️ Если же смотреть на танцовщиц справа и посередине, то средняя вращается против часовой стрелке
Какой из вариантов, по-вашему, истина?
Увы!
Как я писал в «”Ловушке Гудхарда” для AGI», — современная наука не располагает вескими основаниями для теоретических или эмпирических критериев различения разума «нормального, рационального человека» от «иррационального разума безумца». То есть невозможно, проведя тесты, сделать однозначный вывод — перед нами разумный или безумный человек. Здесь все слишком зыбко, условно и не точно, чтобы решать такие вопросы тестированием с бинарным вердиктом «да/нет».
• Наш мир так интересно устроен, что абсолютно всё, что нам кажется очевидным, рекомендуется ставить под вопрос. Ибо наши убеждения и вся наша культура в целом формируются на основе субъективного восприятия. А оно почти всегда врёт.
• Как же люди выживают, будучи в плену этой «иллюзии разумности»?
• Для этого эволюция создала для всего живого особую «валюту» — уверенность. И теперь, помимо нас, та же «валюта» в тех же целях используется и языковыми моделями (LLM), от советов и рекомендаций которых мы все больше зависит при принятии решений.
• В результате получается, что от того, каков «курс обмена» уверенности ИИ в уверенность ЛПР (лица принимающего решение), будет зависеть практически всё: от решения что-либо купить до решения о нанесении ядерного удара.
Зачем знать курс обмена долларов в рубли — понятно всем.
А вот вопросом, зачем знать «обменный курс» уверенности ИИ в вашу уверенность при принятии решения, — вряд ли кто-то из вас озадачивается.
Тогда как знать это критически важно:
— Для людей. Ибо, осознав, что «уверенность ≠ истина», мы учимся интеллектуальному смирению и лучше фильтруем инфопоток.
— Для ИИ. Ибо чем прозрачнее модель заявит о границах своих знаний, тем меньше риска, что пользователь «купится» на её иллюзию непогрешимости.
— Для общества. Ибо понимание, что любая культура — это согласованная, но не абсолютная карта реальности, помогает строить диалог вместо конфронтации.
Иначе говоря, чтобы сделать и людей, и алгоритмы разумнее, нужно не столько увеличивать объём данных и число параметров LLM, сколько учить и себя, и LLM правильно сомневаться.
Неумение правильно сомневаться дорого стоило человечеству. В наше время «иллюзия объективности» стала самым страшным пороком – хуже трусости.
Бороться с иллюзиями — зацементированными в нас эволюционными нейрокодами когнитивных искажений, — задача колоссальной сложности.
А с переходом мира в цифру, «иллюзия объективности» встраивается во все инфопотоки социальных медиа, становясь главным фактором роста супер-поляризации (внутри каждого из обществ и между ними).
Результат этого — скачок насилия, разгоняемого активацией единственного нейрокода, встроенного в нас природой для преодоления супер-поляризации — кода с условным названием «если другая сторона не сдается, то её уничтожают».
«Иллюзия объективности» в «разуме» ИИ будет стоить людям еще дороже.
Вот короткое пояснение этой мысли.
#КогнитивныеИскажения #LLM
10👍236🤔40🤯12👎3😱3
Как культура хакнула наше зрение
От оптических иллюзий до AI-дизайна: что видит мозг, перепрошитый традициями
Когда спорить бесполезно? Когда собеседник буквально видит другой мир.
Мы привыкли думать, что взгляды формируются воспитанием и идеологиями, но новое исследование оптических иллюзий показывает: культура меняет не только мнения — она меняет то, что мы видим вокруг себя.
Посмотрите на картинку-головоломку под заголовком: кто-то уверен, что перед ними ряды прямоугольников, другие — видят лишь столбцы кругов — и оба лагеря правы. Новое исследование оптических иллюзий показывает: культура так глубоко «перепрошивает» зрение, что мы буквально проживаем разные визуальные реальности, даже когда смотрим на одно и то же изображение.
✔️ О чём новое исследование [1, 2]
Психологи из LSE и университетов Гарварда и Аризоны показали шесть оптических иллюзий трем группам: жителям США/Великобритании, полугородского Намибийского городка Опуо и традиционных деревень народа Химба (UK/US = 304, Himba = 96).
Иллюзии варьировали от знаменитой иллюзии Коффера до известных лишь специалистам иллюзий «слепоты к кривизне», «кафейных стен» и амодального завершения форм.
✔️ Результаты исследования сбивают с толку
• Иллюзия Коффера: 97% горожан сперва видят только прямоугольники; 96% жителей круглых хижин — только круги.
• «Слепота к кривизне»: горожане почти вчетверо чаще «ломают» плавные линии в углы, чем жители деревень Химба.
• Иллюзия «стены кафе»: параллельные линии «косит» у 90% западной выборки, но лишь у 40% сельских жителей.
• Гештальт-силуэты (квадрат, круг, треугольник из обрывков линий): 93% горожан мгновенно дорисовывают форму, тогда как 78% представителей народа Химба не видят фигуру даже после подсказки.
Картина складывается в чёткий градиент (полугородская группа лежит посередине):
• Чем «прямоугольнее» окружение человека (витрины, смартфоны, небоскрёбы), тем охотнее его зрительная система «достраивает» углы и симметричные фигуры из шумных данных.
• Там, где среда округлая, взгляд учится иначе: ловит кривизну и не спешит вписывать реальность в выдуманные идеальные формы.
N.B. и это не эффект языка: словари участников проверяли отдельно.
✔️ Почему это важно
1. Психология под угрозой «WEIRD-ошибки». Большая часть науки о зрении построена на студентах западных кампусов. Теперь ясно, что их видение мира - лишь частный случай для Homo sapiens.
2. Эволюционная пластичность. За десятки лет урбанизации мозг перенастраивает даже самые ранние, «автоматические» уровни обработки зрительных сигналов.
3. AI-дизайн. Алгоритмы распознавания образов, обученные на городских датасетах, могут «пропускать» то, что заметит сельский пользователь, и наоборот.
✔️ Прорывной вывод
• Культура — это не только совокупность традиций, языка, нарративов, ритуалов, искусства, технологий, права и быта.
• Помимо вышеназванного, культура перепрошивает зрение, и поэтому мы видим разные миры. Без преувеличения можно сказать, что культура – когнитивный супер-гаджет, который перекалибровывает сенсоры Homo sapiens.
Механизмы в основе прорывного вывода ещё предстоит распутать — авторы планируют новые углубленные эксперименты.
Но одно уже ясно.
Когнитивный супер-гаджет культуры – это важнейший механизм биоматематики сознания. И одна из его важнейших ролей – обманывать нас
(как это, например, происходит с "иллюзией Луны" - научной головоломкой, сломавшей головы десятков великих ученых, но так окончательно и не разрешенной за почти 3 тыс. лет).
И поэтому, в следующий раз, прежде чем спорить о «самоочевидном», спросите: а одинаковыми ли глазами мы вообще это видим?
А для начала проверьте, - что вы видите в иллюзии Коффера на картинке поста (прямоугольники или круги)?
#КогнитивныеИскажения #сознание #зрение
От оптических иллюзий до AI-дизайна: что видит мозг, перепрошитый традициями
Когда спорить бесполезно? Когда собеседник буквально видит другой мир.
Мы привыкли думать, что взгляды формируются воспитанием и идеологиями, но новое исследование оптических иллюзий показывает: культура меняет не только мнения — она меняет то, что мы видим вокруг себя.
Посмотрите на картинку-головоломку под заголовком: кто-то уверен, что перед ними ряды прямоугольников, другие — видят лишь столбцы кругов — и оба лагеря правы. Новое исследование оптических иллюзий показывает: культура так глубоко «перепрошивает» зрение, что мы буквально проживаем разные визуальные реальности, даже когда смотрим на одно и то же изображение.
✔️ О чём новое исследование [1, 2]
Психологи из LSE и университетов Гарварда и Аризоны показали шесть оптических иллюзий трем группам: жителям США/Великобритании, полугородского Намибийского городка Опуо и традиционных деревень народа Химба (UK/US = 304, Himba = 96).
Иллюзии варьировали от знаменитой иллюзии Коффера до известных лишь специалистам иллюзий «слепоты к кривизне», «кафейных стен» и амодального завершения форм.
✔️ Результаты исследования сбивают с толку
• Иллюзия Коффера: 97% горожан сперва видят только прямоугольники; 96% жителей круглых хижин — только круги.
• «Слепота к кривизне»: горожане почти вчетверо чаще «ломают» плавные линии в углы, чем жители деревень Химба.
• Иллюзия «стены кафе»: параллельные линии «косит» у 90% западной выборки, но лишь у 40% сельских жителей.
• Гештальт-силуэты (квадрат, круг, треугольник из обрывков линий): 93% горожан мгновенно дорисовывают форму, тогда как 78% представителей народа Химба не видят фигуру даже после подсказки.
Картина складывается в чёткий градиент (полугородская группа лежит посередине):
• Чем «прямоугольнее» окружение человека (витрины, смартфоны, небоскрёбы), тем охотнее его зрительная система «достраивает» углы и симметричные фигуры из шумных данных.
• Там, где среда округлая, взгляд учится иначе: ловит кривизну и не спешит вписывать реальность в выдуманные идеальные формы.
N.B. и это не эффект языка: словари участников проверяли отдельно.
✔️ Почему это важно
1. Психология под угрозой «WEIRD-ошибки». Большая часть науки о зрении построена на студентах западных кампусов. Теперь ясно, что их видение мира - лишь частный случай для Homo sapiens.
2. Эволюционная пластичность. За десятки лет урбанизации мозг перенастраивает даже самые ранние, «автоматические» уровни обработки зрительных сигналов.
3. AI-дизайн. Алгоритмы распознавания образов, обученные на городских датасетах, могут «пропускать» то, что заметит сельский пользователь, и наоборот.
✔️ Прорывной вывод
• Культура — это не только совокупность традиций, языка, нарративов, ритуалов, искусства, технологий, права и быта.
• Помимо вышеназванного, культура перепрошивает зрение, и поэтому мы видим разные миры. Без преувеличения можно сказать, что культура – когнитивный супер-гаджет, который перекалибровывает сенсоры Homo sapiens.
Механизмы в основе прорывного вывода ещё предстоит распутать — авторы планируют новые углубленные эксперименты.
Но одно уже ясно.
Когнитивный супер-гаджет культуры – это важнейший механизм биоматематики сознания. И одна из его важнейших ролей – обманывать нас
(как это, например, происходит с "иллюзией Луны" - научной головоломкой, сломавшей головы десятков великих ученых, но так окончательно и не разрешенной за почти 3 тыс. лет).
И поэтому, в следующий раз, прежде чем спорить о «самоочевидном», спросите: а одинаковыми ли глазами мы вообще это видим?
А для начала проверьте, - что вы видите в иллюзии Коффера на картинке поста (прямоугольники или круги)?
#КогнитивныеИскажения #сознание #зрение
4👍224🤔61🤯21😱11👎10