Выяснилось, что у самых крутых "рассуждающих" моделей (типа о1 от OpenAI) совершенно неожиданно прорезался таинственный и необъяснимый сюрприз:
«Рассуждая в уме» (в случаях сложных вопросов, требующих от модели сложных цепочек мыслей), эти модели стали переходить с языка постановки задачи или вопроса на другие языки. Причем, выбирая новый язык совершенно необъяснимым образом.
Что заставляет модель делать такое?
Ведь она не знает, что такое язык, и что языки различаются… Для нее это просто последовательность токенов.
• Может это из-за того, что у моделей, как у людей, снижается чувствительность к логике и точность рассуждений на иностранном языке?
• Или переход с языка на язык может быть непроизвольным - подобно случившемуся с радисткой Штирлица Кет, которая спалилась на том, что во время родов закричала на русском?
• Но применимо ли вообще к моделям понятия родной и иностранный язык?
А еще выяснилось, что самые крутые "рассуждающие" модели – эти полиглоты, энциклопедисты и полиматы, - видят мир в искаженной реальности масскульта: незатейливые, но простые и вирусные анекдоты, мемы, шуточки и прочие тексты с максимально несложным для понимания смыслом и, зачастую, не соответствующие действительности.
И что дальше будет только хуже из-за триллионов петель обратной связи, которые будут неуклонно повышать степень идиотизма и людей, и ИИ-алгоритмов, искажая представления о мире и у тех, и у других.
Об этом подписчики моих лонгридов могут прочесть на Patreon, Boosty, VK и Дзен.
#АлгокогнитивнаяКультура #Язык #HumanAIcoevolution #Вызовы21века
«Рассуждая в уме» (в случаях сложных вопросов, требующих от модели сложных цепочек мыслей), эти модели стали переходить с языка постановки задачи или вопроса на другие языки. Причем, выбирая новый язык совершенно необъяснимым образом.
Что заставляет модель делать такое?
Ведь она не знает, что такое язык, и что языки различаются… Для нее это просто последовательность токенов.
• Может это из-за того, что у моделей, как у людей, снижается чувствительность к логике и точность рассуждений на иностранном языке?
• Или переход с языка на язык может быть непроизвольным - подобно случившемуся с радисткой Штирлица Кет, которая спалилась на том, что во время родов закричала на русском?
• Но применимо ли вообще к моделям понятия родной и иностранный язык?
А еще выяснилось, что самые крутые "рассуждающие" модели – эти полиглоты, энциклопедисты и полиматы, - видят мир в искаженной реальности масскульта: незатейливые, но простые и вирусные анекдоты, мемы, шуточки и прочие тексты с максимально несложным для понимания смыслом и, зачастую, не соответствующие действительности.
И что дальше будет только хуже из-за триллионов петель обратной связи, которые будут неуклонно повышать степень идиотизма и людей, и ИИ-алгоритмов, искажая представления о мире и у тех, и у других.
Об этом подписчики моих лонгридов могут прочесть на Patreon, Boosty, VK и Дзен.
#АлгокогнитивнаяКультура #Язык #HumanAIcoevolution #Вызовы21века
26👍209😱53🤔40👎10🤯7
Слова формируют мир
О мальчиках, девочках, людях по умолчанию, ноосфере и 2-м носителе культуры
Казалось бы, ничего не значащие фразы родителей, обращенные к их детям, кодируют прошивку их формирующегося мировоззрения.
Представьте маму с малюткой сыном, пришедших на детскую площадку. "Смотри, как здесь интересно! Вон как весело ребенок качается на качелях" – говорит мать о мальчике. "А вон девочка спускается с горки" – произносит она, указывая на девочку.
Казалось бы, незначительная лингвистическая асимметрия, но именно из таких микроскопических взаимодействий вырастает глобальное явление андроцентризма – представления о мужчине как о "человеке по умолчанию".
Исследование "Kids and Girls: Parents convey a male default in child-directed speech" раскрывает один из ключевых механизмов формирования гендерного неравенства в США, начиная с ранних лет жизни. Авторы документируют поразительно устойчивую закономерность:
• родители куда чаще используют гендерно-нейтральные термины ("ребенок", "человек") при описании мальчиков,
• и наоборот, гендерно-специфичные термины при описании девочек.
Эта языковая асимметрия функционирует как невидимая гравитация культурного ландшафта – сила, которую мы не замечаем, но которая неумолимо направляет траектории мышления детей.
Через призму категориальных языковых меток:
• мальчики представляются как универсальная норма человечества,
• а девочки маркируются как "особый случай".
Особенно интригует обнаруженный феномен обращения шаблона при описании контр-стереотипных ситуаций:
• красящий ногти мальчик внезапно маркируется гендерным ярлыком,
• тогда как девочка, выкапывающая из земли червяков, описывается нейтральными терминами.
Это наводит на мысль, что проблема глубже простого лингвистического сексизма – она коренится в сложном переплетении гендерных и поведенческих ожиданий.
Возможно, все дело в "двойном кодировании": язык родителей не просто передает андроцентрическое мировоззрение, но и обучает детей когнитивному фреймингу для категоризации всего человеческого опыта. Т.е. наблюдается процесс, посредством которого "человеческое" и "мужское" концептуально связываются в единый когнитивный узел еще до того, как ребенок осознает социальные последствия этой связи.
Но это оставляет без ответа ключевой вопрос:
• является ли языковое маркирование причиной или следствием андроцентризма?
Скорее всего, дело в замкнутом цикле усиления: культурные стереотипы влияют на язык, который в свою очередь закрепляет эти стереотипы. При этом речь идет не столько о модификации языка, сколько о преобразовании когнитивных схем, лежащих в основе категоризации человеческого опыта.
Этот андроцентризм не является врожденным, с ним дети не рождаются. Он появляется в процессе взросления, когда социальные силы вокруг них — язык, СМИ, образование — укрепляют идею, что мужчины являются «стандартом», а женщины — исключением.
Исследование открывает дверь для более широких вопросов.
• Что происходит, когда дети начинают усваивать этот стереотип?
• Приводит ли это к самосбывающемуся пророчеству, где мальчики вырастают, веря, что они более способны или более достойны занять лидирующие позиции, в то время как девочки приучаются воспринимать себя как периферийных или второстепенных?
• Могут ли такие тонкие изменения в языке в будущем сыграть роль в расширении гендерных неравенств, несмотря на усилия по улучшению гендерного равенства?
И главный вопрос:
Ответ на этот вопрос обсудим во 2й части поста завтра.
#Язык
О мальчиках, девочках, людях по умолчанию, ноосфере и 2-м носителе культуры
Казалось бы, ничего не значащие фразы родителей, обращенные к их детям, кодируют прошивку их формирующегося мировоззрения.
Представьте маму с малюткой сыном, пришедших на детскую площадку. "Смотри, как здесь интересно! Вон как весело ребенок качается на качелях" – говорит мать о мальчике. "А вон девочка спускается с горки" – произносит она, указывая на девочку.
Казалось бы, незначительная лингвистическая асимметрия, но именно из таких микроскопических взаимодействий вырастает глобальное явление андроцентризма – представления о мужчине как о "человеке по умолчанию".
1) Невидимая гравитация культурного ландшафта
Исследование "Kids and Girls: Parents convey a male default in child-directed speech" раскрывает один из ключевых механизмов формирования гендерного неравенства в США, начиная с ранних лет жизни. Авторы документируют поразительно устойчивую закономерность:
• родители куда чаще используют гендерно-нейтральные термины ("ребенок", "человек") при описании мальчиков,
• и наоборот, гендерно-специфичные термины при описании девочек.
Эта языковая асимметрия функционирует как невидимая гравитация культурного ландшафта – сила, которую мы не замечаем, но которая неумолимо направляет траектории мышления детей.
Через призму категориальных языковых меток:
• мальчики представляются как универсальная норма человечества,
• а девочки маркируются как "особый случай".
Особенно интригует обнаруженный феномен обращения шаблона при описании контр-стереотипных ситуаций:
• красящий ногти мальчик внезапно маркируется гендерным ярлыком,
• тогда как девочка, выкапывающая из земли червяков, описывается нейтральными терминами.
Это наводит на мысль, что проблема глубже простого лингвистического сексизма – она коренится в сложном переплетении гендерных и поведенческих ожиданий.
Возможно, все дело в "двойном кодировании": язык родителей не просто передает андроцентрическое мировоззрение, но и обучает детей когнитивному фреймингу для категоризации всего человеческого опыта. Т.е. наблюдается процесс, посредством которого "человеческое" и "мужское" концептуально связываются в единый когнитивный узел еще до того, как ребенок осознает социальные последствия этой связи.
Но это оставляет без ответа ключевой вопрос:
• является ли языковое маркирование причиной или следствием андроцентризма?
Скорее всего, дело в замкнутом цикле усиления: культурные стереотипы влияют на язык, который в свою очередь закрепляет эти стереотипы. При этом речь идет не столько о модификации языка, сколько о преобразовании когнитивных схем, лежащих в основе категоризации человеческого опыта.
Но в любом случае, мы живем в мире, где язык формирует реальность. Слова, которые мы используем, могут тюнить наше восприятие себя и общества. И в этом мире мужское воспринимается как универсальное, а женское – как частное.
Этот андроцентризм не является врожденным, с ним дети не рождаются. Он появляется в процессе взросления, когда социальные силы вокруг них — язык, СМИ, образование — укрепляют идею, что мужчины являются «стандартом», а женщины — исключением.
Исследование открывает дверь для более широких вопросов.
• Что происходит, когда дети начинают усваивать этот стереотип?
• Приводит ли это к самосбывающемуся пророчеству, где мальчики вырастают, веря, что они более способны или более достойны занять лидирующие позиции, в то время как девочки приучаются воспринимать себя как периферийных или второстепенных?
• Могут ли такие тонкие изменения в языке в будущем сыграть роль в расширении гендерных неравенств, несмотря на усилия по улучшению гендерного равенства?
И главный вопрос:
Может ли использование гендерно-нейтрального языка в общении с детьми разрушить этот укоренившийся гендерный порядок (используя LLM, так изменить язык, чтоб создать будущее, в котором дети будут воспринимать оба пола как одинаково способные и универсальные)?
Ответ на этот вопрос обсудим во 2й части поста завтра.
#Язык
3👍217👎122🤔53🤯26😱9
Новый носитель культуры
Есть ли у LLM аналоги "души" и "достоинства" или они лишь инструменты выживания человеческой культуры?
В прогнозах того, как развитие больших языковых моделей (LLM) скажется на жизни людей, все чаще называется гибридизация интеллектуальной деятельности людей.
Иными словами, скорее всего,
• ИИ не захватит власть над людьми, подчинив их своим интересам или уничтожив за ненадобностью;
• и не вытеснит людей из широкого спектра интеллектуальной деятельности (от науки и бизнеса до искусства).
Скорее всего, люди и ИИ будут объединяться в своего рода интеллектуальных кентавров, сочетающих наиболее сильные стороны обоих типов интеллекта. И эта интеллектуальная кентавризация людей и алгоритмов станет главным итогом интеллектуальной революции человечества в 21 веке.
Но что не учитывают подобные прогнозы, — что у интеллектуальной кентавризации, помимо позитивных последствий (появление у таких кентавров когнитивных сверхспособностей, отсутствующих и у людей, и у ИИ), могут быть столь же уникальные по масштабу и качеству негативные последствия.
Например, — влияние алгоритмов на изменение вектора культурной эволюции, являвшейся доминирующим фактором в генно-культурной эволюции Homo sapiens, как минимум, последние несколько десятков тысяч лет.
До сих пор негативные последствия нарастающего массового применения LLM во всех областях человеческой деятельности, так или иначе связанных с языком, виделись в порождении дезинформации и фейков, засорении ноосферы некачественной и ложной информацией, манипулировании мнениями и предпочтением людей и усилении наших и без того немалых когнитивных предубеждений.
Но как показали результаты обсуждавшегося нами вчера совместного исследования университетов Принстона и Нью-Йорка:
• в ноосфере существует, своего рода, невидимая гравитация культурного ландшафта — сила, которую мы не замечаем, но которая неумолимо направляет траектории мышления детей;
• и за счет эффекта "двойного кодирования", через язык родителей детям не только передаются элементы их формирующегося мировоззрения, но и происходит обучение детей когнитивному фреймингу, преобразующему их когнитивные схемы, лежащие в основе категоризации всего человеческого опыта.
Особая актуальность этого исследования в том, что оно напоминает нам:
В контексте начавшегося лавинообразного внедрения в нашу жизнь LLM это становится особенно важным. Ведь эти модели не только являются вторым носителем высшего интеллекта, формирующим ноосферу, но и с неотвратимостью превратятся во второй носитель культуры гибридной цивилизации на Земле.
И этот второй носитель культуры способен не только реплицировать уже существующие знания и усиливать уже существующие предубеждения людей при формировании новых слоев ноосферы.
Формируя свои "когнитивные" структуры через обучающие данные, этот второй носитель культуры, по мере расширения интеллектуальной кентавризации, будет все больше влиять на формирование когнитивных структур у детей.
И это вполне может стать одним из ключевых рисков интеграции LLM в социальную жизнь и доминирующим фактором создания будущего интеллектуального ландшафта Земли.
И если вы захотите прочесть это (заодно узнав, что на картинке поста), то из-за ограничений Телеграма на размер поста, вам придется кликнуть на эту ссылку с продолжением моего поста в Телеграфе
https://telegra.ph/LLM-orientirovannaya-pereinterpretaciya-rasskaza-Vyacheslava-Rybakova-Nositel-kultury-03-21
#Язык
Есть ли у LLM аналоги "души" и "достоинства" или они лишь инструменты выживания человеческой культуры?
Оставаться собой — максимум, что человек вообще может.
Вячеслав Рыбаков «Носитель культуры»
В прогнозах того, как развитие больших языковых моделей (LLM) скажется на жизни людей, все чаще называется гибридизация интеллектуальной деятельности людей.
Иными словами, скорее всего,
• ИИ не захватит власть над людьми, подчинив их своим интересам или уничтожив за ненадобностью;
• и не вытеснит людей из широкого спектра интеллектуальной деятельности (от науки и бизнеса до искусства).
Скорее всего, люди и ИИ будут объединяться в своего рода интеллектуальных кентавров, сочетающих наиболее сильные стороны обоих типов интеллекта. И эта интеллектуальная кентавризация людей и алгоритмов станет главным итогом интеллектуальной революции человечества в 21 веке.
Но что не учитывают подобные прогнозы, — что у интеллектуальной кентавризации, помимо позитивных последствий (появление у таких кентавров когнитивных сверхспособностей, отсутствующих и у людей, и у ИИ), могут быть столь же уникальные по масштабу и качеству негативные последствия.
Например, — влияние алгоритмов на изменение вектора культурной эволюции, являвшейся доминирующим фактором в генно-культурной эволюции Homo sapiens, как минимум, последние несколько десятков тысяч лет.
До сих пор негативные последствия нарастающего массового применения LLM во всех областях человеческой деятельности, так или иначе связанных с языком, виделись в порождении дезинформации и фейков, засорении ноосферы некачественной и ложной информацией, манипулировании мнениями и предпочтением людей и усилении наших и без того немалых когнитивных предубеждений.
Но как показали результаты обсуждавшегося нами вчера совместного исследования университетов Принстона и Нью-Йорка:
• в ноосфере существует, своего рода, невидимая гравитация культурного ландшафта — сила, которую мы не замечаем, но которая неумолимо направляет траектории мышления детей;
• и за счет эффекта "двойного кодирования", через язык родителей детям не только передаются элементы их формирующегося мировоззрения, но и происходит обучение детей когнитивному фреймингу, преобразующему их когнитивные схемы, лежащие в основе категоризации всего человеческого опыта.
Особая актуальность этого исследования в том, что оно напоминает нам:
язык — это не просто средство коммуникации, но и инструмент власти над миром, с помощью которого мы структурируем реальность.
В контексте начавшегося лавинообразного внедрения в нашу жизнь LLM это становится особенно важным. Ведь эти модели не только являются вторым носителем высшего интеллекта, формирующим ноосферу, но и с неотвратимостью превратятся во второй носитель культуры гибридной цивилизации на Земле.
И этот второй носитель культуры способен не только реплицировать уже существующие знания и усиливать уже существующие предубеждения людей при формировании новых слоев ноосферы.
Формируя свои "когнитивные" структуры через обучающие данные, этот второй носитель культуры, по мере расширения интеллектуальной кентавризации, будет все больше влиять на формирование когнитивных структур у детей.
И это вполне может стать одним из ключевых рисков интеграции LLM в социальную жизнь и доминирующим фактором создания будущего интеллектуального ландшафта Земли.
Наверняка, у многих читателей этого поста он может вызвать реакцию идиосинкразии на кажущееся им в этом тексте сочетание технофобии и апокалиптичности. Переубедить таких читателей я вряд ли смогу. Но чтобы хоть как-то попытаться донести свои опасения и до этих читателей, я попробую проиллюстрировать основные мысли этого поста современной LLM-ориентированной переинтерпретацией рассказа Вячеслава Рыбакова «Носитель культуры».
И если вы захотите прочесть это (заодно узнав, что на картинке поста), то из-за ограничений Телеграма на размер поста, вам придется кликнуть на эту ссылку с продолжением моего поста в Телеграфе
https://telegra.ph/LLM-orientirovannaya-pereinterpretaciya-rasskaza-Vyacheslava-Rybakova-Nositel-kultury-03-21
#Язык
15👍150🤔33👎15