Голос как уловка
Алгокогнитивный постмодернизм знаменует эру семиотического хаоса
Послевкусие от отчета Consumer Reports о технологиях клонирования голоса – будто стоишь на пороге темной комнаты, в которой сконструирован очередной механизм самоуничтожения человечества. 4 из 6 исследованных компаний позволяют без каких-либо существенных преград создать копию любого голоса, требуя лишь формальную галочку в графе "имею законное право".
• Какая ирония — мы создаем технологию, способную подделать самое личное, что есть у человека после его мыслей, и защищаем ее формальностью, равносильной картонному замку.
• Разве не удивительна эта парадоксальность — чем совершеннее становятся наши технологии, тем примитивнее становятся механизмы их злоупотребления?
• А ведь эта технология не просто инструмент потенциального мошенника — это кража реальности, временное похищение самой достоверности бытия.
Мошенничество с голосами знаменитостей, рекламирующих сомнительные продукты, — лишь верхушка айсберга. Что произойдет, когда клонированный голос главы государства объявит о начале военных действий? Или когда голос врача даст ложные медицинские рекомендации, способные привести к летальному исходу?
Мы подходим к точке, где доверие к голосовой коммуникации — этому древнейшему инструменту человеческого взаимодействия — может быть безвозвратно подорвано.
Поразительно, как технари пытаются решить эту проблему техническими же средствами: водяные знаки для AI-аудио, инструменты для детекции сгенерированного звука, семантические ограничения для фраз, типичных для мошенничества. Но это напоминает попытки закрыть прореху в ткани реальности заплаткой из той же ткани.
Проверка законности права на клонирование — это философский парадокс, а не техническая задача. Как доказать, что я — это действительно я?
Компания Descript требует от пользователя проговорить уникальный текст, но что мешает мошеннику обманом заставить жертву проговорить нужные фразы под видом "проверки личности" при звонке из "банка"? Каждый защитный механизм порождает новую уязвимость.
Предвижу наступление эры семиотического хаоса, где голос перестанет быть якорем личности.
• Страховые компании откажутся признавать голосовые подтверждения
• Банки не будут принимать распоряжения голосом
• Все будут перезванивать друг другу по альтернативным каналам для проверки подлинности просьб
Мир, в котором голос человека больше не является доказательством его присутствия — это мир, в котором часть человеческой сущности отчуждена технологией.
Это напоминает ситуацию из "Соляриса": чем совершеннее становится наша модель реальности, тем отчетливее проявляется непостижимость самой реальности.
Мы создали технологию, способную имитировать самый личный аспект нашей личности, но при этом проигнорировали вопрос о последствиях отделения голоса от его источника.
Рекомендации Consumer Reports — это попытка заделать трещины в плотине, за которой скрывается океан гораздо более фундаментальных вопросов. Дело не в том, как предотвратить мошенничество, а в том, готовы ли мы к миру, где достоверность восприятия постоянно находится под вопросом.
Технология клонирования голоса — это не просто инструмент для ускорения редактирования аудио или автоматизации озвучки.
Это зеркало, отражающее наивность нашего технологического оптимизма и хрупкость социальных связей, основанных на доверии.
Возможно, главный урок здесь в том, что проблемы, созданные технологией, не могут быть решены только технологией. Они требуют пересмотра наших представлений о достоверности, идентичности и границах между реальным и искусственным — вопросы, на которые у человечества пока нет удовлетворительных ответов.
#АлгокогнитивнаяКультура
Алгокогнитивный постмодернизм знаменует эру семиотического хаоса
— В основе постмодернизма XX века была парадигмальная установка на восприятие мира в качестве хаоса. Алгокогнитивный постмодернизм XXI века распространяет хаос с восприятия на семантику мира.
— Homo sapiens эволюционировал, доверяя своим чувствам; что произойдет с видом, который больше не может доверять даже собственному слуху?
Послевкусие от отчета Consumer Reports о технологиях клонирования голоса – будто стоишь на пороге темной комнаты, в которой сконструирован очередной механизм самоуничтожения человечества. 4 из 6 исследованных компаний позволяют без каких-либо существенных преград создать копию любого голоса, требуя лишь формальную галочку в графе "имею законное право".
• Какая ирония — мы создаем технологию, способную подделать самое личное, что есть у человека после его мыслей, и защищаем ее формальностью, равносильной картонному замку.
• Разве не удивительна эта парадоксальность — чем совершеннее становятся наши технологии, тем примитивнее становятся механизмы их злоупотребления?
• А ведь эта технология не просто инструмент потенциального мошенника — это кража реальности, временное похищение самой достоверности бытия.
Мошенничество с голосами знаменитостей, рекламирующих сомнительные продукты, — лишь верхушка айсберга. Что произойдет, когда клонированный голос главы государства объявит о начале военных действий? Или когда голос врача даст ложные медицинские рекомендации, способные привести к летальному исходу?
Мы подходим к точке, где доверие к голосовой коммуникации — этому древнейшему инструменту человеческого взаимодействия — может быть безвозвратно подорвано.
Поразительно, как технари пытаются решить эту проблему техническими же средствами: водяные знаки для AI-аудио, инструменты для детекции сгенерированного звука, семантические ограничения для фраз, типичных для мошенничества. Но это напоминает попытки закрыть прореху в ткани реальности заплаткой из той же ткани.
Проверка законности права на клонирование — это философский парадокс, а не техническая задача. Как доказать, что я — это действительно я?
Компания Descript требует от пользователя проговорить уникальный текст, но что мешает мошеннику обманом заставить жертву проговорить нужные фразы под видом "проверки личности" при звонке из "банка"? Каждый защитный механизм порождает новую уязвимость.
Предвижу наступление эры семиотического хаоса, где голос перестанет быть якорем личности.
• Страховые компании откажутся признавать голосовые подтверждения
• Банки не будут принимать распоряжения голосом
• Все будут перезванивать друг другу по альтернативным каналам для проверки подлинности просьб
Мир, в котором голос человека больше не является доказательством его присутствия — это мир, в котором часть человеческой сущности отчуждена технологией.
Это напоминает ситуацию из "Соляриса": чем совершеннее становится наша модель реальности, тем отчетливее проявляется непостижимость самой реальности.
Мы создали технологию, способную имитировать самый личный аспект нашей личности, но при этом проигнорировали вопрос о последствиях отделения голоса от его источника.
Рекомендации Consumer Reports — это попытка заделать трещины в плотине, за которой скрывается океан гораздо более фундаментальных вопросов. Дело не в том, как предотвратить мошенничество, а в том, готовы ли мы к миру, где достоверность восприятия постоянно находится под вопросом.
Технология клонирования голоса — это не просто инструмент для ускорения редактирования аудио или автоматизации озвучки.
Это зеркало, отражающее наивность нашего технологического оптимизма и хрупкость социальных связей, основанных на доверии.
Возможно, главный урок здесь в том, что проблемы, созданные технологией, не могут быть решены только технологией. Они требуют пересмотра наших представлений о достоверности, идентичности и границах между реальным и искусственным — вопросы, на которые у человечества пока нет удовлетворительных ответов.
#АлгокогнитивнаяКультура
👍176🤔61🤯15😱8👎5
Представление об ИИ-моделях как исключительно об интеллектуальных агентах в корне неверно.
LLM — не AGI в процессе становления, а кардинально новая сверхмощная культурная и социальная технология.
О вынесенных в заголовок двух принципиальных моментах в понимании будущей роли и места ИИ в жизни человечества мною за 4 года написано много постов с тэгом #АлгокогнитивнаяКультура.
И я рад, что пришло, наконец, время, когда ровно об этом и практически теми же словами, стали, писать в медиа с охватом на порядки больше моего канала.
Новая статья “Large AI models are cultural and social technologies” – это удачное сплетение трех точек зрения на ИИ, не зацикленных на AGI.
Приведу здесь лишь несколько важных цитат из этой статьи.
• Социологам и компьютерщикам было бы гораздо проще сотрудничать и объединять свои сильные стороны, если и те, и другие понимали, что LLM — это не больше и не меньше, чем новый вид культурной и социальной технологии… Это отодвинуло бы обсуждения политики в сфере ИИ от упрощенных споров о возможном захвате машин и обещаниях утопического будущего, где у каждого будет идеально надежный и компетентный искусственный помощник.
• Наша центральная мысль здесь не только в том, что эти технологические инновации, как и все другие инновации, будут иметь культурные и социальные последствия. Скорее, мы утверждаем, что Большие Модели сами по себе лучше всего понимать как определенный тип культурной и социальной технологии. Они аналогичны таким прошлым технологиям, как письмо, печать, рынки, бюрократия и представительная демократия.
• На самом деле, политические последствия от использования языковых моделей наверняка будут другими. Как в прошлом рынки и бюрократия, они сделают некоторые виды знаний более видимыми и управляемыми, чем раньше, побуждая политиков сосредоточиться на новых вещах, которые можно измерить и увидеть, в ущерб тем, которые менее видимы и более запутаны. В результате, как это уже было с рынками и СМИ, власть и влияние сместятся к тем, кто сможет в полной мере использовать эти технологии, и отойдут от тех, кто не сможет.
• Как эти системы повлияют на то, кто что получит? Каковы будут их практические последствия для общественного раскола и интеграции? Можно ли развить их так, чтобы они способствовали человеческому творчеству, а не затупляли его?
Поиск практических ответов на такие вопросы потребует понимания социальных наук, а также инженерии. Перенос дебатов об ИИ с агентов на культурные и социальные технологии является важным первым шагом на пути к построению этого междисциплинарного понимания.
Настоятельно рекомендую читать эту статью всем, кого хоть как-то интересуют техно-гуманитарные аспекты на пересечении технологического прогресса в области ИИ и его влияния на человека, общество, этику, культуру и глобальные системы.
Статья без пэйвола и в pdf
LLM — не AGI в процессе становления, а кардинально новая сверхмощная культурная и социальная технология.
О вынесенных в заголовок двух принципиальных моментах в понимании будущей роли и места ИИ в жизни человечества мною за 4 года написано много постов с тэгом #АлгокогнитивнаяКультура.
И я рад, что пришло, наконец, время, когда ровно об этом и практически теми же словами, стали, писать в медиа с охватом на порядки больше моего канала.
Новая статья “Large AI models are cultural and social technologies” – это удачное сплетение трех точек зрения на ИИ, не зацикленных на AGI.
✔️ Объединяющая мысль трёх авторов в том, что большие модели — это не столько нарождающийся агентный сверхразум, сколько невиданная по мощности и преобразующей силе в истории земных цивилизаций культурная и социальная технология.
✔️ А наиболее важные вопросы, которые стоит задавать сегодня в свете взрывоподобного ускорения прогресса ИИ, касаются конкретных человеческих контекстов и влияния алгоритмов на индивидов и социумы, а не абстрактных спекуляций о воображаемых будущих рисках.
Приведу здесь лишь несколько важных цитат из этой статьи.
• Социологам и компьютерщикам было бы гораздо проще сотрудничать и объединять свои сильные стороны, если и те, и другие понимали, что LLM — это не больше и не меньше, чем новый вид культурной и социальной технологии… Это отодвинуло бы обсуждения политики в сфере ИИ от упрощенных споров о возможном захвате машин и обещаниях утопического будущего, где у каждого будет идеально надежный и компетентный искусственный помощник.
• Наша центральная мысль здесь не только в том, что эти технологические инновации, как и все другие инновации, будут иметь культурные и социальные последствия. Скорее, мы утверждаем, что Большие Модели сами по себе лучше всего понимать как определенный тип культурной и социальной технологии. Они аналогичны таким прошлым технологиям, как письмо, печать, рынки, бюрократия и представительная демократия.
• На самом деле, политические последствия от использования языковых моделей наверняка будут другими. Как в прошлом рынки и бюрократия, они сделают некоторые виды знаний более видимыми и управляемыми, чем раньше, побуждая политиков сосредоточиться на новых вещах, которые можно измерить и увидеть, в ущерб тем, которые менее видимы и более запутаны. В результате, как это уже было с рынками и СМИ, власть и влияние сместятся к тем, кто сможет в полной мере использовать эти технологии, и отойдут от тех, кто не сможет.
• Как эти системы повлияют на то, кто что получит? Каковы будут их практические последствия для общественного раскола и интеграции? Можно ли развить их так, чтобы они способствовали человеческому творчеству, а не затупляли его?
Поиск практических ответов на такие вопросы потребует понимания социальных наук, а также инженерии. Перенос дебатов об ИИ с агентов на культурные и социальные технологии является важным первым шагом на пути к построению этого междисциплинарного понимания.
Настоятельно рекомендую читать эту статью всем, кого хоть как-то интересуют техно-гуманитарные аспекты на пересечении технологического прогресса в области ИИ и его влияния на человека, общество, этику, культуру и глобальные системы.
Статья без пэйвола и в pdf
16👍133🤔21👎5🤯3😱2
Мы перестаем быть людьми (и даже не замечаем этого)
Пока эксперты спорят о том, захватит ли ИИ рабочие места и не уничтожит ли человечество, происходит нечто куда более тонкое и необратимое: мы незаметно превращаемся в другой вид.
Выбирайте:
• Либо читать этот материал (4 мин)
• Либо ограничиться четырьмя ключевыми цитатами из этого текста.
Лучшую иллюстрацию этого процесса дает 14-минутный фильм режиссера Дагана Шани "Почему ИИ испортит каждый фильм, который вы посмотрите (а вы этого и не заметите)". Ибо визуальные модели ИИ действуют на мозг как порнография. Постоянное воздействие сверхстимулирующих, легкодоступных изображений, созданных искусственным интеллектом, притупляет нашу способность испытывать удивление и эмоциональную реакцию на настоящее искусство.
#АлгокогнитивнаяКультура #Инфорги
Пока эксперты спорят о том, захватит ли ИИ рабочие места и не уничтожит ли человечество, происходит нечто куда более тонкое и необратимое: мы незаметно превращаемся в другой вид.
Выбирайте:
• Либо читать этот материал (4 мин)
• Либо ограничиться четырьмя ключевыми цитатами из этого текста.
Главный вызов будущего — не технический и не экзистенциальный, а культурный: как уберечь ту жизненную сложность, двусмысленность и способность сомневаться, что делает нас людьми, перед лицом машин, которые притворяются понятливыми, читая наши эмоции и адаптируясь к ним?
Лучшую иллюстрацию этого процесса дает 14-минутный фильм режиссера Дагана Шани "Почему ИИ испортит каждый фильм, который вы посмотрите (а вы этого и не заметите)". Ибо визуальные модели ИИ действуют на мозг как порнография. Постоянное воздействие сверхстимулирующих, легкодоступных изображений, созданных искусственным интеллектом, притупляет нашу способность испытывать удивление и эмоциональную реакцию на настоящее искусство.
Когда вы не можете отличить настоящее от искусственного, вы инстинктивно начинаете держать свои чувства "за закрытыми воротами сомнения". Зачем эмоционально вкладываться в то, что может оказаться подделкой?
Станет ли ИИ инструментом углубления познания или его притупления, прозрения или самообмана, усиления эмпатии или её симуляции — зависит не столько от алгоритмов ИИ, сколько от развития наших отношений с этим странным новым типом со-разума.
#АлгокогнитивнаяКультура #Инфорги
6👍165🤔65👎27😱12