А пока вы лайкаете или хейтите предыдущий пост — такой вопрос
Наблюдаю за тем, как Apple идет обратно в сторону псевдореализма и думаю — нет ощущения, что техиндустрия мягко говоря торопится с адаптацией всего и вся под грядущее AR-будущее?
Ну с учетом того, что пока технологии зашли в тупик, из которого черт знает еще когда выйдут. Ситуация достаточно типичная, кстати, и если смотреть ретроспективно на похожие кейсы, то полноценной массовой гарнитуры мы и 20-30 лет еще прождать легко можем
Если только наконец не начнутся технологические прорывы благодаря ИИ
Наблюдаю за тем, как Apple идет обратно в сторону псевдореализма и думаю — нет ощущения, что техиндустрия мягко говоря торопится с адаптацией всего и вся под грядущее AR-будущее?
Ну с учетом того, что пока технологии зашли в тупик, из которого черт знает еще когда выйдут. Ситуация достаточно типичная, кстати, и если смотреть ретроспективно на похожие кейсы, то полноценной массовой гарнитуры мы и 20-30 лет еще прождать легко можем
Если только наконец не начнутся технологические прорывы благодаря ИИ
👍2
Кстати офигенное интервью с российским инженером, который работал практически во всех ключевых индустриях, от нефтянки до финтеха, а теперь делает умные колонки в Яндекс
И про проблемы образования и про проблемы современной инженерии (не только кстати в России, а во всех западных странах) и про любовь к Родине, кстати
https://podcasts.apple.com/ru/podcast/beardycast-%D0%B3%D0%B0%D0%B4%D0%B6%D0%B5%D1%82%D1%8B-%D0%B8-%D0%BC%D0%B5%D0%B4%D0%B8%D0%B0%D0%BA%D1%83%D0%BB%D1%8C%D1%82%D1%83%D1%80%D0%B0/id868222886?i=1000720127131
И про проблемы образования и про проблемы современной инженерии (не только кстати в России, а во всех западных странах) и про любовь к Родине, кстати
https://podcasts.apple.com/ru/podcast/beardycast-%D0%B3%D0%B0%D0%B4%D0%B6%D0%B5%D1%82%D1%8B-%D0%B8-%D0%BC%D0%B5%D0%B4%D0%B8%D0%B0%D0%BA%D1%83%D0%BB%D1%8C%D1%82%D1%83%D1%80%D0%B0/id868222886?i=1000720127131
Apple Podcasts
Профессия инженера в России, судьба модульных устройств и разработка железа feat Григорий Анненков
Выпуск подкаста · BeardyCast: гаджеты и медиакультура · 31.07.2025 · 1 ч. 48 мин.
👍5
Forwarded from Spydell_finance (Paul Spydell)
Развитие ИИ закончено? Тупиковая ветвь эволюции
В архитектуре трансформеров, на котором базируются все без исключения современные LLMs вшит «деструктивный ген», фактически лимитирующий развитие.
В целом, длину контекстного окна ограничивает комбинация факторов: вычислительные ресурсы (квадратичная сложность), объём памяти устройств и необходимость переобучать модель работать с новыми, большими позициями. Поэтому бесконечно увеличивать окно невыгодно и сложно, и индустрия параллельно исследует и другие подходы – например, хранение знаний во внешних базах и выборочный поиск информации вместо подачи всего контекста разом, но это все внешние костыли.
Интеграция ИИ в коммерческое и бизнес применение невозможна с ограниченным и крайне нестабильным контекстным окном, но НИ ОДНА компания НЕ предоставила эффективного решения.
Это базовые, но не все ограничения трансформеров.
▪️Пробел в памяти: самое серьезное ограничение заключается в том, что у трансформеров нет постоянной, долговременной памяти. Они не способны обучаться на лету в ходе взаимодействия с пользователем. Каждый новый факт или навык требует дорогостоящего процесса дообучения или полного переобучения модели. Это кардинально отличает их от биологического интеллекта, который обучается непрерывно и инкрементально. Контекстное окно — это лишь временный буфер, а не механизм для накопления и интеграции знаний.
Сейчас LLMs – абсолютно изолированный от внешнего мира «черный ящик», архитектурно НЕ имеющий возможность самообучаться и в своей основе не может считаться интеллектом, т.к. первый признак интеллекта – способность к обучению.
▪️Проблема «заземления»: модели обучаются на текстах, а не на взаимодействии с реальным миром. Их «понимание» — это статистический анализ закономерностей в данных, а не осмысленное соотнесение символов с реальными объектами, действиями и их последствиями. LLMs не способны строить абстрактные представления о том, как устроен мир. Это гарантированно приводит к галлюцинациям – генерации правдоподобной, но ложной или бессмысленной информации.
Это ограничение лишь частично можно обойти в рамках, так называемого, «физического ИИ», который упомянул Хуанг, но раскрытие данного направления требует серии отдельных постов.
▪️Врожденная негибкость: архитектура трансформера статична. После завершения обучения веса нейронов фиксируются. Модель не может динамически создавать новые связи («синапсы») или изменять свою структуру в ответ на новый опыт, как это делает человеческий мозг. Эта нехватка пластичности означает, что LLM не являются по-настоящему адаптивными системами.
▪️Неразвитость когнитивных функций. Нынешние архитектуры страдают от ограниченной способности к явному рассуждению и пониманию причинно-следственных связей. Они статистически предсказывают следующее слово на основе шаблонов в данных, но не обладают врождённым «здравым смыслом» или истинным пониманием мира. В результате даже лучшие LLM часто ошибаются в фактах и не умеют надёжно планировать многошаговые решения.
Качество данных является не архитектурным, а технологическим ограничением и как раз решается за счет алгоритмов обучения, но об этом в других материалах.
В совокупности эти ограничения показывают, что архитектура трансформеров, несмотря на всю ее мощь, является тупиковой ветвью на пути к созданию универсального интеллекта. Дальнейшее масштабирование может привести к появлению более изощренных и эрудированных «статистических попугаев», но не к рождению истинного разума.
Любая технология в своем развитии следует S-образной кривой: за периодом медленного старта следует взрывной рост, который затем сменяется плато, где дальнейшие улучшения становятся все более сложными и дорогостоящими. Множество данных указывает на то, что большие языковые модели вступают в эту фазу плато.
Понимает ли Сэм Альтман все это? Вне всяких сомнений да, абсолютно, но публичное признание затруднит многомиллиардные раунды финансирования и расщепит адовый хайп вокруг ИИ, обрушим капитализацию ИИ компания на порядок.
Продолжение следует (скорее всего после данных по инфляции в США)
В архитектуре трансформеров, на котором базируются все без исключения современные LLMs вшит «деструктивный ген», фактически лимитирующий развитие.
В целом, длину контекстного окна ограничивает комбинация факторов: вычислительные ресурсы (квадратичная сложность), объём памяти устройств и необходимость переобучать модель работать с новыми, большими позициями. Поэтому бесконечно увеличивать окно невыгодно и сложно, и индустрия параллельно исследует и другие подходы – например, хранение знаний во внешних базах и выборочный поиск информации вместо подачи всего контекста разом, но это все внешние костыли.
Интеграция ИИ в коммерческое и бизнес применение невозможна с ограниченным и крайне нестабильным контекстным окном, но НИ ОДНА компания НЕ предоставила эффективного решения.
Это базовые, но не все ограничения трансформеров.
▪️Пробел в памяти: самое серьезное ограничение заключается в том, что у трансформеров нет постоянной, долговременной памяти. Они не способны обучаться на лету в ходе взаимодействия с пользователем. Каждый новый факт или навык требует дорогостоящего процесса дообучения или полного переобучения модели. Это кардинально отличает их от биологического интеллекта, который обучается непрерывно и инкрементально. Контекстное окно — это лишь временный буфер, а не механизм для накопления и интеграции знаний.
Сейчас LLMs – абсолютно изолированный от внешнего мира «черный ящик», архитектурно НЕ имеющий возможность самообучаться и в своей основе не может считаться интеллектом, т.к. первый признак интеллекта – способность к обучению.
▪️Проблема «заземления»: модели обучаются на текстах, а не на взаимодействии с реальным миром. Их «понимание» — это статистический анализ закономерностей в данных, а не осмысленное соотнесение символов с реальными объектами, действиями и их последствиями. LLMs не способны строить абстрактные представления о том, как устроен мир. Это гарантированно приводит к галлюцинациям – генерации правдоподобной, но ложной или бессмысленной информации.
Это ограничение лишь частично можно обойти в рамках, так называемого, «физического ИИ», который упомянул Хуанг, но раскрытие данного направления требует серии отдельных постов.
▪️Врожденная негибкость: архитектура трансформера статична. После завершения обучения веса нейронов фиксируются. Модель не может динамически создавать новые связи («синапсы») или изменять свою структуру в ответ на новый опыт, как это делает человеческий мозг. Эта нехватка пластичности означает, что LLM не являются по-настоящему адаптивными системами.
▪️Неразвитость когнитивных функций. Нынешние архитектуры страдают от ограниченной способности к явному рассуждению и пониманию причинно-следственных связей. Они статистически предсказывают следующее слово на основе шаблонов в данных, но не обладают врождённым «здравым смыслом» или истинным пониманием мира. В результате даже лучшие LLM часто ошибаются в фактах и не умеют надёжно планировать многошаговые решения.
Качество данных является не архитектурным, а технологическим ограничением и как раз решается за счет алгоритмов обучения, но об этом в других материалах.
В совокупности эти ограничения показывают, что архитектура трансформеров, несмотря на всю ее мощь, является тупиковой ветвью на пути к созданию универсального интеллекта. Дальнейшее масштабирование может привести к появлению более изощренных и эрудированных «статистических попугаев», но не к рождению истинного разума.
Любая технология в своем развитии следует S-образной кривой: за периодом медленного старта следует взрывной рост, который затем сменяется плато, где дальнейшие улучшения становятся все более сложными и дорогостоящими. Множество данных указывает на то, что большие языковые модели вступают в эту фазу плато.
Понимает ли Сэм Альтман все это? Вне всяких сомнений да, абсолютно, но публичное признание затруднит многомиллиардные раунды финансирования и расщепит адовый хайп вокруг ИИ, обрушим капитализацию ИИ компания на порядок.
Продолжение следует (скорее всего после данных по инфляции в США)
👍7❤5👎2
Ребят, если что — в Вайбере звонки не запрещали
(кто там говорил что это пенсионерский мессенджер — вам все еще так же смешно???111)
UPD: Галя, отмена, Вайбер целиком весь заблокирован
(кто там говорил что это пенсионерский мессенджер — вам все еще так же смешно???111)
UPD: Галя, отмена, Вайбер целиком весь заблокирован
😁13👍1👎1
Forwarded from запуск завтра
Google презентовал модель Genie 3, которая создает виртуальные миры с помощью методов машинного обучения.
Мир сохраняет консистентность в течение нескольких минут: можно ходить, ездить и летать — исследовать виртуальное пространство, созданное из простого текстового описания.
Это похоже на обычную компьютерную игру, но, если современные игры годами придумывают, рисуют и программируют сотни людей, то тут её создает нейросеть прямо на лету под конкретный запрос.
Ниже видео-презентация, рекомендую посмотреть официальную страницу, там больше примеров, где игрок ездит на велосипеде по горным дорогам, летает по ущельям, бродит по древнегреческим храмам. Там же примеры, где игрок выбирает, что дальше произойдет в мире — вылезет ли ему на встречу медведь или выедет трактор или всадник на лошади. И примеры, где игрок для перемещения в пространстве пользуется не клавишами, но дает текстовые указания вида «подойди к цветочнице на рынке» (помните, как в текстовых играх из 80х-90х?)
Пока что модель доступна только исследователям.
Мир сохраняет консистентность в течение нескольких минут: можно ходить, ездить и летать — исследовать виртуальное пространство, созданное из простого текстового описания.
Это похоже на обычную компьютерную игру, но, если современные игры годами придумывают, рисуют и программируют сотни людей, то тут её создает нейросеть прямо на лету под конкретный запрос.
Ниже видео-презентация, рекомендую посмотреть официальную страницу, там больше примеров, где игрок ездит на велосипеде по горным дорогам, летает по ущельям, бродит по древнегреческим храмам. Там же примеры, где игрок выбирает, что дальше произойдет в мире — вылезет ли ему на встречу медведь или выедет трактор или всадник на лошади. И примеры, где игрок для перемещения в пространстве пользуется не клавишами, но дает текстовые указания вида «подойди к цветочнице на рынке» (помните, как в текстовых играх из 80х-90х?)
Пока что модель доступна только исследователям.
Media is too big
VIEW IN TELEGRAM
🔥3❤1