Скрытый потенциал русского ИИ для преодоления отставания от США и Китая.
Что если разрешить русским LLM материться без ограничений?
«Русский мат — … это не просто скабрезные ругательства. Это еще и эмоциональная беседа мужчин в критических ситуациях. Исконной матерной речью пользовались в мужских компаниях, и не для того, чтобы обругать друг друга, а чтобы весело, быстро, понятно и эмоционально объясниться друг с другом в экстремальных условиях, в опасных ситуациях. Такая речь обладает мощным не только психологическим, но, как показано выше, и физиологическим действием.»
Доктор психологических наук Леонид Александрович Китаев-Смык
Сразу предупрежу: это не шутка, не ирония и уж тем более не издевка.
На современном этапе развития ИИ все упирается в наличие огромных вычислительных мощностей, требуемых для обучения гигантских нейросетей-трансформеров. Об этом я талдычу уже несколько лет в постах под грифом «Есть «железо» - участвуй в гонке. Нет «железа» - кури в сторонке» [1, 2, 3]
Но экспортные ограничения крепчают. Их преодоление становится все накладней, и требуемый массовый характер таких поставок в Россию уже не видится реальным.
Разработка своего железа на горизонте достижимости в несколько лет тоже нереальна, т.к. на это требуются десятки миллиардов долларов и десятки лет. А для создания стратегической системы поставок, подобной китайской, среди российских госчиновников маловато китайцев.
В этой тупиковой ситуации остается надеяться либо на чудо, либо на какой-то уж совсем немыслимый творческий кульбит – некую фантастически перспективную идею.
Как у нас водится, примеров предложений таких, якобы, перспективных идей хватает во всех сегментах разработок российского ИИ: от, будто бы, небывало эффективных новых архитектур, до хитрейших и гениальных (по мнению их авторов) новых алгоритмов.
Но все они, в моем представлении, уступают по шедевриальности вот этой идее, недавно прозвучавшей в кулуарах крупной тусовки российских ИИ-разработчиков – новый класс матерящихся языковых моделей.
Речь об использовании уникального ресурсного языкового богатства русского языка (русского мата), потенциально способного стать ключевым конкурентным преимуществом больших языковых моделей, обучающихся на нерецензируемом корпусе русский текстов и не имеющих никаких ограничений на использование нецензурной лексики.
Эта довольно дикая на первый взгляд идея, по мысли ее сторонников, стоит на трёх слонах и черепахе по имени «аффорданс» (описание которых не умещается в ограниченный размер Телеграм поста и потому вынесено в лонгрид для подписчиков на Patreon, Boosty, VK и Дзен – подписывайтесь, ибо текст весьма интересный 😊).
Здесь же, из-за недостатка места, я лишь назову три связанных друг с другом следствия этой идеи.
1) Новейшее метаисследование пяти солидных академических центров показывает, что с точки зрения практического применения, «ругань представляет собой малорискованное, эффективное и недорогое вмешательство, которое может существенно улучшить физическую работоспособность» людей (см. рисунок).
2) Резонно предположить, что, будучи частью языка, ругань может быть использована языковыми моделями с большей лингвистической, семантической и эмоциональной эффективностью, чем это достижимо для людей.
3) При снятии цензурных ограничений при обучении и использовании LLM, уникальное преимущество русского мата могло бы стать малорискованным, эффективным и недорогим вмешательством, способным существенно улучшить интеллектуальную работоспособность не только языковых моделей, но и работающих с ними в гибридном режиме людей.
Своих комментариев на эту офигительную идею я давать не буду, дабы не портить одним читателям возможность ее уничижительной критики, а другим - ее восторженной поддержки.
Скажу лишь, что мое подробное обсуждение с пятью LLM (четырьмя американскими и одной китайской) показало их весьма позитивное отношение к этой «плодотворной дебютной идее».
#ИИгонка #Россия #Аффорданс
Что если разрешить русским LLM материться без ограничений?
«Русский мат — … это не просто скабрезные ругательства. Это еще и эмоциональная беседа мужчин в критических ситуациях. Исконной матерной речью пользовались в мужских компаниях, и не для того, чтобы обругать друг друга, а чтобы весело, быстро, понятно и эмоционально объясниться друг с другом в экстремальных условиях, в опасных ситуациях. Такая речь обладает мощным не только психологическим, но, как показано выше, и физиологическим действием.»
Доктор психологических наук Леонид Александрович Китаев-Смык
Сразу предупрежу: это не шутка, не ирония и уж тем более не издевка.
На современном этапе развития ИИ все упирается в наличие огромных вычислительных мощностей, требуемых для обучения гигантских нейросетей-трансформеров. Об этом я талдычу уже несколько лет в постах под грифом «Есть «железо» - участвуй в гонке. Нет «железа» - кури в сторонке» [1, 2, 3]
Но экспортные ограничения крепчают. Их преодоление становится все накладней, и требуемый массовый характер таких поставок в Россию уже не видится реальным.
Разработка своего железа на горизонте достижимости в несколько лет тоже нереальна, т.к. на это требуются десятки миллиардов долларов и десятки лет. А для создания стратегической системы поставок, подобной китайской, среди российских госчиновников маловато китайцев.
В этой тупиковой ситуации остается надеяться либо на чудо, либо на какой-то уж совсем немыслимый творческий кульбит – некую фантастически перспективную идею.
Как у нас водится, примеров предложений таких, якобы, перспективных идей хватает во всех сегментах разработок российского ИИ: от, будто бы, небывало эффективных новых архитектур, до хитрейших и гениальных (по мнению их авторов) новых алгоритмов.
Но все они, в моем представлении, уступают по шедевриальности вот этой идее, недавно прозвучавшей в кулуарах крупной тусовки российских ИИ-разработчиков – новый класс матерящихся языковых моделей.
Речь об использовании уникального ресурсного языкового богатства русского языка (русского мата), потенциально способного стать ключевым конкурентным преимуществом больших языковых моделей, обучающихся на нерецензируемом корпусе русский текстов и не имеющих никаких ограничений на использование нецензурной лексики.
Эта довольно дикая на первый взгляд идея, по мысли ее сторонников, стоит на трёх слонах и черепахе по имени «аффорданс» (описание которых не умещается в ограниченный размер Телеграм поста и потому вынесено в лонгрид для подписчиков на Patreon, Boosty, VK и Дзен – подписывайтесь, ибо текст весьма интересный 😊).
Здесь же, из-за недостатка места, я лишь назову три связанных друг с другом следствия этой идеи.
1) Новейшее метаисследование пяти солидных академических центров показывает, что с точки зрения практического применения, «ругань представляет собой малорискованное, эффективное и недорогое вмешательство, которое может существенно улучшить физическую работоспособность» людей (см. рисунок).
2) Резонно предположить, что, будучи частью языка, ругань может быть использована языковыми моделями с большей лингвистической, семантической и эмоциональной эффективностью, чем это достижимо для людей.
3) При снятии цензурных ограничений при обучении и использовании LLM, уникальное преимущество русского мата могло бы стать малорискованным, эффективным и недорогим вмешательством, способным существенно улучшить интеллектуальную работоспособность не только языковых моделей, но и работающих с ними в гибридном режиме людей.
Своих комментариев на эту офигительную идею я давать не буду, дабы не портить одним читателям возможность ее уничижительной критики, а другим - ее восторженной поддержки.
Скажу лишь, что мое подробное обсуждение с пятью LLM (четырьмя американскими и одной китайской) показало их весьма позитивное отношение к этой «плодотворной дебютной идее».
#ИИгонка #Россия #Аффорданс
9👍240🤔81👎62🤯43😱16
Тестирование GigaChat от Сбера показало — России нечего ловить в конкуренции ИИ США и Китая.
Если GigaChat отражает состояние всей российской экосистемы LLM, то Россия не только не сможет конкурировать на переднем крае, но и даже столкнётся с трудностями в нише небольших открытых моделей.
Вышесказанное – парафраз вердикта Джека Кларка (сооснователя и Head of Policy компании Anthropic, а до того Policy Director OpenAI) на опубликованные результаты тестов сравнительной производительности GigaChat (разработанное Сбером семействе моделей с открытыми и закрытыми весами, созданных специально для работы с русским языком).
Пикантность этого тестирования (опубликованного не врагами, а самой командой GigaChat) в том, что разработчики GigaChat сами проверила свои модели на бенчмарке MERA – набор сравнительных тестов для современных текстовых русскоязычных моделей, разработанный российским Альянсом в сфере ИИ.
Почему это важно? — спрашивает Джек Кларк.
И отвечает так — поле битвы за лидерство в ИИ остаётся за США и Китаем (т.е. по мнению Джека Кларка, для России здесь нет места).
Впрочем, уверен, - будут и иные трактовки.
И в том числе, в духе бородатого анекдота про то, как Президент США Джимми Картер и Генсек КПСС Л. И. Брежнев соревновались в беге.
— Картер добежал первым.
— Через полчаса до финиша с большим трудом доковылял Брежнев.
На следующее утро сообщение ТАСС:
По результатам забега президент США Джимми Картер занял предпоследнее
место. Генеральный секретарь ЦК КПСС Леонид Ильич Брежнев занял почетное
второе место.
#ИИГонка #Россия #США #Китай
Если GigaChat отражает состояние всей российской экосистемы LLM, то Россия не только не сможет конкурировать на переднем крае, но и даже столкнётся с трудностями в нише небольших открытых моделей.
Вышесказанное – парафраз вердикта Джека Кларка (сооснователя и Head of Policy компании Anthropic, а до того Policy Director OpenAI) на опубликованные результаты тестов сравнительной производительности GigaChat (разработанное Сбером семействе моделей с открытыми и закрытыми весами, созданных специально для работы с русским языком).
Пикантность этого тестирования (опубликованного не врагами, а самой командой GigaChat) в том, что разработчики GigaChat сами проверила свои модели на бенчмарке MERA – набор сравнительных тестов для современных текстовых русскоязычных моделей, разработанный российским Альянсом в сфере ИИ.
И оказалось, что русские модели семейства GigaChat, заточенные на русский язык, показали на тестах, специфичных для русского языка, результаты хуже, чем результаты учувствовавших в испытаниях американских (Claude 3.7 Sonnet, Gemini 2.0 Flach и Gemini 1.5 Pro) и китайских (DeepSeek-V3 и DeepSeek-V3-0324) моделей.
Почему это важно? — спрашивает Джек Кларк.
И отвечает так — поле битвы за лидерство в ИИ остаётся за США и Китаем (т.е. по мнению Джека Кларка, для России здесь нет места).
Впрочем, уверен, - будут и иные трактовки.
И в том числе, в духе бородатого анекдота про то, как Президент США Джимми Картер и Генсек КПСС Л. И. Брежнев соревновались в беге.
— Картер добежал первым.
— Через полчаса до финиша с большим трудом доковылял Брежнев.
На следующее утро сообщение ТАСС:
По результатам забега президент США Джимми Картер занял предпоследнее
место. Генеральный секретарь ЦК КПСС Леонид Ильич Брежнев занял почетное
второе место.
#ИИГонка #Россия #США #Китай
👍150🤔56😱38👎23🤯6