Краудсорсинг + Машинное обучение = Страшная сила
В России
1) всевозможные т.н. «краудсорсинговые платформы» для общественных голосований и сбора мнений превратились в инструмент профанации и манипуляций;
2) разнообразные «технологии коллективного прогнозирования (рынки предсказаний)» не многим превосходят в своих прогнозах гадалок из объявлений в желтой прессе.
Причина этого в том, что в России, в отличие, например, от машинного обучения (хвала Яндексу и его соратникам), краудсорсинг и рынки предсказаний используются на доисторическом уровне, - то есть так:
— как их себе представляли лет 20 назад (типа «мудрость толпы» всех победит),
— как они правильно работать не могут в 9 случаях из 10 (что доказано и объяснено в десятках зарубежных исследований последних лет).
Почему это произошло, я здесь разбирать не буду. Это долго для формата короткого поста. Да и не нужно о грустном перед выходными.

Лучше в качестве иллюстрации продолжающегося бума зарубежных исследований в этой области, приведу новую великолепную работу, решающую доселе нерешаемую задачу «спасения коллективной мудрости», когда среднее мнение группы ошибочно (как оно в жизни, обычно, и бывает).

Ценность полученных здесь результатов трудно переоценить.
Скажу лишь, что эта работа – серьезное основание задуматься о переводе всевозможных всенародных голосований (вплоть до выборов верховной власти и национальных референдумов) из офлайна в онлайн.
Новая методика агрегации множества мнений для принятия решений (вкл. прогнозирование) разработана на стыке наук о коллективном поведении животных, психологии и машинного обучения.

Методика основана на:
✔️ т.н. «гипотезе многих глаз» (Many Eyes Hypothesis) - механизме оптимальной коллективной бдительности живых существ, минимизирующем потери при нападении хищников;
✔️ включении в обучающий контур методики машинного обучения;
✔️ расчете и анализе: гомогенности распределения знаний среди участников «толпы», значимости «толстого хвоста» распределения вероятностей и степени распространенности предубеждений.

Методика выделяет в «толпе» т.н. «информированное меньшинство», извлекает максимум полезной информации из коллективного мнения «неинформированного большинства» и, применяя механизм «многих глаз», не только радикально решает проблему «безумия толпы» (падение точности ответов/предсказаний при росте численности группы), но и позволяет гарантированно находить максимально корректные ответы/предсказания в тех доменах знаний/практик, на которые предварительно натаскана система машинного обучения.

Это означает, что для получения оптимального агрегатора мнений толпы, сначала нужно натренировать систему машинного обучения. Но это естественная плата для любого применения машинного обучения. Зато каков результат!

Новая методика – это уже 3я революция в данной области за год!
О первых двух писал здесь и здесь
#Краудсорсинг #РынкиПредсказаний

ЦРУ создает кентавров для предсказания будущего.

Эта тема — одна из моих любимых. И уже не первый месяц, как я собираюсь начать о ней писать.

Хотя не совсем так. Кое-что я уже про это писал. И даже не раз. Но не системно, а как-то по касательной. Как бы подступаясь к этой многогранной истории с разных сторон:
— писал об интеллектуальных кентаврах — симбиозе интеллекта человека и компьютера, — альтернативе мейнстриму ИИ технологий, плодящему «бездумные машины»;
— о том, как устроен интеллект человека, и в чем его принципиальное отличие от интеллекта компьютера;
— о возможности предсказания будущего;
— о роли случайности.

Наверное, наиболее проницательные из моих читателей уже поняли, куда я клоню.
К тому, что всё вышеперечисленное — грани одной комплексной темы: взаимосвязи интеллекта (человеческого, машинного, кентаврического) и предсказаний будущего. Но как они связаны — интеллект и предсказания?
Полагаю, хватить дробить эту тему. Пора попытаться нарисовать общую картину.

Но такой рассказ в один или даже пару постов не втиснуть. Слишком много здесь захватывающих, крайне малоизвестных и интригующих поворотов. Хочу попробовать редкий для е-каналов жанр — постосериал, еженедельно публикуя продолжение одной большой истории.
Ну а начну с прояснения заголовка. Как в этой теме сплелись кентавры и предсказания будущего, объясню чуть позже. А начну с интриги, — при здесь ЦРУ, да еще и на ключевой позиции.

Тегов у этого постосериала будет много:
#ИнтеллектКентавра #AI #ИИ #IA #AIA #Краудсорсинг #РынкиПредсказаний #АльтернативныйИИ #Прогнозирование #Будущее #ПринятиеРешений #Случайность #Память #КогнитивныеСистемы #Нейронаука #IARPA

Мда… И обо всем этом я собираюсь написать в одном постосериале? … Ну хотя бы попробую 😊
Вот 1й пост 1го сезона нового постосериала. https://goo.gl/2AemSJ

Проект «Карта будущего»
2й пост 1го сезона постосериала «ЦРУ создает кентавров для предсказания будущего»

Соперничество между военными и разведкой в США еще круче, чем соперничество между КГБ и МВД (во всех их исторических ипостасях). Т.е. было всегда и ныне процветает, касаясь, казалось бы, самых экзотических и неожиданных областей.
Самым ярким примером такого соперничества в последние десятилетия стала «30летняя война» Министерства обороны США и ЦРУ за первенство в обладании технологии предсказания будущего.

В 1й серии этого постосериала было рассказано, что:
✔️ предсказание будущего — это вовсе не шаманство, а острая необходимость для принятия решений в любом мало-мальски ответственном деле;
✔️ не смотря на крайнюю сложность более-менее точных предсказаний, людям все равно приходится делать предсказания каждый раз, когда нужно принимать решения — т.е. от предсказаний все равно никуда не денешься, и потому задача повышения точности предсказаний — крайне актуальная, вполне практическая и высокоприоритетная;
✔️ существуют 2х основных направления в области исследования методов и технологий повышения точности предсказаний:
— поиск и выявление супер-предсказателей;
— агрегация информации от многих предсказателей с использованием рыночных механизмов — рынков предсказаний.

Во 2ом посте будет рассказано о генеральном сражении «30летней войны» Министерства обороны США и ЦРУ за первенство в обладании технологией предсказания будущего.
Это генеральное сражение произошло 15 лет назад. Наступающей стороной было Министерство обороны США, а победителем стало ЦРУ.
Ну а главным героем этой битвы, во многом определившим направление исследований предсказания будущего на годы вперед, стал адмирал Пойндекстер — ключевая фигура наиболее хитроумных спецопераций американских военных, прозванный за это «Адмирал-затейник», а также:
— изобретатель ставшей сегодня широко известной технологии создания «Ситуационных центров»,
— отец стратегии информационных войн, программы тотального прослушивания и контртеррористических информационных операций,
— а ко всему прочему, страстный приверженец идеи необходимости поиска методов улучшения предсказаний будущего, как основного средства повышения национальной безопасности США.

Продолжить чтение в Instant View на Medium
https://goo.gl/9J2321

#ИнтеллектКентавра #AI #ИИ #IA #AIA #Краудсорсинг #РынкиПредсказаний #АльтернативныйИИ #Прогнозирование #Будущее #ПринятиеРешений #Случайность #Память #КогнитивныеСистемы #Нейронаука #IARPA

Предсказания становятся приоритетом.
3й пост постосериала «ЦРУ создает кентавров для предсказания будущего».

Новый этап исследований и разработок по предсказанию будущих событий для обеспечения национальной безопасности США возглавила разведка. Он продолжался до прошлого 2017 года и отличался от 1го этапа двумя принципиальными моментами:
1) Законодательный запрет на игру на деньги в области предсказаний, заставил сместить фокус исследований с рынков предсказаний на поиск супер-предсказателей и ряд других методов повышения эффективности предсказаний «коллективного интеллекта».
2) Объемы финансирования и, соответственно, число и разнообразие проектов качественно выросло после оглашения в 2004 результатов работы комиссии по теракту 9/11. Разведсообщество было поставлено перед фактом – делайте, что хотите, но такого повториться не должно.
Этот этап исследований можно условно назвать «Поиск максимума человеческих возможностей в предсказаниях». Об этом и будет рассказ.

Продолжить чтение в Instant View на Medium
https://goo.gl/4Y1Kp1

Предыдущие посты постосериала:
№1 https://goo.gl/2AemSJ
№2 https://goo.gl/9J2321

#ИнтеллектКентавра #AI #ИИ #IA #AIA #Краудсорсинг #РынкиПредсказаний #АльтернативныйИИ #Прогнозирование #Будущее #ПринятиеРешений #Случайность #Память #КогнитивныеСистемы #Нейронаука #IARPA

Не знаю, как читать, но писать о том, о чем в мире очень мало кто знает, - весьма увлекательно. Хочется писать и писать. Но даже лонгрид не резиновый.
Ну а как кратко описать, о чем этот лонгрид – вообще загадка.
Попробую последовать с детства любимому Жюлю-Верну.

Краткое содержание лонгрида про «топор под компасом американской разведки» и про то, кто кого сборет - краудсорсинг против рынков предсказаний:

Бомба замедленного действия. — Таинственная смерть на Эвересте. — Триумф и крах Intrade. — Упреждающая разведка. — ЦРУ спешит на помощь. — Результативность прогнозов растет. — Но точность хромает. — Два сокрушительных удара. — Черные лебеди не ловятся. — Требуются кентавры.

Мой новый пост https://goo.gl/ggcXCo

#ИнтеллектКентавра #AI #ИИ #IA #AIA #Краудсорсинг #РынкиПредсказаний #АльтернативныйИИ #Прогнозирование #Будущее #ПринятиеРешений #Случайность #Память #КогнитивныеСистемы #Нейронаука #IARPA

Что будет дальше.
Новый прогноз человека, точнее всех предсказавшего случившееся.
1) ПРОВАЛ ЭКСПЕРТОВ
Происходящее сейчас совсем недавно представлялось крайне маловероятным с рациональных позиций. И потому практически никто из публичных экспертов не прогнозировал подобное. При этом, прогнозы разведки США упорно не воспринимались экспертами всерьез, а то и просто высмеивались.
Не буду сыпать соль на раны позорно лоханувшихся в своих прогнозах экспертов всех мастей. Многие из них уже повинились за это, аргументируя свой промах неверием в публичные прогнозы разведки США, уже не раз оказавшихся полным фуфлом.
Эдвард Сноуден так, например, написал 15-го февраля в своей ленте Twitter:
«Источник моего скептицизма в том, что разведка США (уже который раз) делает воистину впечатляющие заявления, не представляя никаких доказательств – и все потому, что вы от них этого не потребовали».
Скепсис Сноудена, как и других критиков точности прогнозов разведки, можно понять. Общеизвестно, насколько бездарно неточны эти прогнозы. Исследование Филипа Тетлока о точности прогнозировании — Good Judgement Project (2011–2014), оплаченное Агентством передовых исследований в сфере разведки IARPA, показало ужасные результаты.
Качество прогнозов профессиональных экспертов разведки примерно соответствует вероятности попадания шимпанзе в яблочко при игре в дартс, и уж никак не точнее прогнозирования путем подбрасывания монеты.
Такие прискорбные результаты, объясняющие бесчисленные провалы прогнозов (развал СССР, крах операции в заливе Свиней и т.д.) заставили разведку США искать альтернативные пути повышения качества своих прогнозов. Подробно об этом читайте в серии моих постов «ЦРУ создает кентавров для предсказания будущего».

А если совсем кратко, то дело было так.
Сначала попытались задействовать «мудрость толпы» с помощью краудсорсинга и рынков предсказаний.
Получили весьма скромные результаты:
• «безумие толпы» доминировало над её «мудростью»,
• а инфошум, порождаемый активными крикунами, забивал ценные мысли толковых участников.
Тогда исследователям пришла в голову новая идея – искать среди игроков на рынках предсказаний аномально успешных.

2) СУПЕРПРОГНОЗИСТЫ
Так назвали 2% аномально успешных в проекте Тэтлока. Прогнозы этих «обычных» людей, имевших доступ лишь к открытым источникам информации, оказались существенно точнее прогнозов других участников, включая профессиональных аналитиков разведки, имевших доступ к материалам с грифом «секретно».
Выявленные суперпрогнозисты оказались штучными людьми с довольно высоким (но не выдающимся) интеллектом, способные удивительно эффективно:
а. структурировать предметную область прогноза;
б. выявлять и группировать источники информации;
с. потреблять информацию тоннами – буквально «пить из брандспойта цифровых медиа».
N.B.
I. Разведку интересовали не все прогнозы, а лишь суперкачественные
– прогнозы верных результатов, базирующиеся на верных основаниях.
II. Одним из самых востребованных направлений форкастинга стал варкастинг, второй год осваиваемый дюжиной рынков предсказаний (Good Judgement, Metaculus, Hypermind …), на которых уже выявились свои суперпрогнозисты: Robert de Neufville, Balkan Devlen и один абсолютный чемпион, чьи прогнозы с декабря 2021 точнее всех.

3) ЕГО ЗОВУТ CLAY GRAUBARD
Этот молодой выпускник Оксфорда, специализирующийся на прогнозировании международных отношений и рынках предсказаний, недавно основал проект Global Guessing - прогнозы геополитических событий с углубленным анализом и ретроспективой. Логика прогнозов основана на анализе 3х списков мониторинга «важнейших сигналов», которые Clay ретвитит в своей ленте.
Насколько глубок анализ, можно судить по опубликованному 7-го марта Newsletter с вероятностями 4х сценариев до конца года. Каждый сценарий зависит от ответов на 4 ключевые вопроса: 2 ответа – это прогнозы и 2 - предсказания.

Всё предыдущее сбылось. Посмотрим, что теперь.

#РынкиПредсказаний #Прогнозирование

От мудрости толпы к сверхпрорывам
Таксономия трансцендентности как дорожная карта
Не один год был мною потрачен на решение задачи из заголовка с помощью синтеллектуального краудсорсинга, практически реализованного потом на платформе Witology. Да и после открытия мною этого канала я написал здесь десятки постов на эту тему с тэгами, указанными в конце этого поста. И хотя потенциально синтеллектуальный краудсорсинг мог принести миллиарды, он так и не взлетел по причине отсутствия тогда формального и проверяемого обоснования, за счет чего агрегированная система выходит за интеллектуальные пределы каждого отдельного эксперта. И теперь такое обоснование появилось.

Мы привыкли романтизировать гения-одиночку. Но XXI век тихо подвинул этот миф: решения всё чаще рождаются не в одной голове, а на платформах — от рынков предсказаний до фабрик идей. И потому вопрос «может ли толпа быть умной» уже не актуален. Актуальный вопрос — «как сделать так, чтобы она стабильно превосходила лучших одиночек?»

Разработанная «таксономия трансцендентности» даёт редкий подарок — механистическое объяснение, за счёт чего агрегированная система выходит за пределы каждого отдельного эксперта. И это не метафизика, а инженерия. Три механизма — три шага дизайн-мышления.
1) Denoising: приручить шум.
Если индивидуальные ошибки слабо коррелируют, аккуратное усреднение даёт качество выше любого участника. Вывод для платформ: защищайте независимость сигналов. Слепые первичные ставки и оценки до обсуждения. Отсечка стадности, задержки комментариев, механика анти-«эхо-камер». Не «больше голосов», а больше независимых голосов.
2) Selection: маршрутизировать экспертизу.
Разные участники сильны на разных участках задачи. Алгоритмы должны автоматически «подхватывать» сигнал тех, чья компетентность релевантна контексту. Т.е. на практике нужны: тонкие профили навыков, контекстное ранжирование рационалов, динамическая репутация «по темам», ценообразование/бейзлайны, где правые получают больший вес. Платформа становится не форумом, а распределённым диспетчером экспертизы.
3) Generalization: собирать новое из осколков.
Ни у кого нет целого ответа — у всех есть кусочки. Нужна структура, где кусочки складываются в новое знание. Отсюда требования к интерфейсу: декомпозируйте проблемы на атомарные утверждения, связывайте их в граф причинно-фактологических связей, поощряйте явные «мостики» между кластерами идей. Не просто «лайк» и «коммент», а карта утверждений с проверяемыми связями.

Из этого вырастает практическая дорожная карта для рынков, форкаст-хабов и платформ менеджмента идеями:
• Независимость до агрегации. Сначала индивидуальные ставки/ответы, потом обсуждение.
• Диверсификация по замыслу. Набор участников — по когнитивным стилям и источникам, а не по громкости. Регулярная калибровка.
• Маршрутизация контекста. Вес ответа — функция темы, истории точности и текущих признаков задачи.
• Композиция знаний. Заставьте идеи «стыковаться»: шаблоны декомпозиции, требование рационалов, внутренние «Википедии» графов.
• Вознаграждения за полезные связи. Награда не только за верный вывод, но и за полезные промежуточные узлы, которые переиспользуют другие.

Да, и у этих систем есть свои хрупкие места: коррелированные ошибки, инфокаскады, культ харизмы. Но именно предложенная таксономия объясняет, как их обходить и что именно строить вместо наивной «толпы».

Это не манифест Сверхразума — это инструкция по его сборке: превратить разрозненные сигналы в маршрутизированную, контролируемую ткань коллективного мышления.

Если совсем коротко: «мудрость толпы» — это только стартовая полоса. Но с этой дорожной картой появляется шанс взлететь.

P.S. Удивительно, что все три механизма «таксономии трансцендентности» были не только придуманы но и реализованы в Witology на практике (где лишь на 10%, а где и на 50%+) еще 10 лет назад. Но вот ведь незадача! Тогда этому не было суждено взлететь 😔

#МудростьТолпы #Краудсорсинг #РынкиПредсказаний #КоллективныйИнтеллект