Data Analysis / Big Data
2.83K subscribers
567 photos
3 videos
2 files
2.82K links
Лучшие посты по анализу данных и работе с Big Data на русском и английском языке

Разместить рекламу: @tproger_sales_bot

Правила общения: https://tprg.ru/rules

Другие каналы: @tproger_channels
Download Telegram
Плюсы и минусы платформы автоматизации рабочих процессов n8n

Бизнес всегда стремится к большей эффективности — делать больше, затрачивая меньше времени и ресурсов. Один из способов достичь этого — использование программ для автоматизации рабочих процессов, которые берут на себя повторяющиеся и трудоемкие задачи, от поддержки клиентов до формирования отчетов.

Среди множества доступных решений n8n привлекает внимание своей гибкостью, открытым исходным кодом и способностью справляться со сложными процессами. Но, как и любой мощный инструмент, он имеет сильные и слабые стороны. В этой статье мы подробно рассмотрим плюсы и минусы использования n8n, чтобы помочь вам решить, подходит ли он для ваших задач по автоматизации.


Читать: https://habr.com/ru/articles/958060/

#ru

@big_data_analysis | Другие наши каналы
Тестирование движков массивно-параллельных вычислений: StarRocks, Trino, Spark. Spark – с DataFusion Comet и Impala

В сегодняшней, уже третьей по счету, публикации я продолжу делится результатами нагрузочных испытаний вычислительных технологий массивных параллельных вычислений (на Habr уже представлены мои материалы, посвященные сравнению Impala, Trino и Greenplum, в том числе по методике TPC-DS). В этот раз в список решений добавляется Spark, включая работающий с технологией нативных вычислений DataFusion Comet, и набирающий популярность StarRocks.


Читать: https://habr.com/ru/companies/datasapience/articles/959496/

#ru

@big_data_analysis | Другие наши каналы
Вебинар: Российские тренды Lakehouse и преимущества платформы на базе StarRocks

Дата: 28 октября 2025 года
Время: 11:00 (по Москве, GMT+3)

Приходите на вебинар для обсуждения трендов и практики Data Lakehouse (DLH) — архитектуры, объединяющей лучшие черты DWH и Data Lake.

В программе:

— Дискуссия с экспертами о состоянии рынка Lakehouse, эффективных стратегиях перехода и новых сценариях применения DLH (инфобез, HR, сервисное управление).
Спикеры дискуссии:
• Семен Шевченко , Cбер
• Константин Колесников, ПСБ
• Владимир Анисимов, независимый эксперт
• Модератор - Олег Гиацинтов, DIS Group

— Райан Сан (Ryan Sun), архитектор решений и менеджер сообщества презентует проект StarRocks.

— Короткое знакомство с «Селеной», российским решением Data Lakehouse.

Не пропустите возможность узнать, куда движется рынок Lakehouse в России и какие преимущества даёт подход StarRocks.

Регистрируйтесь прямо сейчас!

Реклама. ООО «Дата Интегрейшн Софтвер», ИНН 7713555858, erid: 2VfnxyMyprD
Импорт, преобразование и оптимизация — одним конвейером SQL

Импорт терабайтов из S3 одним SQL: INSERT FROM FILES и PIPE. Партиционирование через date_trunc(), RANDOM‑бакетизация, трансформации с JOIN/UNNEST и гибкий ALTER TABLE.


Читать: https://habr.com/ru/articles/959768/

#ru

@big_data_analysis | Другие наши каналы
Вероятностные методы в биржевой торговле

Современная биржевая торговля эволюционировала от интуитивных решений к строгим математическим моделям. В эпоху доминирования алгоритмических систем глубокое понимание стохастических основ рыночной динамики становится критически важным конкурентным преимуществом. На протяжении пяти лет мы исследуем применение сложных вероятностных моделей для анализа, прогнозирования финансовых инструментов и готов представить наиболее значимые аспекты этой методологии.

Финансовые площадки функционируют как сложные адаптивные механизмы, где множество участников действуют в условиях фундаментальной неопределенности. Математический аппарат теории вероятностей позволяет формализовать эту неопределенность и создавать аналитические конструкции, способные выявлять скрытые паттерны в хаотичных ценовых колебаниях.


Читать: https://habr.com/ru/articles/957232/

#ru

@big_data_analysis | Другие наши каналы
ETL & ELT. От перестановки «слагаемых» результат меняется

Привет, Habr!

Я тимлид достаточно молодой команды разработки и недавно столкнулась с недопониманием у ребят различий в двух казалось бы идентичных процессах и решила разложить все по полочкам. И вот теперь это моя первая статья на Habr, буду рада поддержке.


Читать: https://habr.com/ru/articles/960254/

#ru

@big_data_analysis | Другие наши каналы
👍2