Данные и аналитика
-
Данные и аналитика
Kafka → ClickHouse с материализованным представлением: заменили двухчасовую SSIS-джобу на потоковый ETL
Убрали ночную SSIS-джобу, которая крутилась два часа, и заменили связкой Kafka + ClickHouse Kafka Engine + Materialized View. Данные доступны в реальном времени.
-
Данные и аналитика
ClickHouse Kafka Engine: события из брокера напрямую в таблицы, ETL на выброс
Настроили Kafka Engine в ClickHouse: топики читаются нативным консьюмером, данные попадают в ReplicatedMergeTree через MaterializedView - без Python-скриптов и без ночных батчей.
-
Данные и аналитика
Debezium CDC вместо ночного ETL: изменения из PostgreSQL в Kafka за секунды
Заменили ночные ETL-выгрузки на Debezium 0.9 CDC через logical replication slot: изменения в PostgreSQL появляются в Kafka-топике за секунды, аналитические витрины обновляются в near-real-time.
-
Данные и аналитика
KSQL на Kafka: аналитики пишут SQL, Java Streams лежат на полке
Подняли Confluent KSQL поверх Kafka с POS-событиями: real-time агрегации без Java, аналитики получили привычный SQL и первые инсайты за часы вместо дней.
-
Данные и аналитика
Elasticsearch 7.0 GA: мигрировали с 6.x, переписали запросы, убрали nginx-прокси
Переход с ES 6.x на 7.0: удаление mapping types вынудило переписать часть запросов, зато встроенный TLS и базовая аутентификация убрали отдельный nginx-прокси.
-
Данные и аналитика
PostgreSQL 12 beta: тестируем декларативное партиционирование на 500 ГБ
Протестировали PostgreSQL 12 beta на тестовой базе 500 ГБ: декларативное партиционирование работает без костылей, partition pruning при планировании наконец стал предсказуемым.
-
Данные и аналитика
ClickHouse 19.x: заменили ETL-конвейер на Kafka + MaterializedView и забыли про ночные задачи
Перешли на ClickHouse 19.x со стабильным MergeTree и materialized views: аналитика по 200 млн строк за секунды без отдельного OLAP-хранилища.
-
Данные и аналитика
PostgreSQL 11 GA: обновили первый продакшн DWH - partition pruning сам, JIT ускорил аналитику
Обновили боевой DWH с PostgreSQL 10 до 11. Partition pruning по дате стал автоматическим, JIT-компиляция дала 20-30% на аналитических запросах без ручной настройки.
-
Данные и аналитика
ClickHouse 1.1.54388: Materialized Views вместо ночных ETL-задач на 500M строк событий безопасности
Внедрили ClickHouse для аналитики событий безопасности у клиента. Materialized Views заменили ночной ETL - агрегации теперь строятся инкрементально на лету.
-
Данные и аналитика
Apache Kafka 2.0 в продакшне: Kafka Streams и EOS наконец делают дубли редкостью
Обновили Kafka-кластер до 2.0 на интеграционном проекте. Exactly Once Semantics в Streams убрал дубли событий при сбоях брокера - то что мешало нам запустить финансовые расчёты на Streams.
-
Данные и аналитика
PostgreSQL 11 beta: тестируем декларативное партиционирование и JIT на клиентских нагрузках
Подняли PostgreSQL 11 beta 1 рядом с продакшн DWH и прогнали реальные аналитические запросы. Partition pruning по дате ускорил выборки вдвое - готовимся к миграции.
-
Данные и аналитика
PostgreSQL 10 logical replication как CDC-источник для DWH: избавляемся от ночного ETL-батча
Подключаем логическую репликацию PostgreSQL 10 как источник CDC для аналитического хранилища: стриминговая загрузка вместо ночного батча, близкое к реальному времени.
-
Данные и аналитика
ClickHouse 1.1.54390 в продакшне: шардирование на нескольких узлах и суб-секундные запросы по миллиардам строк
Разворачиваем ClickHouse для ритейл-аналитики: шардирование на нескольких узлах, репликация через ZooKeeper и первые измерения производительности на реальных данных.
-
Данные и аналитика
PostgreSQL 10 в DWH: нативное партиционирование и логическая репликация вместо триггерного зоопарка
Мигрируем аналитическую СУБД на PostgreSQL 10: PARTITION BY и логическая репликация заменяют триггерные схемы с даунтаймом в несколько минут вместо нескольких часов.
-
Данные и аналитика
Мигрируем ELK 5.6 -> 6.0: переиндексация нескольких терабайт логов через Reindex API
Elastic Stack 6.0 GA запрещает multiple types на индекс. Автоматизируем переиндексацию терабайт логов через Reindex API и Logstash pipeline перед апгрейдом.
-
Данные и аналитика
ClickHouse 1.1.54310: Materialized Views с фильтрами и ARRAY JOIN для сетевых flow-данных
Внедряем ClickHouse для хранения NetFlow/IPFIX: Materialized Views с фильтрами и улучшенный ARRAY JOIN сократили агрегацию 100 млн записей с 20 минут до секунд.
-
Данные и аналитика
PostgreSQL 10 GA: логическая репликация stable и декларативное партиционирование в работе
Обновили первый кластер до PostgreSQL 10 GA. Декларативное партиционирование по диапазону дат закрыло самодельные триггерные схемы и сразу ускорило запросы к историческим таблицам.
-
Данные и аналитика
Elasticsearch 5.6: готовимся к rolling upgrade на 6.0 через Upgrade Assistant
Elasticsearch 5.6 - последний минорный 5.x, открывающий rolling upgrade до 6.0. Проверяем индексы через Upgrade Assistant и находим multiple types - они в 6.0 запрещены.
-
Данные и аналитика
PostgreSQL 10 beta: логическая репликация в ядре и declarative partitioning
Тестируем beta PostgreSQL 10: встроенная логическая репликация позволяет реализовать zero-downtime миграцию между кластерами без сторонних расширений. Ждём релиза.
-
Данные и аналитика
Prometheus 1.7 в продакшне: тюнинг retention, compaction и federation для нескольких площадок
Полгода Prometheus в проде - разбираем retention, compaction, remote_write в InfluxDB и federation-топологию для мониторинга нескольких площадок.