Данные и аналитика
-
Данные и аналитика
KSQL на Kafka: аналитики пишут SQL, Java Streams лежат на полке
Подняли Confluent KSQL поверх Kafka с POS-событиями: real-time агрегации без Java, аналитики получили привычный SQL и первые инсайты за часы вместо дней.
-
Данные и аналитика
Elasticsearch 7.0 GA: мигрировали с 6.x, переписали запросы, убрали nginx-прокси
Переход с ES 6.x на 7.0: удаление mapping types вынудило переписать часть запросов, зато встроенный TLS и базовая аутентификация убрали отдельный nginx-прокси.
-
Данные и аналитика
PostgreSQL 12 beta: тестируем декларативное партиционирование на 500 ГБ
Протестировали PostgreSQL 12 beta на тестовой базе 500 ГБ: декларативное партиционирование работает без костылей, partition pruning при планировании наконец стал предсказуемым.
-
Данные и аналитика
ClickHouse 19.x: заменили ETL-конвейер на Kafka + MaterializedView и забыли про ночные задачи
Перешли на ClickHouse 19.x со стабильным MergeTree и materialized views: аналитика по 200 млн строк за секунды без отдельного OLAP-хранилища.
-
Данные и аналитика
PostgreSQL 11 GA: обновили первый продакшн DWH - partition pruning сам, JIT ускорил аналитику
Обновили боевой DWH с PostgreSQL 10 до 11. Partition pruning по дате стал автоматическим, JIT-компиляция дала 20-30% на аналитических запросах без ручной настройки.
-
Данные и аналитика
ClickHouse 1.1.54388: Materialized Views вместо ночных ETL-задач на 500M строк событий безопасности
Внедрили ClickHouse для аналитики событий безопасности у клиента. Materialized Views заменили ночной ETL - агрегации теперь строятся инкрементально на лету.
-
Данные и аналитика
Apache Kafka 2.0 в продакшне: Kafka Streams и EOS наконец делают дубли редкостью
Обновили Kafka-кластер до 2.0 на интеграционном проекте. Exactly Once Semantics в Streams убрал дубли событий при сбоях брокера - то что мешало нам запустить финансовые расчёты на Streams.
-
Данные и аналитика
PostgreSQL 11 beta: тестируем декларативное партиционирование и JIT на клиентских нагрузках
Подняли PostgreSQL 11 beta 1 рядом с продакшн DWH и прогнали реальные аналитические запросы. Partition pruning по дате ускорил выборки вдвое - готовимся к миграции.
-
Данные и аналитика
PostgreSQL 10 logical replication как CDC-источник для DWH: избавляемся от ночного ETL-батча
Подключаем логическую репликацию PostgreSQL 10 как источник CDC для аналитического хранилища: стриминговая загрузка вместо ночного батча, близкое к реальному времени.
-
Данные и аналитика
ClickHouse 1.1.54390 в продакшне: шардирование на нескольких узлах и суб-секундные запросы по миллиардам строк
Разворачиваем ClickHouse для ритейл-аналитики: шардирование на нескольких узлах, репликация через ZooKeeper и первые измерения производительности на реальных данных.
-
Данные и аналитика
PostgreSQL 10 в DWH: нативное партиционирование и логическая репликация вместо триггерного зоопарка
Мигрируем аналитическую СУБД на PostgreSQL 10: PARTITION BY и логическая репликация заменяют триггерные схемы с даунтаймом в несколько минут вместо нескольких часов.
-
Данные и аналитика
Мигрируем ELK 5.6 -> 6.0: переиндексация нескольких терабайт логов через Reindex API
Elastic Stack 6.0 GA запрещает multiple types на индекс. Автоматизируем переиндексацию терабайт логов через Reindex API и Logstash pipeline перед апгрейдом.
-
Данные и аналитика
ClickHouse 1.1.54310: Materialized Views с фильтрами и ARRAY JOIN для сетевых flow-данных
Внедряем ClickHouse для хранения NetFlow/IPFIX: Materialized Views с фильтрами и улучшенный ARRAY JOIN сократили агрегацию 100 млн записей с 20 минут до секунд.
-
Данные и аналитика
PostgreSQL 10 GA: логическая репликация stable и декларативное партиционирование в работе
Обновили первый кластер до PostgreSQL 10 GA. Декларативное партиционирование по диапазону дат закрыло самодельные триггерные схемы и сразу ускорило запросы к историческим таблицам.
-
Данные и аналитика
Elasticsearch 5.6: готовимся к rolling upgrade на 6.0 через Upgrade Assistant
Elasticsearch 5.6 - последний минорный 5.x, открывающий rolling upgrade до 6.0. Проверяем индексы через Upgrade Assistant и находим multiple types - они в 6.0 запрещены.
-
Данные и аналитика
PostgreSQL 10 beta: логическая репликация в ядре и declarative partitioning
Тестируем beta PostgreSQL 10: встроенная логическая репликация позволяет реализовать zero-downtime миграцию между кластерами без сторонних расширений. Ждём релиза.
-
Данные и аналитика
Prometheus 1.7 в продакшне: тюнинг retention, compaction и federation для нескольких площадок
Полгода Prometheus в проде - разбираем retention, compaction, remote_write в InfluxDB и federation-топологию для мониторинга нескольких площадок.
-
Данные и аналитика
Grafana 4 alerting: когда дашборд умеет звонить, и зачем это нужно рядом с Alertmanager
Grafana 4 добавила alerting прямо в дашборды. Переносим часть правил из Prometheus Alertmanager в Grafana и разбираемся, кто за что отвечает.
-
Данные и аналитика
Elastic Beats в продакшне: Filebeat и Metricbeat вместо logstash-forwarder
Заменили logstash-forwarder на Filebeat и Metricbeat на всех серверах - потребление памяти упало в четыре раза. Конфиги модулей, pipeline в Logstash, Kibana-дашборды.
-
Данные и аналитика
PostgreSQL 9.6 параллельные запросы: 3-4x на аналитике и подводные камни настройки
PostgreSQL 9.6 принёс параллельный seq scan и hash join. Рассказываем про настройку max_parallel_workers и ограничения первой реализации на реальном DWH.