Данные и аналитика
-
Данные и аналитика
Elastic Stack 7.14: настраиваем ML anomaly detection для логов сетевого оборудования
Elastic Stack 7.14 вышел с расширенным ML anomaly detection и улучшенной интеграцией Fleet. Рассказываем как мы настроили ML jobs для сетевых логов и что из этого вышло.
-
Данные и аналитика
PostgreSQL 14 Beta 3: тестируем row-level filtering в logical replication на партиционированной БД
PostgreSQL 14 Beta 3 принёс row-level filtering в логической репликации. Тестируем на реальной клиентской схеме - это закрывает задачу, которую раньше решали через ETL.
-
Данные и аналитика
ClickHouse 21.3 LTS: оконные функции наконец в продакшне, мигрируем аналитику
ClickHouse 21.3 - первая LTS-версия с оконными функциями. Переводим клиентский аналитический пайплайн с агрегирующими MV на новую версию - что получилось.
-
Данные и аналитика
PostgreSQL 13 в продакшне: vacuum, параллельные индексы и 20% на аналитике
Переводим несколько DWH с PostgreSQL 11 на 13: тест на реальной нагрузке показал 20-25% ускорение агрегирующих запросов за счёт улучшенного планировщика.
-
Данные и аналитика
ClickHouse 20.9: пробуем MaterializedPostgreSQL - PostgreSQL в ClickHouse через logical replication
ClickHouse 20.9 добавил движок MaterializedPostgreSQL. Тестируем репликацию prod-таблицы из PostgreSQL в реальном времени: latency, ограничения, ускорение аналитики.
-
Данные и аналитика
PostgreSQL 13 GA: мигрируем аналитическую БД с PG 11 - инкрементальная сортировка меняет картину
PostgreSQL 13 официально вышел. Переводим 800-гигабайтную аналитическую базу с PG 11 через pg_upgrade: что дала инкрементальная сортировка на отчётных запросах.
-
Данные и аналитика
Kafka 2.6: rolling upgrade с 2.4 и что incremental cooperative rebalancing меняет на практике
Выкатили Apache Kafka 2.6.0 на продакшн-кластер rolling upgrade без даунтайма. Фиксируем поведение нового rebalance protocol и consumer lag под нагрузкой.
-
Данные и аналитика
Elasticsearch 7.9: transforms для агрегации событий безопасности без ETL-джобов
Используем pivot transforms в Elasticsearch 7.9 для сводной таблицы аномалий по хостам. Runtime fields снимают необходимость реиндексации при смене схемы.
-
Данные и аналитика
PostgreSQL 13 Beta 2: тестируем дедупликацию B-tree индексов на копии продакшн-БД
Гоняем PostgreSQL 13 Beta 2 на продакшн-слепке DWH: дедупликация B-tree сократила объём индексов, параллельный VACUUM снизил bloat в OLTP-таблицах.
-
Данные и аналитика
ClickHouse 20.4 в продакшне: Materialized Views для предагрегации и реальное ускорение аналитики
Обновляем продакшн-кластер клиента до ClickHouse 20.4: тестируем улучшенные Materialized Views для предагрегации метрик, Dictionary источники, замеряем результат.
-
Данные и аналитика
Yandex DataLens поверх ClickHouse: BI без лицензионного кошмара
Клиент хочет BI поверх ClickHouse без дорогих лицензий. Разворачиваем Yandex DataLens, подключаем ClickHouse напрямую, строим дашборды операционной аналитики за пару дней.
-
Данные и аналитика
Elasticsearch 7.6: настраиваем ILM-политики горячий-тёплый-холодный и экономим 60% места
Elasticsearch 7.6 выводит ILM и data tiers в GA. Настраиваем hot-warm-cold на клиентском ELK-кластере: NVMe на 7 дней, SATA на 30, объектное хранилище для архива.
-
Данные и аналитика
PostgreSQL 12 в продакшне: партиционирование без заплаток, B-tree индексы на больших DWH
Поднимаем первые клиентские DWH на PostgreSQL 12: партиционирование наконец работает по-человечески, тестируем B-tree на больших таблицах фактов.
-
Данные и аналитика
ClickHouse Kafka Engine в продакшне: от событий в топике до аналитики за секунды
Запустили продакшн-пайплайн: события из Kafka напрямую в ClickHouse через Kafka Table Engine и Materialized View. Задержка аналитики упала с часов до секунд.
-
Данные и аналитика
PostgreSQL 12 вышел: тестировали бету, апгрейдаем GA - что дало в продакшне
PostgreSQL 12 GA вышел 3 октября. Рассказываем, что inline CTE и JSON Path дали нам в реальных DWH-запросах после месяцев тестирования беты.
-
Данные и аналитика
PostgreSQL 12 Beta 3: нагрузочный тест перед GA - пять запросов ускорились, два потребовали MATERIALIZED
Прогнали нагрузочное тестирование на PostgreSQL 12 Beta 3. Inline CTE ускорил большинство запросов, но два сломал - пришлось разобраться почему.
-
Данные и аналитика
PostgreSQL 12 Beta 1: тестируем на крупном DWH - CTE больше не материализуются по умолчанию
Подняли PostgreSQL 12 Beta 1 на копии крупнейшей нашей DWH-базы. Главный сюрприз - CTE inline-оптимизация: старые запросы с хитрыми CTE изменили поведение.
-
Данные и аналитика
Kafka → ClickHouse с материализованным представлением: заменили двухчасовую SSIS-джобу на потоковый ETL
Убрали ночную SSIS-джобу, которая крутилась два часа, и заменили связкой Kafka + ClickHouse Kafka Engine + Materialized View. Данные доступны в реальном времени.
-
Данные и аналитика
ClickHouse Kafka Engine: события из брокера напрямую в таблицы, ETL на выброс
Настроили Kafka Engine в ClickHouse: топики читаются нативным консьюмером, данные попадают в ReplicatedMergeTree через MaterializedView - без Python-скриптов и без ночных батчей.
-
Данные и аналитика
Debezium CDC вместо ночного ETL: изменения из PostgreSQL в Kafka за секунды
Заменили ночные ETL-выгрузки на Debezium 0.9 CDC через logical replication slot: изменения в PostgreSQL появляются в Kafka-топике за секунды, аналитические витрины обновляются в near-real-time.