Данные и аналитика
-
Данные и аналитика
MaterializedPostgreSQL в ClickHouse 21.9: аналитическая реплика без ETL
ClickHouse 21.9 добавил движок MaterializedPostgreSQL. Разбираем как построить OLAP-реплику поверх transactional БД, какой лаг реален и где ограничения.
-
Данные и аналитика
PostgreSQL 14 GA: обновляем первый продакшн-кластер и меряем LZ4-сжатие на toast
PostgreSQL 14 вышел GA. Обновляем первый боевой DWH до PG14, включаем LZ4 на toast-таблицах event-логов и документируем zero-downtime upgrade через pg_upgrade.
-
Данные и аналитика
PostgreSQL 14 RC: бенчмаркируем прирост производительности на партиционированных DWH-схемах
PostgreSQL 14 Release Candidate - тестируем declarative partitioning и vacuum на продуктовой схеме клиента. Прирост 15-20% на сложных запросах с partition pruning.
-
Данные и аналитика
Elastic Stack 7.14: настраиваем ML anomaly detection для логов сетевого оборудования
Elastic Stack 7.14 вышел с расширенным ML anomaly detection и улучшенной интеграцией Fleet. Рассказываем как мы настроили ML jobs для сетевых логов и что из этого вышло.
-
Данные и аналитика
PostgreSQL 14 Beta 3: тестируем row-level filtering в logical replication на партиционированной БД
PostgreSQL 14 Beta 3 принёс row-level filtering в логической репликации. Тестируем на реальной клиентской схеме - это закрывает задачу, которую раньше решали через ETL.
-
Данные и аналитика
ClickHouse 21.3 LTS: оконные функции наконец в продакшне, мигрируем аналитику
ClickHouse 21.3 - первая LTS-версия с оконными функциями. Переводим клиентский аналитический пайплайн с агрегирующими MV на новую версию - что получилось.
-
Данные и аналитика
PostgreSQL 13 в продакшне: vacuum, параллельные индексы и 20% на аналитике
Переводим несколько DWH с PostgreSQL 11 на 13: тест на реальной нагрузке показал 20-25% ускорение агрегирующих запросов за счёт улучшенного планировщика.
-
Данные и аналитика
ClickHouse 20.9: пробуем MaterializedPostgreSQL - PostgreSQL в ClickHouse через logical replication
ClickHouse 20.9 добавил движок MaterializedPostgreSQL. Тестируем репликацию prod-таблицы из PostgreSQL в реальном времени: latency, ограничения, ускорение аналитики.
-
Данные и аналитика
PostgreSQL 13 GA: мигрируем аналитическую БД с PG 11 - инкрементальная сортировка меняет картину
PostgreSQL 13 официально вышел. Переводим 800-гигабайтную аналитическую базу с PG 11 через pg_upgrade: что дала инкрементальная сортировка на отчётных запросах.
-
Данные и аналитика
Kafka 2.6: rolling upgrade с 2.4 и что incremental cooperative rebalancing меняет на практике
Выкатили Apache Kafka 2.6.0 на продакшн-кластер rolling upgrade без даунтайма. Фиксируем поведение нового rebalance protocol и consumer lag под нагрузкой.
-
Данные и аналитика
Elasticsearch 7.9: transforms для агрегации событий безопасности без ETL-джобов
Используем pivot transforms в Elasticsearch 7.9 для сводной таблицы аномалий по хостам. Runtime fields снимают необходимость реиндексации при смене схемы.
-
Данные и аналитика
PostgreSQL 13 Beta 2: тестируем дедупликацию B-tree индексов на копии продакшн-БД
Гоняем PostgreSQL 13 Beta 2 на продакшн-слепке DWH: дедупликация B-tree сократила объём индексов, параллельный VACUUM снизил bloat в OLTP-таблицах.
-
Данные и аналитика
ClickHouse 20.4 в продакшне: Materialized Views для предагрегации и реальное ускорение аналитики
Обновляем продакшн-кластер клиента до ClickHouse 20.4: тестируем улучшенные Materialized Views для предагрегации метрик, Dictionary источники, замеряем результат.
-
Данные и аналитика
Yandex DataLens поверх ClickHouse: BI без лицензионного кошмара
Клиент хочет BI поверх ClickHouse без дорогих лицензий. Разворачиваем Yandex DataLens, подключаем ClickHouse напрямую, строим дашборды операционной аналитики за пару дней.
-
Данные и аналитика
Elasticsearch 7.6: настраиваем ILM-политики горячий-тёплый-холодный и экономим 60% места
Elasticsearch 7.6 выводит ILM и data tiers в GA. Настраиваем hot-warm-cold на клиентском ELK-кластере: NVMe на 7 дней, SATA на 30, объектное хранилище для архива.
-
Данные и аналитика
PostgreSQL 12 в продакшне: партиционирование без заплаток, B-tree индексы на больших DWH
Поднимаем первые клиентские DWH на PostgreSQL 12: партиционирование наконец работает по-человечески, тестируем B-tree на больших таблицах фактов.
-
Данные и аналитика
ClickHouse Kafka Engine в продакшне: от событий в топике до аналитики за секунды
Запустили продакшн-пайплайн: события из Kafka напрямую в ClickHouse через Kafka Table Engine и Materialized View. Задержка аналитики упала с часов до секунд.
-
Данные и аналитика
PostgreSQL 12 вышел: тестировали бету, апгрейдаем GA - что дало в продакшне
PostgreSQL 12 GA вышел 3 октября. Рассказываем, что inline CTE и JSON Path дали нам в реальных DWH-запросах после месяцев тестирования беты.
-
Данные и аналитика
PostgreSQL 12 Beta 3: нагрузочный тест перед GA - пять запросов ускорились, два потребовали MATERIALIZED
Прогнали нагрузочное тестирование на PostgreSQL 12 Beta 3. Inline CTE ускорил большинство запросов, но два сломал - пришлось разобраться почему.
-
Данные и аналитика
PostgreSQL 12 Beta 1: тестируем на крупном DWH - CTE больше не материализуются по умолчанию
Подняли PostgreSQL 12 Beta 1 на копии крупнейшей нашей DWH-базы. Главный сюрприз - CTE inline-оптимизация: старые запросы с хитрыми CTE изменили поведение.