Данные и аналитика

• Данные и аналитика · 24 марта 2015

  PostgreSQL streaming replication + repmgr: дешёвый HA без коммерческих лицензий

  Настраиваем PostgreSQL streaming replication с hot standby и автоматическим failover через repmgr: standby читает продакшн, переключение при падении мастера - ~30 секунд.

• Данные и аналитика · 20 февраля 2015

  PostgreSQL вместо Oracle: что переезжает легко, а где надо готовиться

  Клиент попросил оценить миграцию с Oracle SE на PostgreSQL. Разбираем gap-анализ: SQL и индексы идут почти без изменений, а PL/SQL-пакеты и sequences требуют доработки.

• Данные и аналитика · 20 января 2015

  PostgreSQL 9.4 на тестовом стенде: JSONB быстрее, материализованные представления удобнее

  Обновляем тестовый стенд до PostgreSQL 9.4: JSONB-столбцы обрабатываются заметно быстрее JSON, а материализованные представления упрощают аналитику без ETL-прослойки.

• Данные и аналитика · 9 декабря 2014

  PostgreSQL 9.4: JSONB и конец разговора про EAV

  PostgreSQL 9.4 выходит с типом JSONB - бинарное хранение JSON с GIN-индексами. Тестируем на реальном кейсе вариативных атрибутов товаров, сравниваем с MongoDB.

• Данные и аналитика · 20 ноября 2014

  Kibana не звонит: написали скрипт алертинга поверх Elasticsearch своими руками

  Kibana 3 умеет только показывать. Чтобы получать письма при всплеске ошибок, написали простой Python-скрипт с опросом Elasticsearch раз в минуту.

• Данные и аналитика · 21 октября 2014

  ETL-витрина данных: CDC вместо полной перезагрузки

  ETL-джоб упал по таймауту после роста базы в 2 раза. Внедрили CDC через триггеры на источнике - окно сократилось с 4 часов до 25 минут.

• Данные и аналитика · 11 сентября 2014

  Grok-паттерны для логов 1С: день на отладку, зато теперь видно что происходит

  Потратили день на написание grok-паттернов под нестандартный формат логов 1С Предприятия. Описываем подход: сначала Grok Debugger, потом конфиг Logstash.

• Данные и аналитика · 14 августа 2014

  PostgreSQL 9.3 под 1С 8.3: конфиг для 50 пользователей

  Разворачивали 1С 8.3 на PostgreSQL 9.3 вместо MS SQL - специальная сборка от 1С, патч для русской локали и настройка shared_buffers. Публикуем рабочий конфиг.

• Данные и аналитика · 10 июля 2014

  ELK в боевом окружении: пять серверов, один Kibana-дашборд и 30 секунд до ответа

  Перевели централизованный syslog пяти серверов на Logstash + Elasticsearch. Разбираем схему парсинга и почему Kibana заменила 20 минут grep-сессий.

• Данные и аналитика · 20 июня 2014

  SQL Server 2014 Hekaton: тестируем In-Memory OLTP на синтетической нагрузке

  Проверяем In-Memory OLTP (Hekaton) в SQL Server 2014 на write-intensive синтетике: прирост производительности впечатляет, но аппетит к RAM и ограничения T-SQL требуют осторожности.

• Данные и аналитика · 30 мая 2014

  CDC и инкрементальные пакеты SSIS: сокращаем окно ночной загрузки DWH

  Внедряем Change Data Capture в SQL Server 2012 и переписываем SSIS-пакеты на инкрементальную загрузку витрин - окно обслуживания сжимается с четырёх часов до 35 минут.

• Данные и аналитика · 13 мая 2014

  PostgreSQL 9.3 вместо MS SQL: мигрируем несколько схем и смотрим что получилось

  Переводим три схемы с MS SQL 2008 R2 на PostgreSQL 9.3: JSON-поддержка, материализованные представления и streaming replication в реальном проекте миграции.

• Данные и аналитика · 21 ноября 2013

  Pentaho Kettle вместо SSIS: ETL из 1С, Excel и MySQL в PostgreSQL за три недели

  Клиент без лицензий SQL Server BI нуждался в ETL. Внедряем Pentaho Data Integration 5.0 и строим витрину данных в PostgreSQL - без SSIS и без доплат.

• Данные и аналитика · 30 мая 2013

  SSAS Tabular вместо OLAP-куба: xVelocity жмёт 50 млн строк в 2 ГБ

  Переводим BI-платформу клиента на SQL Server 2012 SP1 и SSAS Tabular. xVelocity держит огромные факт-таблицы в памяти, Power View грузится за секунды.

• Данные и аналитика · 18 апреля 2013

  MongoDB и NoSQL: когда это реально применимо

  MongoDB 2.4 вышел в марте. Клиент хочет хранить данные датчиков в документной базе. Разбираем, что из этого выйдет, и куда NoSQL не стоит тащить.

• Данные и аналитика · 28 февраля 2013

  Hadoop на трёх виртуалках: честные впечатления

  SQL Server задыхается на трёхлетних журналах оборудования. Поднимаем тестовый Hadoop-кластер из трёх виртуалок и смотрим, что из этого выходит.

• Данные и аналитика · 11 декабря 2012

  PostgreSQL 9.2: переводим клиента с MySQL 5.1 ради каскадной репликации и JSON

  Переводим клиента с MySQL 5.1 на PostgreSQL 9.2: каскадная репликация, JSON в продуктовом каталоге, разница в синтаксисе и инструментах.

• Данные и аналитика · 16 октября 2012

  Три узла, один MapReduce: пилот Hadoop на журналах доступа

  Разворачиваем трёхузловой Hadoop 1.0.4 для пилота аналитики логов: первый MapReduce-джоб считает уникальных посетителей за год, делимся впечатлениями.

• Данные и аналитика · 11 сентября 2012

  Oracle RAC 11gR2 на RHEL 6: разворачиваем двухузловой кластер для продакшн-БД

  Разворачиваем Oracle RAC 11gR2 (11.2.0.3) на двух узлах RHEL 6: ASM, Clusterware, проверка автоматического failover. Чеклист по горячим следам.

• Данные и аналитика · 27 июня 2012

  EL-стек без Kibana: собираем логи nginx и Windows Event Log в Elasticsearch

  Elasticsearch 0.19 + Logstash 1.0 для централизованных логов: конфиг, производительность на одном узле, и почему мы отложили Kibana в сторону.