Данные и аналитика
-
Данные и аналитика
EL-стек без Kibana: собираем логи nginx и Windows Event Log в Elasticsearch
Elasticsearch 0.19 + Logstash 1.0 для централизованных логов: конфиг, производительность на одном узле, и почему мы отложили Kibana в сторону.
-
Данные и аналитика
SQL Server 2012 RC и ColumnStore: как аналитический запрос на 40 секунд укладывается в три
SQL Server 2012 RC принёс ColumnStore Index - новый тип индекса для аналитики. Тестируем на реальном отчёте по продажам и разбираемся, где это работает, а где нет.
-
Данные и аналитика
MySQL 5.5 GA и переезд на InnoDB: что меняется при одновременных записях
MySQL 5.5 стала де-факто стабильной - и InnoDB теперь движок по умолчанию. Переводим несколько баз с MyISAM и смотрим, что меняется при конкурентных записях.
-
Данные и аналитика
Hadoop 1.0.0 на старом железе: MapReduce на логах ритейл-сайта
Разворачиваем тестовый Hadoop-кластер из трёх нод на старых серверах и считаем агрегаты по логам веб-сайта: MapReduce вместо ночных SQL-запросов.
-
Данные и аналитика
CDC в SQL Server 2008 R2: инкрементальная загрузка вместо ночного дампа
Реализуем инкрементальную загрузку в DWH через Change Data Capture в SQL Server 2008 R2: потоковые изменения каждые 15 минут вместо полного ночного дампа таблиц.
-
Данные и аналитика
PostgreSQL 9.1 streaming replication: тестируем как замену SQL Server Standard
PostgreSQL 9.1 вышел с синхронной потоковой репликацией и foreign data wrappers. Тестируем synchronous_standby для нулевой потери данных и мониторим lag через Zabbix.
-
Данные и аналитика
SSRS для финансового департамента: 30 отчётов вместо трёх утренних Excel-файлов
Разворачиваем SQL Server Reporting Services 2008 R2 у клиента: 30 отчётов финансового департамента, подписки по расписанию, экспорт в Excel, конец ручного сбора данных.
-
Данные и аналитика
MySQL 5.5 GA vs Percona Server 5.5: что выбрать для продакшн-нагрузки
MySQL 5.5 GA вышел с InnoDB по умолчанию - уже хорошо. Но Percona Server 5.5 с XtraDB даёт ощутимую прибавку на OLTP. Мигрируем клиента с MyISAM и смотрим, что из этого вышло.
-
Данные и аналитика
Change Data Capture в SQL Server 2008: ночной ETL с 4 часов до 20 минут
Настроили CDC в SQL Server 2008 для инкрементальной загрузки ERP-транзакций в хранилище - ночная ETL-задача сократилась с четырёх часов до двадцати минут.
-
Данные и аналитика
SSRS 2008 R2: дашборд KPI для руководства без пяти Excel-файлов по почте
Собрали KPI-дашборд для руководства клиента на SSRS 2008 R2 - спарклайны по выручке вместо пяти Excel-диаграмм, которые раньше рассылали письмами каждый понедельник.
-
Данные и аналитика
MySQL 5.5 RC и InnoDB по умолчанию: мигрировали нагруженную базу и получили ноль deadlock-ов
Перевели клиентскую базу с MyISAM на InnoDB в MySQL 5.5 RC: deadlock-и под нагрузкой исчезли, latency 95-го перцентиля упала вдвое. Рассказываем, что делали и где споткнулись.
-
Данные и аналитика
ETL на SSIS 2008: как мы сократили ночную загрузку с 6 часов до 90 минут
Переписали legacy DTS-пакеты ритейл-клиента в SSIS 2008 с параллельными потоками и буферизацией - ночная загрузка хранилища ужалась с 6 часов до полутора.
-
Данные и аналитика
SQL Server 2008 R2 CTP: PowerPivot в Excel и смешанные чувства от тестирования
Microsoft выкатила CTP SQL Server 2008 R2 с PowerPivot и Master Data Services. Потестировали PowerPivot на реальной модели продаж - аналитик доволен, DBA в раздумьях.
-
Данные и аналитика
SSRS 2008 для финансовой отчётности: PDF по расписанию вместо Excel с макросами
Развернули SQL Server Reporting Services 2008 для финансового блока клиента. Руководство получает отчёты по почте в PDF без участия IT и без открытия Excel.
-
Данные и аналитика
CDC в SQL Server 2008 и инкрементальная загрузка SSIS: с 4 часов до 25 минут
Настроили Change Data Capture в SQL Server 2008 для ETL-пайплайна ритейлера. Ночная витрина теперь обновляется только изменениями, а не полной перегрузкой таблиц.
-
Данные и аналитика
MySQL 5.1 GA: партиционирование по дате сократило запросы к истории с минут до секунд
Перевели высоконагруженную базу на MySQL 5.1 GA. Партиционирование таблиц фактов по дате дало резкое ускорение исторических запросов. Event scheduler убрал несколько cron-задач.
-
Данные и аналитика
SQL Server 2008 SP1 и миграция 1С:Предприятие 8.1: прирост производительности есть
Мигрировали базы 1С:Предприятие 8.1 с SQL Server 2005 на 2008 SP1. Прирост производительности запросов - реальный. Регламент обновления пришлось писать с нуля.
-
Данные и аналитика
SSIS 2008 в работе: мигрировали ночной ETL-конвейер и получили меньше боли с памятью
Перевели ночной ETL-пайплайн с SSIS 2005 на 2008: Data Flow Task быстрее, новый Lookup с partial cache убрал OOM на больших справочниках.
-
Данные и аналитика
SQL Server 2008 RTM вышел: мигрируем хранилище с 2005, Policy Management и новый SSRS
6 августа вышел SQL Server 2008 RTM. Смотрим на Policy-Based Management и обновлённый SSRS - что реально изменилось при миграции хранилища с SQL 2005.
-
Данные и аналитика
SQL Server 2008 RC0: тестируем Policy-Based Management и пространственные типы на реальном клиенте
Поставили RC0 SQL Server 2008 на тестовую среду клиента с геораспределённой сетью магазинов - смотрим на Policy-Based Management и типы GEOGRAPHY/GEOMETRY.