Данные и аналитика
-
Данные и аналитика
Pentaho Kettle вместо SSIS: ETL из 1С, Excel и MySQL в PostgreSQL за три недели
Клиент без лицензий SQL Server BI нуждался в ETL. Внедряем Pentaho Data Integration 5.0 и строим витрину данных в PostgreSQL - без SSIS и без доплат.
-
Данные и аналитика
SSAS Tabular вместо OLAP-куба: xVelocity жмёт 50 млн строк в 2 ГБ
Переводим BI-платформу клиента на SQL Server 2012 SP1 и SSAS Tabular. xVelocity держит огромные факт-таблицы в памяти, Power View грузится за секунды.
-
Данные и аналитика
MongoDB и NoSQL: когда это реально применимо
MongoDB 2.4 вышел в марте. Клиент хочет хранить данные датчиков в документной базе. Разбираем, что из этого выйдет, и куда NoSQL не стоит тащить.
-
Данные и аналитика
Hadoop на трёх виртуалках: честные впечатления
SQL Server задыхается на трёхлетних журналах оборудования. Поднимаем тестовый Hadoop-кластер из трёх виртуалок и смотрим, что из этого выходит.
-
Данные и аналитика
PostgreSQL 9.2: переводим клиента с MySQL 5.1 ради каскадной репликации и JSON
Переводим клиента с MySQL 5.1 на PostgreSQL 9.2: каскадная репликация, JSON в продуктовом каталоге, разница в синтаксисе и инструментах.
-
Данные и аналитика
Три узла, один MapReduce: пилот Hadoop на журналах доступа
Разворачиваем трёхузловой Hadoop 1.0.4 для пилота аналитики логов: первый MapReduce-джоб считает уникальных посетителей за год, делимся впечатлениями.
-
Данные и аналитика
Oracle RAC 11gR2 на RHEL 6: разворачиваем двухузловой кластер для продакшн-БД
Разворачиваем Oracle RAC 11gR2 (11.2.0.3) на двух узлах RHEL 6: ASM, Clusterware, проверка автоматического failover. Чеклист по горячим следам.
-
Данные и аналитика
EL-стек без Kibana: собираем логи nginx и Windows Event Log в Elasticsearch
Elasticsearch 0.19 + Logstash 1.x для централизованных логов: конфиг, производительность на одном узле, и почему мы отложили Kibana в сторону.
-
Данные и аналитика
SQL Server 2012 RC и ColumnStore: как аналитический запрос на 40 секунд укладывается в три
SQL Server 2012 RC принёс ColumnStore Index - новый тип индекса для аналитики. Тестируем на реальном отчёте по продажам и разбираемся, где это работает, а где нет.
-
Данные и аналитика
MySQL 5.5 GA и переезд на InnoDB: что меняется при одновременных записях
MySQL 5.5 стала де-факто стабильной - и InnoDB теперь движок по умолчанию. Переводим несколько баз с MyISAM и смотрим, что меняется при конкурентных записях.
-
Данные и аналитика
Hadoop 1.0.0 на старом железе: MapReduce на логах ритейл-сайта
Разворачиваем тестовый Hadoop-кластер из трёх нод на старых серверах и считаем агрегаты по логам веб-сайта: MapReduce вместо ночных SQL-запросов.
-
Данные и аналитика
CDC в SQL Server 2008 R2: инкрементальная загрузка вместо ночного дампа
Реализуем инкрементальную загрузку в DWH через Change Data Capture в SQL Server 2008 R2: потоковые изменения каждые 15 минут вместо полного ночного дампа таблиц.