ETL
Также: извлечение-преобразование-загрузка, extract transform load, конвейер данных, ETL-пайплайн
ETL - процесс переноса данных из рабочих систем в аналитическое хранилище: извлечь из источников (extract), привести к единому виду и почистить (transform), загрузить в хранилище (load). Обычно запускается по расписанию - ночью, чтобы утром отчёты показывали свежие и согласованные данные из одного места, а не из трёх разных выгрузок. При ошибке на любом из этапов аналитика может получить неполные или искажённые данные, поэтому логирование и мониторинг пайплайна важны не меньше, чем сама трансформация.
Статьи с этим термином · 11
- SQL Server 2012 RC и ColumnStore: как аналитический запрос на 40 секунд укладывается в три · 15 февраля 2012
- PostgreSQL 9.1 streaming replication: тестируем как замену SQL Server Standard · 25 августа 2011
- ETL на SSIS 2008: как мы сократили ночную загрузку с 6 часов до 90 минут · 20 мая 2010
- SQL Server 2008 R2 CTP: PowerPivot в Excel и смешанные чувства от тестирования · 28 января 2010
- SQL Server 2008 RTM вышел: мигрируем хранилище с 2005, Policy Management и новый SSRS · 5 августа 2008
- PostgreSQL 8.2: перевели учёт рабочего времени с MySQL 4.1 и не пожалели · 15 мая 2007
- DTS в SSIS: переезжаем вместе с клиентом с SQL Server 2000 на 2005 · 6 декабря 2006
- Ночная витрина: утром свежие цифры вместо звонка аналитику · 13 декабря 2005
- SQL Server 2005: пакеты вместо самописных выгрузок и отчёты прямо в браузере · 6 сентября 2005
- CMS на LAMP: маркетолог обновляет сайт сам · 26 июля 2005
- Первый куб: OLAP-отчёт вместо дня в Excel · 20 июня 2005