Change Data Capture
Также: CDC, захват изменений данных, инкрементальная загрузка CDC, SQL Server CDC, delta load CDC
Change Data Capture - механизм отслеживания изменений в таблицах реляционной СУБД на уровне журнала транзакций, а не через триггеры или временны́е метки. В SQL Server 2008+ CDC включается на уровне базы и таблицы: движок сам читает лог и записывает INSERT, UPDATE, DELETE в служебные таблицы с указанием времени и типа операции. Это позволяет ETL-пайплайну забирать только дельту изменений, не сканируя всю таблицу целиком, - нагрузка на источник и время обработки сокращаются на порядок.
Статьи с этим термином · 7
- Kafka → ClickHouse с материализованным представлением: заменили двухчасовую SSIS-джобу на потоковый ETL · 24 июля 2019
- Debezium CDC вместо ночного ETL: изменения из PostgreSQL в Kafka за секунды · 10 июня 2019
- PostgreSQL 10 logical replication как CDC-источник для DWH: избавляемся от ночного ETL-батча · 18 мая 2018
- PostgreSQL 9.4: JSONB и конец разговора про EAV · 9 декабря 2014
- ETL-витрина данных: CDC вместо полной перезагрузки · 21 октября 2014
- SQL Server 2014 Hekaton: тестируем In-Memory OLTP на синтетической нагрузке · 20 июня 2014
- CDC и инкрементальные пакеты SSIS: сокращаем окно ночной загрузки DWH · 30 мая 2014