Change Data Capture
Также: CDC, захват изменений данных, инкрементальная загрузка, delta load
Change Data Capture - механизм отслеживания изменений в базе данных на уровне транзакционного лога без опроса самих таблиц. Вместо полной перегрузки данных ETL-процесс получает только те строки, которые были добавлены, изменены или удалены с момента последнего запуска. Это снижает нагрузку на источник и ускоряет доставку данных в хранилище - особенно заметно на больших таблицах, где полный скан занимает часы.
Статьи с этим термином · 8
- ClickHouse 20.9: пробуем MaterializedPostgreSQL - PostgreSQL в ClickHouse через logical replication · 22 октября 2020
- CDC в SQL Server 2008 R2: инкрементальная загрузка вместо ночного дампа · 17 ноября 2011
- Change Data Capture в SQL Server 2008: ночной ETL с 4 часов до 20 минут · 28 октября 2010
- ETL на SSIS 2008: как мы сократили ночную загрузку с 6 часов до 90 минут · 20 мая 2010
- CDC в SQL Server 2008 и инкрементальная загрузка SSIS: с 4 часов до 25 минут · 17 сентября 2009
- SQL Server 2008 RC0: тестируем Policy-Based Management и пространственные типы на реальном клиенте · 17 июля 2008
- OLAP-куб продаж на SSAS 2005: Excel вместо выгрузок · 25 октября 2007
- ETL без боли: переписали ночную загрузку DWH с 6 часов до 40 минут · 12 июля 2007