Apache Kafka
Также: Kafka, Kafka broker, message broker Kafka, Apache Kafka streaming
Apache Kafka - распределённая платформа потоковых событий, которая принимает, хранит и передаёт сообщения между системами в режиме реального времени. Работает по модели pub/sub: производители пишут события в топики, потребители читают независимо и в своём темпе. Kafka гарантирует сохранность сообщений и легко масштабируется горизонтально - это позволяет строить интеграции между сервисами без ночных ETL-выгрузок и файловых обменов.
Статьи с этим термином · 22
- Apache Kafka 3.1 и KRaft: разворачиваем кластер без ZooKeeper в продакшне · 17 мая 2022
- AAP 2.1 и automation mesh: execution nodes без SSH через firewall · 6 мая 2022
- Kubernetes 1.23: HPA v2 в GA и KEDA для event-driven autoscaling · 22 ноября 2021
- MaterializedPostgreSQL в ClickHouse 21.9: аналитическая реплика без ETL · 20 октября 2021
- Kafka 2.6: rolling upgrade с 2.4 и что incremental cooperative rebalancing меняет на практике · 17 августа 2020
- ClickHouse Kafka Engine в продакшне: от событий в топике до аналитики за секунды · 13 ноября 2019
- Kafka → ClickHouse с материализованным представлением: заменили двухчасовую SSIS-джобу на потоковый ETL · 24 июля 2019
- ClickHouse Kafka Engine: события из брокера напрямую в таблицы, ETL на выброс · 27 июня 2019
- Debezium CDC вместо ночного ETL: изменения из PostgreSQL в Kafka за секунды · 10 июня 2019
- KSQL на Kafka: аналитики пишут SQL, Java Streams лежат на полке · 8 мая 2019
- ClickHouse 19.x: заменили ETL-конвейер на Kafka + MaterializedView и забыли про ночные задачи · 25 февраля 2019
- ClickHouse 1.1.54388: Materialized Views вместо ночных ETL-задач на 500M строк событий безопасности · 19 сентября 2018
- Apache Kafka 2.0 в продакшне: Kafka Streams и EOS наконец делают дубли редкостью · 12 сентября 2018
- Kafka Streams как шина событий: уходим от REST-вызовов между микросервисами · 25 мая 2018
- PostgreSQL 10 logical replication как CDC-источник для DWH: избавляемся от ночного ETL-батча · 18 мая 2018
- Kubernetes 1.9: Workloads API в GA - планируем миграцию stateful-сервисов · 23 января 2018
- Apache Spark 2.0 в production: Structured Streaming вместо hourly batch · 14 декабря 2016
- ClickHouse опубликован: разворачиваем на тестовом стенде и проверяем на 500 млн строк · 3 июня 2016
- ETL на Apache Spark: первый production-кластер и Dataset API вместо RDD · 31 мая 2016
- ClickHouse выходит в open-source: Яндекс анонсирует колоночную OLAP-СУБД · 13 мая 2016
- Kafka Streams как альтернатива Spark Streaming: потоковая обработка без отдельного кластера · 4 мая 2016
- Apache Kafka 0.9 как шина событий: пробуем заменить ночной ETL на pub/sub · 18 марта 2016