Apache Kafka
Распределенная платформа потоков событий: системы записывают события в общий журнал, а другие читают их в своем темпе — в том числе повторно, через дни после записи.
Apache Kafka — распределенная платформа для передачи и хранения потоков событий. Одни системы записывают события — «платеж проведен», «заказ создан», «клиент сменил адрес», — а другие читают их в своем темпе. В отличие от классической очереди, Kafka не удаляет сообщение после прочтения: события хранятся заданное время, и их можно перечитать заново. Kafka создали в LinkedIn и в 2011 году открыли ее код; с 2012 года это проект фонда Apache.
Как устроена Kafka
- Тема (topic) — именованный журнал событий, например
payments. - Разделы (partitions). Тема делится на разделы, которые лежат на разных серверах-брокерах, — так нагрузка распределяется, как при шардинге. Внутри раздела порядок событий строго сохраняется.
- Производители и потребители. Производители дописывают события в конец журнала, потребители читают и запоминают позицию (смещение, offset). Потребители одной группы делят разделы между собой и вместе обрабатывают поток быстрее.
- Хранение и копии. По умолчанию события хранятся 7 дней, срок настраивается. Каждый раздел копируется на несколько брокеров (репликация), поэтому отказ одного сервера не теряет данные.
Пример из командной строки
# Командная строка Linux: тема из трех разделов, запись и чтение
B=localhost:9092
kafka-topics.sh --bootstrap-server $B --create --topic payments --partitions 3
kafka-console-producer.sh --bootstrap-server $B --topic payments
kafka-console-consumer.sh --bootstrap-server $B --topic payments \
--group audit --from-beginning
Последняя команда читает тему с самого начала от имени группы audit. Если завтра появится новая система — например, отчетность, — она прочитает ту же историю платежей со своей группой и ничего не отнимет у остальных.
Kafka и RabbitMQ
RabbitMQ — брокер-почтальон: доставляет сообщение получателю, гибко маршрутизирует его и удаляет после подтверждения. Kafka — журнал: хранит поток событий и выдерживает сотни тысяч сообщений в секунду на обычном оборудовании. RabbitMQ удобнее для задач и команд между сервисами, Kafka — для больших потоков событий, которые нужны многим системам сразу и которые важно уметь перечитать.
Где применяют Kafka
- Обмен событиями между микросервисами: сервис сообщает о событии и не ждет, пока его обработают все получатели.
- Перенос изменений из баз данных: изменения из учетной системы потоком попадают в хранилище и витрины данных — без ночных выгрузок.
- Банковские потоки: платежи, события карточного процессинга, данные для антифрода и мониторинга.
- Журналы и метрики от сотен серверов — в системы анализа и мониторинга.
Что важно учитывать
Kafka — отдельная распределенная система, которую нужно сопровождать: следить за брокерами, местом на дисках и отставанием потребителей. По умолчанию доставка «хотя бы один раз», поэтому получатель должен спокойно переносить повторы; режим «ровно один раз» есть, но требует настройки. С версии 4.0 (2025 год) Kafka работает без отдельного сервиса ZooKeeper — кластер проще разворачивать. Для пары сервисов с небольшим потоком сообщений Kafka избыточна.
Kafka в проектах КПР
КПР использует Kafka для интеграции систем и обмена событиями. Например, в проектах развития цифровых продуктов СберБизнес Kafka связывает микросервисы на Java. Интеграции систем через брокеры сообщений входят в заказную разработку программного обеспечения.