Kafka в Kubernetes со Strimzi: от хаоса к контролю

Kafka как платформенный продукт. Расскажу, как мы переносили Kafka с VM в Kubernetes.

Основная проблема: эксплуатация Kafka была слишком дорогой. Создание кластеров, добавление брокеров, обновления, ребаланс, миграции и мониторинг требовали ручной работы и сильно отличались от кластера к кластеру — страдали все.

В докладе разберу, как мы использовали Kubernetes, Strimzi Operator, Helm, MirrorMaker 1/2, Cruise Control, Prometheus, Grafana, kminion и Chaos Mesh. Фокус на практическом применении: что удалось автоматизировать, какие проблемы поймали при миграции и эксплуатации, как мы подошли к tiers, SLO, мониторингу, алертам и runbooks.

Целевая аудитория: DevOps, SRE, platform engineers и backend-разработчики, которые эксплуатируют Kafka или планируют перенос stateful-сервисов в Kubernetes. Текущий результат — по SLO 330+ кластеров Kafka.