Kafka и инфраструктурные сателлиты

Сейчас Кафку хотят у себя многие (даже когда она не нужна). Если случай не совсем тривиальный, история не заканчивается после деплоймента. Появляются вопросы и их много:

• Как организовать мониторинг;
• Что такое Burrow и зачем он нужен;
• Нужны ли бэкапы;
• Как организовать интеграцию с БД;
• Зачем нам Schema Registry и что такое REST Proxy;
• Какая топология нужна в несколько ДЦ;
• Почему есть с десяток репликаторов, как выбрать. Чем отличается MM от MM2;
• Как ничего не делать и чтобы кластер админил себя сам;
• Что делать с безопасностью данных и доступами.

В докладе будут даны ответы на вопросы выше и мотивация за выбором каждого конкретного инструмента экосистемы.

Все инструменты появились в Авито в проде как решение конкретных проблем в эксплуатации или устранение болей разработчиков. Все используемые инструменты, опенсорс или внутренняя разработка.