Жизнь после Managed Spark: как мы сделали Spark управляемым runtime на K8s как часть ML-платформы

Managed Spark, он же Managed Data Processing, удобен тем, что берет на себя значительную часть инфраструктурной сложности: запуск задач, окружение, зависимости, базовый lifecycle driver/executor, логи и часть диагностики. Но что происходит, когда нужно больше контроля над runtime, версиями Spark и Python, CI/CD, секретами, scheduler'ом, ресурсами и observability?

В докладе расскажу, как мы переносили Spark-задачи из Managed Spark в Kubernetes и почему это оказалось не просто миграцией кода, а проектированием отдельного compute-слоя, который стал частью ML-платформы. Покажу, как мы обвязали Spark в Kubernetes: Airflow, поддерживаемые base images, шаблоны проектов, CI/CD, YuniKorn, dedicated node pool, секреты и метрики. Отдельно разберем Airflow как точку входа для запуска Spark-задач и поговорим о том, почему Spark в Kubernetes — это не «поставили оператор и поехали».

Доклад будет интересен ML/DE/Platform-инженерам, архитекторам и MLOps'ам и тем, кто уже работает со Spark'ом и планирует мигрировать его в Kubernetes.