Ниже Kubernetes: расследования в GPU-кластерах на Talos Linux

Обычно обсуждают прикладной уровень AI‑систем — MLOps, модели и инференс. За кадром остается то, с чем приходится сталкиваться платформенной команде, чтобы все это вообще заработало: Kubernetes, операционная система, драйверы NVIDIA и весьма капризное серверное железо.

В этом докладе я расскажу о нескольких реальных инженерных расследованиях из эксплуатации GPU-кластеров на базе Talos Linux. Из-за чего время старта GPU-контейнеров после перехода на cgroups v2 может вырасти с нескольких секунд до более чем двух минут? Как CDI помог сократить его в десятки раз? И как одна уникальная для конкретного вендора настройка BIOS может влиять на производительность сильнее, чем изменения в Kubernetes?

На примере этих историй покажу, как искать причины сложных проблем в GPU-кластерах, когда они возникают на стыке разных слоев системы и серверного оборудования, и почему реальные причины таких проблем нередко оказываются совсем не там, где их ожидаешь найти.