Пирамида потребностей multitenant-системы

Внедряя Big Data-решение, инженеры в первую очередь обращают внимание на масштабируемость и отказоустойчивость. Это основа, фундамент большой multitenant-системы. Но по мере увеличения размера кластера, числа запросов и пользователей, узким местом может стать уже не single-master, а админ или менеджер. Чтобы команда не утонула в рутине, нужно или постоянно расширять штат поддержки, или добавлять новые свойства системы и средства автоматизации.

YTsaurus — основная платформа для хранения и обработки данных Яндекса, ad hoc-аналитики и регулярных батч-процессов. Сейчас крупнейший кластер YTsaurus — это более 20К хостов и 4.5К DAU. Этот доклад про путь автоматизации, который прошла команда YTsaurus и получившийся набор инструментов. Ретроспективно их можно разбить на несколько уровней, выстроенных в виде пирамиды: от инженерных — к пользовательским и бизнесовым. И как в пирамиде Маслоу, переход на следующий уровень происходит тогда, когда оказываются закрыты потребности предыдущего.