Как распределенно хранить триллионы файлов

При использовании GlusterFS в качестве DFS на объемах более 50 миллионов файлов, мы в Mayflower столкнулись с проблемой невозможности дальнейшего обслуживания кластера в разумные сроки. Потому вернулись к выбору современного распределенного хранилища с учетом новых требований и технологий.

При первом знакомстве очень привлекательным решением выглядел SeaweedFS, так как он написан на современном языке Golang и спроектирован на основе дизайна Warm BLOB. Но до конца не было понятно, как он себя поведет в продакшене.

Будет полезно DevOps-инженерам, отвечающим за DFS, а также за внутреннюю инфраструктуру, GitLab, Registry, Nexus, бэкапы. И всем разработчикам, у которых есть необходимость хранить и обрабатывать большое число документов, фотографий и других файлов.