Эволюция системы логирования в ecom.tech: от Elastic Stack к VictoriaLogs

Расскажу о трансформации системы логирования в инфраструктуре ecom.tech.

Изначально мы использовали Elastic Stack (Filebeat, Logstash, Elasticsearch) с индивидуальными индексами и политиками для каждой информационной системы. Однако лицензионные ограничения и технические сложности побудили перейти на OpenSearch, внедрить Kafka и Vector для сбора и агрегации логов. В процессе возникли проблемы с нестандартными логами, сложными шаблонами и высокими затратами на хранилище.

В результате решили оптимизировать систему с использованием VictoriaLogs. Этим мы сократили объем хранимых данных в 10 раз, упростили архитектуру и обеспечили стабильную работу логирования без потери критически важных данных.

Доклад будет интересен observability engineers, SRE- и DevOps-специалистам, архитекторам инфраструктуры.