Разdevалка: open source-инструменты системного инженера

Обсудили две темы:

«Мониторинг логов с помощью ELK + Grafana», Дмитрий Зоренко

Слайды с доклада на гуглдиске

Мы планировали создать сервис, который поможет нам и клиентам узнавать об аномалиях в системе раньше, чем их ощутят пользователи. И заодно упростить анализ логов для всех. Но что-то пошло не по плану.

Обсуждали, как реализовывали и что получили в итоге:

1. Почему выбрали ELK и заменили Kiban’у Grafan’ой.
2. На чём писали скрипты. Спойлер: почему Ruby, а не Python, например?
3. Почему Docker – это круто?
4. Какие неприятности встретили по пути и как решали: 
• пользователь не знает, что именно хочет визуализировать;
• неструктурированные логи – о боги!
• важно настроить триггеры.
5. Ожидание – реальность: что в итоге реализовали.

«Использование Ceph для организации файлового хранилища», Евгений Корляков

Слайды с доклада на гуглдиске

Логичный подход к хранению данных – не хранить в реляционной БД то, что там храниться не должно. Например, документам лучше находиться в файловом хранилище.

Мы для создания ФХ выбрали Ceph и после 3 лет использования его в продуктиве делились впечатлениями и давали советы:

1. Когда точно пора использовать ФХ.
2. Вкратце, как мы пришли к Ceph: искали систему распределенную, отказоустойчивую и производительную.
3. Как собрать кластер за 30 минут – выжимка из многочисленных инструкций.
4. Выводы: преимущества и недостатки Ceph, проблемы, с которыми столкнулись.