Разdevалка: open source-инструменты системного инженера

Обсудили две темы:

«Мониторинг логов с помощью ELK + Grafana», Дмитрий Зоренко

Слайды с доклада на гуглдиске

Мы планировали создать сервис, который поможет нам и клиентам узнавать об аномалиях в системе раньше, чем их ощутят пользователи. И заодно упростить анализ логов для всех. Но что-то пошло не по плану.

Обсуждали, как реализовывали и что получили в итоге:

  1. Почему выбрали ELK и заменили Kiban’у Grafan’ой.
  2. На чём писали скрипты. Спойлер: почему Ruby, а не Python, например?
  3. Почему Docker – это круто?
  4. Какие неприятности встретили по пути и как решали: 
    • пользователь не знает, что именно хочет визуализировать;
    • неструктурированные логи – о боги!
    • важно настроить триггеры.
  5. Ожидание – реальность: что в итоге реализовали.

 

«Использование Ceph для организации файлового хранилища», Евгений Корляков

Слайды с доклада на гуглдиске

Логичный подход к хранению данных – не хранить в реляционной БД то, что там храниться не должно. Например, документам лучше находиться в файловом хранилище.

Мы для создания ФХ выбрали Ceph и после 3 лет использования его в продуктиве делились впечатлениями и давали советы:

  1. Когда точно пора использовать ФХ.
  2. Вкратце, как мы пришли к Ceph: искали систему распределенную, отказоустойчивую и производительную.
  3. Как собрать кластер за 30 минут – выжимка из многочисленных инструкций.
  4. Выводы: преимущества и недостатки Ceph, проблемы, с которыми столкнулись.
Разdevалка: open source-инструменты системного инженера