Мониторинг логов на основе Elastiсsearch+Fluentd+Kibana — Часть-3

Это третья и заключительная часть по настройке мониторинга логов на основе Elasticsearch+Fluentd+Kibana
Первая часть и вторая части доступны здесь:

Настройка Elasticsearch+Fluentd+Curator+Cerebro на коллекторе(сервере) – Часть-1
Настройка Elasticsearch+Fluentd+Curator+Cerebro на коллекторе(сервере) – Часть-2

Нумерацию пунктов/разделов продолжим исходя из первой части статьи

7.Установка и настройка на целевом хосте Filebeat-агента, с помощью которого собираем только MySQL error/slow-логи
В данном случае используем версию filebeat 7.2 т.к. Elasticsearch имеет такую версию

Установка filebeat-агент для RPM-based дистрибутивов

Установка filebeat-агента для DEB-based дистрибутивов

Настройка основного конфигурационного файла filebeat /etc/filebeat/filebeat.yml

Все поддерживаемые filebeat-ом опции доступны в отдельном файле

В дефолтном конфигурационного файла filebeat.yml были сделаны следующие изменения

Настроено подключение к elasticsearch

Отключена Index Lifecycle policy

Отключено логирование метрик

Чтобы в логах filebeat не было записей типа

Запрещено переписывать уже существующий шаблон (это и так дефолтная опция, но я также ее определил и принудительно)

 

Немного подробнее про Index Lifecycle Policy для индексов
Начиная с 7-й версии Elastcisearch имеет политику индексов с rollover — создается политика rollover индексов больше 50 GB и/или старше 30 дней

Filebeat 7-й версии имеет дефолтную настройку на автоопределение и автовключение (если существует такая политика в Elastcisearch) благодаря своим настройкам

В результате чего создаются индексы в формате

Меня не устроил такой формат
Мне больше подошел формат с созданием ежесуточного индекса без каких-либо политик (дефолтное поведение filebeat до версии 7)
В результате чего формат индекса должен иметь вид

Поэтому я отключил такую политику

Включение модуля MySQL для сбора MySQL логов ошибок(error.log) и медленных логов(slow.log)

Настройка конфигурационного файла MySQL-модуля в виде указания лога с ошибками и лога медленных запросов

 

Проверка синтаксиса конфигурационного файла filebeat

Запуск, проверка состояния и добавление в автозагрузку filebeat-агента

Просмотр логов filebeat-агента

 

После запуска filebeat и создания индекса с именем filebeat-7.2-год.месяц.день
Необходимо отредактировать шаблон filebeat-%{[agent.version]}( в нашем случае filebeat-7.2) удаляя из него политику
Например, начало индексного шаблона имеет вид

Удаляем блок с политикой

После чего все вновь создаваемые индексы будут попадать под обновленный индексный шаблон(в котором уже нет политики по rollover)
Для уже созданных индексов(если они создавались с поддержкой index lifecycle policy) нужно вручную удалить политику из этих индексов (назначенную автоматически при попадании индекса в индексный шаблон, на который была установлена политика)


Загрузка дефолтных посиков, визуализаций, дашбордов из filebeat в Kibana

Filebeat поставляется с примерами поисков, визуализаций и дашбордов для визуализации данных Filebeat в Kibana
При первом знакомстве с Filebeat очень полезно включить загрузку дефолтных поисков, визуализаций и дашбордов в Kibana
Такую загрузку можно выполнить либо через команду

либо настроить загрузку в файле конфигурации filebeat.yml

В любом случае, предварительно в конфиге filebeat.yml необходимо настроить подключение к kibana

https://www.elastic.co/guide/en/beats/filebeat/7.2/load-kibana-dashboards.html

 

Размещение дополнительных файлов filebeat

— отсюда загружаются дашбоарды в Kibana

— дефолтная настройка модулей

— реестр с хранением служебной информации для отслеживаемых файлов(с которых собираются логи)

 

Filebeat уже содержит MySQL-дашбоард с логами ошибок и логами медленных запросов MySQL

Также в Kibana были созданы поиски, визуализации, дашбоарды на основе данных из индексов в Elasticsearch

На основом дашбоарде были сведены все остальные дашбоарды

Например Nginx-base дашбоард включает в себя несколько визуализаций

 

 

 

 

Комментирование и размещение ссылок запрещено.

Комментарии закрыты.

Яндекс.Метрика