Это третья и заключительная часть по настройке мониторинга логов на основе Elasticsearch+Fluentd+Kibana Первая часть и вторая части доступны здесь: Настройка Elasticsearch+Fluentd+Curator+Cerebro на коллекторе(сервере) – Часть-1 Настройка Elasticsearch+Fluentd+Curator+Cerebro на коллекторе(сервере) – Часть-2 Нумерацию пунктов/разделов продолжим исходя из первой части статьи 7.Установка и настройка на целевом хосте Filebeat-агента, с помощью которого собираем только MySQL error/slow-логи В данном […]
Записи с меткой ‘docker’
Мониторинг логов на основе Elastiсsearch+Fluentd+Kibana — Часть-3
Март 15th, 2020 
Evgeniy Kamenev 
Опубликовано в рубрике DevOps, Monitoring/Logging 
Метки: docker, elasticsearch, filebeat, kibana, logs 
Комментарии к записи Мониторинг логов на основе Elastiсsearch+Fluentd+Kibana — Часть-3 отключеныМониторинг логов на основе Elastiсsearch+Fluentd+Kibana — Часть-2
Март 9th, 2020 Evgeniy Kamenev Это вторая часть по настройке мониторинга логов на основе Elasticsearch+Fluentd+Kibana Первая и третья части доступна здесь: Настройка Elasticsearch+Fluentd+Curator+Cerebro на коллекторе(сервере) – Часть-1 Настройка Elasticsearch+Fluentd+Curator+Cerebro на коллекторе(сервере) – Часть-3 Нумерацию пунктов/разделов продолжим исходя из первой части статьи 6.Установка и настройка на целевом хосте Fluentd-агента, с помощью которого собираем логи(все логии, кроме mysql-логов) В качестве fluentd-агента будем […]
Опубликовано в рубрике DevOps, Monitoring/Logging Метки: docker, elasticsearch, fluentd, kibana, logs Комментарии к записи Мониторинг логов на основе Elastiсsearch+Fluentd+Kibana — Часть-2 отключеныМониторинг логов на основе Elastiсsearch+Fluentd+Kibana — Часть-1
Февраль 28th, 2020 Evgeniy Kamenev Статья состоит из трех частей: 1.Настройка Elasticsearch+Fluentd+Curator+Cerebro на коллекторе(сервере) – Часть-1 2.Настройка Fluentd-агента на целевом хосте(клиенте), с которого нужно собирать логи – Часть-2 3.Настройка Filebeat-агента на целевом хосте(клиенте), с которого нужно собирать логи – Часть-3 Это Часть-1 статьи За основу был взять стек мониторинга отсюда и изменен под свои задачи https://medium.com/genesis-media/efk-elasticsearch-fluentd-kibana Репозитарий с мониторинг стеком […]
Опубликовано в рубрике DevOps, Monitoring/Logging Метки: docker, elasticsearch, filebeat, fluentd, kibana, logs Комментарии к записи Мониторинг логов на основе Elastiсsearch+Fluentd+Kibana — Часть-1 отключеныМониторинг Docker-хостов и Docker-контейнеров с помощью Prometheus+Grafana+AlertManager+Node-exporter+Cadvisor
Октябрь 19th, 2019 Evgeniy Kamenev За основу был взять стек мониторинга отсюда и изменен под свои задачи https://github.com/stefanprodan/dockprom Репозитарий с мониторинг стеком досутпен по адресу https://bitbucket.org/kamaok/monstack/src/master/ Базовая архитектурная схема мониторинг стека имеет вид Mониторинг стек состоит из следующих компонентов: Prometheus(https://https://prometheus.io/) – сбор и хранение метрик Доступен на URL https://prometehus.mydomain.com Grafana(https://grafana.org) — визуализация метрик в виде графиков/панелей на dashboard-ах. Доступна на […]
Опубликовано в рубрике DevOps, Monitoring/Logging Метки: alertmanager, cadvisor, container, docker, grafana, host, node-exporter, prometheus Комментарии к записи Мониторинг Docker-хостов и Docker-контейнеров с помощью Prometheus+Grafana+AlertManager+Node-exporter+Cadvisor отключеныМониторинг Docker контейнеров, Docker-хостов в Docker Swarm и в ECS-кластерах с помощью Prometheus+Grafana+AlertManager+Node-exporter+Cadvisor
Февраль 23rd, 2019 Evgeniy Kamenev За основу был взять стек мониторинга отсюда https://github.com/stefanprodan/swarmprom В наличие 3 ноды в Docker Swarm-кластере: одна нода — manager и две ноды — worker
|
1 |
# docker node ls |
|
1 2 3 4 |
ID HOSTNAME STATUS AVAILABILITY MANAGER STATUS ENGINE VERSION yxbot7la1mh84zdg6c4ca9mgy * lxc Ready Active Leader 18.06.1-ce x2uq0iyuxob9lu2wa59s0kt9t ubuntu161 Ready Active 18.06.1-ce t64s951d2pm5c8xejfv2uwkmc ubuntu162 Ready Active 18.09.1 |
Например, мониторинг стек будем запускать на мастере(на продакшен для этого нужно выделить отдельную ноду, которую нужно добавить в Swarm-кластер и именно на этой ноде запускать мониторинг) А также имеется […]
Опубликовано в рубрике DevOps, Monitoring/Logging Метки: alertmanager, caddy, cadvisor, couchdb-exporter, docker, docker swarm, ecs, grafana, mongodb-exporter, node-exporter, prometheus, unsee Комментарии к записи Мониторинг Docker контейнеров, Docker-хостов в Docker Swarm и в ECS-кластерах с помощью Prometheus+Grafana+AlertManager+Node-exporter+Cadvisor отключеныJenkins: создание pipeline Continuous Delivery процесса с деплоем на Docker Swarm Cluster для нескольких окружений
Январь 27th, 2019 Evgeniy Kamenev Предположим, у нас есть два окружения Staging и Production На Staging окружении деплоится ветка c именем staging, а на Produсtion – с именем master Тип сборки в Jenkins – pipeline multibranch Запуск сборки выполняется автоматически при коммите в репозитарий(Bitbucket) Настройка автоматического запуска сборки при коммите в репозитарий Bitbucket описана здесь https://kamaok.org.ua/?p=2833 При использовании типа сборки […]
Опубликовано в рубрике Continuous Integration/Continuous Delivery, DevOps Метки: continuous delivery, docker, docker swarm, jenkins Комментарии к записи Jenkins: создание pipeline Continuous Delivery процесса с деплоем на Docker Swarm Cluster для нескольких окружений отключеныJenkins: создание Continuous Delivery процесса в Jenkins для проекта Python с использованием Docker
Ноябрь 26th, 2018 Evgeniy Kamenev Исходный код был взят с этого репозитария https://github.com/cirulls/hands-on-jenkins/ А именно отсюда https://github.com/cirulls/hands-on-jenkins/tree/master/section_4/code/cd_pipeline Этот репозитарий используется в видеокурсе https://www.packtpub.com/virtualization-and-cloud/hands-continuous-integration-and-automation-jenkins-video В первом примере Dev, Stage и Live–окружения будут запущены на одном сервере Объянение шагов в pipeline 1.Загрузка кода из репозитария
|
1 |
stage("Checkout") |
2.Сборка Docker-образа с приложением
|
1 |
stage("Build") |
Имя образа имеет формат
|
1 |
mydocker.repo.servername/myapp:${BUILD_NUMBER} |
3.Загрузка собранного образа в удаленный Docker-репозитарий […]
Опубликовано в рубрике Continuous Integration/Continuous Delivery, DevOps Метки: continuous delivery, docker, jenkins Комментарии к записи Jenkins: создание Continuous Delivery процесса в Jenkins для проекта Python с использованием Docker отключеныЗнакомство с Docker Swarm, Docker Stack
Ноябрь 20th, 2018 Evgeniy Kamenev Установка Docker Swarm Docker Swarm — это родная система кластеризации для Docker, которая превращает набор хостов Docker в один последовательный кластер, называемый Swarm. Каждая/ый нода/хост, в составе такого кластера выступает в качестве либо управляющей(manager) либо рабочей ноды(worker). В кластере должна быть, как минимум, одна управляющая нода(manager). Технически физическое расположение машин не имеет значения, однако, желательно […]
Опубликовано в рубрике Containerization, DevOps Метки: docker, docker stack, docker swarm, docker-compose Комментарии к записи Знакомство с Docker Swarm, Docker Stack отключеныJenkins: создание Continuous Integration/Continuous delivery процесса в Jenkins для проекта Java с использованием Docker, Docker Compose, Ansible
Ноябрь 19th, 2018 Evgeniy Kamenev Пример создания Continuous Integration/Continuous Delivery процесса для проекта, написанного на Java, c использованием Gradle, в качестве инструмента сборки Java, Docker, Docker-compose в качестве контейнеризации приложения, Ansible в качестве системы управления/настройки staging-сервера и запуска docker-compose-файла Реализация этой связки описана в книге Сontinuous delivery with Docker and Jenkins by Rafal Leszko Алгоритм действий: 1.Создание Java-проекта, который будет […]
Опубликовано в рубрике Configuration Management System, Containerization, Continuous Integration/Continuous Delivery, DevOps Метки: ansible, continuous delivery, continuous integration, docker, docker-compose, gradle, Java, jenkins Комментарии к записи Jenkins: создание Continuous Integration/Continuous delivery процесса в Jenkins для проекта Java с использованием Docker, Docker Compose, Ansible отключеныJenkins: Настройка агентов на основе отдельного Linux-сервера и Docker контейнера
Октябрь 16th, 2018 Evgeniy Kamenev Использование Master(главного и единственного сервера, на котором непосредственно установлен Jenkins) вместе с агентами(подчиненными серверами) позволяет выполнять сборки на этих агентах, уменьшая тем самым нагрузку на master-сервере, выполнять сборки на различном программном обеспечении/операционных системах, параллельно выполнять разные шаги одной и той же сборки на разных Jenkins-агентах(например, запуск параллельных тестов для различных WEB-браузеров(Chrome, Firefox, Opera и т.д.) […]