2015 Декабрь | Записки системного администратора

Архивы за месяц Декабрь, 2015

Настройка мониторинга Linux-хоста в Cacti средствами Percona Monitoring Plugins

Декабрь 31st, 2015

Evgeniy Kamenev

Шаблон для мониторинга Linux-хоста использует ssh-подключение к хосту. 1.Необходимо произвести настройки согласно пунктам 1-6 из этой статьи https://kamaok.org.ua/?p=1409 2.Импортирование шаблона У меня используется spine вместо cmd.php и частота запуска определена как 60 секунд (вместо дефолтных 300 секунд).Поэтому перед импортированием шаблона от Percona, в котором также используется 300 секунд, необходимо изменить частоту запуска на 60 […]

Опубликовано в рубрике Centos, Monitoring

Метки: Cacti, linux, monitoring, Percona, Percona Monitoring Plugins

Комментарии отключены

Настройка мониторинга Nginx, Memcached, Redis в Cacti средствами Percona Monitoring Plugins

Декабрь 31st, 2015

Evgeniy Kamenev

Мониторинг Nginx 1.Узнаем под каким пользователем запускается poller

# grep -ri cacti /etc/cron*

1	# grep -ri cacti /etc/cron*

/etc/cron.d/cacti:* * * * *     cacti   /usr/bin/php /usr/share/cacti/poller.php > /dev/null 2>&1

1	/etc/cron.d/cacti:* * * * * cacti /usr/bin/php /usr/share/cacti/poller.php > /dev/null 2>&1

В данном случае под пользователем cacti 2. Создаем пару SSH-ключей без пароля и сохраняем ключи в /etc/cacti

# ssh-keygen

1	# ssh-keygen

Generating public/private rsa key pair.
Enter file in which to save the key (/root/.ssh/id_rsa): /etc/cacti/id_rsa
Enter passphrase (empty for no passphrase):
Enter same passphrase again:
Your identification has been saved in /etc/cacti/id_rsa.
Your public key has been saved in /etc/cacti/id_rsa.pub.

Generating public/private rsa key pair.

Enter file in which to save the key (/root/.ssh/id_rsa): /etc/cacti/id_rsa

Enter passphrase (empty for no passphrase):

Enter same passphrase again:

Your identification has been saved in /etc/cacti/id_rsa.

Your public key has been saved in /etc/cacti/id_rsa.pub.

3.Выставляем корректного владельца на ключи – пользователя cacti

# chown cacti /etc/cacti/id_rsa*

1	# chown cacti /etc/cacti/id_rsa*

# ls -al /etc/cacti/ | grep id

1	# ls -al /etc/cacti/ \| grep id

-rw-------   1 cacti root   1679 Dec 29 22:52 id_rsa
-rw-r--r--   1 cacti root    406 Dec 29 22:52 id_rsa.pub

1 2	-rw------- 1 cacti root 1679 Dec 29 22:52 id_rsa -rw-r--r-- 1 cacti root 406 Dec 29 22:52 id_rsa.pub

4.Создаем пользователя,например, cacti на клиенте(192.168.1.100), с которого будет сниматься статитика

# ssh -p 2220 root@192.168.1.100 adduser cacti

1	# ssh -p 2220 root@192.168.1.100 adduser cacti

[…]

Опубликовано в рубрике Centos, Monitoring

Метки: Cacti, memcached, Nginx, Percona, Percona Monitoring Plugins, redis

Комментарии отключены

Настройка мониторинга дисковой подсистемы в Cacti

Декабрь 29th, 2015

Evgeniy Kamenev

1.Загружаем и распаковываем архив Cacti_Net-SNMP_DevIO_v3.1

# unzip Cacti_Net-SNMP_DevIO_v3.1.zip

1	# unzip Cacti_Net-SNMP_DevIO_v3.1.zip

2.Копируем файл net-snmp_devio.xml на Cacti сервер в каталог resource/snmp_queries/

# cp net-snmp_devio.xml /usr/share/cacti/resource/snmp_queries/

1	# cp net-snmp_devio.xml /usr/share/cacti/resource/snmp_queries/

3.Импортируем по очереди шаблоны

Console->Import Templates

1	Console->Import Templates

net-snmp_devIO-BytesRW_graph_TMPL.xml

1	net-snmp_devIO-BytesRW_graph_TMPL.xml

net-snmp_devIO-LoadAVG_graph_TMPL.xml

1	net-snmp_devIO-LoadAVG_graph_TMPL.xml

net-snmp_devIO-ReadsWrites_graph_TMPL.xml

1	net-snmp_devIO-ReadsWrites_graph_TMPL.xml

И самым последним импортируем шаблон

net-snmp_devIO-Data_query.xml

1	net-snmp_devIO-Data_query.xml

4.Добавляем новый Data Queries

Console->Devices->ServerName->Associated Data Queries->ucd/net – Get Device I/O и Re-Indexed Method->Index count Changed->Add

1	Console->Devices->ServerName->Associated Data Queries->ucd/net – Get Device I/O и Re-Indexed Method->Index count Changed->Add

5.Создаем графики

Console->Devices->ServerName->Create Graphs for this Host->Data Query->

1	Console->Devices->ServerName->Create Graphs for this Host->Data Query->

выбираем устройства(диски),например, vda, sda(либо разделы sda1, sda2 и т.д.)->graph type-> Bytes Read/Written Аналогично […]

Опубликовано в рубрике Monitoring, Monitoring

Комментарии отключены

Настройка мониторинга PHP-FPM в Cacti

Декабрь 28th, 2015

Evgeniy Kamenev

Есть три сайта, каждый из которых использует свой PHP-FPM-пул

kamaok.us - /etc/php-fpm.d/kamaok.conf
joomla.us - /etc/php-fpm.d/joomla.conf
wordpress.us - /etc/php-fpm.d/wordpress.conf

kamaok.us - /etc/php-fpm.d/kamaok.conf

joomla.us - /etc/php-fpm.d/joomla.conf

wordpress.us - /etc/php-fpm.d/wordpress.conf

И дефолтный сайт

default.us - /etc/php-fpm.d/www.conf

1	default.us - /etc/php-fpm.d/www.conf

1.Настройка PHP-FPM для снятия статистки Включаем отображение статуса для каждого php-fpm-пула

# nano /etc/php-fpm.d/kamaok.conf

1	# nano /etc/php-fpm.d/kamaok.conf

pm.status_path = /status-kamaok
ping.path = /ping-kamaok

1 2	pm.status_path = /status-kamaok ping.path = /ping-kamaok

# nano /etc/php-fpm.d/joomla.conf

1	# nano /etc/php-fpm.d/joomla.conf

pm.status_path = /status-joomla
ping.path = /ping-joomla

1 2	pm.status_path = /status-joomla ping.path = /ping-joomla

# nano /etc/php-fpm.d/wordpress.conf

1	# nano /etc/php-fpm.d/wordpress.conf

pm.status_path = /status-wordpress
ping.path = /ping-wordpress

1 2	pm.status_path = /status-wordpress ping.path = /ping-wordpress

# nano /etc/php-fpm.d/www.conf

1	# nano /etc/php-fpm.d/www.conf

pm.status_path = /status
ping.path = /ping

1 2	pm.status_path = /status ping.path = /ping

# php5-fpm –t

1	# php5-fpm –t

# service php-fpm reload

1	# service php-fpm reload

2.Настройка Nginx для отображения PHP-FPM-статистики Настраиваем все пулы в дефолтном Nginx хосте

# nano /etc/nginx/conf.d/default.conf

1	# nano /etc/nginx/conf.d/default.conf

location ~ ^/(status-kamaok|ping-kamaok)$ {
    fastcgi_pass   unix:/var/run/php5-fpm.kamaok.sock;
    fastcgi_index index.php;
    fastcgi_param  SCRIPT_FILENAME $document_root$fastcgi_script_name;
    include fastcgi_params;
    access_log   off;
    allow 127.0.0.1;
    allow 192.168.1.0/24;
    allow <IP-address-Cacti-server>; 
    deny all;
}

location ~ ^/(status-wordpress|ping-wordpress)$ {
    fastcgi_pass   unix:/var/run/php5-fpm.wordpress.sock;
    fastcgi_index index.php;
    fastcgi_param  SCRIPT_FILENAME $document_root$fastcgi_script_name;
    include fastcgi_params;
    access_log   off;
    allow 127.0.0.1;
    allow 192.168.1.0/24;
    allow <IP-address-Cacti-server>; 
    deny all;
}

location ~ ^/(status-joomla|ping-joomla)$ {
    fastcgi_pass   unix:/var/run/php5-fpm.joomla.sock;
    fastcgi_index index.php;
    fastcgi_param  SCRIPT_FILENAME $document_root$fastcgi_script_name;
    include fastcgi_params;
    access_log   off;
    allow 127.0.0.1;
    allow 192.168.1.0/24;
   allow <IP-address-Cacti-server>; 
    deny all;
}

location ~ ^/(status|ping)$ {
    fastcgi_pass   unix:/var/run/php5-fpm.sock;
    fastcgi_index index.php;
    fastcgi_param  SCRIPT_FILENAME $document_root$fastcgi_script_name;
    include fastcgi_params;
    access_log   off;
    allow 127.0.0.1;
    allow 192.168.1.0/24;
    allow <IP-address-Cacti-server>; 
    deny all;
}

location ~ ^/(status-kamaok|ping-kamaok)$ {

fastcgi_pass unix:/var/run/php5-fpm.kamaok.sock;

fastcgi_index index.php;

fastcgi_param SCRIPT_FILENAME $document_root$fastcgi_script_name;

include fastcgi_params;

access_log off;

allow 127.0.0.1;

allow 192.168.1.0/24;

allow <IP-address-Cacti-server>;

deny all;

}

location ~ ^/(status-wordpress|ping-wordpress)$ {

fastcgi_pass unix:/var/run/php5-fpm.wordpress.sock;

fastcgi_index index.php;

fastcgi_param SCRIPT_FILENAME $document_root$fastcgi_script_name;

include fastcgi_params;

access_log off;

allow 127.0.0.1;

allow 192.168.1.0/24;

allow <IP-address-Cacti-server>;

deny all;

}

location ~ ^/(status-joomla|ping-joomla)$ {

fastcgi_pass unix:/var/run/php5-fpm.joomla.sock;

fastcgi_index index.php;

fastcgi_param SCRIPT_FILENAME $document_root$fastcgi_script_name;

include fastcgi_params;

access_log off;

allow 127.0.0.1;

allow 192.168.1.0/24;

allow <IP-address-Cacti-server>;

deny all;

}

location ~ ^/(status|ping)$ {

fastcgi_pass unix:/var/run/php5-fpm.sock;

fastcgi_index index.php;

fastcgi_param SCRIPT_FILENAME $document_root$fastcgi_script_name;

include fastcgi_params;

access_log off;

allow 127.0.0.1;

allow 192.168.1.0/24;

allow <IP-address-Cacti-server>;

deny all;

}

# nginx –t

1	# nginx –t

# service nginx reload

1	# service nginx reload

Локально с […]

Опубликовано в рубрике Centos, Monitoring

Метки: Cacti, PHP-FPM

Комментарии отключены

Настройка мониторинга Nginx в Cacti

Декабрь 28th, 2015

Evgeniy Kamenev

1.Проверяем наличие поддержки http_stub_status модуля.

# nginx -V 2>&1 | grep -o http_stub_status_module

1	# nginx -V 2>&1 \| grep -o http_stub_status_module

http_stub_status_module

1	http_stub_status_module

2.Настраиваем хост по умолчанию на отображение статистики Nginx.

# nano /etc/nginx/conf.d/default.conf

1	# nano /etc/nginx/conf.d/default.conf

location /nginx_status {
        stub_status on;
        access_log   off;
        allow 127.0.0.1;
        allow 192.168.1.0/24;
        allow <IP_address_Cacti_server>; 
        deny all;
        }

location /nginx_status {

stub_status on;

access_log off;

allow 127.0.0.1;

allow 192.168.1.0/24;

allow <IP_address_Cacti_server>;

deny all;

}

# nginx –t

1	# nginx –t

# service nginx reload

1	# service nginx reload

Проверяем вывод Nginx-статистики

# lynx http://<ip-address-client>/nginx_status

1	# lynx http://<ip-address-client>/nginx_status

Active connections: 1
server accepts handled requests
 3 3 10
Reading: 0 Writing: 1 Waiting: 0

Active connections: 1

server accepts handled requests

3 3 10

Reading: 0 Writing: 1 Waiting: 0

3.Скачиваем необходимые скрипты/шаблоны и копируем скрипты get_nginx_clients_status, get_nginx_socket_status в папку scripts на сервере Cacti. Отсюда качаем необходимые скрипты/шаблоны http://forums.cacti.net/about26458.html Либо с моего сайта cacti-nginx.tar Выставляем корректные права на скрипты […]

Опубликовано в рубрике Centos, Monitoring

Метки: Cacti, Nginx

Комментарии отключены

Nginx — полезные мелочи (security, redirect)

Декабрь 22nd, 2015

Evgeniy Kamenev

Безопасность 1.Блокировка определенных User-Agents. Создаем файл с запрещенными User-Agent-ами

# nano /etc/nginx/blockuseragents.rules

1	# nano /etc/nginx/blockuseragents.rules

map $http_user_agent $blockedagent {
        default         0;
        ~*malicious     1;
        ~*bot           1;
        ~*backdoor      1;
        ~*crawler       1;
        ~*bandit        1;
}

map $http_user_agent $blockedagent {

default 0;

~*malicious 1;

~*bot 1;

~*backdoor 1;

~*crawler 1;

~*bandit 1;

}

Подключаем файл с запрещенными User-Agent-ами(вставляем перед секцией server)

include /etc/nginx/blockuseragents.rules;

1	include /etc/nginx/blockuseragents.rules;

Добавляем в секцию server запрет для указанных в файле User-Agents

server {
if ($blockedagent) {
   return 444;
  }
……
}

server {

if ($blockedagent) {

return 444;

}

……

}

Либо второй вариант. Например , защита от сканеров

server {
if ( $http_user_agent ~* (nmap|nikto|wikto|sf|sqlmap|bsqlbf|w3af|acunetix|havij|appscan) ) {
    return 444;
   }
}

server {

if ( $http_user_agent ~* (nmap|nikto|wikto|sf|sqlmap|bsqlbf|w3af|acunetix|havij|appscan) ) {

return 444;

}

Тестируем

# wget --user-agent "I am a bandit" http://example.com/index.html

1	# wget --user-agent "I am a bandit" http://example.com/index.html

2.Защита от HotLink. Для конкретного location

location /images/  {
# Или для определенных типов файлов
#location ~ .(gif|png|jpe?g)$  {
  valid_referers none blocked example.com *.example.com;
   if ($invalid_referer) {
     return   444;
   }
}

location /images/ {

# Или для определенных типов файлов

#location ~ .(gif|png|jpe?g)$ {

valid_referers none blocked example.com *.example.com;

if ($invalid_referer) {

return 444;

}

3.Защита от реферального спама. […]

Опубликовано в рубрике Linux/Unix General, Web

Метки: hotlink, Nginx, rewrite, security, SSL, user agent

Комментарии отключены

Установка и использование Percona XtraBackup

Декабрь 17th, 2015

Evgeniy Kamenev

1.Установка Percona XtraBackup Centos

# yum install http://www.percona.com/downloads/percona-release/redhat/0.1-3/percona-release-0.1-3.noarch.rpm

1	# yum install http://www.percona.com/downloads/percona-release/redhat/0.1-3/percona-release-0.1-3.noarch.rpm

# yum install percona-xtrabackup

1	# yum install percona-xtrabackup

Ubuntu Импортируем публичный GPG-ключ

# apt-key adv --keyserver keys.gnupg.net --recv-keys 1C4CBDCDCD2EFD2A

1	# apt-key adv --keyserver keys.gnupg.net --recv-keys 1C4CBDCDCD2EFD2A

Добавляем репозитарий Percona

# echo "deb http://repo.percona.com/apt "$(lsb_release -sc)" main" | tee /etc/apt/sources.list.d/percona.list

1	# echo "deb http://repo.percona.com/apt "$(lsb_release -sc)" main" \| tee /etc/apt/sources.list.d/percona.list

Проверяем,что добавился новый репозитарий

# cat  /etc/apt/sources.list.d/percona.list

1	# cat /etc/apt/sources.list.d/percona.list

deb http://repo.percona.com/apt trusty main

1	deb http://repo.percona.com/apt trusty main

Обновляем локальный кеш и устанавливаем пакет

# apt-get update && apt-get install percona-xtrabackup

1	# apt-get update && apt-get install percona-xtrabackup

Также можно скачать конкретную версию Percona XtraBackup для требуемой операционной системы с официального сайта Percona

https://www.percona.com/downloads/XtraBackup/

1	https://www.percona.com/downloads/XtraBackup/

Update: Установка XtraBackup-2.4 на Ubuntu/Debian

# wget https://repo.percona.com/apt/percona-release_0.1-4.$(lsb_release -sc)_all.deb

1	# wget https://repo.percona.com/apt/percona-release_0.1-4.$(lsb_release -sc)_all.deb

# dpkg -i percona-release_0.1-4.xenial_all.deb

1	# dpkg -i percona-release_0.1-4.xenial_all.deb

# apt-get update

1	# apt-get update

# apt-get install percona-xtrabackup-24

1	# apt-get install percona-xtrabackup-24

[…]

Опубликовано в рубрике Centos, Debian/Ubuntu, MySQL, MySQL, Other

Метки: backup, innobackupex, mysql, Percona, Percona XtraBackup

Комментарии отключены

Установка и использование Percona Toolkit

Декабрь 13th, 2015

Evgeniy Kamenev

Установка Percona Toolkit Debian/Ubuntu

# wget https://repo.percona.com/apt/percona-release_0.1-4.$(lsb_release -sc)_all.deb

1	# wget https://repo.percona.com/apt/percona-release_0.1-4.$(lsb_release -sc)_all.deb

# dpkg -i percona-release_0.1-4.$(lsb_release -sc)_all.deb

1	# dpkg -i percona-release_0.1-4.$(lsb_release -sc)_all.deb

# apt-get update

1	# apt-get update

# apt-get install percona-toolkit

1	# apt-get install percona-toolkit

Centos

# yum install perl-IO-Socket-SSL perl-Digest-MD5 perl-TermReadKey

1	# yum install perl-IO-Socket-SSL perl-Digest-MD5 perl-TermReadKey

# yum install http://www.percona.com/downloads/percona-release/redhat/0.1-4/percona-release-0.1-4.noarch.rpm

1	# yum install http://www.percona.com/downloads/percona-release/redhat/0.1-4/percona-release-0.1-4.noarch.rpm

# yum install percona-toolkit

1	# yum install percona-toolkit

pt-variable-advisor

1	pt-variable-advisor

Анализ переменных MySQL(на основе SHOW VARIABLES) и вывод рекомендаций

# pt-variable-advisor localhost

1	# pt-variable-advisor localhost

pt-query-digest

1	pt-query-digest

Анализ slow-log,списка процессов(show processlist) или tcpdump 1)Отчет самых медленных запросов из файла

# pt-query-digest /var/log/mysql/mysql-slow.log

1	# pt-query-digest /var/log/mysql/mysql-slow.log

2)Отчет самых медленных запросов из списка процессов

# pt-query-digest --processlist h=127.0.0.1

1	# pt-query-digest --processlist h=127.0.0.1

Либо через анализ tcpdump

# tcpdump -s 65535 -x -nn -q -tttt -i any -c 10 port 3306 > mysql.tcp.txt

1	# tcpdump -s 65535 -x -nn -q -tttt -i any -c 10 port 3306 > mysql.tcp.txt

# pt-query-digest --type tcpdump mysql.tcp.txt

1	# pt-query-digest --type tcpdump mysql.tcp.txt

pt-ioprofile

1	pt-ioprofile

Просмотр […]

Опубликовано в рубрике Centos, Debian/Ubuntu, MySQL, MySQL, Other

Метки: mysql, Percona, percona toolkit

Комментарии отключены

Установка и настройка Percona XtraDB Cluster на Centos7/Ubuntu14

Декабрь 11th, 2015

Evgeniy Kamenev

Разработчик продукта рекомендует использовать минимум 3 ноды для создания кластера(причины описаны в статье). С целью знакомства с этим продуктом использовалось две ноды на виртуальных машинах. 1.Установка Percona XtraDB Cluster Centos

# yum install http://www.percona.com/downloads/percona-release/redhat/0.1-3/percona-release-0.1-3.noarch.rpm

1	# yum install http://www.percona.com/downloads/percona-release/redhat/0.1-3/percona-release-0.1-3.noarch.rpm

Подключаем EPEL-репозитарий(если он еще не был подключен)

# rpm -Uvh http://dl.fedoraproject.org/pub/epel/7/x86_64/e/epel-release-7-5.noarch.rpm

1	# rpm -Uvh http://dl.fedoraproject.org/pub/epel/7/x86_64/e/epel-release-7-5.noarch.rpm

Устанавливаем пакет, необходимій для Percona XtraDB Cluster

# yum install socat

1	# yum install socat

Устанавливаем PXC

# yum install Percona-XtraDB-Cluster-56

1	# yum install Percona-XtraDB-Cluster-56

Отклчаем SELinux, если он […]

Опубликовано в рубрике Centos, Debian/Ubuntu, Highload, MySQL, MySQL

Метки: mysql, Percona, Percona XtraDB Cluster, replication, wsrep

Комментарии отключены

Архивы за месяц Декабрь, 2015

Настройка мониторинга Linux-хоста в Cacti средствами Percona Monitoring Plugins

Настройка мониторинга Nginx, Memcached, Redis в Cacti средствами Percona Monitoring Plugins

Настройка мониторинга дисковой подсистемы в Cacti

Настройка мониторинга PHP-FPM в Cacti

Настройка мониторинга Nginx в Cacti

Nginx — полезные мелочи (security, redirect)

Установка и использование Percona XtraBackup

Установка и использование Percona Toolkit

Установка и настройка Percona XtraDB Cluster на Centos7/Ubuntu14

Страницы

Свежие записи

Архивы

Рубрики

Админ-панель