highload | Записки системного администратора

Записи с меткой ‘highload’

Установка и настройка GlusterFS

Июнь 22nd, 2018

Evgeniy Kamenev

Установка и настройка GlusterFS на двух нодах с репликацией тома Ноды, на которых устаналивается GlusterFS-сервер используют Debian9

proxmox6.mydomain.com - 192.168.100.1
proxmox7.mydomain.com - 192.168.100.2

1 2	proxmox6.mydomain.com - 192.168.100.1 proxmox7.mydomain.com - 192.168.100.2

В качестве GlusterFS-сервера используем Ubuntu16.04 LTS Установка GlusterFS-сервера на обоих нодах Создание и выполнение скрипта для добавления репозитария GlusterFS на Debian

# nano add_repo.sh

1	# nano add_repo.sh

# /bin/bash
wget -O - https://download.gluster.org/pub/gluster/glusterfs/4.1/rsa.pub | apt-key add -
DEBID=$(grep 'VERSION_ID=' /etc/os-release | cut -d '=' -f 2 | tr -d '"')
DEBVER=$(grep 'VERSION=' /etc/os-release | grep -Eo '[a-z]+')
DEBARCH=$(dpkg --print-architecture)
echo deb https://download.gluster.org/pub/gluster/glusterfs/LATEST/Debian/${DEBID}/${DEBARCH}/apt ${DEBVER} main > /etc/apt/sources.list.d/gluster.list

# /bin/bash

wget -O - https://download.gluster.org/pub/gluster/glusterfs/4.1/rsa.pub | apt-key add -

DEBID=$(grep 'VERSION_ID=' /etc/os-release | cut -d '=' -f 2 | tr -d '"')

DEBVER=$(grep 'VERSION=' /etc/os-release | grep -Eo '[a-z]+')

DEBARCH=$(dpkg --print-architecture)

echo deb https://download.gluster.org/pub/gluster/glusterfs/LATEST/Debian/${DEBID}/${DEBARCH}/apt ${DEBVER} main > /etc/apt/sources.list.d/gluster.list

# chmod +x add_repo.sh

1	# chmod +x add_repo.sh

# bash add_repo.sh

1	# bash add_repo.sh

Проверяем добавленный репозитарий

# cat /etc/apt/sources.list.d/gluster.list

1	# cat /etc/apt/sources.list.d/gluster.list

deb https://download.gluster.org/pub/gluster/glusterfs/LATEST/Debian/9/amd64/apt stretch main

1	deb https://download.gluster.org/pub/gluster/glusterfs/LATEST/Debian/9/amd64/apt stretch main

# apt-get update && apt-get install glusterfs-server

1	# apt-get update && apt-get install glusterfs-server

# systemctl status glusterd

1	# systemctl status glusterd

● glusterd.service - GlusterFS, a clustered file-system server
   Loaded: loaded (/lib/systemd/system/glusterd.service; enabled; vendor preset: enabled)
   Active: active (running) since Thu 2018-05-17 22:05:44 BST; 34s ago
  Process: 12431 ExecStart=/usr/sbin/glusterd -p /var/run/glusterd.pid --log-level $LOG_LEVEL $GLUSTERD_OPTIONS (code=exited, status=0/SUCCESS)
 Main PID: 12438 (glusterd)
    Tasks: 8 (limit: 4915)
   Memory: 5.9M
      CPU: 657ms
   CGroup: /system.slice/glusterd.service
           └─12438 /usr/sbin/glusterd -p /var/run/glusterd.pid --log-level INFO

May 17 22:05:43 proxmox6 systemd[1]: Starting GlusterFS, a clustered file-system server...
May 17 22:05:44 proxmox6 systemd[1]: Started GlusterFS, a clustered file-system server.

● glusterd.service - GlusterFS, a clustered file-system server

Loaded: loaded (/lib/systemd/system/glusterd.service; enabled; vendor preset: enabled)

Active: active (running) since Thu 2018-05-17 22:05:44 BST; 34s ago

Process: 12431 ExecStart=/usr/sbin/glusterd -p /var/run/glusterd.pid --log-level $LOG_LEVEL $GLUSTERD_OPTIONS (code=exited, status=0/SUCCESS)

Main PID: 12438 (glusterd)

Tasks: 8 (limit: 4915)

Memory: 5.9M

CPU: 657ms

CGroup: /system.slice/glusterd.service

└─12438 /usr/sbin/glusterd -p /var/run/glusterd.pid --log-level INFO

May 17 22:05:43 proxmox6 systemd[1]: Starting GlusterFS, a clustered file-system server...

May 17 22:05:44 proxmox6 systemd[1]: Started GlusterFS, a clustered file-system server.

# systemctl status glustereventsd

1	# systemctl status glustereventsd

● glustereventsd.service - Gluster Events Notifier
   Loaded: loaded (/lib/systemd/system/glustereventsd.service; enabled; vendor preset: enabled)
   Active: active (running) since Thu 2018-05-17 22:05:44 BST; 1min 0s ago
 Main PID: 12486 (python)
    Tasks: 2 (limit: 4915)
   Memory: 10.2M
      CPU: 69ms
   CGroup: /system.slice/glustereventsd.service
           ├─12486 python /usr/sbin/glustereventsd --pid-file /var/run/glustereventsd.pid
           └─12538 python /usr/sbin/glustereventsd --pid-file /var/run/glustereventsd.pid 


May 17 22:05:44 proxmox6 systemd[1]: Started Gluster Events Notifier.
May 17 22:05:44 proxmox6 glustereventsd[12486]: Unable to get Port details from Config

● glustereventsd.service - Gluster Events Notifier

Loaded: loaded (/lib/systemd/system/glustereventsd.service; enabled; vendor preset: enabled)

Active: active (running) since Thu 2018-05-17 22:05:44 BST; 1min 0s ago

Main PID: 12486 (python)

Tasks: 2 (limit: 4915)

Memory: 10.2M

CPU: 69ms

CGroup: /system.slice/glustereventsd.service

├─12486 python /usr/sbin/glustereventsd --pid-file /var/run/glustereventsd.pid

└─12538 python /usr/sbin/glustereventsd --pid-file /var/run/glustereventsd.pid

May 17 22:05:44 proxmox6 systemd[1]: Started Gluster Events Notifier.

May 17 22:05:44 proxmox6 glustereventsd[12486]: Unable to get Port details from Config

[…]

Опубликовано в рубрике Debian/Ubuntu, Highload

Метки: glusterfs, highload

Комментарии отключены

Настройка High Availability MongoDB Replica Set

Июнь 21st, 2018

Evgeniy Kamenev

Replica Set – это набор/группа серверов, которые обслуживают один и тот же набор данных В такой группе содержится один мастер(первичный) и несколько слейв(вторичный) серверов. Также в Replica Set может использоваться арбитр. Это сервер, на котором нет базы данных, а его назначение – участвовать в голосовании при выборе нового мастера, создавать кворум необходимый для голосования. Первичный/мастер […]

Опубликовано в рубрике Highload

Метки: highload, mongodb, replication

Комментарии отключены

Настройка High Availability Redis-кластер

Июнь 19th, 2018

Evgeniy Kamenev

Есть 2 сервера приложений(app01 и app02), на которых установлен Redis и Sentinel для мониторинга активного мастера и перевода одного из существующих слейв серверов в режим мастера в случае выхода со строя текущего мастера, а также перевода старого мастера в режим slave к вновь избранному мастеру. Также есть третий сервер(advisor), на котором запущен только Sentinel. Этот […]

Опубликовано в рубрике Debian/Ubuntu, Highload

Метки: cluster, haproxy, highload, redis, sentinel

Комментарии отключены

Настройка High Availabilty RabbitMQ-кластера

Июнь 18th, 2018

Evgeniy Kamenev

RabbitMQ может быть настроен для много-нодового кластера (с репликацией очередей с мастера на slave-ноды). Отказоустойчивость может быть обеспечена добавлением round-robin лоадбалансера(например, HAProxy) впереди RabbitMQ-кластера Для настройка High Availability необходимо настроить Cluster, а затем – репликацию/зеркалирование очередей сообщений т.к. при настройке кластера реплицируются на ноды кластера все необходимые для работы RabbitMQ данные, за исключением очередей сообщений. […]

Опубликовано в рубрике Highload

Метки: cluster, haproxy, highload, rabbitmq

Комментарии отключены

Установка и настройка HAProxy на Debian/Ubuntu

Август 5th, 2016

Evgeniy Kamenev

Установка HAProxy Debian8

# echo "deb http://httpredir.debian.org/debian jessie-backports main" >>  /etc/apt/sources.list.d/backports.list

1	# echo "deb http://httpredir.debian.org/debian jessie-backports main" >> /etc/apt/sources.list.d/backports.list

# apt-get update

1	# apt-get update

# apt-get install haproxy -t jessie-backports

1	# apt-get install haproxy -t jessie-backports

Debian7

# echo "deb http://cdn.debian.net/debian wheezy-backports main" >> /etc/apt/sources.list.d/backports.list

1	# echo "deb http://cdn.debian.net/debian wheezy-backports main" >> /etc/apt/sources.list.d/backports.list

# apt-get update

1	# apt-get update

# apt-get install haproxy -t wheezy-backports

1	# apt-get install haproxy -t wheezy-backports

Ubuntu14

# apt-get install haproxy

1	# apt-get install haproxy

Либо

echo "deb http://archive.ubuntu.com/ubuntu trusty-backports main universe" >>  /etc/apt/sources.list.d/backports.list

1	echo "deb http://archive.ubuntu.com/ubuntu trusty-backports main universe" >> /etc/apt/sources.list.d/backports.list

# apt-get update

1	# apt-get update

# apt-get install haproxy -t trusty-backports

1	# apt-get install haproxy -t trusty-backports

2.Настройка логирования HAProxy Настройка HAProxy

# cp /etc/haproxy/haproxy.cfg /etc/haproxy/haproxy.cfg~

1	# cp /etc/haproxy/haproxy.cfg /etc/haproxy/haproxy.cfg~

# nano /etc/haproxy/haproxy.cfg

1	# nano /etc/haproxy/haproxy.cfg

global
log 127.0.0.1 local2 notice

1 2	global log 127.0.0.1 local2 notice

Настройка Rsyslog

# nano /etc/rsyslog.conf

1	# nano /etc/rsyslog.conf

# provides UDP syslog reception
$ModLoad imudp
$UDPServerRun 514
$UDPServerAddress 127.0.0.1
#### RULES ####
local2.*                       /var/log/haproxy.log

# provides UDP syslog reception

$ModLoad imudp

$UDPServerRun 514

$UDPServerAddress 127.0.0.1

#### RULES ####

local2.* /var/log/haproxy.log

# /etc/init.d/rsyslog restart

1	# /etc/init.d/rsyslog restart

[ ok ] Restarting rsyslog (via systemctl): rsyslog.service.

1	[ ok ] Restarting rsyslog (via systemctl): rsyslog.service.

3.Настройка HAProxy

# nano /etc/haproxy/haproxy.cfg

1	# nano /etc/haproxy/haproxy.cfg

###### Описание секции global #######
global

# системный лог сервера, в который нужно отправлять предупреждения и извещения
        log 127.0.0.1 local2 notice

# Запуск HAProxy в chroot-окружении
        chroot /var/lib/haproxy

# пользователь  и группа, от которых работает процесс
        user haproxy
        group haproxy

# Запуск HAProxy как сервиса
        daemon

# количество одновременных подключений на внешнем интерфейсе(максимальное число одновременных подключений для каждого процесса)
        maxconn 10000

# nbproc «number» (nbproc 2) — задает количество проццессов. По умолчанию только один процесс будет создан

        # Default SSL material locations
        ca-base /etc/ssl/certs
        crt-base /etc/ssl/private

        # Default ciphers to use on SSL-enabled listening sockets.
        # For more information, see ciphers(1SSL). This list is from:
        #  https://hynek.me/articles/hardening-your-web-servers-ssl-ciphers/
        ssl-default-bind-ciphers ECDH+AESGCM:DH+AESGCM:ECDH+AES256:DH+AES256:ECDH+AES128:DH+AES:ECDH+3DES:DH+3DES:RSA+AESGCM:RSA+AES:RSA+3DES:!aNULL:!MD5:!DSS
        ssl-default-bind-options no-sslv3


####### Описание секции defaults #######
defaults

# Включает в журналирование информацию о трафике
        log     global

# Режим работы HAProxy, в http режиме происходит анализ Layer 7 трафика
        mode    http

# Добавляет в лог HTTP запросы, состояние сеанса и таймеры
        option  httplog

# Отключает логирование пустых соединений
        option  dontlognull

# количество повторных попыток подключения к backend-серверу после сбоя подключения.
        retries 3

# перераспределение сессии в случае сбоев соединения c каким-либо backend-сервером
        option redispatch

# количество одновременных подключений на внешнем интерфейсе(максимальное число одновременных подключений для каждого процесса)
        maxconn 10000

# автоматически закрывать соединения после завершения передачи данных
        option httpclose

# Включение X-Forwarded-For для передачи IP-адреса клиента backend-серверу
        option forwardfor

# максимальное время ожидания для успешного подключения к серверу
        timeout connect 5000

# когда клиент или сервер должны подтвердить приём данных или отправить данные в TCP-процессе. Рекомендуется установить для них одинаковое значение
        timeout client  50000
        timeout server  50000

# Включение  страницу статистики
        stats enable

# URL, по которому доступна статистика Haproxy
        stats uri /haproxy

# Заголовок странички статистики
        stats realm Haproxy\ Statistics

# HTTP-базовая авторизация логин/пароль для просмотра статистики HAProxy
        stats auth admin:123456

# Автообновление статики каждые 30 секунд
        stats refresh 30s

# Скрывать версию HAProxy в статистике
#        stats hide-version

# Отображение в статистеке дополнительной информацию о параметрах
#       stats show-legends

#        stats show-node

# Определение страниц ошибок
        errorfile 400 /etc/haproxy/errors/400.http
        errorfile 403 /etc/haproxy/errors/403.http
        errorfile 408 /etc/haproxy/errors/408.http
        errorfile 500 /etc/haproxy/errors/500.http
        errorfile 502 /etc/haproxy/errors/502.http
        errorfile 503 /etc/haproxy/errors/503.http
        errorfile 504 /etc/haproxy/errors/504.http



####### Описание секции frontend #######

# Имя Frontend-сервера
frontend WEBLoadBalancer-HTTP

# Режим работы фронтенда
       mode http

# IP-адрес и порт, на котором  будет слушать запроcы HApoxy
       bind 10.10.1.43:80

# Имя  Backend-сервера, на который необходимо направлять запросы
       default_backend webcluster



####### Описание секции backend #######

# Имя Backend-сервера
backend webcluster

# Режим работы backend-сервера
        mode http

# Алгоритм балансировки запросов
# roundrobin/leastconn/static-rr/uri/source/url_param
        balance roundrobin

        option httpclose
        option forwardfor

# Проверка состояния/доступности backend-серверов

        option httpchk HEAD /test.php HTTP/1.0
# например,если нужно мониторить доступность виртуального хоста
#       option httpchk HEAD / HTTP/1.0\r\nHost:kamaok.org.us

# сервера бэкенда
# синтаксис  server <name> <address>[:port] [param*]
# name - будет появляться в логах и предупреждениях.
# check - проверку состояния сервера через проверку,определенную параметром httpchk
# cookie - вставка имени сервера(name) в занчение cookie



        server app01 192.168.10.54:80 check
        server app02 192.168.10.55:80 check
        server app03 192.168.10.56:80 check

http-request add-header X-Forwarded-Proto https if { ssl_fc }

100

101

102

103

104

105

106

107

108

109

110

111

112

113

114

115

116

117

118

119

120

121

122

123

124

125

126

127

128

129

130

131

132

133

134

135

136

137

138

139

140

141

142

143

144

145

146

147

148

149

150

151

152

153

###### Описание секции global #######

global

# системный лог сервера, в который нужно отправлять предупреждения и извещения

log 127.0.0.1 local2 notice

# Запуск HAProxy в chroot-окружении

chroot /var/lib/haproxy

# пользователь и группа, от которых работает процесс

user haproxy

group haproxy

# Запуск HAProxy как сервиса

daemon

# количество одновременных подключений на внешнем интерфейсе(максимальное число одновременных подключений для каждого процесса)

maxconn 10000

# nbproc «number» (nbproc 2) — задает количество проццессов. По умолчанию только один процесс будет создан

# Default SSL material locations

ca-base /etc/ssl/certs

crt-base /etc/ssl/private

# Default ciphers to use on SSL-enabled listening sockets.

# For more information, see ciphers(1SSL). This list is from:

# https://hynek.me/articles/hardening-your-web-servers-ssl-ciphers/

ssl-default-bind-ciphers ECDH+AESGCM:DH+AESGCM:ECDH+AES256:DH+AES256:ECDH+AES128:DH+AES:ECDH+3DES:DH+3DES:RSA+AESGCM:RSA+AES:RSA+3DES:!aNULL:!MD5:!DSS

ssl-default-bind-options no-sslv3

####### Описание секции defaults #######

defaults

# Включает в журналирование информацию о трафике

log global

# Режим работы HAProxy, в http режиме происходит анализ Layer 7 трафика

mode http

# Добавляет в лог HTTP запросы, состояние сеанса и таймеры

option httplog

# Отключает логирование пустых соединений

option dontlognull

# количество повторных попыток подключения к backend-серверу после сбоя подключения.

retries 3

# перераспределение сессии в случае сбоев соединения c каким-либо backend-сервером

option redispatch

maxconn 10000

# автоматически закрывать соединения после завершения передачи данных

option httpclose

# Включение X-Forwarded-For для передачи IP-адреса клиента backend-серверу

option forwardfor

# максимальное время ожидания для успешного подключения к серверу

timeout connect 5000

# когда клиент или сервер должны подтвердить приём данных или отправить данные в TCP-процессе. Рекомендуется установить для них одинаковое значение

timeout client 50000

timeout server 50000

# Включение страницу статистики

stats enable

# URL, по которому доступна статистика Haproxy

stats uri /haproxy

# Заголовок странички статистики

stats realm Haproxy\ Statistics

# HTTP-базовая авторизация логин/пароль для просмотра статистики HAProxy

stats auth admin:123456

# Автообновление статики каждые 30 секунд

stats refresh 30s

# Скрывать версию HAProxy в статистике

# stats hide-version

# Отображение в статистеке дополнительной информацию о параметрах

# stats show-legends

# stats show-node

# Определение страниц ошибок

errorfile 400 /etc/haproxy/errors/400.http

errorfile 403 /etc/haproxy/errors/403.http

errorfile 408 /etc/haproxy/errors/408.http

errorfile 500 /etc/haproxy/errors/500.http

errorfile 502 /etc/haproxy/errors/502.http

errorfile 503 /etc/haproxy/errors/503.http

errorfile 504 /etc/haproxy/errors/504.http

####### Описание секции frontend #######

# Имя Frontend-сервера

frontend WEBLoadBalancer-HTTP

# Режим работы фронтенда

mode http

# IP-адрес и порт, на котором будет слушать запроcы HApoxy

bind 10.10.1.43:80

# Имя Backend-сервера, на который необходимо направлять запросы

default_backend webcluster

####### Описание секции backend #######

# Имя Backend-сервера

backend webcluster

# Режим работы backend-сервера

mode http

# Алгоритм балансировки запросов

# roundrobin/leastconn/static-rr/uri/source/url_param

balance roundrobin

option httpclose

option forwardfor

# Проверка состояния/доступности backend-серверов

option httpchk HEAD /test.php HTTP/1.0

# например,если нужно мониторить доступность виртуального хоста

# option httpchk HEAD / HTTP/1.0\r\nHost:kamaok.org.us

# сервера бэкенда

# синтаксис server <name> <address>[:port] [param*]

# name - будет появляться в логах и предупреждениях.

# check - проверку состояния сервера через проверку,определенную параметром httpchk

# cookie - вставка имени сервера(name) в занчение cookie

server app01 192.168.10.54:80 check

server app02 192.168.10.55:80 check

server app03 192.168.10.56:80 check

http-request add-header X-Forwarded-Proto https if { ssl_fc }

Вся статистика по кластеру HAproxy становится доступна по адресу http://IP-haproxy-server/haproxy с логином и паролем,указанными в параметре stats auth Доступность […]

Опубликовано в рубрике Debian/Ubuntu

Метки: haproxy, highload

Комментарии отключены

Установка и настройка отказоусточивого балансировщика нагрузки на Centos/Debian на основе Keepalived(горизонтальное масштабирование на транспортном уровне модели OSI) на двух серверах.

Май 11th, 2015

Evgeniy Kamenev

Server1: proxmoxapp01.kamaok.org.ua 192.168.1.131 – основной loadbalancer(MASTER) Server2: proxmoxapp02.kamaok.org.ua 192.168.1.132 – резервный loadbalancer(BACKUP) VIP(virtual IP) – 192.168.1.136 — плавающий/расшаренный между балансировщиками нагрузки виртуальный IP-адрес,на который прописаны сайты в DNS 1.Установка Keepalived (в зависимостях подтянет ipvsadm-утилиту для администрирования ipvs (ip virtul server)) Centos

# yum install keepalived

1	# yum install keepalived

Debian

# apt-get install keepalived

1	# apt-get install keepalived

Включем маршрутизацию пакетов на обоих балансерах

# nano /etc/sysctl.conf

1	# nano /etc/sysctl.conf

net.ipv4.ip_forward=1

1	net.ipv4.ip_forward=1

[…]

Опубликовано в рубрике Centos, Debian/Ubuntu, Highload

Метки: highload, keepalived, loadbalancer

Комментарии отключены

Записи с меткой ‘highload’

Установка и настройка GlusterFS

Настройка High Availability MongoDB Replica Set

Настройка High Availability Redis-кластер

Настройка High Availabilty RabbitMQ-кластера

Установка и настройка HAProxy на Debian/Ubuntu

Страницы

Свежие записи

Архивы

Рубрики

Админ-панель