shell | Записки системного администратора

Записи с меткой ‘shell’

Vagrant — установка WordPress из шаблона средствами shell-provisioner

Апрель 17th, 2017

Evgeniy Kamenev

Постановка задачи: Установить WordPress из готового шаблона и дампа базы данных с помощью shell-скриптов, как одного из способов/инструмента provisioning в Vagrant 1)Установка двух Ubuntu16.04 LTS серверов средствами Vagrant 2)Установка и настройка WEB-сервера (Nginx+php-fpm) (frontend-сервер) -192.168.1.91 с помощью shell-скрипта web.sh 3)Установка и настройка сервера баз данных (MySQL) (backend-сервер) – 192.168.1.92 с помощью shell-скрипта mysql.sh Корень сайта […]

Опубликовано в рубрике DevOps

Метки: provisioner, shell, Vagrant

Комментарии отключены

Настройка резервного копирования с помощью Bash-скриптов

Январь 20th, 2016

Evgeniy Kamenev

1.Резервное копирование файлов (сайты, конфигурационные файлы)

# chown root:root /usr/local/scripts/backup-files-shell.sh

1	# chown root:root /usr/local/scripts/backup-files-shell.sh

# chmod 751 /usr/local/scripts/backup-files-shell.sh

1	# chmod 751 /usr/local/scripts/backup-files-shell.sh

# nano /usr/local/scripts/backup-files-shell.sh

1	# nano /usr/local/scripts/backup-files-shell.sh

#!/bin/bash

# Формат даты
DATE="$(date +%Y-%m-%d)"

# Каталог для хранения бекапов
STORAGEDIR="/backup"

# Список сайтов для копирования
SITES='/home/users'

# Список катадогов,исключенных из бекапа
EXCLUDE1="/home/users/<user_to_exclude>"
EXCLUDE2="/home/users/<username>/<sitename>/<folder_to_exclude>"

#Cписок конфигурационных файлов и других служебных файлов(Nagios,Cacti,Munin)
CONFIGS='/etc /usr/local/nagios /usr/lib64/nagios/plugins  /usr/share/cacti /var/lib/cacti /var/www/html'

# Журналируем ошибки в файл
LOGFILE="/var/log/backup.log"

# Как долго(кол-во дней) хранить бекапы
LIMITTIME="+14"

NICE="$(which nice)"
IONICE="$(which ionice)"
TAR="$(which tar)"
FIND="$(which find)"
RM="$(which rm)"
ECHO="$(which echo)"

[ ! -d $STORAGEDIR/sites ] && mkdir -p $STORAGEDIR/sites
[ ! -d $STORAGEDIR/configs ] && mkdir -p $STORAGEDIR/configs

$NICE -n 19 $IONICE -c2 -n7 $TAR -czf $STORAGEDIR/sites/sites-${DATE}.tar.gz $SITES --exclude=$EXCLUDE1 --exclude=$EXCLUDE2
exitcode=$?
if [ "$exitcode" != "1" ] && [ "$exitcode" != "0" ];
then
$ECHO "Backup sites is failed - $DATE" | tee -a $LOGFILE
fi

$NICE -n 19 $IONICE -c2 -n7 $TAR -czf $STORAGEDIR/configs/configs-${DATE}.tar.gz $CONFIGS
exitcode=$?
if [ "$exitcode" != "1" ] && [ "$exitcode" != "0" ];
then
$ECHO "Backup configs is failed - $DATE" | tee -a $LOGFILE
fi

$NICE -n 19 $IONICE -c2 -n7 $TAR -cf $STORAGEDIR/backup-files-${DATE}.tar $STORAGEDIR/sites/*.tar.gz $STORAGEDIR/configs/*.tar.gz
exitcode=$?
if [ "$exitcode" != "1" ] && [ "$exitcode" != "0" ];
then
$ECHO "Tar sites and configs is failed - $DATE" | tee -a $LOGFILE
else
$RM -rf  $STORAGEDIR/sites/* $STORAGEDIR/configs/*
$ECHO "Backup Sites and Configs is done! Backup up to $DATE " | tee -a $LOGFILE
fi

# Удаляем бекапы старше 14 дней
$FIND  $STORAGEDIR -maxdepth 1  -type f -name '*.tar' -mtime $LIMITTIME -exec $RM -rf {} \;

#!/bin/bash

# Формат даты

DATE="$(date +%Y-%m-%d)"

# Каталог для хранения бекапов

STORAGEDIR="/backup"

# Список сайтов для копирования

SITES='/home/users'

# Список катадогов,исключенных из бекапа

EXCLUDE1="/home/users/<user_to_exclude>"

EXCLUDE2="/home/users/<username>/<sitename>/<folder_to_exclude>"

#Cписок конфигурационных файлов и других служебных файлов(Nagios,Cacti,Munin)

CONFIGS='/etc /usr/local/nagios /usr/lib64/nagios/plugins /usr/share/cacti /var/lib/cacti /var/www/html'

# Журналируем ошибки в файл

LOGFILE="/var/log/backup.log"

# Как долго(кол-во дней) хранить бекапы

LIMITTIME="+14"

NICE="$(which nice)"

IONICE="$(which ionice)"

TAR="$(which tar)"

FIND="$(which find)"

RM="$(which rm)"

ECHO="$(which echo)"

[ ! -d $STORAGEDIR/sites ] && mkdir -p $STORAGEDIR/sites

[ ! -d $STORAGEDIR/configs ] && mkdir -p $STORAGEDIR/configs

$NICE -n 19 $IONICE -c2 -n7 $TAR -czf $STORAGEDIR/sites/sites-${DATE}.tar.gz $SITES --exclude=$EXCLUDE1 --exclude=$EXCLUDE2

exitcode=$?

if [ "$exitcode" != "1" ] && [ "$exitcode" != "0" ];

then

$ECHO "Backup sites is failed - $DATE" | tee -a $LOGFILE

$NICE -n 19 $IONICE -c2 -n7 $TAR -czf $STORAGEDIR/configs/configs-${DATE}.tar.gz $CONFIGS

exitcode=$?

if [ "$exitcode" != "1" ] && [ "$exitcode" != "0" ];

then

$ECHO "Backup configs is failed - $DATE" | tee -a $LOGFILE

$NICE -n 19 $IONICE -c2 -n7 $TAR -cf $STORAGEDIR/backup-files-${DATE}.tar $STORAGEDIR/sites/*.tar.gz $STORAGEDIR/configs/*.tar.gz

exitcode=$?

if [ "$exitcode" != "1" ] && [ "$exitcode" != "0" ];

then

$ECHO "Tar sites and configs is failed - $DATE" | tee -a $LOGFILE

else

$RM -rf $STORAGEDIR/sites/* $STORAGEDIR/configs/*

$ECHO "Backup Sites and Configs is done! Backup up to $DATE " | tee -a $LOGFILE

# Удаляем бекапы старше 14 дней

$FIND $STORAGEDIR -maxdepth 1 -type f -name '*.tar' -mtime $LIMITTIME -exec $RM -rf {} \;

2.Резервное копирование баз данных

# chown root:root /usr/local/scripts/backup-databases-shell.sh

1	# chown root:root /usr/local/scripts/backup-databases-shell.sh

# chmod 751 /usr/local/scripts/backup-databases-shell.sh

1	# chmod 751 /usr/local/scripts/backup-databases-shell.sh

# nano /usr/local/scripts/backup-databases-shell.sh

1	# nano /usr/local/scripts/backup-databases-shell.sh

#!/bin/bash

# Формат даты
DATE="$(date +"%Y-%m-%d")"

# Место хранения бекапов
STORAGEDIR='/backup'

# Пользователь,пароль,хост для подключения
MUSER="root"
MPASS="123"
MHOST="localhost"

# Журналируем ошибки и успешное выполнение бекапа в файл
LOGFILE="/var/log/backup.log"

# Как долго(кол-во дней) хранить бекапы
LIMITTIME="+14"

MYSQL="$(which mysql)"
MYSQLDUMP="$(which mysqldump)"
NICE="$(which nice)"
IONICE="$(which ionice)"
GZIP="$(which gzip)"
TAR="$(which tar)"
FIND="$(which find)"
MKDIR="$(which mkdir)"
ECHO="$(which echo)"
RM="$(which rm)"

[ ! -d $STORAGEDIR/mysql ] && $MKDIR -p $STORAGEDIR/mysql

DBS="$($MYSQL -u $MUSER -h $MHOST -p$MPASS -Bse 'show databases' | egrep -v '(information_schema|performance_schema)')"
for db in $DBS
do
 FILE=$STORAGEDIR/mysql/$db-$DATE.sql.gz
 $MYSQLDUMP -u $MUSER -h $MHOST -p$MPASS -EKR --single-transaction $db | $GZIP -c > $FILE
if [ ${PIPESTATUS[0]} != "0" ];
then
$ECHO "Backup database is failed $db - $DATE" | tee -a $LOGFILE
fi
done

cd  $STORAGEDIR/mysql
$NICE -n 19 $IONICE -c2 -n7 $TAR -cf $STORAGEDIR/backup-databases-${DATE}.tar *.sql.gz
exitcode=$?
if [ "$exitcode" != "1" ] && [ "$exitcode" != "0" ];
then
$ECHO "Tar databases  is failed - $DATE" | tee -a $LOGFILE
else
$RM -rf $STORAGEDIR/mysql/*
$ECHO "Backup Databases is done! Backup up to $DATE " | tee -a $LOGFILE
fi

$FIND $STORAGEDIR -maxdepth 1 -type f -name '*.tar' -mtime $LIMITTIME -exec $RM -rf {} \;

#!/bin/bash

# Формат даты

DATE="$(date +"%Y-%m-%d")"

# Место хранения бекапов

STORAGEDIR='/backup'

# Пользователь,пароль,хост для подключения

MUSER="root"

MPASS="123"

MHOST="localhost"

# Журналируем ошибки и успешное выполнение бекапа в файл

LOGFILE="/var/log/backup.log"

# Как долго(кол-во дней) хранить бекапы

LIMITTIME="+14"

MYSQL="$(which mysql)"

MYSQLDUMP="$(which mysqldump)"

NICE="$(which nice)"

IONICE="$(which ionice)"

GZIP="$(which gzip)"

TAR="$(which tar)"

FIND="$(which find)"

MKDIR="$(which mkdir)"

ECHO="$(which echo)"

RM="$(which rm)"

[ ! -d $STORAGEDIR/mysql ] && $MKDIR -p $STORAGEDIR/mysql

DBS="$($MYSQL -u $MUSER -h $MHOST -p$MPASS -Bse 'show databases' | egrep -v '(information_schema|performance_schema)')"

for db in $DBS

FILE=$STORAGEDIR/mysql/$db-$DATE.sql.gz

$MYSQLDUMP -u $MUSER -h $MHOST -p$MPASS -EKR --single-transaction $db | $GZIP -c > $FILE

if [ ${PIPESTATUS[0]} != "0" ];

then

$ECHO "Backup database is failed $db - $DATE" | tee -a $LOGFILE

done

cd $STORAGEDIR/mysql

$NICE -n 19 $IONICE -c2 -n7 $TAR -cf $STORAGEDIR/backup-databases-${DATE}.tar *.sql.gz

exitcode=$?

if [ "$exitcode" != "1" ] && [ "$exitcode" != "0" ];

then

$ECHO "Tar databases is failed - $DATE" | tee -a $LOGFILE

else

$RM -rf $STORAGEDIR/mysql/*

$ECHO "Backup Databases is done! Backup up to $DATE " | tee -a $LOGFILE

$FIND $STORAGEDIR -maxdepth 1 -type f -name '*.tar' -mtime $LIMITTIME -exec $RM -rf {} \;

3. Резервное копирование файлов и баз данных

# chmod 751 /usr/local/scripts/backup-all-shell.sh

1	# chmod 751 /usr/local/scripts/backup-all-shell.sh

# chown root:root /usr/local/scripts/backup-all-shell.sh

1	# chown root:root /usr/local/scripts/backup-all-shell.sh

# nano /usr/local/scripts/backup-all-shell.sh

1	# nano /usr/local/scripts/backup-all-shell.sh

#!/bin/bash

# Формат даты
DATE="$(date +%Y-%m-%d)"

# Каталог для хранения бекапов
STORAGEDIR="/backup"

# Список сайтов для копирования
SITES='/home/users'

EXCLUDE1="/home/users/<user_to_exclude>"
EXCLUDE2="/home/users/<username>/<sitename>/<folder_to_exclude>"

#Cписок конфигурационных файлов и других служебных файлов(Nagios,Cacti,Munin)
CONFIGS='/etc /usr/local/nagios /usr/lib64/nagios/plugins  /usr/share/cacti /var/lib/cacti /var/www/html'

# Журналируем ошибки и успешное выполнение бекапа в файл
LOGFILE="/var/log/backup.log"

# Как долго(кол-во дней) хранить бекапы
LIMITTIME="+14"

# guess binary names
MYSQL="$(which mysql)"
MYSQLDUMP="$(which mysqldump)"
NICE="$(which nice)"
IONICE="$(which ionice)"
GZIP="$(which gzip)"
TAR="$(which tar)"
FIND="$(which find)"
MKDIR="$(which mkdir)"
ECHO="$(which echo)"
RM="$(which rm)"

# Пользователь,пароль,хост для подключения
MUSER="root"
MPASS="123"
MHOST="localhost"

[ ! -d $STORAGEDIR/sites ] && $MKDIR -p $STORAGEDIR/sites
[ ! -d $STORAGEDIR/configs ] && $MKDIR -p $STORAGEDIR/configs
[ ! -d $STORAGEDIR/mysql ] && $MKDIR -p $STORAGEDIR/mysql

$NICE -n 19 $IONICE -c2 -n7 $TAR -czf $STORAGEDIR/sites/sites-${DATE}.tar.gz $SITES --exclude=$EXCLUDE1 --exclude=$EXCLUDE2
exitcode=$?
if [ "$exitcode" != "1" ] && [ "$exitcode" != "0" ];
then
$ECHO "Backup sites is failed - $DATE" | tee -a $LOGFILE
fi

$NICE -n 19 $IONICE -c2 -n7 $TAR -czf $STORAGEDIR/configs/configs-${DATE}.tar.gz $CONFIGS
exitcode=$?
if [ "$exitcode" != "1" ] && [ "$exitcode" != "0" ];
then
$ECHO "Backup configs is failed - $DATE" | tee -a $LOGFILE
fi

DBS="$($MYSQL -u $MUSER -h $MHOST -p$MPASS -Bse 'show databases' | egrep -v '(information_schema|performance_schema)')"
for db in $DBS
do
 FILE=$STORAGEDIR/mysql/$db-${DATE}.sql.gz
 $MYSQLDUMP -u $MUSER -h $MHOST -p$MPASS -EKR --single-transaction $db | $GZIP -c > $FILE
if [ ${PIPESTATUS[0]} != "0" ];
then
$ECHO "Backup database is failed $db - $DATE" | tee -a $LOGFILE
fi
done

$NICE -n 19 $IONICE -c2 -n7 $TAR -cf $STORAGEDIR/backup-all-${DATE}.tar $STORAGEDIR/sites/*.tar.gz $STORAGEDIR/configs/*.tar.gz $STORAGEDIR/mysql/*.sql.gz
exitcode=$?
if [ "$exitcode" != "1" ] && [ "$exitcode" != "0" ];
then
$ECHO "Tar sites,config,databases is failed - $DATE" | tee -a $LOGFILE
else
$RM -rf  $STORAGEDIR/sites/* $STORAGEDIR/configs/* $STORAGEDIR/mysql/*
$ECHO "Backup sites,configs,databases is done! Backup up to $DATE " | tee -a $LOGFILE
fi

# Удаляем бекапы старше 14 дней
$FIND  $STORAGEDIR -maxdepth 1  -type f -name '*.tar' -mtime $LIMITTIME -exec $RM -rf {} \;

#!/bin/bash

# Формат даты

DATE="$(date +%Y-%m-%d)"

# Каталог для хранения бекапов

STORAGEDIR="/backup"

# Список сайтов для копирования

SITES='/home/users'

EXCLUDE1="/home/users/<user_to_exclude>"

EXCLUDE2="/home/users/<username>/<sitename>/<folder_to_exclude>"

#Cписок конфигурационных файлов и других служебных файлов(Nagios,Cacti,Munin)

CONFIGS='/etc /usr/local/nagios /usr/lib64/nagios/plugins /usr/share/cacti /var/lib/cacti /var/www/html'

# Журналируем ошибки и успешное выполнение бекапа в файл

LOGFILE="/var/log/backup.log"

# Как долго(кол-во дней) хранить бекапы

LIMITTIME="+14"

# guess binary names

MYSQL="$(which mysql)"

MYSQLDUMP="$(which mysqldump)"

NICE="$(which nice)"

IONICE="$(which ionice)"

GZIP="$(which gzip)"

TAR="$(which tar)"

FIND="$(which find)"

MKDIR="$(which mkdir)"

ECHO="$(which echo)"

RM="$(which rm)"

# Пользователь,пароль,хост для подключения

MUSER="root"

MPASS="123"

MHOST="localhost"

[ ! -d $STORAGEDIR/sites ] && $MKDIR -p $STORAGEDIR/sites

[ ! -d $STORAGEDIR/configs ] && $MKDIR -p $STORAGEDIR/configs

[ ! -d $STORAGEDIR/mysql ] && $MKDIR -p $STORAGEDIR/mysql

$NICE -n 19 $IONICE -c2 -n7 $TAR -czf $STORAGEDIR/sites/sites-${DATE}.tar.gz $SITES --exclude=$EXCLUDE1 --exclude=$EXCLUDE2

exitcode=$?

if [ "$exitcode" != "1" ] && [ "$exitcode" != "0" ];

then

$ECHO "Backup sites is failed - $DATE" | tee -a $LOGFILE

$NICE -n 19 $IONICE -c2 -n7 $TAR -czf $STORAGEDIR/configs/configs-${DATE}.tar.gz $CONFIGS

exitcode=$?

if [ "$exitcode" != "1" ] && [ "$exitcode" != "0" ];

then

$ECHO "Backup configs is failed - $DATE" | tee -a $LOGFILE

DBS="$($MYSQL -u $MUSER -h $MHOST -p$MPASS -Bse 'show databases' | egrep -v '(information_schema|performance_schema)')"

for db in $DBS

FILE=$STORAGEDIR/mysql/$db-${DATE}.sql.gz

$MYSQLDUMP -u $MUSER -h $MHOST -p$MPASS -EKR --single-transaction $db | $GZIP -c > $FILE

if [ ${PIPESTATUS[0]} != "0" ];

then

$ECHO "Backup database is failed $db - $DATE" | tee -a $LOGFILE

done

$NICE -n 19 $IONICE -c2 -n7 $TAR -cf $STORAGEDIR/backup-all-${DATE}.tar $STORAGEDIR/sites/*.tar.gz $STORAGEDIR/configs/*.tar.gz $STORAGEDIR/mysql/*.sql.gz

exitcode=$?

if [ "$exitcode" != "1" ] && [ "$exitcode" != "0" ];

then

$ECHO "Tar sites,config,databases is failed - $DATE" | tee -a $LOGFILE

else

$RM -rf $STORAGEDIR/sites/* $STORAGEDIR/configs/* $STORAGEDIR/mysql/*

$ECHO "Backup sites,configs,databases is done! Backup up to $DATE " | tee -a $LOGFILE

# Удаляем бекапы старше 14 дней

$FIND $STORAGEDIR -maxdepth 1 -type f -name '*.tar' -mtime $LIMITTIME -exec $RM -rf {} \;

Мониторинг лога с бекапом с помощью Monit/Nagios Monit(https://kamaok.org.ua/?p=361)

# nano /etc/monit.conf

1	# nano /etc/monit.conf

check file backup with path /var/log/backup.log
    if match 'Backup sites is failed' then alert
    if match 'Backup configs is failed' then alert
    if match 'Tar sites and configs is failed' then alert
    if match 'Tar sites,config,databases is failed' then alert
    if match 'Backup database is failed' then alert
    if match 'Tar databases is failed' then alert

check file backup with path /var/log/backup.log

if match 'Backup sites is failed' then alert

if match 'Backup configs is failed' then alert

if match 'Tar sites and configs is failed' then alert

if match 'Tar sites,config,databases is failed' then alert

if match 'Backup database is failed' then alert

if match 'Tar databases is failed' then alert

Nagios(https://kamaok.org.ua/?p=1487)

# nano  /etc/nagios/log-files.cfg

1	# nano /etc/nagios/log-files.cfg

$seekfilesdir = '/var/tmp/check_logfiles';
# where the state information will be saved.
$protocolsdir = '/tmp';
# where protocols with found patterns will be stored.
$scriptpath = '/var/tmp';
# where scripts will be searched for.

@searches = (
   {
    tag => 'backup',
    logfile => '/var/log/backup.log',
    rotation => 'centos',
    warningpatterns => ['Backup sites is failed', 'Backup configs is failed', 'Tar sites and configs is failed', 'Tar sites,config,databases is failed', 'Backup database is failed', 'Tar databases is failed'],
  }
);

$seekfilesdir = '/var/tmp/check_logfiles';

# where the state information will be saved.

$protocolsdir = '/tmp';

# where protocols with found patterns will be stored.

$scriptpath = '/var/tmp';

# where scripts will be searched for.

@searches = (

{

tag => 'backup',

logfile => '/var/log/backup.log',

rotation => 'centos',

warningpatterns => ['Backup sites is failed', 'Backup configs is failed', 'Tar sites and configs is failed', 'Tar sites,config,databases is failed', 'Backup database is failed', 'Tar databases is failed'],

}

);

4.Добавление в cron задания на ежедневный бекап

# nano /etc/cron.d/backup

1	# nano /etc/cron.d/backup

# Закомментируйте все за исключением того, что будет бекапить
10 4 * * * root /usr/local/scripts/backup-all-shell.sh > /dev/null 2>&1
# 10 4 * * * root /usr/local/scripts/backup-databases-shell.sh > /dev/null 2>&1
# 10 4 * * * root /usr/local/scripts/backup-files-shell.sh > /dev/null 2>&1

# Закомментируйте все за исключением того, что будет бекапить

10 4 * * * root /usr/local/scripts/backup-all-shell.sh > /dev/null 2>&1

# 10 4 * * * root /usr/local/scripts/backup-databases-shell.sh > /dev/null 2>&1

# 10 4 * * * root /usr/local/scripts/backup-files-shell.sh > /dev/null 2>&1

[…]

Опубликовано в рубрике Backup, Backup, Backup, Centos, Debian/Ubuntu

Метки: backup, bash, shell

Комментарии отключены

Записи с меткой ‘shell’

Vagrant — установка WordPress из шаблона средствами shell-provisioner

Настройка резервного копирования с помощью Bash-скриптов

Страницы

Свежие записи

Архивы

Рубрики

Админ-панель