Evgeniy Kamenev | Записки системного администратора

LSI MegaRaid настройка кеширования и системной производительности

Август 17th, 2017

Evgeniy Kamenev

Установка и базовое использование утилиты megacli ддля работы с LSI MegaRaid описана в статье https://kamaok.org.ua/?p=1896 В этой статье рассматриваются параметры кеширования чтения/записи, их настройка и влияния на производительность дисковой подсистемы ввода/вывода Состояние RAID в том числе и значения политики кеширования можно получить следующей командой (отобразить все логические устройства всех контроллеров)

# megacli -LDInfo -Lall –Aall

1	# megacli -LDInfo -Lall –Aall

Adapter 0 -- Virtual Drive Information:
Virtual Drive: 0 (Target Id: 0)
Name                :
RAID Level          : Primary-5, Secondary-0, RAID Level Qualifier-3
Size                : 5.457 TB
Sector Size         : 512
Is VD emulated      : Yes
Parity Size         : 2.728 TB
State               : Optimal
Strip Size          : 64 KB
Number Of Drives    : 3
Span Depth          : 1
Default Cache Policy: WriteBack, ReadAhead, Cached, Write Cache OK if Bad BBU
Current Cache Policy: WriteBack, ReadAhead, Cached, Write Cache OK if Bad BBU
Default Access Policy: Read/Write
Current Access Policy: Read/Write
Disk Cache Policy   : Disk's Default
Encryption Type     : None
Bad Blocks Exist: No
Is VD Cached: No

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

Adapter 0 -- Virtual Drive Information:

Virtual Drive: 0 (Target Id: 0)

Name :

RAID Level : Primary-5, Secondary-0, RAID Level Qualifier-3

Size : 5.457 TB

Sector Size : 512

Is VD emulated : Yes

Parity Size : 2.728 TB

State : Optimal

Strip Size : 64 KB

Number Of Drives : 3

Span Depth : 1

Default Cache Policy: WriteBack, ReadAhead, Cached, Write Cache OK if Bad BBU

Current Cache Policy: WriteBack, ReadAhead, Cached, Write Cache OK if Bad BBU

Default Access Policy: Read/Write

Current Access Policy: Read/Write

Disk Cache Policy : Disk's Default

Encryption Type : None

Bad Blocks Exist: No

Is VD Cached: No

What do […]

Опубликовано в рубрике Linux/Unix General, Other

Метки: caching policy, LSI MegaRaid, megacli, performance

Комментарии отключены

Jenkins: Сборка проекта по коммиту в SVN

Июль 29th, 2017

Evgeniy Kamenev

1.Создание отдельного пользователя для автоматического запуска сборок 
2.Предоставление пользователю необходимых привилегий
3.Определение значений параметров аутентификации пользователя
4.Настройка сборки для ее удаленного запуска
5.Настройка URL для удаленного запуска сборок
6.Настройка в SVN-репозитарии хука post-commit для запуска сборки в Jenkins

1

2

3

4

5

6

1.Создание отдельного пользователя для автоматического запуска сборок

2.Предоставление пользователю необходимых привилегий

3.Определение значений параметров аутентификации пользователя

4.Настройка сборки для ее удаленного запуска

5.Настройка URL для удаленного запуска сборок

6.Настройка в SVN-репозитарии хука post-commit для запуска сборки в Jenkins

7.Сборка проекта по коммиту в GitHub 8.Сборка проекта по коммиту в BitBucket 1.Создание отдельного пользователя для автоматического запуска сборок

Jenkins->Настроить Jenkins->Manage Users->Создать пользователя

1	Jenkins->Настроить Jenkins->Manage Users->Создать пользователя

Login: myusername
Password: randomhere
Repeat Password
Ф.И.О: First_Name Last_Name
Email: myusername@mydomain.com

1

2

3

4

5

Login: myusername

Password: randomhere

Repeat Password

Ф.И.О: First_Name Last_Name

Email: myusername@mydomain.com

2.Предоставление пользователю необходимых привиллегий

Jenkins->Настроить Jenkins->Configure Global Security->Добавить пользователя/группу

1	Jenkins->Настроить Jenkins->Configure Global Security->Добавить пользователя/группу

Вводим имя нашого пользователя myusername и устанавливаем необходимые права

Overall(Полные)-Read
Build(Задача)-Build,Discover,Read,Workspace

1 2	Overall(Полные)-Read Build(Задача)-Build,Discover,Read,Workspace

3.Определение значений параметров аутентификации пользователя Заходим в Jenkins под созданным пользователем myusername и в профиле […]

Опубликовано в рубрике Continuous Integration/Continuous Delivery, DevOps

Метки: build, commit, jenkins, trigger

Комментарии отключены

Настройка Postfix для блокировки отправки почты через функцию PHP mail

Июль 14th, 2017

Evgeniy Kamenev

Необходимо запретить отправку почты с сервера/сайта на все адреса, за исключением списка разрешенных (например, есть тестовый сервер разработки и в нем присутствуют реальные адреса клиентов, которые могут получать письма от тестового сервера, что очень нежелательно) Особенность в том, что php-функция mail использует бинарник sendmail для отправки писем. Например, настройки sendmail для отправки почты функции mail […]

Опубликовано в рубрике Linux/Unix General, Mail

Метки: mail, msmtp, php, postfix

Комментарии отключены

Формат файла Xferlog FTP-сервера ProFTPD

Июль 12th, 2017

Evgeniy Kamenev

Файл xferlog содержит информацию о регистрации на FTP-сервере proftpd. Расположение этого файла, определяется директивой TransferLog в конфигурационном файле proftpd-сервера(по умолчанию находится в /var/log) Каждая запись сервера состоит из одной строки и все поля разделены пробелами. Разбор полей файла xferlog на примере

Wed Jul 12 02:47:14  0 192.168.1.120 10793 /home/myftpuser/backup/1.pdf b _ i r myftpuser ftp 0 * c

1	Wed Jul 12 02:47:14 0 192.168.1.120 10793 /home/myftpuser/backup/1.pdf b _ i r myftpuser ftp 0 * c

1.Текущее время в формате DDD MMM dd hh:mm:ss YYYY

Wed Jul 12 02:47:14 2017

1	Wed Jul 12 02:47:14 2017

2.Длительность трансфера в […]

Опубликовано в рубрике FTP, Linux/Unix General

Метки: Proftpd, xferlog

Комментарии отключены

SVN-полезные команды. SVN-создание и восстановление бекапа репозитария

Июль 7th, 2017

Evgeniy Kamenev

# svn checkout (svn co) svn://svn.mydomain.com/myrepo

1	# svn checkout (svn co) svn://svn.mydomain.com/myrepo

— извлечь файлы проекта из репозитория в текущий каталог, в котором выполняем эту команду т.е создаем рабочую копию проекта

# svn update (svn up)

1	# svn update (svn up)

— загрузить обновления из репозитория в рабочую копию(синхронизировать репозитарий с рабочей копией) Если не указан номер ревизии, то используется ревизия HEAD

# svn update -r 3 update

1	# svn update -r 3 update

– синхронизировать рабочую копию с ревизией 3 репозитария

# svn update -r 3 file_name

1	# svn update -r 3 file_name

— извлечь третью […]

Опубликовано в рубрике Backup, Linux/Unix General, Other

Метки: backup, svn

Комментарии отключены

Использование .htaccess

Июнь 23rd, 2017

Evgeniy Kamenev

Включение поддержки файла .htaccess Параметр,опредлеяющий имя файла .htaccess в конфигурационном файле Apache AccessFileName Например, для Debian/Ubuntu

# nano /etc/apache2/apache2.conf

1	# nano /etc/apache2/apache2.conf

AccessFileName .htaccess

1	AccessFileName .htaccess

Включение поддержки файла .htaccess возможно Либо в конфигурационном файле Apache – глобально для каталога, внутри которого размещаются все сайты. Например, для Debian/Ubuntu

# nano /etc/apache2/apache2.conf

1	# nano /etc/apache2/apache2.conf

<Directory /var/www/>
AllowOverride All
………
</Directory>

1

2

3

4

AllowOverride All

………

</Directory>

Либо в конфигурацаионном файле конкретного виртуального хоста Apache (что более предпочтительно) Например, для […]

Опубликовано в рубрике Web

Метки: htaccess, redirect, security

Комментарии отключены

Раздельные файлы для таблиц InnoDB в MySQL

Май 30th, 2017

Evgeniy Kamenev

Останавливаем MySQL и делаем бекап файлов/каталогов MySQL

# /etc/init.d/mysql stop

1	# /etc/init.d/mysql stop

# cp -pra   /var/lib/mysql      /var/lib/mysql-back

1	# cp -pra /var/lib/mysql /var/lib/mysql-back

Запускаем MySQL и создаем бекап всех баз данных

# /etc/init.d/mysql start

1	# /etc/init.d/mysql start

# mysqldump -EKR --single-transaction  --all-databases > /root/dump.sql

1	# mysqldump -EKR --single-transaction --all-databases > /root/dump.sql

Создаем SQL файл drop.sql для удаления всех баз данных за исключением базы данных mysql и information_schema

# mysql -e "SELECT DISTINCT CONCAT ('DROP DATABASE ',TABLE_SCHEMA,' ;') FROM INFORMATION_SCHEMA.TABLES WHERE TABLE_SCHEMA <> 'mysql' AND TABLE_SCHEMA <> 'information_schema';" | tail -n+2 > /root/drop.sql

1	# mysql -e "SELECT DISTINCT CONCAT ('DROP DATABASE ',TABLE_SCHEMA,' ;') FROM INFORMATION_SCHEMA.TABLES WHERE TABLE_SCHEMA <> 'mysql' AND TABLE_SCHEMA <> 'information_schema';" \| tail -n+2 > /root/drop.sql

Проверяем,что файл drop.sql содержит корректные имена баз данных( и не содержит баз данных mysql и information_schema)

# less /root/drop.sql

1	# less /root/drop.sql

Выполняем удаление […]

Опубликовано в рубрике Linux/Unix General, MySQL

Метки: innodb, innodb_file_per_table, mysql

Комментарии отключены

Установка, настройка и оптимизация Apache mpm-itk на Ubuntu16

Май 16th, 2017

Evgeniy Kamenev

1.Установка Apache

# apt-get install apache2

1	# apt-get install apache2

2.Установка модуля libapache2-mpm-itk

# apt-get install libapache2-mpm-itk

1	# apt-get install libapache2-mpm-itk

3.Включение модуля mpm-itk

# a2enmod mpm_itk

1	# a2enmod mpm_itk

4.Настройка виртуального хоста Apache

# nano /etc/apache2/sites-enabled/000-default.conf

1	# nano /etc/apache2/sites-enabled/000-default.conf

<VirtualHost *:80>
        ServerName mydomain.com
        ServerAlias www.mydomain.com
        DocumentRoot /var/www/html

        <Directory "/var/www/html">
        AllowOverride All
        Options -Indexes +FollowSymLinks
        </Directory>

         <IfModule mpm_itk_module>
         AssignUserId www-data www-data
        </IfModule>

        ErrorLog /var/log/apache2/error.log
        CustomLog /var/log/apache2/access.log combined

</VirtualHost>

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

ServerName mydomain.com

ServerAlias www.mydomain.com

DocumentRoot /var/www/html

AllowOverride All

Options -Indexes +FollowSymLinks

</Directory>

AssignUserId www-data www-data

</IfModule>

ErrorLog /var/log/apache2/error.log

CustomLog /var/log/apache2/access.log combined

</VirtualHost>

5.Перезагрузка Apache и проверка подключенных модулей

# systemctl restart apache2

1	# systemctl restart apache2

Проверка подключенных модулей

# apachectl -t -D DUMP_MODULES | grep mpm

1	# apachectl -t -D DUMP_MODULES \| grep mpm

 mpm_itk_module (shared)
 mpm_prefork_module (shared)

1 2	mpm_itk_module (shared) mpm_prefork_module (shared)

Либо

# a2query -m | grep mpm

1	# a2query -m \| grep mpm

mpm_itk (enabled by maintainer script)
mpm_prefork (enabled by maintainer script)

1 2	mpm_itk (enabled by maintainer script) mpm_prefork (enabled by maintainer script)

Просмотр типа MPM

# a2query -M

1	# a2query -M

Prefork

1

Prefork

Здесь подключается модуль mpm-itk

# nano /etc/apache2/mods-enabled/mpm_itk.load

1	# nano /etc/apache2/mods-enabled/mpm_itk.load

# Depends: mpm_prefork
LoadModule mpm_itk_module /usr/lib/apache2/modules/mpm_itk.so

1 2	# Depends: mpm_prefork LoadModule mpm_itk_module /usr/lib/apache2/modules/mpm_itk.so

Настройка параметров mpm Prefork

# nano /etc/apache2/mods-enabled/mpm_prefork.conf

1	# nano /etc/apache2/mods-enabled/mpm_prefork.conf

<IfModule mpm_prefork_module>
        StartServers              5
        MinSpareServers           5
        MaxSpareServers           10
        MaxRequestWorkers         150
        MaxConnectionsPerChild   4096
</IfModule>

1

2

3

4

5

6

7

StartServers 5

MinSpareServers 5

MaxSpareServers 10

MaxRequestWorkers 150

MaxConnectionsPerChild 4096

</IfModule>

Немного безопасности

# nano /etc/apache2/conf-available/security.conf

1	# nano /etc/apache2/conf-available/security.conf

ServerTokens Prod
ServerSignature Off

1 2	ServerTokens Prod ServerSignature Off

Просмотр […]

Опубликовано в рубрике Debian/Ubuntu, Web

Метки: apache, mpm-itk

Комментарии отключены

Настройка бекапа cайтов по FTP-подключению

Май 16th, 2017

Evgeniy Kamenev

1.Настройка бекапа удаленных сайтов по FTP через монтирование удаленных сайтов с помощью curlftpfs и дальнейшего выполнения rsync/tar на удаленный/локальный сервер Загружаем необходимый модуль ядра fuse и добавляем его загрузку в автозагрузку

# modprobe fuse

1	# modprobe fuse

Debian/Ubuntu

# nano /etc/modules

1	# nano /etc/modules

fuse

1

fuse

Установка curlftpfs

# apt-get install curlftpfs

1	# apt-get install curlftpfs

Логины/пароли для подключения к сайтам сохраним в отдельный файл, чтобы они не отображались в командной строке при […]

Опубликовано в рубрике Backup, Backup, Centos, Debian/Ubuntu

Метки: backup, curlftpfs, FTP, lftp

Комментарии отключены

Vagrant — установка WordPress из шаблона средствами shell-provisioner

Апрель 17th, 2017

Evgeniy Kamenev

Постановка задачи: Установить WordPress из готового шаблона и дампа базы данных с помощью shell-скриптов, как одного из способов/инструмента provisioning в Vagrant 1)Установка двух Ubuntu16.04 LTS серверов средствами Vagrant 2)Установка и настройка WEB-сервера (Nginx+php-fpm) (frontend-сервер) -192.168.1.91 с помощью shell-скрипта web.sh 3)Установка и настройка сервера баз данных (MySQL) (backend-сервер) – 192.168.1.92 с помощью shell-скрипта mysql.sh Корень сайта […]

Опубликовано в рубрике DevOps

Метки: provisioner, shell, Vagrant

Комментарии отключены

Архивы автора

LSI MegaRaid настройка кеширования и системной производительности

Jenkins: Сборка проекта по коммиту в SVN

Настройка Postfix для блокировки отправки почты через функцию PHP mail

Формат файла Xferlog FTP-сервера ProFTPD

SVN-полезные команды. SVN-создание и восстановление бекапа репозитария

Использование .htaccess

Раздельные файлы для таблиц InnoDB в MySQL

Установка, настройка и оптимизация Apache mpm-itk на Ubuntu16

Настройка бекапа cайтов по FTP-подключению

Vagrant — установка WordPress из шаблона средствами shell-provisioner

Страницы

Свежие записи

Архивы

Рубрики

Админ-панель