Linux/Unix General | Записки системного администратора

Архивы рубрики ‘Linux/Unix General’

Анализ Web-логов в реальном времени с помощью GoAccess

Ноябрь 18th, 2014

Evgeniy Kamenev

1.Установка необходимых зависимостей.

# yum install ncurses ncurses-libs ncurses-devel

1	# yum install ncurses ncurses-libs ncurses-devel

# yum install glib2 glib2-devel glib2-static

1	# yum install glib2 glib2-devel glib2-static

# yum install GeoIP GeoIP-devel

1	# yum install GeoIP GeoIP-devel

2.Скачивание и установка утилиты goaccess из исходников (через yum устанавливается устаревшая версия)

# wget http://tar.goaccess.io/goaccess-0.9.4.tar.gz

1	# wget http://tar.goaccess.io/goaccess-0.9.4.tar.gz

# tar xvfz goaccess-0.9.4.tar.gz

1	# tar xvfz goaccess-0.9.4.tar.gz

# cd goaccess-0.9.4

1	# cd goaccess-0.9.4

# ./configure --enable-geoip --enable-utf8

1	# ./configure --enable-geoip --enable-utf8

# make

# make

# make install

1	# make install

3.Создание резервной копии и настройка конфигурационного файла goaccess.conf

# cp /usr/local/etc/goaccess.conf /usr/local/etc/goaccess.conf~

1	# cp /usr/local/etc/goaccess.conf /usr/local/etc/goaccess.conf~

# nano /usr/local/etc/goaccess.conf

1	# nano /usr/local/etc/goaccess.conf

time-format %H:%M:%S
# Apache log date format. The following date format works with any of the Apache's log formats.
date-format %d/%b/%Y
# NCSA Combined Log Format
log-format %h %^[%d:%^] "%r" %s %b "%R" "%u"

time-format %H:%M:%S

# Apache log date format. The following date format works with any of the Apache's log formats.

date-format %d/%b/%Y

# NCSA Combined Log Format

log-format %h %^[%d:%^] "%r" %s %b "%R" "%u"

4.Использование GoAccess для анализа Web-логов Просмотр статистики и анализ Web-лога в реальном […]

Опубликовано в рубрике Centos, Nginx, Other, Other, Web, Web

Метки: apache, goaccess, Nginx, web logs parsing

Комментарии отключены

Оптимизация настроек ядра для высоконагруженных серверов и защиты от DDOS-атак

Ноябрь 10th, 2014

Evgeniy Kamenev

На просторах Интернета нашел толковое описание sysctl настроек ядра для оптимизации большого кол-ва подключений и защиты от DDOS-атак

net.ipv4.conf.all.accept_redirects = 0
net.ipv4.conf.all.secure_redirects = 0
net.ipv4.conf.all.send_redirects = 0

net.ipv4.conf.all.accept_redirects = 0

net.ipv4.conf.all.secure_redirects = 0

net.ipv4.conf.all.send_redirects = 0

Не принимать и не отправлять ICMP-пакеты перенаправления. ICMP-перенаправления могут быть использованы злоумышленником для изменения таблиц маршрутизации. Целесообразно выставить в «0». Единица имеет смысл только для хостов, использующихся в качестве маршрутизаторов.

net.ipv4.tcp_max_orphans = 65536

1	net.ipv4.tcp_max_orphans = 65536

Целочисленное значение параметра tcp_max_orphans […]

Опубликовано в рубрике Security, Security

Метки: DDoS, security, sysctl

Комментарии отключены

Анализ и защита от DDOS-атак

Ноябрь 7th, 2014

Evgeniy Kamenev

Диагностика DDOS-атаки Подсчет кол-ва подключений к серверу

# cat /proc/net/ip_conntrack | wc -l

1	# cat /proc/net/ip_conntrack \| wc -l

— для Centos5

# cat /proc/net/nf_conntrack | wc -l

1	# cat /proc/net/nf_conntrack \| wc -l

— для Centos6 SYN—flood Подсчет кол-ва попыток установить соединение

# netstat -nap | grep SYN_RECV | wc -l

1	# netstat -nap \| grep SYN_RECV \| wc -l

Просмотр кол-ва запросов с каждого адреса на установку соединений

# netstat -nap | grep SYN_RECV | awk {'print $5'} | awk -F: {'print $1'} | sort -rn | uniq -c | sort -rn

1	# netstat -nap \| grep SYN_RECV \| awk {'print $5'} \| awk -F: {'print $1'} \| sort -rn \| uniq -c \| sort -rn

Проверка кол-ва полузакрытых соединений

# netstat -an | grep FIN* | wc -l

1	# netstat -an \| grep FIN* \| wc -l

Просмотр кол-ва и типов установленных соединений

# netstat -np | awk '{print $6}'|awk -F: '{print $1}' | sort -rn | uniq -c | sort -rn | less

1	# netstat -np \| awk '{print $6}'\|awk -F: '{print $1}' \| sort -rn \| uniq -c \| sort -rn \| less

Просмотр кол-ва […]

Опубликовано в рубрике Security, Security

Метки: DDoS, flood, ipset, security, sysctl

Комментарии отключены

Поиск malware/вирусов на сайте

Ноябрь 6th, 2014

Evgeniy Kamenev

Использование внешних ресурсов 1.Проверка на сайтах http://antivirus-alarm.ru/ http://online.drweb.com/?url=1 http://xseo.in/viruscan http://2ip.ru/site-virus-scaner/ Проверка Google

http://www.google.com/safebrowsing/diagnostic?site=mysite.com

1	http://www.google.com/safebrowsing/diagnostic?site=mysite.com

Проверка ссылок/редиректов

http://www.websiteplanet.com/webtools/redirected

1	http://www.websiteplanet.com/webtools/redirected

2. Проверка утилитой ai-bolit http://www.revisium.com/ai/ 3. Проверка с помощью Linux Malware Detect https://www.rfxn.com/projects/linux-malware-detect/

# maldet -scan-all /home/sites/mysite.com

1	# maldet -scan-all /home/sites/mysite.com

4. WordPress-плагины Antivirus https://wordpress.org/plugins/antivirus/ Sucuri Security https://wordpress.org/plugins/sucuri-scanner/ Использование командной строки 1.Поиск файлов измененных за последнее время(например, за последние […]

Опубликовано в рубрике Security, Security, Security Tools

Метки: base64, malware, security

Комментарии отключены

Настройка Logwatch для обработки Nginx-логов

Ноябрь 6th, 2014

Evgeniy Kamenev

1.Копируем три файла с httpd в nginx

# cp /usr/share/logwatch/default.conf/services/http.conf /etc/logwatch/conf/services/nginx.conf

1	# cp /usr/share/logwatch/default.conf/services/http.conf /etc/logwatch/conf/services/nginx.conf

# cp /usr/share/logwatch/default.conf/logfiles/http.conf /etc/logwatch/conf/logfiles/nginx.conf

1	# cp /usr/share/logwatch/default.conf/logfiles/http.conf /etc/logwatch/conf/logfiles/nginx.conf

# cp /usr/share/logwatch/scripts/services/http /etc/logwatch/scripts/services/nginx

1	# cp /usr/share/logwatch/scripts/services/http /etc/logwatch/scripts/services/nginx

2.Редактируем /etc/logwatch/conf/services/nginx.conf

# cat /etc/logwatch/conf/services/nginx.conf | grep nginx

1	# cat /etc/logwatch/conf/services/nginx.conf \| grep nginx

Title = "nginx"
LogFile = nginx

1 2	Title = "nginx" LogFile = nginx

3.Приводим к виду файл /etc/logwatch/conf/logfiles/nginx.conf

# cat /etc/logwatch/conf/logfiles/nginx.conf | grep -v \# | grep -v ^$

1	# cat /etc/logwatch/conf/logfiles/nginx.conf \| grep -v \# \| grep -v ^$

LogFile = nginx/*access.log
Archive = nginx/*access.log-*.gz
*ExpandRepeats
*ApplyhttpDate

LogFile = nginx/*access.log

Archive = nginx/*access.log-*.gz

*ExpandRepeats

*ApplyhttpDate

4.Тестируем работоспособность, запуская logwatch

# logwatch

1	# logwatch

Источник: http://rtfm.co.ua/nginx-dobavlenie-logov-pod-monitoring-logwatch/ http://8bitpipe.com/?p=516

Опубликовано в рубрике Nginx, Security, Security

Метки: logwatch, Nginx, security

Комментарии отключены

Nginx — настройка ограничения на кол-во подключений и количество запросов в единицу времени

Октябрь 11th, 2014

Evgeniy Kamenev

В Nginx есть возможность ограничить количество соединений с одного адреса(модуль ngx_http_limit_conn_module) и ограничить количество запросов в единицу времени с одного адреса (модуль ngx_http_limit_req_module)

ngx_http_limit_conn_module

1	ngx_http_limit_conn_module

— позволяет ограничить число соединений по заданному ключу, в частности, число соединений с одного IP-адреса.

ngx_http_limit_req_module

1	ngx_http_limit_req_module

– позволяет ограничить скорость обработки запросов по заданному ключу, в частности, скорость обработки запросов, поступающих […]

Опубликовано в рубрике Nginx, Web, Web

Метки: limit connection, Nginx

Комментарии отключены

Полезные команды Postfix. Работа с очередью Postfix

Октябрь 11th, 2014

Evgeniy Kamenev

Проверка синтаксиса конфигурационных файлов Postfix

# postfix check

1	# postfix check

Просмотр текущих значений параметров Postfix

# postconf

1	# postconf

Просмотр стандартных значений параметров Postfix(значений по умолчанию)

# postconf -d

1	# postconf -d

# postconf | grep message_size_limit

1	# postconf \| grep message_size_limit

message_size_limit = 10240000

1	message_size_limit = 10240000

Изменение значения параметра message_size_limit без перезагрузки (работает и после перезагрузки postfix)

# postconf -e 'message_size_limit = 20480000'

1	# postconf -e 'message_size_limit = 20480000'

# postconf | grep message_size_limit

1	# postconf \| grep message_size_limit

message_size_limit = 20480000

1	message_size_limit = 20480000

# /etc/init.d/postfix restart

1	# /etc/init.d/postfix restart

Shutting down postfix:                                     [ OK ]
Starting postfix:                                         [ OK ]

1 2	Shutting down postfix: [ OK ] Starting postfix: [ OK ]

# postconf | grep message_size_limit

1	# postconf \| grep message_size_limit

message_size_limit = 20480000

1	message_size_limit = 20480000

То же самое можно достичь прописав в

/etc/postfix/main.cf

1	/etc/postfix/main.cf

# message_size_limit = 20480000

1	# message_size_limit = 20480000

Больше […]

Опубликовано в рубрике Mail, Mail, Mail

Метки: mailq, postfix, postqueue

Комментарии отключены

Настройка Nginx для поддержки видеофайлов flv/mp4

Сентябрь 29th, 2014

Evgeniy Kamenev

1.Проверка поддержки Nginx-ом необходимых модулей

# Nginx -V

1	# Nginx -V

--with-http_mp4_module
--with-http_flv_module

1 2	--with-http_mp4_module --with-http_flv_module

2.Проверка подключения файла с расширением

# cat /etc/nginx/nginx.conf | grep mime

1	# cat /etc/nginx/nginx.conf \| grep mime

include       /etc/nginx/mime.types;

1	include /etc/nginx/mime.types;

3.Определение расширений

# nano /etc/nginx/mime.types

1	# nano /etc/nginx/mime.types

video/mp4                             mp4;
video/x-flv                           flv;

1 2	video/mp4 mp4; video/x-flv flv;

4.Активизация mp4 и flv псевдопотока + отключение сжатия

location ~ \.(mp4|flv)$ {
flv;
mp4;
mp4_buffer_size     4M;
mp4_max_buffer_size 10M;
gzip off;
gzip_static off;
}

location ~ \.(mp4|flv)$ {

flv;

mp4;

mp4_buffer_size 4M;

mp4_max_buffer_size 10M;

gzip off;

gzip_static off;

}

5.Тестирование(проверяем, что отсутствует сжатие )

# curl -I --header "Accept-Encoding: gzip,deflate" "http://<sitename>/path_to_videofile/file.mp4"

1	# curl -I --header "Accept-Encoding: gzip,deflate" "http://<sitename>/path_to_videofile/file.mp4"

HTTP/1.1 200 OK
Server: nginx
Date: Tue, 09 Sep 2014 12:57:47 GMT
Content-Type: video/mp4
Content-Length: 49123864
Modified: Tue, 09 Sep 2014 09:06:08 GMT
Connection: keep-alive
Accept-Ranges: bytes

HTTP/1.1 200 OK

Server: nginx

Date: Tue, 09 Sep 2014 12:57:47 GMT

Content-Type: video/mp4

Content-Length: 49123864

Modified: Tue, 09 Sep 2014 09:06:08 GMT

Connection: keep-alive

Accept-Ranges: bytes

Источник: http://www.nginxtips.com/optimizing-nginx-for-video-sites/ http://dragonflybsd.blogspot.com/2012/11/nginxmp4flv.html

Опубликовано в рубрике Web

Метки: flv, mp4, Nginx

Комментарии отключены

Тестирование памяти в Linux с помощью утилиты memtester

Сентябрь 29th, 2014

Evgeniy Kamenev

1.Установка утилиты memtester Centos

# yum install memtester

1	# yum install memtester

Debian

# apt-get install memtester

1	# apt-get install memtester

2.Запуск утилиты

# memtester 1024 1

1	# memtester 1024 1

# 1024 — размер выделяемого блока памяти в мегабайтах (его нужно брать из расчета свободной памяти на машине, top и поле «free»), # 1 — число повторений

memtester version 4.0.8 (64-bit)
Copyright (C) 2007 Charles Cazabon.
Licensed under the GNU General Public License version 2 (only).
pagesize is 4096
pagesizemask is 0xfffffffffffff000
want 1024MB (1073741824 bytes)
got 1024MB (1073741824 bytes), trying mlock ...locked.
Loop 1/1:
Stuck Address       : ok
Random Value       : ok
Compare XOR         : ok
Compare SUB         : ok
Compare MUL         : ok
Compare DIV         : ok
Compare OR         : ok
Compare AND         : ok
Sequential Increment: ok
Solid Bits         : ok
Block Sequential   : ok
Checkerboard       : ok
Bit Spread         : ok
Bit Flip           : ok
Walking Ones       : ok
Walking Zeroes     : ok
Done.

memtester version 4.0.8 (64-bit)

Licensed under the GNU General Public License version 2 (only).

pagesize is 4096

pagesizemask is 0xfffffffffffff000

want 1024MB (1073741824 bytes)

got 1024MB (1073741824 bytes), trying mlock ...locked.

Loop 1/1:

Stuck Address : ok

Random Value : ok

Compare XOR : ok

Compare SUB : ok

Compare MUL : ok

Compare DIV : ok

Compare OR : ok

Compare AND : ok

Sequential Increment: ok

Solid Bits : ok

Block Sequential : ok

Checkerboard : ok

Bit Spread : ok

Bit Flip : ok

Walking Ones : ok

Walking Zeroes : ok

Done.

Если ошибок не обнаружено,то в выводе будет 0

# echo $?

# echo $?

Источник: http://www.stableit.ru/2009/03/linux.html […]

Опубликовано в рубрике Linux/Unix General, Other

Метки: memory, memtester

Комментарии отключены

Установка и настройка Linux Malware Detect

Август 4th, 2014

Evgeniy Kamenev

1. Загрузка,распаковка,установка

# cd /tmp

# cd /tmp

# wget http://www.rfxn.com/downloads/maldetect-current.tar.gz

1	# wget http://www.rfxn.com/downloads/maldetect-current.tar.gz

# tar xvfz maldetect-current.tar.gz

1	# tar xvfz maldetect-current.tar.gz

# cd maldetect-*

1	# cd maldetect-*

# ./install.sh

1	# ./install.sh

………………………………………………
installation completed to /usr/local/maldetect
config file: /usr/local/maldetect/conf.maldet
exec file: /usr/local/maldetect/maldet
exec link: /usr/local/sbin/maldet
exec link: /usr/local/sbin/lmd
cron.daily: /etc/cron.daily/maldet

………………………………………………

installation completed to /usr/local/maldetect

config file: /usr/local/maldetect/conf.maldet

exec file: /usr/local/maldetect/maldet

exec link: /usr/local/sbin/maldet

exec link: /usr/local/sbin/lmd

cron.daily: /etc/cron.daily/maldet

# rm  -rf /tmp/maldetect*

1	# rm -rf /tmp/maldetect*

2. Настройкаконфигурационногофайла

# cat /usr/local/maldetect/conf.maldet | grep -v \# | grep -v ^$

1	# cat /usr/local/maldetect/conf.maldet \| grep -v \# \| grep -v ^$

# Включить отправку сообщений
email_alert=1
# Формирование темы сообщений
email_subj="maldet alert from $(hostname)"
# E-Mail, на который будет отправлено уведомление о найденных/подорительных файлах
email_addr=your@email
# Не отправлять отчет,если все подозрительные файлы были очищены/исправлены
email_ignore_clean=0
# Помещать подозрительные файлы на карантин
quar_hits=0
# попытаться очистить файл от зловредного кода(требует активации/включения опции quar_hits)
quar_clean=1
#Блокировать вход для пользователя, в файлах которого обнаружилось malware(требует активации/включения опции quar_hits)
quar_susp=0
# Минимальный универсальный идентификатор пользователя(uid) , с которого разрешается блокировать пользователя.
quar_susp_minuid=500
# Максимальная глубина вложений,на которой будут проверяться файлы
maxdepth=15
# Минимальный размер файла в байтах, включенный в сканирование
minfilesize=32
# Максимальный размер файла, включенный в сканирование
maxfilesize="768k"
hexdepth=61440
hex_fifo_scan=1
hex_fifo_depth=524288
# Если установлен Clamav, использовать его бинарник clamscan как поисковый движок
clamav_scan=1
# Разрешить запускать сканирование не от пользователя root
public_scan=0
inotify_base_watches=15360
inotify_stime=30
inotify_minuid=500
inotify_webdir=public_html
inotify_nice=10

# Включить отправку сообщений

email_alert=1

# Формирование темы сообщений

email_subj="maldet alert from $(hostname)"

# E-Mail, на который будет отправлено уведомление о найденных/подорительных файлах

email_addr=your@email

# Не отправлять отчет,если все подозрительные файлы были очищены/исправлены

email_ignore_clean=0

# Помещать подозрительные файлы на карантин

quar_hits=0

# попытаться очистить файл от зловредного кода(требует активации/включения опции quar_hits)

quar_clean=1

#Блокировать вход для пользователя, в файлах которого обнаружилось malware(требует активации/включения опции quar_hits)

quar_susp=0

# Минимальный универсальный идентификатор пользователя(uid) , с которого разрешается блокировать пользователя.

quar_susp_minuid=500

# Максимальная глубина вложений,на которой будут проверяться файлы

maxdepth=15

# Минимальный размер файла в байтах, включенный в сканирование

minfilesize=32

# Максимальный размер файла, включенный в сканирование

maxfilesize="768k"

hexdepth=61440

hex_fifo_scan=1

hex_fifo_depth=524288

# Если установлен Clamav, использовать его бинарник clamscan как поисковый движок

clamav_scan=1

# Разрешить запускать сканирование не от пользователя root

public_scan=0

inotify_base_watches=15360

inotify_stime=30

inotify_minuid=500

inotify_webdir=public_html

inotify_nice=10

3. Базовые команды для работы с утилитой maldet Принудительное обновление баз с сайта rfxn.com

# maldet --update(-u)

1	# maldet --update(-u)

Принудительно обновление версии скрипта с сайта rfxn.com

# maldet --update-ver(-d)

1	# maldet --update-ver(-d)

Проверка всех папок и фалов в каталоге /home

# maldet --scan-all  /home

1	# maldet --scan-all /home

NOTE: quarantine is disabled! set quar_hits=1 in conf.maldet or to quarantine results run: maldet -q 073014-2238.12001
FILE HIT LIST:
{MD5}gzbase64.inject.unclassed.533 : /tmp/maldetect-1.4.2/files/clean/gzbase64.inject.unclassed

NOTE: quarantine is disabled! set quar_hits=1 in conf.maldet or to quarantine results run: maldet -q 073014-2238.12001

FILE HIT LIST:

{MD5}gzbase64.inject.unclassed.533 : /tmp/maldetect-1.4.2/files/clean/gzbase64.inject.unclassed

Поместить в карантин все подозрительные файлы при обнаружении их […]

Опубликовано в рубрике Centos, Security, Security

Метки: Linux Malware Detect, security

Комментарии отключены

Архивы рубрики ‘Linux/Unix General’

Анализ Web-логов в реальном времени с помощью GoAccess

Оптимизация настроек ядра для высоконагруженных серверов и защиты от DDOS-атак

Анализ и защита от DDOS-атак

Поиск malware/вирусов на сайте

Настройка Logwatch для обработки Nginx-логов

Nginx — настройка ограничения на кол-во подключений и количество запросов в единицу времени

Полезные команды Postfix. Работа с очередью Postfix

Настройка Nginx для поддержки видеофайлов flv/mp4

Тестирование памяти в Linux с помощью утилиты memtester

Установка и настройка Linux Malware Detect

Страницы

Свежие записи

Архивы

Рубрики

Админ-панель