2014 Ноябрь | Записки системного администратора

Анализ Web-логов в реальном времени с помощью GoAccess

Ноябрь 18th, 2014

Evgeniy Kamenev

1.Установка необходимых зависимостей.

# yum install ncurses ncurses-libs ncurses-devel

1	# yum install ncurses ncurses-libs ncurses-devel

# yum install glib2 glib2-devel glib2-static

1	# yum install glib2 glib2-devel glib2-static

# yum install GeoIP GeoIP-devel

1	# yum install GeoIP GeoIP-devel

2.Скачивание и установка утилиты goaccess из исходников (через yum устанавливается устаревшая версия)

# wget http://tar.goaccess.io/goaccess-0.9.4.tar.gz

1	# wget http://tar.goaccess.io/goaccess-0.9.4.tar.gz

# tar xvfz goaccess-0.9.4.tar.gz

1	# tar xvfz goaccess-0.9.4.tar.gz

# cd goaccess-0.9.4

1	# cd goaccess-0.9.4

# ./configure --enable-geoip --enable-utf8

1	# ./configure --enable-geoip --enable-utf8

# make

1

# make

# make install

1	# make install

3.Создание резервной копии и настройка конфигурационного файла goaccess.conf

# cp /usr/local/etc/goaccess.conf /usr/local/etc/goaccess.conf~

1	# cp /usr/local/etc/goaccess.conf /usr/local/etc/goaccess.conf~

# nano /usr/local/etc/goaccess.conf

1	# nano /usr/local/etc/goaccess.conf

time-format %H:%M:%S
# Apache log date format. The following date format works with any of the Apache's log formats.
date-format %d/%b/%Y
# NCSA Combined Log Format
log-format %h %^[%d:%^] "%r" %s %b "%R" "%u"

1

2

3

4

5

time-format %H:%M:%S

# Apache log date format. The following date format works with any of the Apache's log formats.

date-format %d/%b/%Y

# NCSA Combined Log Format

log-format %h %^[%d:%^] "%r" %s %b "%R" "%u"

4.Использование GoAccess для анализа Web-логов Просмотр статистики и анализ Web-лога в реальном […]

Опубликовано в рубрике Centos, Nginx, Other, Other, Web, Web

Метки: apache, goaccess, Nginx, web logs parsing

Комментарии отключены

Оптимизация настроек ядра для высоконагруженных серверов и защиты от DDOS-атак

Ноябрь 10th, 2014

Evgeniy Kamenev

На просторах Интернета нашел толковое описание sysctl настроек ядра для оптимизации большого кол-ва подключений и защиты от DDOS-атак

net.ipv4.conf.all.accept_redirects = 0
net.ipv4.conf.all.secure_redirects = 0
net.ipv4.conf.all.send_redirects = 0

1

2

3

net.ipv4.conf.all.accept_redirects = 0

net.ipv4.conf.all.secure_redirects = 0

net.ipv4.conf.all.send_redirects = 0

Не принимать и не отправлять ICMP-пакеты перенаправления. ICMP-перенаправления могут быть использованы злоумышленником для изменения таблиц маршрутизации. Целесообразно выставить в «0». Единица имеет смысл только для хостов, использующихся в качестве маршрутизаторов.

net.ipv4.tcp_max_orphans = 65536

1	net.ipv4.tcp_max_orphans = 65536

Целочисленное значение параметра tcp_max_orphans […]

Опубликовано в рубрике Security, Security

Метки: DDoS, security, sysctl

Комментарии отключены

Анализ и защита от DDOS-атак

Ноябрь 7th, 2014

Evgeniy Kamenev

Диагностика DDOS-атаки Подсчет кол-ва подключений к серверу

# cat /proc/net/ip_conntrack | wc -l

1	# cat /proc/net/ip_conntrack \| wc -l

— для Centos5

# cat /proc/net/nf_conntrack | wc -l

1	# cat /proc/net/nf_conntrack \| wc -l

— для Centos6 SYN—flood Подсчет кол-ва попыток установить соединение

# netstat -nap | grep SYN_RECV | wc -l

1	# netstat -nap \| grep SYN_RECV \| wc -l

Просмотр кол-ва запросов с каждого адреса на установку соединений

# netstat -nap | grep SYN_RECV | awk {'print $5'} | awk -F: {'print $1'} | sort -rn | uniq -c | sort -rn

1	# netstat -nap \| grep SYN_RECV \| awk {'print $5'} \| awk -F: {'print $1'} \| sort -rn \| uniq -c \| sort -rn

Проверка кол-ва полузакрытых соединений

# netstat -an | grep FIN* | wc -l

1	# netstat -an \| grep FIN* \| wc -l

Просмотр кол-ва и типов установленных соединений

# netstat -np | awk '{print $6}'|awk -F: '{print $1}' | sort -rn | uniq -c | sort -rn | less

1	# netstat -np \| awk '{print $6}'\|awk -F: '{print $1}' \| sort -rn \| uniq -c \| sort -rn \| less

Просмотр кол-ва […]

Опубликовано в рубрике Security, Security

Метки: DDoS, flood, ipset, security, sysctl

Комментарии отключены

Поиск malware/вирусов на сайте

Ноябрь 6th, 2014

Evgeniy Kamenev

Использование внешних ресурсов 1.Проверка на сайтах http://antivirus-alarm.ru/ http://online.drweb.com/?url=1 http://xseo.in/viruscan http://2ip.ru/site-virus-scaner/ Проверка Google

http://www.google.com/safebrowsing/diagnostic?site=mysite.com

1	http://www.google.com/safebrowsing/diagnostic?site=mysite.com

Проверка ссылок/редиректов

http://www.websiteplanet.com/webtools/redirected

1	http://www.websiteplanet.com/webtools/redirected

2. Проверка утилитой ai-bolit http://www.revisium.com/ai/ 3. Проверка с помощью Linux Malware Detect https://www.rfxn.com/projects/linux-malware-detect/

# maldet -scan-all /home/sites/mysite.com

1	# maldet -scan-all /home/sites/mysite.com

4. WordPress-плагины Antivirus https://wordpress.org/plugins/antivirus/ Sucuri Security https://wordpress.org/plugins/sucuri-scanner/ Использование командной строки 1.Поиск файлов измененных за последнее время(например, за последние […]

Опубликовано в рубрике Security, Security, Security Tools

Метки: base64, malware, security

Комментарии отключены

Настройка Logwatch для обработки Nginx-логов

Ноябрь 6th, 2014

Evgeniy Kamenev

1.Копируем три файла с httpd в nginx

# cp /usr/share/logwatch/default.conf/services/http.conf /etc/logwatch/conf/services/nginx.conf

1	# cp /usr/share/logwatch/default.conf/services/http.conf /etc/logwatch/conf/services/nginx.conf

# cp /usr/share/logwatch/default.conf/logfiles/http.conf /etc/logwatch/conf/logfiles/nginx.conf

1	# cp /usr/share/logwatch/default.conf/logfiles/http.conf /etc/logwatch/conf/logfiles/nginx.conf

# cp /usr/share/logwatch/scripts/services/http /etc/logwatch/scripts/services/nginx

1	# cp /usr/share/logwatch/scripts/services/http /etc/logwatch/scripts/services/nginx

2.Редактируем /etc/logwatch/conf/services/nginx.conf

# cat /etc/logwatch/conf/services/nginx.conf | grep nginx

1	# cat /etc/logwatch/conf/services/nginx.conf \| grep nginx

Title = "nginx"
LogFile = nginx

1 2	Title = "nginx" LogFile = nginx

3.Приводим к виду файл /etc/logwatch/conf/logfiles/nginx.conf

# cat /etc/logwatch/conf/logfiles/nginx.conf | grep -v \# | grep -v ^$

1	# cat /etc/logwatch/conf/logfiles/nginx.conf \| grep -v \# \| grep -v ^$

LogFile = nginx/*access.log
Archive = nginx/*access.log-*.gz
*ExpandRepeats
*ApplyhttpDate

1

2

3

4

LogFile = nginx/*access.log

Archive = nginx/*access.log-*.gz

*ExpandRepeats

*ApplyhttpDate

4.Тестируем работоспособность, запуская logwatch

# logwatch

1	# logwatch

Источник: http://rtfm.co.ua/nginx-dobavlenie-logov-pod-monitoring-logwatch/ http://8bitpipe.com/?p=516

Опубликовано в рубрике Nginx, Security, Security

Метки: logwatch, Nginx, security

Комментарии отключены

Архивы за месяц Ноябрь, 2014

Анализ Web-логов в реальном времени с помощью GoAccess

Оптимизация настроек ядра для высоконагруженных серверов и защиты от DDOS-атак

Анализ и защита от DDOS-атак

Поиск malware/вирусов на сайте

Настройка Logwatch для обработки Nginx-логов

Страницы

Свежие записи

Архивы

Рубрики

Админ-панель