Какво ново?
От:
Подробно търсене…
SearchEngines.bg

Това е примерно съобщение за гост. Регистрирайте безплатен акаунт днес, за да станете потребител на SearchEngines.bg! След като влезете, ще можете да участвате в този сайт, като добавите свои собствени теми и публикации, както и да се свържете с други членове чрез вашата лична входяща кутия! Благодарим ви!

Проблем с голям брой отворени страници на сайт

N

nikito

New member
Здравейте,

Днес имахме един проблем с потребител от Румъния, който беше отворил 5000 страници за 15 мин, и от хоста блокираха сайта, понеже натоварил прекалено много процесора на сървъра, и можел да създаде проблеми на останалите сайтове хостнати на тази машина. След като блокирахме въпросното IP, сайта беше пуснат, като от хоста ни посъветваха да преминем на VPS или на нает сървър, което не си струва, за малък сайт.

Понеже това се случва вече няколко пъти, очевидно само с блокиране на сменящи се IP адреси няма да се реши проблема.

Затова питането е, някой знае ли прост php скрипт, от няколко реда код, в който да има зададен лимит за позволения брой страници, които могат да се отварят от даден IP за единица време и когато този лимит се превиши, автоматично да блокира IP-то за определено време. След деблокирането, ако IP-то отново продължи старата песен, да го блокира за по дълго време?
 
Последно редактирано:
Re: Проблем с голям брой отворени страници на са

Re: Проблем с голям брой отворени страници на са

Нали не допускаш, че нормален човек може да отвори тези 5000 страници? Това е някой пощурял бот, а "майсторът" на ботовете е тук. :) Ако сайтът не е рнр, а ХТМЛ, пак има начин да се направи да работи - питай и ще ти кажа.
Мога да предложа и капан за лакоми ботове, но той е с автоматичен перманентен бан на ІР адреса.
 
Последно редактирано:
Re: Проблем с голям брой отворени страници на са

Re: Проблем с голям брой отворени страници на са

Активирай кеширащия плугин като за начало, ще намали тройно използваното процесорно време. Ако зададеш стойностите на мин кеш може и повече, зависи от сайта. За блокиране на такива ботове, виж колегата може би ще помогне :)
 
Re: Проблем с голям брой отворени страници на са

Re: Проблем с голям брой отворени страници на са

Може да пробваш http://www.spambotsecurity.com/zbblock.php
Преди година имах подобен проблем и това беше спасението.
 
Re: Проблем с голям брой отворени страници на са

Re: Проблем с голям брой отворени страници на са

silence каза:
Може да пробваш http://www.spambotsecurity.com/zbblock.php
Преди година имах подобен проблем и това беше спасението.
Увеличете...
Точно това съм му предложил и аз, колега, само че преведено и обяснено на български. :D Със съгласието на автора съм направил нещо като огледален сайт у нас.
 
Re: Проблем с голям брой отворени страници на са

Re: Проблем с голям брой отворени страници на са

1. Сайтът е PHP - Joomla базиран,
2. Кеширащия плъгин е пуснат отдавна,

Разгледах spambotsecurity.com, и след анализа на access лога, бих направил следния извод:

spambotsecurity.com програмата проверява редица параметри на всяка HTTP заявка като HTTP_USER_AGENT, IP и т.н., дотук добре но това IP очевидно не е бот, в лога е оставило това: Mozilla/4.0 (compatible; MSIE 5.0; Windows NT; DigExt) Една бърза справка показва, че това не е бот:

User Agent Vitals:
Bot or Browser:
This User Agent is not a known bot.

А и локацията на това IP е в Румъния, където изглежда не е обичайно място за ботове.

По скоро изглежда на някакво саниране на сайта с някаква програма.

Отделно от това, данните за user_agent и т.н. лесно могат да се подменят, така, че не е особено логично да се разчита на тях за разпознаване на бот.

Далеч по лесно е с 2 реда код просто да се проверява колко страници в секунда отваря съответното IP и да се блокира ако превиши зададен лимит. В нашия случай, на моменти това ай пи е отваряло по 15-20 страници в секунда, което е довело до претоварване на сървъра.

Ако spambotsecurity.com програмата има такава функционалност, да ограничава броя на отворените страници, това би било наистина добро решение за нашия случай.
 
Последно редактирано:
Re: Проблем с голям брой отворени страници на са

Re: Проблем с голям брой отворени страници на са

nikito каза:
Далеч по лесно е с 2 реда код просто да се проверява колко страници в секунда отваря съответното IP и да се блокира ако превиши зададен лимит. В нашия случай, на моменти това ай пи е отваряло по 15-20 страници в секунда, което е довело до претоварване на сървъра.
Увеличете...

Аз имам някакви спомени, че в cPanel има някаква подобна блокировка по IP. Преди няколко години един познат се беше опитал да си "играе" с един мой сайт и cПанела го беше блокирал. Но беше отдавна и не помня дали тази опция има настройки и на какъв брой завки в секунда се задейства. Поразрови се в панела, ако си с c Panel или питай поддръжката.
 
Re: Проблем с голям брой отворени страници на са

Re: Проблем с голям брой отворени страници на са

Ако предложенията горе не ти свършат работа можеш да се разтърсиш малко за капан за ботове:
http://www.google.com/search?q=bot+trap

По спомени можеха да се намерят прости работещи решения в WMW.
 
Re: Проблем с голям брой отворени страници на са

Re: Проблем с голям брой отворени страници на са

BornToDrink каза:
Само гледай да не блокираш важните ботове, че ще е кофти. :D
Увеличете...

Ако се ползва "капан" спусъка се поставя в папка/файл забранени от robots.txt. А важните ботове трябва да се съобразяват с директивите му. ;D
 
Re: Проблем с голям брой отворени страници на са

Re: Проблем с голям брой отворени страници на са

nikito каза:
1.
Разгледах spambotsecurity.com, и след анализа на access лога, бих направил следния извод:

spambotsecurity.com програмата проверява редица параметри на всяка HTTP заявка като HTTP_USER_AGENT, IP и т.н., дотук добре но това IP очевидно не е бот, в лога е оставило това: Mozilla/4.0 (compatible; MSIE 5.0; Windows NT; DigExt) Една бърза справка показва, че това не е бот:

User Agent Vitals:
Bot or Browser:
This User Agent is not a known bot.

А и локацията на това IP е в Румъния, където изглежда не е обичайно място за ботове. Освен това има куп начини да се имитира юзер агент, както е вярно и това, че всеки бот има някакъв юзер агент (според кефа на собственика).
Увеличете...
Това, че не фигурира в дадения сайт като известен официален бот, не означава, че не е бот - скрепер. Дори зад него да стои човек, той пак е програмиран да действа сам без участието на собственика си. Човек чисто физически не може да отвори 5000 страници за 15 минути. А защо мислиш, че румънците са по-тъпи и не могат да ползват спам ботове?
Хвърли едно око тук - http://www.stopforumspam.com/stats/map - и сам ще се убедиш. Румъния има засечени 16 973 спам акаунта в момента и повярвай ми, растат всеки ден.
Дори да не са техни, нещо чувал ли си за ботнет? Може този зомбиран адрес да се управлява от произволна точка на света. А всеки един бот има някакъв юзер агент, според кефа на собственика си и има куп начини всеки юзер агент да бъде имитиран.

Eто типичен пример за измислен юзер агент - User Agent: JS-Kit URL Resolver, http: //js-kit.com/
 
Последно редактирано:
Re: Проблем с голям брой отворени страници на са

Re: Проблем с голям брой отворени страници на са

този ред
Код: 
<?php include('yourdirectory/zbblock/zbblock.php'); ?>
за джумла сайт само е index.php на шаблона ли се слага
 
Re: Проблем с голям брой отворени страници на са

Re: Проблем с голям брой отворени страници на са

go6o78 каза:
този ред
Код: 
<?php include('yourdirectory/zbblock/zbblock.php'); ?>
за джумла сайт само е index.php на шаблона ли се слага
Увеличете...
Това не е форум за разискване на този въпрос. Отговорил съм ти във форума в моя сайт.
Впрочем, маниерът да пуснеш един и същи пост в няколко форума, доста намирисва на спам.
 
Re: Проблем с голям брой отворени страници на са

Re: Проблем с голям брой отворени страници на са

diabolic.bg каза:
Отговорил съм ти във форума в моя сайт.
Увеличете...

А това не намирисва ли на спам? Или намирисва само, когато друг го спамва?
 
Re: Проблем с голям брой отворени страници на са

Re: Проблем с голям брой отворени страници на са

Според мен възпитанието изисква, когато те питат нещо, да отговориш. И точно първото ми изречение е, че на това не му е тук мястото. А постът на go6o78 е точно копиран от този форум и пуснат в моя.
 
Re: Проблем с голям брой отворени страници на са

Re: Проблем с голям брой отворени страници на са

извинявам се и тук за спама. Ако може моите мнения в тази тема да се изтрият.
Че стана неприятно заради моите необмислени въпроси
 
Re: Проблем с много отворени страници на Joomla сай

Re: Проблем с много отворени страници на Joomla сай

nikito каза:
Здравейте,

Днес имахме един проблем с потребител от Румъния, който беше отворил 5000 страници за 15 мин, и от хоста блокираха сайта...
Затова питането е, някой знае ли прост php скрипт, от няколко реда код, в който да има зададен лимит за позволения брой страници, които могат да се отварят от даден IP за единица време и когато този лимит се превиши, автоматично да блокира IP-то за определено време. След деблокирането, ако IP-то отново продължи старата песен, да го блокира за по дълго време?
Увеличете...

Здравейте,
въпреки, че дискусията по тази тема завършва малко обезкоражаващо :) ще си позволя да препоръчам няколко прости и много ефективни решения на подобен род проблеми:

1. Решение специфично за Joomla: от постинга ти разбрах, че сайта е на Joomla, ето най-лесното според мен решение: щом ползваш Joomla вероятно добре познаваш и ползваш активно sh404SEF - този екстеншън има вграден Food protection, намира се в Configuration / Security configuration / Anto-flood configuration
съответно там сетваш:
Activate anti-flood - да
Only if POST data (forms) - не (демек всичко проверяваме)
Anti-flood control: 10 (време в сек)
Max number of requests: 10 (брой рекуести преди БАН)
това е всичко - с тези настройки всеки, който направи 10 рекуеста за 10 секунди (произволен брой за произволно време) ще бъде баннат.

2. Този вариант е подходящ за всички, които САМИ си правят уеб сървисите и не плащат на други за хостинг услуги ;)
Това решение работи перфектно за добра ФЛООД защита на всякакви услуги: например VoIP SIP flood итн. :)

Fail2ban - работи перфектно на Linux (all), xBSD и Mac OS X

Накратко: приложението сканира всякакви лог файлове и според някакви критерии банва нахалниците - бана става посредством ъпдейт на филтъра на сървъра (iptables, pf итн).
Адски гъвкъв от гледна точка конфигурационни патерни, Fail2ban може да е много злопаметен с БАН завинаги или за някакви кратки предупредителни банчета.
Лично аз използвам много активно Fail2ban и след като го намерих навремето ме хвана яд ЗАЩО не съм го намерил по-рано :)

Успех!
 
Последно редактирано:
Трябва да си влезнал или регистриран, за да отговориш тук.

Горе