Идентифициране на лош БОТ

[web3]

Преглеждайки Awstats, в раздел Претърсващи роботи видях че имам много натоварване от бот:

Unknown robot (identified by empty user agent string) 98,484 3.78 GB

Някой знае ли как да го намеря кой е и да го забраня ?

 

[scoobydoo]

За: Идентифициране на лош БОТ

За: Идентифициране на лош БОТ

Гледай IP адресите в AWstats. После го блокирай по IP и готово.

 

[web3]

Re: Идентифициране на лош БОТ

Как по-точно да стане това ?
Отивам в Хостове > Пълен списък
И там IP-тата които имат най-много "страници" и "хита" са на БГ интернет доставчици....

 

[scoobydoo]

За: Идентифициране на лош БОТ

За: Идентифициране на лош БОТ

Търси там IP адрес, който е направил толкова много хита или гигабайти, колкото ти пише на другото място. Или може да го познаеш и по датата и часа на последното посещение. Там ще е по-добре да цъкнеш на последни посещения. Като откриеш IP адреса може да го потърсиш в суровите логове и да видиш user agent-а. В твоя случай ще е празен, съдейки по това дето си писал в първото мнение).

 

[s1yf0x]

За: Идентифициране на лош БОТ

За: Идентифициране на лош БОТ

А ако са някколко бота от различни IP адреси 🙂 , Това, което ти извежда Awstat е сумарно за всички ботове, които са непознати и се идентифицират с празен user-agent . Най-лесния вариант да ги блокираш е да сложиш това в .htaccess-а на сайта си.

RewriteEngine Оn                                                                                                                                         
RewriteCond %{HTTP_USER_AGENT} ^$                                                                                                                     
RewriteRule .* - [F]

Ако не ползваш Apache, дай повече информация какво ползваш за да те насочим какво да напишеш в съответния конфигурационен файл.

 

[scoobydoo]

За: Идентифициране на лош БОТ

За: Идентифициране на лош БОТ

А ако са някколко бота от различни IP адреси 🙂

Верно, и това е възможно 🙂.

 

[Kompota]

Re: Идентифициране на лош БОТ

Да не отварям нова тема, защото проблемът е същият - налазили са ме особено нагли ботове.
Имам сайт с малко посещения, който обаче напоследък редовно си надвишава процесорното време и получавам честитки от хостинга.
Предвид малкия реален трафик това е абсурдно откъдето и да го погледнеш, даже отчитайки, че е wordpress със timthumb обработка на изображенията. Поразръчках се из Awstats и apache-логовете и видях, че едно 90% от "трафика" идва от няколко ентусиазирани бота, които сега банвам като цели рейнджове:

от 38.108.108.* /САЩ
от 5.9.118.* /Германия
от 79.171.81.* /Норвегия

Може на някого да му е интересно в случай, че се сблъска със същите ботове.