SearchEngines.bg

Това е примерно съобщение за гост. Регистрирайте безплатен акаунт днес, за да станете потребител на SearchEngines.bg! След като влезете, ще можете да участвате в този сайт, като добавите свои собствени теми и публикации, както и да се свържете с други членове чрез вашата лична входяща кутия! Благодарим ви!

Как да блокирам Unknown robot

spectrall

New member
Здравейте,

Имам онлайн магазин и от няколко дена ме е налазил бот, който всяка минута прави регистрация в сайта. В cPanel-а го изписва като: Unknown robot (identified by 'bot' followed by a space or one of the following characters _+:,.;/\-). Искам го блокирам, а посещенията в сайта са с различно ип.

Ще съм Ви много благодарен, ако ми помогнете. Благодаря предварително!
 
Това що ти го пише панела са глупости. Ако имаш достъп до логовете на сървъра за твоя сайт, дай да видим няколко реда от неговите посещения, току виж някой го разпознал. Ежедневно блокирам стотици знайни и незнайни ботове, нищо не мога да обещая предварително, но ще опитам да помогна.
 
Това що ти го пише панела са глупости. Ако имаш достъп до логовете на сървъра за твоя сайт, дай да видим няколко реда от неговите посещения, току виж някой го разпознал. Ежедневно блокирам стотици знайни и незнайни ботове, нищо не мога да обещая предварително, но ще опитам да помогна.

Това, което той цитира е от Awstats, а той е елементарен perl скрипт, който анализира логовете на сървъра и ги превежда в четим за обикновениния webmaster вид. А сега се замисли, панела или ти пишеш глупости.

spectrall подобно блокиране става след доста сортиране на логовете. Безмислено е да блокираш IP-та при условие, че въпросните ботове ползват голям диапазон от такива. Трябва да се проверят много неща, като User-Agent, request URI, referer... общо взето все нещо ги обединява, просто трябва да са е намери признака и на база него да ги блокриаш.
 
Благодаря за съветите! Посъветваха ме да инсталирам Captcha. Ще пробвам първо с нея, защото ми се вижда по-лесно решението.
 
Това, което той цитира е от Awstats, а той е елементарен perl скрипт, който анализира логовете на сървъра и ги превежда в четим за обикновениния webmaster вид. А сега се замисли, панела или ти пишеш глупости.
Не ползвам cPanel и нямам идея какво и как обработва, но в моите логове не съм виждал стринг на потребителски агент, който да не съдържа някакви по-разбираеми думи. Най-малкото почти задължително на всеки пише да речем Мозила/5.0. Далеч съм от мисълта да му предлагам блокиране на IP-та, при положение, че например MJ12bot всеки път използва различно и то от всички краища на света. Това би било пълна лудост. Но този бот, ако е един и същ, най-вероятно ползва еднакъв стринг и смятах да търсим начин точно по него да го блокираме. Надявам се, че сега ме разбра.
 
Някои признаци, по които аз разпознавам ботовете:
  • Нямат User-Agent (това е лесно)
  • Не поддържат компресия (Accept-Encoding header)
  • Не могат да отварят HTTPS (качването на страницата за регистрация върху HTTPS спира повечето ботове, а точно тя е редно да е криптирана и за потребителите)
 
Не ползвам cPanel и нямам идея какво и как обработва, но в моите логове не съм виждал стринг на потребителски агент, който да не съдържа някакви по-разбираеми думи. Най-малкото почти задължително на всеки пише да речем Мозила/5.0. Далеч съм от мисълта да му предлагам блокиране на IP-та, при положение, че например MJ12bot всеки път използва различно и то от всички краища на света. Това би било пълна лудост. Но този бот, ако е един и същ, най-вероятно ползва еднакъв стринг и смятах да търсим начин точно по него да го блокираме. Надявам се, че сега ме разбра.

1. AWstat не е нито разработка на cPanel, нито негов компонент. Това е 3rd party software, който може да се инсталира и на хост без контролен панел.
2. Не е един бот, а са различни контент скрапери, експлойт скенери и т.н. Не е 1 IP, не е един хост, не е един вид, Всичко по което може да се обединят е общия регулярен израз , който търси за служебните символи _+:,.;/\- в user-agent часта на http request хедъра.

В това число попадат и ботовете на онази олигофрения ahrefs bot, която някой по погрешка е назовал SEO tool.
 

Горе