Преразгледайте подробно посещенията си.

Federal

Federal

New member
От няколко дни има голям наплив на спам ботове. При мен форума почти беше блокирал с над 170 минути процесорно време за първия ден и 220 за втори. 66 хил. презареждания и около 500 мегабайта трафик.

Обръщам внимание към тези, които не влизат редовно в хост акаунта си, да следят по-често стоиностите и IP на посетителите, за да не останете неприятно изненадани. Ако сайта ви започне да се "влачи" потърсете причината първо в Awstats.
 
Re: Преразгледайте подробно посещенията си.

От крайно време трафикът от ботове преобладава. Да не кажа, че е над 80%. Особено при някои по-тясно специализирани стари сайтове и повече.

От около месец тествам едно мое изобретение за блокиране на зли ботове, които само товарят, крадат съдържание и прочие. Ето кодът:

Код: 
# Block bad bots
<IfModule mod_rewrite.c>
RewriteEngine On
RewriteCond %{HTTP_USER_AGENT} !(YandexBot|bingbot|msnbot|ia_archiver) [NC]
RewriteCond %{HTTP_USER_AGENT} ="" [OR]
RewriteCond %{HTTP:Accept-Encoding} =""
RewriteRule .* - [F,L]
</IfModule>

Скриптът разчита на това, че добрите ботове и браузърите винаги имат user-agent + поддържат gzip компресия. Съответно лошите нямат поне едно от тези две изисквания. Някои от добрите ботове, като Bing и Yandex и те падат в капана, въпреки че по протокол и представени данни от тях трябва да ги имат тези хедъри, но не винаги, затова слагаме изключения за тях.

Който иска може да използва кода, но внимателно, не давам гаранции, че нещо друго няма да се обърка. Най-добре да се използва само когато има някакъв проблем, примерно нашествие на ботове или агрегатори ни крадат съдържанието без да им знаем IP-тата. Има някои странични ефекти, примерно блокира FB, но те за всяка услуга ботът им се казва по различен начин. Може да се включат като изключение.
 
Re: Преразгледайте подробно посещенията си.

Код: 
RewriteCond %{HTTP_USER_AGENT} !(YandexBot|bingbot|msnbot|ia_archiver) [NC]
RewriteCond %{HTTP_USER_AGENT} ="" [OR]

Васко, мисля че така написано, ще трябва двете директиви да се изпълняват заедно т.е. кодът ще проверява дали юзърагентите не са изброените И дали са празни едновременно, което няма как да е вярно.
 
Re: Преразгледайте подробно посещенията си.

bgkulinar каза:
Код: 
RewriteCond %{HTTP_USER_AGENT} !(YandexBot|bingbot|msnbot|ia_archiver) [NC]
RewriteCond %{HTTP_USER_AGENT} ="" [OR]

Васко, мисля че така написано, ще трябва двете директиви да се изпълняват заедно т.е. кодът ще проверява дали юзърагентите не са изброените И дали са празни едновременно, което няма как да е вярно.
Увеличете...

Казано най-просто - ако едно от двете липсва, връща 403.

Работи, на много сайтове, досега не е задържало потребител. Googlebot също няма проблеми.
 
За: Преразгледайте подробно посещенията си.

За: Преразгледайте подробно посещенията си.

За втория ден е било
294.23 мин.

Но имам един въпрос
С един акаунт съм и 3 домейна + форум.

Изолирал съм по най-стандартния начин IP адреса в htaccess, който файл е в главната директория.
Имам такъв htaccess и в папката на форума. Къде трябва да правя забраните за достъп според вас?
 
За: Преразгледайте подробно посещенията си.

За: Преразгледайте подробно посещенията си.

А как се разбира, че трафика е от ботове?
 
Re: Преразгледайте подробно посещенията си.

cloxy каза:
От крайно време трафикът от ботове преобладава. Да не кажа, че е над 80%. Особено при някои по-тясно специализирани стари сайтове и повече.

От около месец тествам едно мое изобретение за блокиране на зли ботове, които само товарят, крадат съдържание и прочие. Ето кодът:

Код: 
# Block bad bots
<IfModule mod_rewrite.c>
RewriteEngine On
RewriteCond %{HTTP_USER_AGENT} !(YandexBot|bingbot|msnbot|ia_archiver) [NC]
RewriteCond %{HTTP_USER_AGENT} ="" [OR]
RewriteCond %{HTTP:Accept-Encoding} =""
RewriteRule .* - [F,L]
</IfModule>

Скриптът разчита на това, че добрите ботове и браузърите винаги имат user-agent + поддържат gzip компресия. Съответно лошите нямат поне едно от тези две изисквания. Някои от добрите ботове, като Bing и Yandex и те падат в капана, въпреки че по протокол и представени данни от тях трябва да ги имат тези хедъри, но не винаги, затова слагаме изключения за тях.

Който иска може да използва кода, но внимателно, не давам гаранции, че нещо друго няма да се обърка. Най-добре да се използва само когато има някакъв проблем, примерно нашествие на ботове или агрегатори ни крадат съдържанието без да им знаем IP-тата. Има някои странични ефекти, примерно блокира FB, но те за всяка услуга ботът им се казва по различен начин. Може да се включат като изключение.
Увеличете...

Васко , и за ще тествам кода ти за моя форум, та да видим

че ме нападнаха руски спамери, виагри , Xrumer, стана лудница 😕
 
За: Преразгледайте подробно посещенията си.

За: Преразгледайте подробно посещенията си.

Добре де само не мога да разбера кой и защо пусва тези гадости на хората по сайтовете, каква му е изгодата ....
 
Re: За: Преразгледайте подробно посещенията си.

Re: За: Преразгледайте подробно посещенията си.

lipa каза:
Добре де само не мога да разбера кой и защо пусва тези гадости на хората по сайтовете, каква му е изгодата ....
Увеличете...

Че това се прави и от нашите съфорумници. Като видиш обява от сорта на 2000 профил линка и т.н. за 5$, е това е човека който ще те оспами 😉.
 
Re: За: Преразгледайте подробно посещенията си.

Re: За: Преразгледайте подробно посещенията си.

tipin каза:
А как се разбира, че трафика е от ботове?
Увеличете...

Ботовете обикновено не връщат хедър "Accept-Encoding", просто защото са примитивни и не поддържат никакви компресии. Отделно някои от тях нямат user-agent. По това този код ги хваща 😉
 
Re: Преразгледайте подробно посещенията си.

Дано си прав, че повечето ботове нямат юзер аген хедър...
Не за друго, а щото хедър се добавя само с един ред в кода на бота (да кажем на python/mechanize).
На мен ми е чудно друго - имам един форум с рекапча при регистрация, минават я като нищо... как го правят това и дали не са ръчни регистрации. Имам по 10-на на ден.
 
Re: Преразгледайте подробно посещенията си.

azsym каза:
Дано си прав, че повечето ботове нямат юзер аген хедър...
Не за друго, а щото хедър се добавя само с един ред в кода на бота (да кажем на python/mechanize).
На мен ми е чудно друго - имам един форум с рекапча при регистрация, минават я като нищо... как го правят това и дали не са ръчни регистрации. Имам по 10-на на ден.
Увеличете...

Индийци много.
 
За: Re: Преразгледайте подробно посещенията си.

За: Re: Преразгледайте подробно посещенията си.

azsym каза:
Дано си прав, че повечето ботове нямат юзер аген хедър...
Не за друго, а щото хедър се добавя само с един ред в кода на бота (да кажем на python/mechanize).
На мен ми е чудно друго - имам един форум с рекапча при регистрация, минават я като нищо... как го правят това и дали не са ръчни регистрации. Имам по 10-на на ден.
Увеличете...

В полето за регистрация задай въпрос, относно тематиката ти на форума.
Ако имаш форум за люлякови насаждения, да отговарят на въпроса, какъв е цвета на люляка.
Като отговорят "лилАв" или "lilav" си абосолютно сигурен, че зад регистрацията седи българин, ако ще да излиза с ИП от Мозамбик.
 
Трябва да си влезнал или регистриран, за да отговориш тук.

Back
Горе