Това ботове ли са???

paobg

paobg

New member
Здравейте,

От известно време забелязах, че едни от най - редовните посетели на едно от сайтчетата ми са две уж Софийски IP-та. Не знам до колко е редно да ги споменавам, но ако държите ще ги постна.

Та всеки божи ден по няколко пъти тези въпросните "потребители" взлизат на сайта, като интересното тук е, че в 90% от случаите времето прекарано на сайта е еднакво. Е да речем че под "еднакво" разбирам разлика в инервала 5-10 сек. Всяко едно такова посещение е по около 8 мин и 40 сек. Интересното също е, че не всеки път се посещават едни и същи страници, както и не се влиза на едни и същи странички.

Това обаче, което ме учуди най-много е това, че всички посещения са директни, НО само едно от тях /забравих да спомена, че това е статистика за последните 2 месеца/ е през друг сайт и това е форума на Джумла!

В крайна сметка мога ли по някакъв начин да разбера със сигурност, че това са ботове, или има вероятност това да са някакви много запалени Фенове, който влизат в сайта с хронометър 😛
 
Re: Това ботове ли са???

Това от колко време се повтаря, ПАО? Ако е над седмица така...със сигурност май са ботчета 🙂
 
Re: Това ботове ли са???

Отиди в awstats от cpanel и при раздела с IP-адреси виж дали за тези ip-ta броя на Pages/Страници е точно същото като броя на Hits/Хита. По мои наблюдения ботовете имат винаги абслютно еднакви числа за двете неща, а хората различни.
 
Re: Това ботове ли са???

flasher каза:
има ли нещо, което да ги привлича към тези страници редовно?

какав хост отговаря на IP-тата
Увеличете...

Честно казано незнам какво може да ги привлича, става въпрос за втория сайт от подписа. Смисъл сайта не е някакъв новинарски, в който да се четат ежедневно някакви новини или прочие.

Това за хост-та не успях да го схвана особено. Как може да се провери? Като ги сканна през bgwhois ми изкрава за Организация: Multimedia BG EOOD, а за Доставчик: Spectrum NET

Plamen1986 каза:
Това от колко време се повтаря, ПАО? Ако е над седмица така...със сигурност май са ботчета 🙂
Увеличете...

Определено е над седмица. Около един-два месеца.
 
Последно редактирано:
Re: Това ботове ли са???

scoobydoo каза:
Отиди в awstats от cpanel и при раздела с IP-адреси виж дали за тези ip-ta броя на Pages/Страници е точно същото като броя на Hits/Хита. По мои наблюдения ботовете имат винаги абслютно еднакви числа за двете неща, а хората различни.
Увеличете...

За едното IP ми вади различни бройки: Страници-105, а Хита-776.
Другото IP пак така.. само, че с други стойности: Страници-363, а Хита-1449.
 
Последно редактирано:
Re: Това ботове ли са???

paobg каза:
За едното IP ми вади различни бройки: Страници-105, а Хита-776.
Другото IP пак така.. само, че с други стойности: Страници-363, а Хита-1449.
Увеличете...

Изтегли суровите логове (raw logs или нещо такова, в cpanel-а) за тоя сайт и отвори файла с текстов редактор. Намери с ctrl+f за тия ip-та редовете и копни тук по 1 два реда да ги видим. Ако искаш изтрий самите ip-та за да не ги виждаме.
 
Re: Това ботове ли са???

Тва за първото IP. Слагам няколко реда от 01.04 иначе това е всеки ден и горе долу подобни са редовете, като както споменах по-горе това става няколко пъти на ден и за всяко взлизане има поне по 20-30 реда лог.
Код: 
 - - [01/Apr/2011:13:23:18 +0300] "GET / HTTP/1.1" 200 8391 "http://pao.bg/%D0%BA%D0%BE%D0%BD%D1%82%D0%B0%D0%BA%D1%82%D0%B8" "Mozilla/5.0 (Windows; U; Windows NT 5.1; en-US; rv:1.9.2.16) Gecko/20110319 Firefox/3.6.16"
- - [01/Apr/2011:13:23:30 +0300] "GET /plugins/content/SearchEngineKeywordHighlightjsv/se_hilite.css HTTP/1.1" 200 150 "http://pao.bg/" "Mozilla/5.0 (Windows; U; Windows NT 5.1; en-US; rv:1.9.2.16) Gecko/20110319 Firefox/3.6.16"
- - [01/Apr/2011:13:23:30 +0300] "GET /plugins/system/cdscriptegrator/libraries/highslide/css/cssloader.php?files[]=highslide.css HTTP/1.1" 200 1146 "http://pao.bg/" "Mozilla/5.0 (Windows; U; Windows NT 5.1; en-US; rv:1.9.2.16) Gecko/20110319 Firefox/3.6.16"
- - [01/Apr/2011:13:23:30 +0300] "GET /plugins/system/cdscriptegrator/libraries/highslide/js/jsloader.php?files[]=highslide-full.min.js HTTP/1.1" 200 21027 "http://pao.bg/" "Mozilla/5.0 (Windows; U; Windows NT 5.1; en-US; rv:1.9.2.16) Gecko/20110319 Firefox/3.6.16"

Ето и малко от 02.04

Код: 
- - [02/Apr/2011:17:49:34 +0300] "GET / HTTP/1.1" 200 8184 "http://pao.bg/%D0%BA%D0%BE%D0%BD%D1%82%D0%B0%D0%BA%D1%82%D0%B8" "Mozilla/5.0 (Windows; U; Windows NT 5.1; en-US; rv:1.9.2.16) Gecko/20110319 Firefox/3.6.16"
- - [02/Apr/2011:17:49:49 +0300] "GET /plugins/content/SearchEngineKeywordHighlightjsv/se_hilite.css HTTP/1.1" 200 150 "http://pao.bg/" "Mozilla/5.0 (Windows; U; Windows NT 5.1; en-US; rv:1.9.2.16) Gecko/20110319 Firefox/3.6.16"
- - [02/Apr/2011:17:49:49 +0300] "GET /modules/mod_jabulletin/assets/style.css HTTP/1.1" 200 1044 "http://pao.bg/" "Mozilla/5.0 (Windows; U; Windows NT 5.1; en-US; rv:1.9.2.16) Gecko/20110319 Firefox/3.6.16"
- - [02/Apr/2011:17:49:49 +0300] "GET /plugins/system/cdscriptegrator/libraries/highslide/css/cssloader.php?files[]=highslide.css HTTP/1.1" 200 1146 "http://pao.bg/" "Mozilla/5.0 (Windows; U; Windows NT 5.1; en-US; rv:1.9.2.16) Gecko/20110319 Firefox/3.6.16"
- - [02/Apr/2011:17:49:49 +0300] "GET /plugins/system/JCH_Optimize/gz/263e4890e345c8596e26b735b30a7b85.css HTTP/1.1" 200 8241 "http://pao.bg/" "Mozilla/5.0 (Windows; U; Windows NT 5.1; en-US; rv:1.9.2.16) Gecko/20110319 Firefox/3.6.16"
- - [02/Apr/2011:17:49:49 +0300] "GET /plugins/system/cdscriptegrator/libraries/highslide/js/jsloader.php?files[]=highslide-full.min.js HTTP/1.1" 200 21027 "http://pao.bg/" "Mozilla/5.0 (Windows; U; Windows NT 5.1; en-US; rv:1.9.2.16) Gecko/20110319 Firefox/3.6.16"
- - [02/Apr/2011:17:49:50 +0300] "GET /plugins/content/SearchEngineKeywordHighlightjsv/se_hilite.js HTTP/1.1" 200 3075 "http://pao.bg/" "Mozilla/5.0 (Windows; U; Windows NT 5.1; en-US; 
- - [02/Apr/2011:17:49:50 +0300] "GET /plugins/system/cdscriptegrator/libraries/jquery/js/jsloader.php?files[]=jquery-1.4.4.min.js&files[]=jquery-noconflict.js HTTP/1.1" 200 27094 "http://pao.bg/" "Mozilla/5.0 (Windows; U; Windows NT 5.1; en-US; rv:1.9.2.16) Gecko/20110319 Firefox/3.6.16"
- - [02/Apr/2011:17:49:50 +0300] "GET /plugins/system/JCH_Optimize/gz/5c0df68fbc864d8de0120cb393a30a9c.js HTTP/1.1" 200 25206 "http://pao.bg/" "Mozilla/5.0 (Windows; U; Windows NT 5.1; en-US; rv:1.9.2.16) Gecko/20110319 Firefox/3.6.16"
- - [02/Apr/2011:17:49:50 +0300] "GET /modules/mod_s5_image_and_content_fader/images/blank.gif HTTP/1.1" 200 43 "http://pao.bg/" "Mozilla/5.0 (Windows; U; Windows NT 5.1; en-US; rv:1.9.2.16) Gecko/20110319 Firefox/3.6.16"


За другото IP ме ми вади нищо защото лога е за Април месец, а това IP пследно е влизало края на Март, като есетествено цялостната картинка е подобна.
 
Последно редактирано:
Re: Това ботове ли са???

Като гледам какво е "чел" по линковете, смятам, че това 100% е бот. Но в крайна сметка, ако няма враждебни действия или не е много агресивен и да претоварва сървъра ти, не виждам какво ти пречи.
 
Re: Това ботове ли са???

diabolic.bg каза:
Като гледам какво е "чел" по линковете, смятам, че това 100% е бот. Но в крайна сметка, ако няма враждебни действия или не е много агресивен и да претоварва сървъра ти, не виждам какво ти пречи.
Увеличете...

Въобще не ми пречи, но ми стана интересно да разбра какво е точно, тъй като има черти да е бот, но и др такива, че не е 🙂
 
Re: Това ботове ли са???

paobg каза:
Въобще не ми пречи, но ми стана интересно да разбра какво е точно, тъй като има черти да е бот, но и др такива, че не е 🙂
Увеличете...
Имам инсталиран и работещ капан за спам ботове. Като ги гледам на моменти се чудя кой си играе толкова да ги усъвършенства - регистрира се като човек, слага си данните по полетата, че даже и аватар и подпис са му предвидени.

И после в крайна сметка поства простотии на кило, ама аз им се радвам - досега съм изловил 3938 парчета. 😀
Извинявам се, че малко излизам от темата!
 
Последно редактирано:
Re: Това ботове ли са???

@diabolic.bg
Как разбра че е бот? По това че се зареждат js файлове и плъгини ли? Аз мисля че това е нормално. На мен все повече ми прилича на човек. Но не твърдя че разбирам от тези работи много де 🙂. Би ли пояснил ако може.
 
Re: Това ботове ли са???

scoobydoo каза:
@diabolic.bg
Как разбра че е бот? По това че се зареждат js файлове и плъгини ли? Аз мисля че това е нормално. На мен все повече ми прилича на човек. Но не твърдя че разбирам от тези работи много де 🙂. Би ли пояснил ако може.
Увеличете...
Ами от една страна е това, което беше изтъкнато - постоянното време на посещенията, от друга - чете само сорса. Ако е човек, все ще кликне на линк, който го интересува, освен ако не е тръгнал да краде сорс кода на страниците, но тогава пък ще действа много по-бързо. Колко време му е нужно, за да смъкне един цял сайт и после ако иска да си го преработва за себе си. Имам много наблюдения върху поведението на ботовете - легални или не, защото от няколко години се занимавам с това - ловът на спамъри е почти като лов на животни в гората. 😀
Никой човек няма да посещава с месеци една и съща страница, освен ако не е идиот, а ботовете често го правят, защото търсят евентуални изменения.
Трудно е точно да формулирам причините, просто може да го наречеш и усет, който съм изградил с времето. 🙂 Разбира се, не изключвам и да греша - не го познавам лично... 😀
 
Последно редактирано:
Re: Това ботове ли са???

Ако обърна внимание в извадките от лога няма един ред с линк, който води до някаква четима информация - само плъгини и скриптове, които човек не биха го интересували. Те си се зареждат, а човекът си чете текста или гледа картинките по сайта. Ако миришеш едно цвете, нали не мислиш какви молекули носят миризмата до носа ти? 😀
Това може да е контент скрепер или нещо друго, но не смятам, че човек би записал точно това в лог файла.
 
Re: Това ботове ли са???

гледайки лога - бот за имейли. 🙂 а гледайки джавата дето крие имейлите, явно не ги взима 🙂, освен ако някой не се опитва да го настрой за джаваскрипт и си тества.
Скриптовете са си част от страницата, но едвали бота ги разбира/чете/интересува се от тях.
 
Последно редактирано:
Re: Това ботове ли са???

diabolic.bg каза:
Ако обърна внимание в извадките от лога няма един ред с линк, който води до някаква четима информация - само плъгини и скриптове, които човек не биха го интересували. Те си се зареждат, а човекът си чете текста или гледа картинките по сайта. Ако миришеш едно цвете, нали не мислиш какви молекули носят миризмата до носа ти? 😀
Това може да е контент скрепер или нещо друго, но не смятам, че човек би записал точно това в лог файла.
Увеличете...

Хм..
Ами има в началото и на двете извадки се GET-ва /. Това не е ли началната страница? А след това се зареждат нейните елементи. Със сигурност зареждането на js и css се прави и при хора, сега проверих в едни мои логове 🙂. Така че все още не ми е ясно как се разбира че е бот.
 
Re: Това ботове ли са???

azsym каза:
гледайки лога - бот за имейли. 🙂 а гледайки джавата дето крие имейлите, явно не ги взима 🙂, освен ако някой не се опитва да го настрой за джаваскрипт и си тества.
Скриптовете са си част от страницата, но едвали бота ги разбира/чете/интересува се от тях.
Увеличете...
Ботът, който "чете" със сигурност не разбира и не се интересува, но този, който го е пратил, явно има интерес.
scoobydoo каза:
Хм..
Ами има в началото и на двете извадки се GET-ва /.
Увеличете...

scoobydoo, ботът ползва същите заявки като човека (GET|HEAD|POST). Със сигурност всички плъгини се зареждат и при човек - аз съм го казал и в предния си пост, но човекът търси текста или нещо друго във вид на информация и щеше да си личи. Наистина тук са малки извадки, ако се види целия лог, може да се окаже, че греша. Но все пак в извадките няма нито един работещ (водещ към информация, а не част от "тухлите" на сайта) линк. Затова аз поне смятам, че не е човек. Пък и човек не би стоял всеки ден точно по 4 мин. 40 сек. 😀
 
Последно редактирано:
Re: Това ботове ли са???

За времето съм съгласен че издава ботовете, примерно при мен идват едни дето влизат точно на всеки 30 минути или нещо такова. По това си личи, но просто искам да разбера и други начини за откриването им за това питам 🙂.
 
Re: Това ботове ли са???

В инетрес на истината като се загледам из лога има и генериране на изображения. Смисъл сайта е магазин и има линкчета за увеличаване на изображението. Поне така си мисля.

Ако искате може да Ви го изпратя на ЛС.
 
Трябва да си влезнал или регистриран, за да отговориш тук.

Back
Горе