Натоварване на хостинга от търсачките

Re: Натоварване на хостинга от търсачките

Виж и статистическия софтуер на хоста от кои IP адреси се генерира най-много трафик. Има вероятност да е от безпредметно индексиране от руски ботове, които с нищо не помагат за предвижването ти напред в SERP-а.
 
Re: Натоварване на хостинга от търсачките

Обърни внимание и на nsnbot. Той има навика понякога да рови яко по сайтовете и собено когато са по-големи е ужас. Хващам го вече два пъти. Добре, че е инцидентно, но при следващия път ще се разделя с него. Оня ден ми беше дигнал три пъти процесорното време. Също и Яндекса прави големи бели. На сайта им поне има подробна информация за робот текста и можеш да ограничиш индексирането на най-товарещите адреси.
 
Последно редактирано:
Re: Натоварване на хостинга от търсачките

Незнам за този Руски бот съм му блокирал вече три IP-та.
Сега се оказа че ме е натоварила търсачката cuil dot com
Сложил съм в robots - Crawl-delay, но верно е че на никой бот не му пука за това.

А за да блокираме Yandex бота, така ли трябва да изглежда robots.txt, при положение че е в главната директория на сайта?
User-agent: yandex bot
Disallow: /
Увеличете...
Ако става така може да опитам.
 
Re: Натоварване на хостинга от търсачките

Аз май ще почна да блокирам някои търсачки направо от контролния панел на хостинга. Първо смятам да погледна в логовете и там да видя кои идват и с кои IP-та, а после ще ги забраня от контролния панел (Филтрация на IP или IP Deny Manager).
 
Re: Натоварване на хостинга от търсачките

scoobydoo каза:
А за да блокираме Yandex бота, така ли трябва да изглежда robots.txt, при положение че е в главната директория на сайта?
User-agent: yandex bot
Disallow: /
Увеличете...

Робота пак ще дойде - най-малко да прочете роботс.тхт.
Иначе само с
Код: 
User-agent: Yandex
Disallow: /
ще забраниш индексацията.

+ всички роботи са тук http://help.yandex.ru/webmaster/?id=995296#995329
 
Трябва да си влезнал или регистриран, за да отговориш тук.

Back
Горе