diabolic.bg
The Old Wastelander
Преди година или малко повече ликвидирах един свой сайт. Подадох молба за премахване на адресите от индекса и както пише там го забраних с robots.txt.
Поради това, че наказанието ми от Г. продължава повече от 2 месеца, подадох молба за ускорено сканиране на сайта от ботовете. Тя влезе в сила от вчера. Днес се надявах да имам голямо количество отстранени грешки от спирането на сървъра преди два месеца по технически причини.
Обаче с ужас открих, че ботовете са наблегнали в търсенето на премахнатия сайт и в момента имам почти 6000 линка, забранени от robots.txt.
Как да накарам тъпите ботове да престанат да търсят липсващия сайт?
Поради това, че наказанието ми от Г. продължава повече от 2 месеца, подадох молба за ускорено сканиране на сайта от ботовете. Тя влезе в сила от вчера. Днес се надявах да имам голямо количество отстранени грешки от спирането на сървъра преди два месеца по технически причини.
Обаче с ужас открих, че ботовете са наблегнали в търсенето на премахнатия сайт и в момента имам почти 6000 линка, забранени от robots.txt.
Как да накарам тъпите ботове да престанат да търсят липсващия сайт?