SearchEngines.bg

Това е примерно съобщение за гост. Регистрирайте безплатен акаунт днес, за да станете потребител на SearchEngines.bg! След като влезете, ще можете да участвате в този сайт, като добавите свои собствени теми и публикации, както и да се свържете с други членове чрез вашата лична входяща кутия! Благодарим ви!

Как да огранича честотата на сканиране от бота на Bing?

borislav123

New member
Колеги, как да огранича честотата на сканиране на даден сайт от бота на Bing

не да го спирам, а по-рядко да сканира, че сега много товари сървъра

Това пробвали ли сте го -

bing-Untitled-1.jpg
 
Последно редактирано:
За: Как да огранича честотата на сканиране от бота на Bing?

За: Как да огранича честотата на сканиране от бота на Bing?

Това не съм го ползвал, но на скоро направих това в robots.txt. Надявам се да работи.

User-agent: msnbot
Crawl-delay: 10

Източник: http://www.bing.com/blogs/site_blog.../crawl-delay-and-the-bing-crawler-msnbot.aspx
 
За: Как да огранича честотата на сканиране от бота на Bing?

За: Как да огранича честотата на сканиране от бота на Bing?

Това не съм го ползвал, но на скоро направих това в robots.txt. Надявам се да работи.

User-agent: msnbot
Crawl-delay: 10

Източник: http://www.bing.com/blogs/site_blog.../crawl-delay-and-the-bing-crawler-msnbot.aspx

Това за съжаление при мен не работи, тествах, и не става, затова се наложи направо да банна бота на msn. Направо разковаваше хостинга три дни подред, ЦПУ минутите ми литнаха на 250 при лимит 110. И се наложи директно да му дам банана, след време може пак да го пусна но за сега ще е така.
 
За: Как да огранича честотата на сканиране от бота на Bing?

За: Как да огранича честотата на сканиране от бота на Bing?

Лошо. Аз видях в някви форуми че и там казват че не работело при тях това. Чудя се дали онова в уебмастър тулса е по-надеждно или и аз да го блокирам...
 
За: Как да огранича честотата на сканиране от бота на Bing?

За: Как да огранича честотата на сканиране от бота на Bing?

Най-сигурния метод е през Bing Webmaster Tools. Все още обаче се наблюдава проблем, който от bing не са обяснили. Идват 3-4 бота на сайта и почват да индексират едно и също съдържание, като влизат в loop. За по-голям сайт с tag-cloud или search поле на началната страница е направо убийствено.
 
За: Как да огранича честотата на сканиране от бота на Bing?

За: Как да огранича честотата на сканиране от бота на Bing?

От известно време се боря с ботовете на Бинг. Тия гадини идват от 4-5 IP-та и лапат процесорно време като луди. Оня ден ми бяха лапнали повече от 35 мин. Аз съм решил въпроса с robots.txt. Тъй като знам, че ровят най-много по форума към сайта и на още 2-3 места във файла забранявам само тези адреси. и примерно в събота и неделя когато натоварването по принцип си е малко махам забраната за да си сканират какво то си искат.
Това сработва идеално.
 
За: Как да огранича честотата на сканиране от бота на Bing?

За: Как да огранича честотата на сканиране от бота на Bing?

Разбрах, че Бинг има и още един юсер агент. Пише, че се спазвал и стария, обаче за всеки случай аз добавих и двата. А също и от webmater tools зададох минимума за всички часове. Дано това е достатъчно за да го овладее :D

User-agent: msnbot
Crawl-delay: 10

User-agent: bingbot
Crawl-delay: 10
 
За: Как да огранича честотата на сканиране от бота на Bing?

За: Как да огранича честотата на сканиране от бота на Bing?

Разбрах, че Бинг има и още един юсер агент. Пише, че се спазвал и стария, обаче за всеки случай аз добавих и двата. А също и от webmater tools зададох минимума за всички часове. Дано това е достатъчно за да го овладее :D

User-agent: msnbot
Crawl-delay: 10

User-agent: bingbot
Crawl-delay: 10
И още: Adidxbot, BingPreview
 
За: Как да огранича честотата на сканиране от бота на Bing?

За: Как да огранича честотата на сканиране от бота на Bing?

Но все пак най-сигурно си остава през Bing Webmaster Tools
 
За: Как да огранича честотата на сканиране от бота на Bing?

За: Как да огранича честотата на сканиране от бота на Bing?

Но все пак най-сигурно си остава през Bing Webmaster Tools
Напълно съм съгласен. Понеже имам изключително слаб трафик от Бинг, още преди близо година ограничих наполовина от Bing Webmaster Tools честотата на сканиране. През графичния интерфейс, който са направили това е работа за 30 секунди. От тогава насам нямам никакво натоварване от техните роботи - идват максимум по два, четат няколко страници и се разкарват, а това не пречи при тях резултатите ми да излизат в първата тройка. :)
 
Привет
И аз имам проблеми с този бот. Сложил съм и двата вида ограничения, но искам да питам има ли възможност да се посочи да идва веднъж в седмицата или месеца да си сканира. или само това са ограниченията
 

Горе