Съобщение

Collapse
No announcement yet.

Как да огранича честотата на сканиране от бота на Bing?

Collapse
X
  • Филтър
  • Период
  • Показване на
Clear All
нови коментари

  • Как да огранича честотата на сканиране от бота на Bing?

    Колеги, как да огранича честотата на сканиране на даден сайт от бота на Bing

    не да го спирам, а по-рядко да сканира, че сега много товари сървъра

    Това пробвали ли сте го -

    Click image for larger version

Name:	563240eb7461037c639224cb4c59ed83.jpg
Views:	1
Size:	21.7 KB
ID:	1059
    Последна редакция от borislav123; 10-05-2013, 10:33 AM.

  • #2
    За: Как да огранича честотата на сканиране от бота на Bing?

    Това не съм го ползвал, но на скоро направих това в robots.txt. Надявам се да работи.

    User-agent: msnbot
    Crawl-delay: 10

    Източник: http://www.bing.com/blogs/site_blogs...er-msnbot.aspx

    Коментар


    • #3
      Re: Как да огранича честотата на сканиране от бота на Bing?

      Мерси!

      Коментар


      • #4
        За: Как да огранича честотата на сканиране от бота на Bing?

        Първоначално публикувано от scoobydoo View Post
        Това не съм го ползвал, но на скоро направих това в robots.txt. Надявам се да работи.

        User-agent: msnbot
        Crawl-delay: 10

        Източник: http://www.bing.com/blogs/site_blogs...er-msnbot.aspx
        Това за съжаление при мен не работи, тествах, и не става, затова се наложи направо да банна бота на msn. Направо разковаваше хостинга три дни подред, ЦПУ минутите ми литнаха на 250 при лимит 110. И се наложи директно да му дам банана, след време може пак да го пусна но за сега ще е така.

        Коментар


        • #5
          За: Как да огранича честотата на сканиране от бота на Bing?

          Лошо. Аз видях в някви форуми че и там казват че не работело при тях това. Чудя се дали онова в уебмастър тулса е по-надеждно или и аз да го блокирам...

          Коментар


          • #6
            За: Как да огранича честотата на сканиране от бота на Bing?

            Най-сигурния метод е през Bing Webmaster Tools. Все още обаче се наблюдава проблем, който от bing не са обяснили. Идват 3-4 бота на сайта и почват да индексират едно и също съдържание, като влизат в loop. За по-голям сайт с tag-cloud или search поле на началната страница е направо убийствено.

            Коментар


            • #7
              За: Как да огранича честотата на сканиране от бота на Bing?

              От известно време се боря с ботовете на Бинг. Тия гадини идват от 4-5 IP-та и лапат процесорно време като луди. Оня ден ми бяха лапнали повече от 35 мин. Аз съм решил въпроса с robots.txt. Тъй като знам, че ровят най-много по форума към сайта и на още 2-3 места във файла забранявам само тези адреси. и примерно в събота и неделя когато натоварването по принцип си е малко махам забраната за да си сканират какво то си искат.
              Това сработва идеално.

              Коментар


              • #8
                За: Как да огранича честотата на сканиране от бота на Bing?

                Разбрах, че Бинг има и още един юсер агент. Пише, че се спазвал и стария, обаче за всеки случай аз добавих и двата. А също и от webmater tools зададох минимума за всички часове. Дано това е достатъчно за да го овладее

                User-agent: msnbot
                Crawl-delay: 10

                User-agent: bingbot
                Crawl-delay: 10

                Коментар


                • #9
                  За: Как да огранича честотата на сканиране от бота на Bing?

                  Първоначално публикувано от scoobydoo View Post
                  Разбрах, че Бинг има и още един юсер агент. Пише, че се спазвал и стария, обаче за всеки случай аз добавих и двата. А също и от webmater tools зададох минимума за всички часове. Дано това е достатъчно за да го овладее

                  User-agent: msnbot
                  Crawl-delay: 10

                  User-agent: bingbot
                  Crawl-delay: 10
                  И още: Adidxbot, BingPreview

                  Коментар


                  • #10
                    За: Как да огранича честотата на сканиране от бота на Bing?

                    @gogobg
                    Мерси

                    Коментар


                    • #11
                      За: Как да огранича честотата на сканиране от бота на Bing?

                      Но все пак най-сигурно си остава през Bing Webmaster Tools

                      Коментар


                      • #12
                        За: Как да огранича честотата на сканиране от бота на Bing?

                        Първоначално публикувано от s1yf0x View Post
                        Но все пак най-сигурно си остава през Bing Webmaster Tools
                        Напълно съм съгласен. Понеже имам изключително слаб трафик от Бинг, още преди близо година ограничих наполовина от Bing Webmaster Tools честотата на сканиране. През графичния интерфейс, който са направили това е работа за 30 секунди. От тогава насам нямам никакво натоварване от техните роботи - идват максимум по два, четат няколко страници и се разкарват, а това не пречи при тях резултатите ми да излизат в първата тройка.

                        Коментар


                        • #13
                          Привет
                          И аз имам проблеми с този бот. Сложил съм и двата вида ограничения, но искам да питам има ли възможност да се посочи да идва веднъж в седмицата или месеца да си сканира. или само това са ограниченията

                          Коментар

                          Изчакайте...
                          X