Съобщение

Collapse
No announcement yet.

забрана с robots.txt

Collapse
X
  • Филтър
  • Период
  • Показване на
Clear All
нови коментари

  • забрана с robots.txt

    Искам да забраня на търсачките да влизат в 2 директории от сайта.
    Сложих robots.txt в директорията където са папките (главната), но забелязавам, че не го признават и си влизат в тези папки.
    Ето как изглежда:

    User-agent: *
    Disallow: /papka/
    Disallow: /papka2/
    Какво може да съм пропуснал/объркал?

  • #2
    Re: забрана с robots.txt

    Така просто забраняваш да се индексират директориите. Но ако има връзки към тях ще се покажат в SERP с описание, генерирано от anchor текстовете на връзките.

    Коментар


    • #3
      Re: забрана с robots.txt

      виждам, че яндекс е индескирал всички файлове от папката преди да сложа robots.txt. Сега очаквах да го спре да не влиза отново, но от лог файла виждам, че влиза и си рови необезпокоявано по тези директории.

      Не би ли трябвало да действа някаква забрана като стигне до папка papka, papka2 (въпреки, че са индексирани)

      Коментар


      • #4
        Re: забрана с robots.txt

        Да не би да слагаш robots.txt в папка различна от главната за домейна.
        Или ако първо са индексирани и после си сложил файла, трябва все пак да изчакаш известно време преди да се деиндексрат (а и може да не стане дори никога ако имат беклинкове, най-сигурно е с мета таг за noindex).

        Коментар


        • #5
          Re: забрана с robots.txt

          Сложен е в правилната папка на домейна, беклинкове няма, ще чакам да се деиндексира.

          Коментар


          • #6
            Re: забрана с robots.txt

            Първоначално публикувано от yordanp View Post
            Сложен е в правилната папка на домейна, беклинкове няма, ще чакам да се деиндексира.
            провери ли през http://webmaster.yandex.ru/robots.xml ?

            На 1-2 ъпдейта трябва да го вземе предвид.

            +

            Яндекса обича когато му пишеш лично

            User-agent: *
            Disallow: /papka/
            Disallow: /papka2/

            User-agent: Yandex
            Disallow: /papka/
            Disallow: /papka2/

            Host: урл с ввв или без (зависи от случая)
            Последна редакция от gvv; 09-01-2011, 06:42 PM.

            Коментар


            • #7
              Re: забрана с robots.txt

              Забраних отделно за Яндекс:

              User-agent: *
              Disallow: /papka/
              Disallow: /papka2/

              User-agent: Yandex
              Disallow: /papka/
              Disallow: /papka2/
              В Yandex webmaster няма изменения.
              Остава да чакам някой друг ъпдейт да се отчетат промените.

              Коментар


              • #8
                Re: забрана с robots.txt

                Странното е, че въпреки че имам файл robots.txt
                в файла error.log ми показва, че не съществува такъв:
                error] [client 66.249.66.137] File does not exist: /domain.com/robots.txt

                Коментар


                • #9
                  Re: забрана с robots.txt

                  Първоначално публикувано от yordanp View Post
                  Странното е, че въпреки че имам файл robots.txt
                  в файла error.log ми показва, че не съществува такъв:
                  зарежда ли се на адрес
                  domain.tld/robots.txt

                  Коментар


                  • #10
                    Re: забрана с robots.txt

                    Да, зарежда се.

                    Коментар


                    • #11
                      Re: забрана с robots.txt

                      Тука дава ли грешка: http://tool.motoricerca.info/robots-checker.phtml

                      Коментар


                      • #12
                        Re: забрана с robots.txt

                        Не виждам грешка, само това ми изписва:
                        WARNING: The block of code addressed to all spiders (User-agent: *) is not the last one. We advise you to move it at the bottom of the robots.txt file, to reduce interpretation problems with some old robots.

                        Коментар


                        • #13
                          Re: забрана с robots.txt

                          Така и не разбрах, дали си го проверил през
                          Първоначално публикувано от gvv View Post
                          или аналога му в Google Webmasters?

                          Коментар


                          • #14
                            Re: забрана с robots.txt

                            Не искам да те притеснявам, но ботовете на Яндекс се държат като хулигани и тотално нарушават забраните на robots.txt. Това са мои продължителни наблюдения, след които се принудих и аз да ги забраня. Затова по-добре си сложи в двете папки по един .htaccess файл със съдържание

                            Code:
                            RewriteEngine On 
                            RewriteBase /
                            
                            RewriteCond %{HTTP_USER_AGENT} ^Yandex/ [NC]  
                            RewriteRule ^.* - [F,L]
                            При такава забрана вече няма къде да вървят.

                            Коментар


                            • #15
                              Re: забрана с robots.txt

                              Да, цитатът е от http://webmaster.yandex.ru/robots.xml

                              Коментар

                              Изчакайте...
                              X