Деиндексиране на robots.txt, sitemap.xml и RSS

[cloxy]

Искам да направя тези файлове да не могат да се индексират, но да си изпълняват функционалностите.

Единият вариант е чрез robots.txt. Но малко странно ми се струва да забраня robots.txt в robots.txt 🙂

Другият вариант е чрез X-Robots-Tag HTTP header. При него обаче се чудя дали да са follow или nofollow.

Аз клоня към втория вариант с noindex,nofollow , защото не съм фен на robots.txt, но искам да чуя и други мнения.

 

[Detritus]

За: Деиндексиране на robots.txt, sitemap.xml и RSS

За: Деиндексиране на robots.txt, sitemap.xml и RSS

Според мен ще сработи ако сложиш забраната като първи ред в robots.txt.

 

[scoobydoo]

За: Деиндексиране на robots.txt, sitemap.xml и RSS

За: Деиндексиране на robots.txt, sitemap.xml и RSS

Че кой бот индексира robots.txt 🙂? То гугъл на мен дори и feed-а не ми е индексирал, въпреки че съм сложил и директен линк от менюто дори.

 

[Detritus]

За: Деиндексиране на robots.txt, sitemap.xml и RSS

За: Деиндексиране на robots.txt, sitemap.xml и RSS

Че кой бот индексира robots.txt 🙂? То гугъл на мен дори и feed-а не ми е индексирал, въпреки че съм сложил и директен линк от менюто дори.

Веднага ти отговарям:

http://www.google.bg/search?hl=bg&site=&source=hp&q=info%3Ahttp%3A%2F%2Fsearchengines.bg%2Frobots.txt

Последната една седмица само с калпави циклещи роботи се разправям, та малко си опресних материала.🙂

 

[ivo.apostolov]

За: Деиндексиране на robots.txt, sitemap.xml и RSS

За: Деиндексиране на robots.txt, sitemap.xml и RSS

Google ли пък точно не знаят какво не трябва да индексират, шантава работа...

 

[cloxy]

Re: Деиндексиране на robots.txt, sitemap.xml и RSS

Гугъл изглежда много обича да си индексира robots.txt файлове:

inurl:robots.txt filetype:txt - Google Search

 

[scoobydoo]

За: Деиндексиране на robots.txt, sitemap.xml и RSS

За: Деиндексиране на robots.txt, sitemap.xml и RSS

Хах. Това не го знаех, че са толкова зле. Дори своя роботс файл са индексирали. Странно, как ли избират на кой сайт да индексират този файл и на кой не 😀.

 

[cloxy]

Re: За: Деиндексиране на robots.txt, sitemap.xml и RSS

Re: За: Деиндексиране на robots.txt, sitemap.xml и RSS

Хах. Това не го знаех, че са толкова зле. Дори своя роботс файл са индексирали. Странно, как ли избират на кой сайт да индексират този файл и на кой не 😀.

Ако има връзки към файла, ги проследяват и го индексират 😉

Решението, поне до колкото чета по западните форуми, е:

X-Robots-Tag: noindex

 

[scoobydoo]

За: Деиндексиране на robots.txt, sitemap.xml и RSS

За: Деиндексиране на robots.txt, sitemap.xml и RSS

Аха. Ами явно това ще е. И в тази статия така казват, въпреки че по малко по-различен начин го изписват. Не знам кое е правилно. Сигурно е същата работа.
X-Robots-Tag HTTP header examples - Yoast
<FilesMatch "robots\.txt">
Header set X-Robots-Tag "noindex"
</FilesMatch>

 

[cloxy]

Re: Деиндексиране на robots.txt, sitemap.xml и RSS

Същото е, просто като се вкарва с Apache синтаксисът е друг. Но резултатът, който се получава като хедър, е същия. Аз предпочитам да го набивам с PHP:

<?php header('X-Robots-Tag: noindex,follow'); ?>

 

[bgkulinar]

За: Деиндексиране на robots.txt, sitemap.xml и RSS

За: Деиндексиране на robots.txt, sitemap.xml и RSS

При него обаче се чудя дали да са follow или nofollow.

Аз клоня към втория вариант с noindex,nofollow...

По какви съображения?