X-Robots-Tag noindex проблем

[bgkulinar]

Имам следния код в htaccess файла.

<Files ~ "\.php$">
Header append X-Robots-Tag "noindex"
</Files>

Понеже адресите са пренаписани, а гугъл обича да индексира и реалните, сложих кода, за да спре индексацията на адресите с php. Дълго време си работеше ОК, докато един ден не установих, че сайтът изцяло е изчезнал от индекса.

Дали нещо трябва да се пипне по настройките на апачето?

 

[diabolic.bg]

За: X-Robots-Tag noindex проблем

За: X-Robots-Tag noindex проблем

Не мисля, че причината е в "noindex". Аз също го ползвам в някои свои страници, но още преди да го поставя бях забранил в роботс текста .php файловете, защото всички адреси в сайта ми са пренаписани като .html. Така са вече 7 години и нямам никакви проблеми с индексацията. Мисля, че трябва да търсиш проблема другаде, защото в крайна сметка ноиндекс тага не забранява индексирането на другите адреси и би трябвало те да си вървят нормално, освен ако не си правил някакви промени и неволна грешка да забранява всичко. Провери дали на пренаписаните адреси не се явява същият таг.

 

[diabolic.bg]

За: X-Robots-Tag noindex проблем

За: X-Robots-Tag noindex проблем

Сега ми дойде на ум и друг вариант - да забраниш на търсещите ботове изобщо да пипат РНР файловете:

# Stop Search bots to read .PHP files
RewriteCond %{HTTP_USER_AGENT} ^Googlebot [NC,OR] 
RewriteCond %{HTTP_USER_AGENT} ^Msnbot [NC,OR]
RewriteCond %{HTTP_USER_AGENT} ^Bingbot [NC,OR]
RewriteCond %{HTTP_USER_AGENT} ^Yandex/ [NC,OR]  
RewriteCond %{HTTP_USER_AGENT} ^Slurp [NC] 
RewriteCond %{THE_REQUEST} \.php 
RewriteRule \.php - [F]

 

[bgkulinar]

За: X-Robots-Tag noindex проблем

За: X-Robots-Tag noindex проблем

Чекнах си хедърите, няма значение какъв адрес зареждам, хедърите връщат noindex.

 

[bubatalazi]

Re: За: X-Robots-Tag noindex проблем

Re: За: X-Robots-Tag noindex проблем

Чекнах си хедърите, няма значение какъв адрес зареждам, хедърите връщат noindex.

Пробвай вместо <Files> да ползваш <LocationMatch> . <Files> дава ефект върху файловете след транслацията на mod_rewrite (което в твоя случай предполагам е точано .php файла). <LocationMatch> от друга страна се базира на URL. За справка: Configuration Sections - Apache HTTP Server

 

[cloxy]

Re: X-Robots-Tag noindex проблем

Лично аз бих пробвал така:

<FilesMatch "\.php$">
Header append X-Robots-Tag "noindex"
</FilesMatch>

 

[diabolic.bg]

За: X-Robots-Tag noindex проблем

За: X-Robots-Tag noindex проблем

Чекнах си хедърите, няма значение какъв адрес зареждам, хедърите връщат noindex.

Това потвърждава моето съмнение. Имам друга идея - защо не махнеш кода от htaccess файла и да го вкараш в хедърите с една РНР функция if? Ако URL завършва на .php, хедърът да връща X-Robots-Tag "noindex". Аз така съм направил да ми връща грешка 404 X-Robots-Tag "noindex", когато изтрия някоя тема, защото иначе ми даваше постоянно дублирана информация на страницата "Информация", която съобщава за липсваща тема или пост.
Аз лично смятам, че това е по-лесно и може би по-сигурно решение, отколкото да ръчкаш из настройките на Апача, които са тънка работа.

 

[bgkulinar]

За: X-Robots-Tag noindex проблем

За: X-Robots-Tag noindex проблем

С LocationMatch нещо не успях да се справя с израза, дава ми 500. С FilesMatch не дава noindex на отделните адреси с html, но на главната страница дава noindex.