Това е примерно съобщение за гост. Регистрирайте безплатен акаунт днес, за да станете потребител на SearchEngines.bg! След като влезете, ще можете да участвате в този сайт, като добавите свои собствени теми и публикации, както и да се свържете с други членове чрез вашата лична входяща кутия! Благодарим ви!
Robots.txt НЕ забранява индексирането! Той забранява кроуването. Ако има линкове към страницата, гугъл може да реши да я индексира, въпреки че никога не я е кроувал и не знае какво има на нея. Трябва да се използва мета таг за noindex.
навсякъде чета че се слага в <head> секцията
това няма ли да забрани индексацията на всички страници
Ако не съм разбрал правилно би ли дал как е точния синтаксис
например да не се индексира папка /files/ и прилежащите и подпапки
<?
$uri=$_SERVER["REQUEST_URI"];
$tocheck=substr($uri, 0, 7);
if($tocheck=="/files/")
echo "<meta name='ROBOTS' content='NOINDEX,NOFOLLOW'>";
?>
Да, обаче индексирането става след кроулването.гугъл може да реши да я индексира, въпреки че никога не я е кроувал и не знае какво има на нея.
RewriteEngine On
RewriteCond %{HTTP_REFERER} ^$
RewriteRule ^(.*)$ - [F]
Значи влизаш в панела, след това цъкаш на:
Конфигурация на сайта > Достъп на робота > Премахване на URL адрес > Нова молба за премахване
и естествено в полето попълваш адреса който не желаеш да се показва в резултатите.
Друг е въпросът дали има начин да се следи колко линка, на които е сложен атрибут noindex към дадения момент са успешно деиндексирани. Говоря за страници, които са вече в индекса на търсачката.
Някой с идея? И възможно ли е изобщо?