SearchEngines.bg
Това е примерно съобщение за гост. Регистрирайте безплатен акаунт днес, за да станете потребител на SearchEngines.bg! След като влезете, ще можете да участвате в този сайт, като добавите свои собствени теми и публикации, както и да се свържете с други членове чрез вашата лична входяща кутия! Благодарим ви!
Индексиране на забранени папки
- Автор go6o78
- Начална дата
Re: Индексиране на забранени папки
Защо не пробваш с .htaccess да забраниш Googlebot и други подобни?
http://www.webmasterworld.com/forum11/1219.htm
Защо не пробваш с .htaccess да забраниш Googlebot и други подобни?
http://www.webmasterworld.com/forum11/1219.htm
scoobydoo
Know you can!
Re: Индексиране на забранени папки
Да, ще забрани индексацията на всички страници. За това трябва с php да го накараме да се показва само при тези страници, които искаме.
Примерно следния код би трябвало да свърши тази работа:
Постави го в head секцията. Идеята е при всеки url адрес, в който след името на домейна следва /files/, да се показва тага noindex.
Да, ще забрани индексацията на всички страници. За това трябва с php да го накараме да се показва само при тези страници, които искаме.
Примерно следния код би трябвало да свърши тази работа:
PHP:
<?
$uri=$_SERVER["REQUEST_URI"];
$tocheck=substr($uri, 0, 7);
if($tocheck=="/files/")
echo "<meta name='ROBOTS' content='NOINDEX,NOFOLLOW'>";
?>
gvv
+Gennadiy Vorobyov
Re: Индексиране на забранени папки
Ако хората попадат на тези файлове винаги чрез връзки, то решението, което аз се сещам, е да се следи за referer. Слагаш това в .htaccess файла на директорията.
Ако хората попадат на тези файлове винаги чрез връзки, то решението, което аз се сещам, е да се следи за referer. Слагаш това в .htaccess файла на директорията.
Код:
RewriteEngine On
RewriteCond %{HTTP_REFERER} ^$
RewriteRule ^(.*)$ - [F]Re: Индексиране на забранени папки
a дам премахване на директорията няма ли да се получи
което поражда въпроса, кое е правилно да се отметне
remove directory
ili remove page from search result and cache
a дам премахване на директорията няма ли да се получи
което поражда въпроса, кое е правилно да се отметне
remove directory
ili remove page from search result and cache
Virosss
New member
Re: Индексиране на забранени папки
gvv го каза правилно... наистина robots.txt не забранява индексирането, но забранява на бота да посещава въпросната страница и от там следва, че няма да я индексира.
Вярно е, че това не пречи да индексира самият файл към който е дадена връзка, но за целта се ползва "nofollow" rel таг, който отново ще каже на бота да не следва връзката.
Вариант въпреки това да се индексира по-скоро е ако някой друг даде реален адрес и тогава идва варианта с .htaccess, който да забрани индексирането.
@go6o78, не съм сигурен кое да ползваш, понеже лично аз не съм пробвал тази опция.
gvv го каза правилно... наистина robots.txt не забранява индексирането, но забранява на бота да посещава въпросната страница и от там следва, че няма да я индексира.
Вярно е, че това не пречи да индексира самият файл към който е дадена връзка, но за целта се ползва "nofollow" rel таг, който отново ще каже на бота да не следва връзката.
Вариант въпреки това да се индексира по-скоро е ако някой друг даде реален адрес и тогава идва варианта с .htaccess, който да забрани индексирането.
@go6o78, не съм сигурен кое да ползваш, понеже лично аз не съм пробвал тази опция.
Lilacor
SEO addict
Re: Индексиране на забранени папки
Според мен е най-добре да комбинираме robots.txt правилата с поставяне на noindex tag в META tags на страниците, които искаме да забраним за обхождане или веднъж индексирани да изкараме впоследствие от индекса на Гугъл.
Друг е въпросът дали има начин да се следи колко линка, на които е сложен атрибут noindex към дадения момент са успешно деиндексирани. Говоря за страници, които са вече в индекса на търсачката.
Някой с идея? И възможно ли е изобщо?
Според мен е най-добре да комбинираме robots.txt правилата с поставяне на noindex tag в META tags на страниците, които искаме да забраним за обхождане или веднъж индексирани да изкараме впоследствие от индекса на Гугъл.
Друг е въпросът дали има начин да се следи колко линка, на които е сложен атрибут noindex към дадения момент са успешно деиндексирани. Говоря за страници, които са вече в индекса на търсачката.
Някой с идея? И възможно ли е изобщо?
gvv
+Gennadiy Vorobyov
Re: Индексиране на забранени папки
иначе webmaster.yandex.ru дава отчет, кои страници са кроулвани и защо не са влезли в индекса.
още веднъж внимание за scoobydoo: не можеш да влезеш в индекса без кроулване.
Друг е въпросът дали има начин да се следи колко линка, на които е сложен атрибут noindex към дадения момент са успешно деиндексирани. Говоря за страници, които са вече в индекса на търсачката.
Някой с идея? И възможно ли е изобщо?
- даваш на бота да индексира или си избираш кои страници да деиндексира
- затваряш с ноиндекс
- гледаш колко са деиндексирани
иначе webmaster.yandex.ru дава отчет, кои страници са кроулвани и защо не са влезли в индекса.
още веднъж внимание за scoobydoo: не можеш да влезеш в индекса без кроулване.