SearchEngines.bg

Това е примерно съобщение за гост. Регистрирайте безплатен акаунт днес, за да станете потребител на SearchEngines.bg! След като влезете, ще можете да участвате в този сайт, като добавите свои собствени теми и публикации, както и да се свържете с други членове чрез вашата лична входяща кутия! Благодарим ви!

забрана с robots.txt

yordanp

New member
Искам да забраня на търсачките да влизат в 2 директории от сайта.
Сложих robots.txt в директорията където са папките (главната), но забелязавам, че не го признават и си влизат в тези папки.
Ето как изглежда:

User-agent: *
Disallow: /papka/
Disallow: /papka2/

Какво може да съм пропуснал/объркал?
 
Re: забрана с robots.txt

виждам, че яндекс е индескирал всички файлове от папката преди да сложа robots.txt. Сега очаквах да го спре да не влиза отново, но от лог файла виждам, че влиза и си рови необезпокоявано по тези директории.

Не би ли трябвало да действа някаква забрана като стигне до папка papka, papka2 (въпреки, че са индексирани)
 
Re: забрана с robots.txt

Да не би да слагаш robots.txt в папка различна от главната за домейна.
Или ако първо са индексирани и после си сложил файла, трябва все пак да изчакаш известно време преди да се деиндексрат (а и може да не стане дори никога ако имат беклинкове, най-сигурно е с мета таг за noindex).
 
Re: забрана с robots.txt

Сложен е в правилната папка на домейна, беклинкове няма, ще чакам да се деиндексира.
 
Re: забрана с robots.txt

Сложен е в правилната папка на домейна, беклинкове няма, ще чакам да се деиндексира.

провери ли през http://webmaster.yandex.ru/robots.xml ?

На 1-2 ъпдейта трябва да го вземе предвид.

+

Яндекса обича когато му пишеш лично

User-agent: *
Disallow: /papka/
Disallow: /papka2/

User-agent: Yandex
Disallow: /papka/
Disallow: /papka2/

Host: урл с ввв или без (зависи от случая)
 
Последно редактирано:
Re: забрана с robots.txt

Забраних отделно за Яндекс:

User-agent: *
Disallow: /papka/
Disallow: /papka2/

User-agent: Yandex
Disallow: /papka/
Disallow: /papka2/

В Yandex webmaster няма изменения.
Остава да чакам някой друг ъпдейт да се отчетат промените.
 
Re: забрана с robots.txt

Странното е, че въпреки че имам файл robots.txt
в файла error.log ми показва, че не съществува такъв:
error] [client 66.249.66.137] File does not exist: /domain.com/robots.txt
 
Re: забрана с robots.txt

Странното е, че въпреки че имам файл robots.txt
в файла error.log ми показва, че не съществува такъв:

зарежда ли се на адрес
domain.tld/robots.txt
 
Re: забрана с robots.txt

Не виждам грешка, само това ми изписва:
WARNING: The block of code addressed to all spiders (User-agent: *) is not the last one. We advise you to move it at the bottom of the robots.txt file, to reduce interpretation problems with some old robots.
 
Re: забрана с robots.txt

Не искам да те притеснявам, но ботовете на Яндекс се държат като хулигани и тотално нарушават забраните на robots.txt. Това са мои продължителни наблюдения, след които се принудих и аз да ги забраня. Затова по-добре си сложи в двете папки по един .htaccess файл със съдържание

Код:
RewriteEngine On 
RewriteBase /

RewriteCond %{HTTP_USER_AGENT} ^Yandex/ [NC]  
RewriteRule ^.* - [F,L]
При такава забрана вече няма къде да вървят. :D
 
Re: забрана с robots.txt

В Гугъл се индексираха някои страници преди да сложа robots.txt, дали ще ги изхвърли впоследствие от индекса?
 
Re: забрана с robots.txt

Някои роботи (както Гугъл в случая) не успяват винаги да видят файла robots.txt по незнам си кава причина.
Ползваш ли нещо от типа на:
HTML:
<meta name="robots" content="all/index,follow/etc ..." />

PS:
Сори, не съм изчел темата до края, не видях че има и втора страница.
 
Последно редактирано:

Горе