Това е примерно съобщение за гост. Регистрирайте безплатен акаунт днес, за да станете потребител на SearchEngines.bg! След като влезете, ще можете да участвате в този сайт, като добавите свои собствени теми и публикации, както и да се свържете с други членове чрез вашата лична входяща кутия! Благодарим ви!
Важен нюанс в съставяне на роботс.тхт с разделение на ботове - ако има директива User-agent: Yandex, то Яндекс не възприема това, което е посочено в User-Agent: *.Обикновено се ползва, за да посочи на сърчботовете кой е главният сайт, ако има огледала. Най-често при Яндекс.
Ако има редиректи - може.Може ли GoogleBot да интерпретира всички сайтове като с разширение .ru защото същия сайт го имаме с разширение .ru и по някаква странна случайност www.domain.ru или domain.ru е единствения root domain който се вижда в Google.
Надявам се да съм го обяснил както трябва
Останалото касае само Яндекс, т.е. Яндекс вижда кой е главният сайт и някои други забранени за индексация поддиректории като /ru/User-agent: *
Disallow: /Admin
По логика би следвало това да е проблема?
в robots.txt Гугъл да ти изхвърли домейн. Другаде е причината.User-agent: *
Disallow: /Admin
Никакви други забрани за Гугълбот в роботса няма, следователно е пуснал резачката поради някаква друга причина, най-вероятно нещо в .htaccess, щом е пипано наскоро по сайта.User-agent: *
Disallow: /Admin/
Ето какво написах. Добре ли е така или още трябва да му ибяснявам на паяка?
User-Agent: *
Allow: /
Disallow: /admin*