SearchEngines.bg

Това е примерно съобщение за гост. Регистрирайте безплатен акаунт днес, за да станете потребител на SearchEngines.bg! След като влезете, ще можете да участвате в този сайт, като добавите свои собствени теми и публикации, както и да се свържете с други членове чрез вашата лична входяща кутия! Благодарим ви!

Нужда от помощ с robots.txt

vagon

New member
Здравейте ,
Искам да попитам ако някой е наясно с робот.тхт.
какво означава командата " host: imenasait.com "

благодаря предварително
 
Re: Нужда от помощ с robots.txt

Обикновено се ползва, за да посочи на сърчботовете кой е главният сайт, ако има огледала. Най-често при Яндекс.
 
Последно редактирано:
Re: Нужда от помощ с robots.txt

страна- благодаря много! Много ми помогна с отговора!
 
Re: Нужда от помощ с robots.txt

и аз имам подобен проблем
User-agent: *
Disallow: /Admin
User-agent: Yandex
Disallow: /Admin*
Disallow: /ru/
Disallow: /ru/*
Host: www.domain.ru

представете си че имате сайт с няколко езика и домейни .bg, .ru, .us, и т.н На всички е поставен показания по-горе роботс.тхт файл.
Получавасе така че всички домейни с изключение на www.domain.ru са изчезнали от гоогъл.

Например има sofia.domain.bg , но няма domain.bg или www.domain.bg
изчезнали са всички главни домейни освен посочения в "Host:"

Може ли причината да е в robots.txt
 
Re: Нужда от помощ с robots.txt

Обикновено се ползва, за да посочи на сърчботовете кой е главният сайт, ако има огледала. Най-често при Яндекс.
Важен нюанс в съставяне на роботс.тхт с разделение на ботове - ако има директива User-agent: Yandex, то Яндекс не възприема това, което е посочено в User-Agent: *.

http://help.yandex.ru/webmaster/?id=996567#996568

xPlo, нищо не разбрах какво се има предвид.
 
Последно редактирано:
Re: Нужда от помощ с robots.txt

влизам в google.bg и пиша сайта domain.bg и виждам че излизат всички възможни страници (например domain,bg/contacts или sofia.domain.bg и др.) само root domain-а го няма. С други думи всичко излиза без domain.bg.

След което се поразтърсих и видях че системния ни администратор е променил robots.txt на това което написано по-горе.

Въпроса ми е може ли това да е причината. Може ли GoogleBot да интерпретира всички сайтове като с разширение .ru защото същия сайт го имаме с разширение .ru и по някаква странна случайност www.domain.ru или domain.ru е единствения root domain който се вижда в Google.
Надявам се да съм го обяснил както трябва
 
Re: Нужда от помощ с robots.txt

Може ли GoogleBot да интерпретира всички сайтове като с разширение .ru защото същия сайт го имаме с разширение .ru и по някаква странна случайност www.domain.ru или domain.ru е единствения root domain който се вижда в Google.
Надявам се да съм го обяснил както трябва
Ако има редиректи - може.
 
Re: Нужда от помощ с robots.txt

Всъщност, от горния robots.txt Гугълбота се съобразява единствено с
User-agent: *
Disallow: /Admin
Останалото касае само Яндекс, т.е. Яндекс вижда кой е главният сайт и някои други забранени за индексация поддиректории като /ru/
 
Re: Нужда от помощ с robots.txt

няма редиректи или поне аз незнам да има.
ако имаше редиректи това не означава ли че ако напишеш domain.bg ще те прехвърли към domain.ru
всеки сайт си функционира отделно. Много странно, но някой е пипнал нещо по сайта и сега Гоогъл е изхвърлил всички root домейни без руския, а единственото ново е промяната в роботс фаила. Това е и единственото общо, което присъства при всички и е направено по едно и също време.
По логика би следвало това да е проблема?
 
Re: Нужда от помощ с robots.txt

По логика би следвало това да е проблема?

Няма логика заради
User-agent: *
Disallow: /Admin
в robots.txt Гугъл да ти изхвърли домейн. Другаде е причината.
Какво пише на info:domain.bg? Или направо пусни самите домейни да ги видим.
 
Re: Нужда от помощ с robots.txt

Давай да се поставим на мястото на гугълбот и да погледнем с неговите очи :) Директивите за яндекс в роботса не го интересуват. Единственото, с което той се съобразява, е да си забрани индексацията на файла Admin.html, но едва ли заради това ще премахне целия сайт, пък и най-вероятно нямаш такъв файл, а сте искали да забраните индексирането на директорията Admin, т.е. трябва да е
User-agent: *
Disallow: /Admin/
Никакви други забрани за Гугълбот в роботса няма, следователно е пуснал резачката поради някаква друга причина, най-вероятно нещо в .htaccess, щом е пипано наскоро по сайта.
 
Re: Нужда от помощ с robots.txt

info:domain.bg
За съжаление не разполагаме с информация за domain.bg
явно Гоогъл го е изтрил от архивите

ето това вече е странно :) а беше в топ 10.
Някакви идеи? За съжаление не мога да отговоря на въпроси относно какво е правено по сайта.
Ще съм благодарен ако някой сподели къде може да е проблема
 
Re: Нужда от помощ с robots.txt

Имам молба към Вас (участниците във форума)
ако може да се направи един списък, къде може да е причината
Гоогъл да изтрие сайта (само главния домейн). Нешо подобно на
1. robots.txt
2. sitemap.xml
3. .htaccess redirects

и други

Благодаря предварително
 
Re: Нужда от помощ с robots.txt

xPLo, вече три дена задаваш един и същ въпрос.
Дай сайта си (главния/неглавния домейн) и тогава участници от форума ще могат да тестват сичко.

По горния въпрос: всяко от трите може да е причината, също така и комбинации (първо и трето, трето и второ и прочее, общо - 7 варианта)
 
Re: Нужда от помощ с robots.txt

Ето какво написах. Добре ли е така или още трябва да му ибяснявам на паяка?

User-Agent: *
Allow: /
Disallow: /admin*
 

Горе