Проблем с robot.txt

[woodmonster]

Здравейте симпатяги! Проблема ми е следният: Ето как е генериран моят файл robot.txt:
User-agent: *
Allow: /
Disallow: /phpBB3
Disallow: /wordpress/
sitemap: site.com/sitemap.xml
#Begin Attracta SEO Tools Sitemap. Do not remove
sitemap: http://cdn.attracta.com/sitemap/1457666.xml.gz
#End Attracta SEO Tools Sitemap. Do not remove

Последните три реда, а именно:
#Begin Attracta SEO Tools Sitemap. Do not remove
sitemap: http://cdn.attracta.com/sitemap/1457666.xml.gz
#End Attracta SEO Tools Sitemap. Do not remove
Не съм ги писал аз. От къде се появяват? Трябва ли да ги премахна? Пречат ли на по-доброто индексиране на сайта?
Аз често ги премахвам, но те се появяват сами. Какво да правя, посъветвайте ме!
Благодаря Ви!

 

[diabolic.bg]

За: Проблем с robot.txt

За: Проблем с robot.txt

Като гледам какво си написал, най-вероятно си използвал някой "безплатен" или пиратски темплейт и затова си се сдобил с екстри. Не си първият в нета, както показва cdn.attracta.com - Google Търсене.

 

[woodmonster]

Re: Проблем с robot.txt

Ясно, но как да се избавя от това има ли лек?

 

[mobilio]

За: Проблем с robot.txt

За: Проблем с robot.txt

Този sitemap се прави от phpbb3, но не мога да ти кажа от кой плъгин по-точно.

 

[diabolic.bg]

За: Проблем с robot.txt

За: Проблем с robot.txt

Този sitemap се прави от phpbb3, но не мога да ти кажа от кой плъгин по-точно.

Първо, авторите на phpbb3, които са изключително сериозни и интелигентни хора, няма да допуснат такова нещо. Второ, тази система не използва плъгини, а модификациите са правят чрез вграждане на допълнителни кодове не само в темплейтите, а и в основни файлове. Трето, поне аз досега не съм чул phpbb3 да има вграден мод за генериране на сайтмап. Ето този резултат от Гугъл групите потвърждава моите думи - човекът няма phpbb3, но въпреки това уърдпреса му генерира дори повече редове с такова съдържание - https://productforums.google.com/forum/?fromgroups=#!topic/webmasters/wqUj9aIEt_A

@woodmonster, бих ти предложил да опиташ със смяна на темплейта и да видиш дали ще изчезнат тези редове. За мен е почти сигурно, че нещо ти ги генерира, защото линковете към сайтмапа се слагат в началото на файла, а не в края, както е при теб и то без коментарите, които присъстват там. Ако смяната помогне, после може да се поровиш и да търсиш във виновния темплейт някакви скрити кодове, ако толкова държиш на него.

Би могъл да опиташ и с изключване един по един на плъгините, които си качил, но тук може да ти кажат повече специалистите по уърдпрес.

 

[mobilio]

За: Проблем с robot.txt

За: Проблем с robot.txt

Първо, авторите на phpbb3, които са изключително сериозни и интелигентни хора, няма да допуснат такова нещо. Второ, тази система не използва плъгини, а модификациите са правят чрез вграждане на допълнителни кодове не само в темплейтите, а и в основни файлове. Трето, поне аз досега не съм чул phpbb3 да има вграден мод за генериране на сайтмап. Ето този резултат от Гугъл групите потвърждава моите думи - човекът няма phpbb3, но въпреки това уърдпреса му генерира дори повече редове с такова съдържание - https://productforums.google.com/forum/?fromgroups=#!topic/webmasters/wqUj9aIEt_A

@woodmonster, бих ти предложил да опиташ със смяна на темплейта и да видиш дали ще изчезнат тези редове. За мен е почти сигурно, че нещо ти ги генерира, защото линковете към сайтмапа се слагат в началото на файла, а не в края, както е при теб и то без коментарите, които присъстват там. Ако смяната помогне, после може да се поровиш и да търсиш във виновния темплейт някакви скрити кодове, ако толкова държиш на него.

Би могъл да опиташ и с изключване един по един на плъгините, които си качил, но тук може да ти кажат повече специалистите по уърдпрес.

Отвори една конзола и драсни това:

curl http://cdn.attracta.com/sitemap/1457666/0.xml.gz | zcat

Виж какво ще ти покаже. При мен връща това:

<?xml version="1.0" encoding="UTF-8"?>
<urlset xmlns="http://www.sitemaps.org/schemas/sitemap/0.9">
<url>
<loc>http://lubopitko-bg.цом/</loc>
<lastmod>2012-11-21</lastmod>
</url>
<url>
<loc>http://lubopitko-bg.цом/phpBB3/</loc>
<lastmod>2012-12-30</lastmod>
</url>

И т.н.

Wordpress не виждам - защо го мяташ по върбите???

 

[woodmonster]

Re: Проблем с robot.txt

Wordpress-a не съм го зарязал, просто експериментирам с него. Имам 1 страница създадена там и не искам глупостите да ми ги индексира Г. А това което ми излиза в роботс.тхт, ми се появи преди да инсталирам уърдпрес.

 

[diabolic.bg]

За: Проблем с robot.txt

За: Проблем с robot.txt

Добре, не може да се оспорва очевидното, но все пак не вярвам това да е дошло с пакета за инсталация свален от официалния сайт. Имам приятели, които ползват phpBB3 и при никой от тях няма подобен проблем. Случайно да си добавил скинове, теглени някъде из нета? От години се предлагат такива на сайтове, които нямат нищо общо със създателите на системата.

 

[woodmonster]

Re: За: Проблем с robot.txt

Re: За: Проблем с robot.txt

Не съм добавял скинове! Възможно е да идва от phpBB3, но ако не пречи нека си стои!