robots.txt на phpBB2

[bgkulinar]

Интересен роботс текст имаш:
User-agent: *
Disallow: /profile.php
Disallow: /groupcp.php
Disallow: /posting.php
Disallow: /privmsg.php
Disallow: /index.php
Disallow: /memberlist.php
Disallow: /viewtopic.php?p=
Disallow: /viewcat
Disallow: *start=0
Disallow: *highlight=
Disallow: *mark=
Disallow: *view=
Disallow: *sid=
Disallow: *search_author
Disallow: *search_id=

Тъй като аз съм писал този роботс, ще обясня, за да не бъмпваме темите в пазара.

Защо е забранен index.php?
- Много просто, програмистите на phpBB2 пишат като всички програмисти и вместо линк към началната страница да е /, слагат по навик /index.php. Т.е. създава се дублирано съдържание на началната страница. За да се избегне, се забранява в роботса. Може да се ползва и htaccess, но е по-сложно за повечето уебмастъри.

Защо е забранен viewtopic.php?p=?
Пак, по същата причина - дублирано съдържание.viewtopic.php?p=XXX#XXX, води към определен пост, който обаче е дублира съдържание на темата, която се намира на адрес viewtopic.php?t=YYY. T.e. ако една тема има по 10 мнения на страница, то всяка страница има 15 дублирани. BTW и vBulletin, в частност и този форум, имат същия недостатък.

Защо е забранен viewcat?
Отново дублирано съдържание на началната страница. viewcat извежда само темите от началната страница, които попадат в дадената категория. Доколкото знам, в тройката са премахнати категориите.

Seo-pi4, за отрицателната карма не се чуди, пазарът не е място за разискване на друго освен покупката и продажбата на услугите.

 

[cloxy]

Re: robots.txt на phpBB2

А като се забранява, примерно index.php през robots.txt, не се ли губят връзките, които сочат към index.php? Според мен е много по-разумно да се пренасочи с .htaccess . Аз за по-лесно използвам canonical таг, което също е успешно решение.

 

[SeoLab]

Re: robots.txt на phpBB2

Кулинаре, мерси за обяснението.
Просто ми стана интересно.
Аз никога не съм администрирал този вид форуми, но съм гледал роботс текста на такива и никога не съм виждал такава конфигурация.
Просто ми стана интересно.
Със същия успех, някой можеше да го обясни и там, но както и да е.
Още повече, че аз нищо не съм разисквал, оспорвал, криткувал и т.н.
А за минусите всеки има право да ги слага, решил - сложил.
Мен това малко ме вълнува в случая.

 

[bgkulinar]

Re: robots.txt на phpBB2

А като се забранява, примерно index.php през robots.txt, не се ли губят връзките, които сочат към index.php? Според мен е много по-разумно да се пренасочи с .htaccess . Аз за по-лесно използвам canonical таг, което също е успешно решение.

99.99% от връзките към индекс файла са вътрешни. Аз лично го правя с хтаккесса, но има хостинги, на който не може да пипаш там. А, когато съм го писал този роботс нямаше каноникал таг.

Всъщност като се замисля връзките не се губят, просто страниците не биват индексирани (защото съм сигурен, че се обхождат от бота, макар и забранени).