SearchEngines.bg

Това е примерно съобщение за гост. Регистрирайте безплатен акаунт днес, за да станете потребител на SearchEngines.bg! След като влезете, ще можете да участвате в този сайт, като добавите свои собствени теми и публикации, както и да се свържете с други членове чрез вашата лична входяща кутия! Благодарим ви!

Twiceler Нов робот броди в мрежата

kuzmanin

New member
Създаден от екс-работник в Google, Twiceler броди из мрежата почти 2 пъти по бързо от googlebot-а.

Някой знае ли нещо повете за това ново създание? Официалната информация е меко казано оскъдна: http://www.cuill.com/twiceler/

Моят лог направо е пощурял от заявките му, чудя се дали да не му инжектирам малко успокоителни ...
 
Re: Twiceler Нов робот броди в мрежата

biks каза:
Ако е като направен като гугълския робот craw delay-a не помага. - Проверено.

проверено или не Twiceler гледа за crawl delay а google официално не гледа

*****
......................
Add the directive just below the 'User-agent: *' line like this:

Crawl-delay: 300
..................

Sincerely,

James Akers
Operations Engineer
Cuill, Inc.
*******
 
Re: Twiceler Нов робот броди в мрежата

googlebot nе рови, бързо, той рови умно ;)
Yahoo и live са бързаците ;)
 
Re: Twiceler Нов робот броди в мрежата

Ето отговора и на Twiceler:

Dear Kuzmanov,

Twiceler is an experimental crawler that we are developing for our new search
engine.
It is important to us that it obey robots.txt, and that it not crawl sites that do not
wish to be crawled.

I notice that your robots.txt file consists only of the following:

User-agent: *
Disallow:

which is the equivalent of having no robots.txt at all -- it restricts nothing. If you
are experiencing too much robot traffic you might add the Crawl-delay directive. This
tells robots that support it (we do) how long to wait between requests. Add the
directive just below the 'User-agent: *' line like this:

Crawl-delay: 120

that would tell us to wait two minutes between requests.

Also be aware that changes to robots.txt take 24 to 48 hours to take effect.

If you wish I will glad to add your site to our list of sites
to exclude. I apologize for any inconvenience this has caused you.
Please feel free to contact me if you have any further questions.

Sincerely,

James Akers
Operations Engineer
Cuill, Inc.
 
Re: Twiceler Нов робот броди в мрежата

MacTeP каза:
googlebot nе рови, бързо, той рови умно ;)
Yahoo и live са бързаците ;)

как да не рови бързо бе
заради него си преместих единия сайт на сървър
правеше на всеки 3 секунди заявка
 
Re: Twiceler Нов робот броди в мрежата

В сравнение със другите два звяра... направо си се мота
 
Re: Twiceler Нов робот броди в мрежата

Преди време го засичах наполовина на времето необходимо на гугъл за да обходи форума на 100%. Яхо постигна същата скорост като гугъл но като влезе от 160 различни ипта (брут форс)
 

Горе