Search 17 - някой знае ли нещо?

[diabolic.bg]

Колеги, някой може ли да даде информация за тази търсачка (Search 17) и нейните ботове?
На сайта им пише само това:

Search17 is a new semantic search engine. We will use data collected by our crawler to uncover new relations within internet data and provide users with friendly and intuitive way to navigate their search and decision process.

Самите ботове са адски агресивни, четат robots.txt, но дърпат толкова много, че ще ми се подпали сървъра. Понеже са написани на РНР, едно правило в моя htaccess ги блокира, но въпреки, че получават непрекъснато 403, те не само не се махат, а продължават да опитват.
В Гугъл има инфо само за 2 техни страници.

Ако може някой да каже нещо повече? Има ли полза от тази търсачка или да ги уредя да получават направо 503 и да ми се махат от главата?

Благодаря предварително за съветите!

 

[Lilacor]

Re: Search 17 - някой знае ли нещо?

http://www.search17.com/bot.php

 

[diabolic.bg]

Re: Search 17 - някой знае ли нещо?

Това съм го видял, но то не казва нищо съществено. Това е втората страница на сайта на въпросната "търсачка". Тя няма дори една страница за търсене, затова питам знае ли някой нещо положително за нея.
Ако е въпроса да спра ботовете, няма и да търся robots.txt. Имам друг сигурен начин да се отърва от тях.

 

[uni-web]

Re: Search 17 - някой знае ли нещо?

Малко извън темата някой знае има ли нещо готово за .htaccess което да блокира всички други ботове освен гугалските?

 

[diabolic.bg]

Re: Search 17 - някой знае ли нещо?

Малко извън темата някой знае има ли нещо готово за .htaccess което да блокира всички други ботове освен гугалските?

Малко трудно си представям такова правило, което да разпознава повече от 1387 търсещи бота (толкова разпознава моят брояч) и да пуска само един. Може да опиташ с robots.txt, но няма гаранция, че всички ще спазват забраната.

 

[uni-web]

Re: Search 17 - някой знае ли нещо?

Малко трудно си представям такова правило, което да разпознава повече от 1387 търсещи бота (толкова разпознава моят брояч) и да пуска само един. Може да опиташ с robots.txt, но няма гаранция, че всички ще спазват забраната.

Нещо което изнамерих надявам се и ти да имаш полза от него.

Block Bad robots, spiders, crawlers and harvesters

 

[go6o78]

Re: Search 17 - някой знае ли нещо?

то това го има и тук
http://www.webmasterbg.org/showthread.php?t=7105&highlight=ботове&page=2

ако ти се занимава виж дали са различни

 

[diabolic.bg]

Re: Search 17 - някой знае ли нещо?

Нещо което изнамерих надявам се и ти да имаш полза от него.

Block Bad robots, spiders, crawlers and harvesters

Благодаря, моят списък е още по-голям (около 80-90 см), но не знам как ще се възприеме, ако го постна тук и затова се въздържам. Гони ме лека параноя на тема сигурност, така че трудно може с нещо да ме изненадаш.

П. С. Преди малко се опитах да постна списъка си в темата, спомената в предния пост и получих следното съобщение:

The text that you have entered is too long (10872 characters). Please shorten it to 10000 characters long.

 

[uni-web]

Re: Search 17 - някой знае ли нещо?

то това го има и тук
http://www.webmasterbg.org/showthread.php?t=7105&highlight=ботове&page=2

ако ти се занимава виж дали са различни

Не съм виждал темата извинявам се.

 

[uni-web]

Re: Search 17 - някой знае ли нещо?

Благодаря, моят списък е още по-голям (около 80-90 см), но не знам как ще се възприеме, ако го постна тук и затова се въздържам. Гони ме лека параноя на тема сигурност, така че трудно може с нещо да ме изненадаш.

Не съм целял изненада или нещо друго .