SearchEngines.bg

Това е примерно съобщение за гост. Регистрирайте безплатен акаунт днес, за да станете потребител на SearchEngines.bg! След като влезете, ще можете да участвате в този сайт, като добавите свои собствени теми и публикации, както и да се свържете с други членове чрез вашата лична входяща кутия! Благодарим ви!

Разпределена търсачка,

xyz1

New member
Отварям тази тема, за да представя една моя идея, свързана с интернет търсачките. Но не става дума да се използва такава, а идеята е да започне изграждането на разпределен вид търсачка.

Всъщност тази идея не е нова, но досегашните решения изискват да предоставиш на компютъра си възможността да рови в интернет. Това "омазва" харди диска и ужасно го фрагментира. Освен това го натоварва излишно, като заема паметта му и така го прави неефективен за задачите, които правите. Изобщо изключително неудобно решение.

Идеята, която имам е да се ползва отделен компютър, който да се закача към локалната ви мрежа и да служи като сървър за данни. Отначало може да се ползва готово решение, а по-нататък (ако има интерес към идеята) може да се проектира и самостоятелно решение. За това специално хардуерно решение ще пиша малко по-долу.

Идеята е въпросният сървър за данни да има още едно предназначение - за паяк на търсачка. Когато сървърът не се ползва и от компютъра не извършва интензивен интернет трафик, тогава сървърът ще обикаля страници в интернет (естествено ще бъде направена някаква централизирана система (нова търсачка), която ще определя какво да рови).

Най-същественото предимство на представения домашен data сървър е това, че има вградена възможност за криптиране последващо отдалечено съхранение на данните. Последното ще се извършва на компютри на други потребители. Освен това тези отдалечени копия ще са копирани на множество места и то няколко пъти. Принципът е следният: ако искате 50 GB информация да се копира криптирано и то с по 3 копия, то ще заделите 150 GB от своя диск за такъв вид данни на други потребители. Чрез този начин ще имате data сървър, който е практически напълно сигурен, подобно на услуги като DropBox, но при това решение след първоначалното закупуване на хардуера не плащате нищо допълнително за по-големи количества съхранени данни!

Трябва да отбележим, че софтуера на домашния data сървър на ниво операционна система ще е така направен, че кешовете от търсенето в интернет ще се пазят в свободни зони от диска. Ако тези зони се запълнят с информация, тогава просто кешът се инвалидизира. По този начин записът на web страници на data сървъра няма да влияе на фрагментацията на диска ви, което е важно предимство.

И сега малко думи за идеята за индивидуално проектиран за целите хардуер, какво ще поддържа:
- Ще прекарва трафика от компютъра ви, т. е. ще има 2 LAN порта - един да го наречем условно "входящ" и един "изходящ". Подслушването на трафика ще е невъзможно, защото ще има хардуерни защити за това (само част от локелните IP адреси ще се насочват към data сървъра).
- Паролата за криптиране ще се пази на отделно място и ще има специален модул който ще извършва хардуерно криптирането. Така криптиращият ключ ще е 100% защитен от хакване, което означава че криптираните данни практически ще се недекриптирани от компютрите на другите потребители.

По отношение на компютърната конфигурация, която може да се ползва като начало, то може да се ползва примерно едноплатков компютър, като A20-OLinuXino-LIME (това е творение с българско проектирана печатна платка). Това е достатъчно, защото въпросната платка има LAN порт, както и SATA куплунг за съвременен харддиск.

Ако се намерят желаещи да участват в проекта, то може да се опитаме да потърсим спонсориране от Olimex (производителя на A20-OLinuXino-LIME), т. е. да го агитираме да предостави компютърчето безплатно за проекта (те имат изгода, ако подобно решение се разпространи масово). Основната част в проекта се състои в конфигурация на системата и ще има сравнително малко програмиране (в което и аз ще се включа).
 

Горе