За: Re: За: ICN.bg тотално се изложиха!
За: Re: За: ICN.bg тотално се изложиха!
Здравейте на всички,
Копитрам отговора си от друг приближен на този форум за да не го пиша отново.
Благодаря за тези, които ни влизат в положение, благодаря и на тези които не ни влизат, но имат реална градивна критика.
Може би не е мястото тук да публикувам каква точно е ситуацията, но все пак тук има и потребители, които се на от тези 82-а които са пострадали от този траурен за нас случай. За съжалени нямам възможност в монета да прочета всички мнения и да дам отговор на всеки един въпрос или съмнение.
Проблема действително бе изключително сериозен. Още в деня когато се случи започнахме да прозвъняваме индивидуално всеки един потребител (82-ма), за да го уведоми за сериозността на проблема. Тези, които не открихме, потърсихме чрез е-мейл.
27 часа след правене на различни -fschk проверки под ниско ниво и др. операции се установи че файловете се виждат само в журналите, но не и като съдъжание.
Тук е момента да обясня, че това се отнася и до архивите/backups. Архивите не се намират на самите сървърни системи, а на стакнати backup storage устройства, които са съвсем независими, а партишъните са маиунтани към производителните мощности.
Та така за проблема: В Германския ни дата център (Datadock) работи софтуерна система за управление на процесите - ERP на Microsoft - Екзапта(май така се пише на български).
Този софтуер се грижи за по-голямата част от процесите (billing, remote control, reboots, recovery, resque, restore , networking, dns и др.). Същия софтуер по незнайни за нас до момента причини започва процедура по restore (преинсталация) на сървър с ID .....и име dexter.icnhost.net, както и на неговите прилежащи устройства, които имат същия product ID. По данни на служители от дата центъра вероятната причина е объркан или дублиран ID номер на нашата система с такава на друг потребител от 60+ хиледния дата център. Колегите от поддръжката забелязват проблема още на първата минута, а на 4-тата вече операцията е прекратена и дисковете извадени от самата машина. За съжаление копирането на темплейта и форматирането на RAID масивите е започнал. Същите са поставени на резервна система, където започва процедура по възстановяване на информацията.
Това е причината освен основните файлове да не могат да се възстановят, а и 4-те архивни копия на remote backup storage device.
Надявам се да съм описал всичко така, че да няма въпроси, но все пак ако има такива можете да ни потърсите, за да Ви предоставим още подробности в детайли. Надявам се това изчерпва въпроси като :
Правите ли бекъп?
Защо бекъпа не се прави на отдалечени устройства?
Защо информацията не може да се възстанови?
Не е професионално бекъпа да е на същата машина!
Правите ли мониторинг?
Смятаме, че по този начин на архивиране, който правим има максимално голяма сигурност и възможност от възстановяване при евентуален проблем. Уви. Проблем съществува и ние не обвиняваме трети софтуер за това, а упрекваме самите нас. Навярно добрите световни практики не работят за този казус. Поради тази причина са предприети допълнителни други мерки, които да защитят потребителите дори и при идиотска нелепост.
Разбирам напълно, че част от тези 82-ма потребители няма да продължат да хостват сайтовете при нас.
Тук е момента да отбележа, че всеки един потребител е компенсиран с 12 месечен безплатен хостинг.
Ако някой има съмнение, за това дали правим мониторинг, дали имаме отдалечен архив и куп други питанки които прочетох в постовете, е добре дошъл в офисите ни (Дървеница и Телепоинт) и в дата центровете за да провери как упражняваме тези дейности. В предишен пост подадох информация за мониторинга:
...следим Laod average, Service status (http, pop, imap, ftp, mysql), брой заявки in/out и др. на всеки 30 секунди и мониторинг на цялото мрежово оборудване на всяка минута...
Със сигурност изпускам някои друг коментар, но се опитах да отговоря на всички разумни запитвания и коментари.
Сега ще се опитам да се свържа с ПР-ите на конкуренцията защото все пак ни дължат комисионна за тези постове
🙂
Успешна седмица на всички. Оставам на разположение на тези които имат коментари или запитвания към нас. Пишете на ЛС или на
julian@icn.bg
--
Поздрави,
Юлиян Бориславов
CEO
