Пачалося ў суботу ўвечары, калі мая жонка пыталася, чаму наш відэарэгістратар раптам перастаў гуляць у шоу, якое яна глядзеў. Я сказаў ёй, што гэта, мабыць, толькі нейкі збой, але я зірнуў бы. Я ўваходжу ў сямейны пакой, каб паглядзець, і ў асноўным памылка заявіла, што базавы дыск ужо недаступны. Не добра! Гэта быў пачатак маёй трохдзённай гісторыі жахаў ...

Крыху фону

Мой відэарэгістратар на самай справе проста спецыялізаванае праграмнае забеспячэнне (SageTV для тых, хто цікавіцца), які працуе на ПК. Праграмнае забеспячэнне з'яўляецца вельмі гнуткім і дазваляе вылучыць усе розныя аспекты яго. У мяне ёсць асобная машына для цэнтралізаванага кіравання, планавання і запісу, асобныя машыны для прайгравання, і зорка гэтай гісторыі, асобная машына для захоўвання. Для захоўвання я выкарыстоўваю файлавы сервер Linux, выкарыстоўваючы LVM (Logical Volume Manager) для агрэгацыі мноства асобных, не ідэнтычных дыскаў у адзін вялікі (~ 6TB цяпер) лагічны дыск, які бачыць аперацыйная сістэма. Паколькі рэзервовае капіраванне некалькіх ТБ дадзеных немэтазгодна, а паколькі дадзеныя "проста" тэлеперадач, мая філасофія рэзервовага капіявання для гэтага заўсёды была проста не хвалюе. Да апошніх падзей гэтая філасофія не была пратэставана падзеяй у рэальным свеце.

Спроба аднавіць дадзеныя

Убачыўшы памылку на відэарэгістратары, я адразу пачынаю глядзець на сервер захоўвання дадзеных. Файлавая сістэма неверагодна млявая і рэагуе павольна, таму я запытваю LVM пра стан фізічных дыскаў, якія ляжаць у аснове яе лагічнага аб'ёму. Пасля доўгай затрымкі ён падыходзіць і кажа, што дыск на 750 ГБ адсутнічае. Э-э! Перазагружаю сервер і дзіўна, дыск вяртаецца. Я выдаю каманду pvmove, каб аўтаматычна перанесці ўсе дадзеныя з гэтага дыска, але яна не працуе менш чым на 2%.

Сутыкнуўшыся з дыскам, які вельмі не супрацоўнічае з чытаннем сваіх дадзеных, але, па меншай меры, з'яўляецца ў BIOS, я звяртаюся да майго любімага інструмента аднаўлення дыска Spinrite. Хоць Spinrite звычайна загружаецца са здымных носьбітаў, гадоў таму я стварыў загрузку сеткі ў сваім доме для розных камунальных службаў, таму мне не прыйшлося перажываць, каб адсочваць любыя сродкі масавай інфармацыі. Звычайна я проста падключаюся да сваёй сеткі, выбіраю загрузку з сеткі, і ў мяне ёсць мноства інструментаў, каб выправіць мноства праблем. Праблема ў тым, што машына, якая робіць усё гэта магічным творам, гэта тая самая машына, якая і зараз уніз. Нічога страшнага, я кажу, я проста загружуся з кампакт-дыска Spinrite. За выключэннем некалькіх гадоў таму, аптычны прывад на маім файлавым серверы адмовіўся ад прывіда. У той час, калі гэта адбылося, я вырашыў, бо ніколі не выкарыстоўваю аптычныя носьбіты ў гэтай машыне, і мне не трэба было яе замяняць. Не хвалюйцеся, я сказаў сабе, што я проста дастану аптычны прывад з майго асноўнага кампутара. Я выключаю свой галоўны кампутар і вымаю аптычны прывад. Тады я шукаю свой загрузны дыск Spinrite. Немагчыма знайсці яго! Мы пераехалі ў новы дом некалькі месяцаў таму, таму ўсё знаходзіцца ў крыху бязладдзі. Я думаю, я проста спалю новую копію, але нават не магу знайсці пусты аптычны носьбіт! У наступны план загрузная флешка! Праз некалькі хвілін у Google, каб асвяжыць маю памяць, у мяне ёсць загрузачная флешка Spinrite. Я загружаю сваю скрынку Linux і запускаю Spinrite. Кампутар замярзае і, здаецца, выходзіць з ладу. Імкнучыся ліквідаваць зменныя, я перамяшчаю дрэнны дыск з падключэння да карты пашырэння PCI-e да непасрэднага падключэння да матчынай плаце. Цяпер Spinrite запускае выдатна, але патрабуецца ўзросты і стагоддзі, каб пералічыць падлучаныя да яго дыскі. Я сістэматычна адключаю сеткавыя дыскі, акрамя дрэннай, але пералічэнне дыскаў ніколі не скончыць незалежна ад таго, як доўга я чакаю. У наступны план! Я бяру дыск са сваёй скрынкі Linux, падключаю яго да майго асноўнага кампутара і загружаюся з маёй бліскучай новай флэшкі Spinrite. Spinrite запускае і адразу бачыць дыск, і я кажу яму, каб пачаць аднаўляць дадзеныя, задаволены тым, што я, нарэшце, дасягнуў пэўнага прагрэсу. Я вяртаюся, каб праверыць яго праз, магчыма, 10 хвілін, і на экране з'явілася памылка, і, здаецца, дыск зноў знік. Расчараваны, я спрабую яшчэ некалькі разоў і загадваю Spinrite пачынаць з розных частак дыска, але кожны раз атрымліваць аднолькавы вынік. Здаецца, усё роўна мне гэта не дапаможа.

Па прычыне ірацыянальнай надзеі я зноў паклаў дыск у сваю скрыню Linux і ўключыў яго. Да майго здзіўлення, прывад з'яўляецца і LVM прыносіць усё актыўнае. Далей спрабуючы ўдачу, я выдаю яшчэ адну каманду pvmove, каб паспрабаваць зноў перанесці дадзеныя з дыска. Рана я бачу паведамленні пра памылкі пра немагчымасць чытання з дыска, але дзіўна, што pvmove працягвае прагрэсаваць, набліжаючыся і набліжаючыся да 100%. Сумесь разгубленасці, палёгкі і хвалявання абмывае мяне. Ці збіраюся я сысці ад гэтага некранутага? На жаль, апошняе, што LVM робіць пад вокладкамі, каб чыста скончыць pvmove, гэта напісаць абноўлены часопіс на ўсе дыскі, якія знаходзяцца пад яго кантролем. Гэта, вядома, не дапамагае, калі ён спрабуе запісаць на дрэнны дыск, і такім чынам ён спыняе ўвесь працэс. Параза зноў вырвалася з сківіц перамогі! Я пагружаюся назад у Google і выяўляю, што можна кантраляваць, колькі дадзеных перамяшчае каманда pvmove, а не пераносіць усе дадзеныя адным стрэлам. Я эксперыментую з гэтым і маю добры поспех, пераносячы невялікую частку маіх дадзеных адначасова. Мне становіцца сквапным і дыск некалькі разоў знікае, але заўсёды вяртаецца пасля цыкла харчавання кампутара. Разумеючы, што, магчыма, толькі пэўныя часткі прывада дрэнныя, я пачынаю скакаць замест таго, каб працаваць на пачатку дыска. Пасля некалькіх паўтораў, у мяне ўсё, акрамя 40 ГБ з 750 ГБ, спакойна з'ехала з прывада. Астатнія 40 ГБ не змаглі перамясціць незалежна ад таго, што я паспрабаваў. Цяпер быў нядзельны вечар, і я быў знясілены, таму я вырашыў легчы спаць і вырашыць гэтую праблему больш на наступны дзень.

На наступны дзень, пасля сну і першай паловы дня на працы, я вырашыў проста кусаць кулю, бо мне было ўсё роўна пра апошнія 40 ГБ запісаных тэлешоу, і пачаў выдаляць дыск з маёй канфігурацыі LVM. . Я рабіў гэта шмат разоў раней, таму ўсё ідзе даволі гладка. Далей у спісе ачысткі ідзе рамонт адтуліны ў сярэдзіне файлавай сістэмы. Я думаю, што толькі 40 ГБ замест 750 ГБ адсутнічае, гэта не можа быць занадта дрэнна, праўда? Няправільна! Пасля рамонту ў мяне было 900 ГБ дадатковага вольнага месца ў параўнанні з перад пачаткам цяжкага выпрабавання, так што ўкусіла зусім няшмат. Ну добра, я сабе кажу, усё роўна гэта проста тэлевізар. Пасля трохдзённага перапынку мой відэарэгістратар зноў функцыянуе, і я магу нарэшце перастаць думаць пра гэта з кожным запасным цыклам мозгу.

Урокі

Дык што я навучыўся з усяго гэтага? Я павінен быў зрабіць больш якасную працу з таго, што сапраўды мела значэнне. Гэта адбылося некалькі тыдняў таму, і ў гэты час я нават не прапусціў ніводнага з тэлевізійнага змесціва, які знік. Аднак я шкадую, што не дазваляю сабе тэлевізар тры дні карыстацца тэлевізарам, але што яшчэ важней маёй сям'і, і за гэтыя тры дні перавесці сябе ў рэжым крызісу падвышанага стрэсу. Калі б я адмовіўся ад аднаўлення маіх дадзеных у пачатку, функцыя была б адноўлена прыблізна праз гадзіну, а не тры дні. Я занадта добра ведаю, што ў большасці выпадкаў нашы дадзеныя каштоўныя, але ў гэтай сітуацыі гэтага не было.

Па-другое, калі вашы дадзеныя сапраўды каштоўныя і 99% часу гэта сапраўды, вам трэба абараніць іх! Рэзервовае капіраванне дадзеных, апраўданняў няма. Для маіх дадзеных, якія незаменныя, як і тысячы малюнкаў майго сына, якія я маю на сваім кампутары, я абавязкова ствараю рэзервовыя копіі не менш чым у трох месцах, адным з якіх з'яўляецца пастаўшчык рэзервовага капіравання воблака. Што тычыцца захоўвання DVR, я ўсё яшчэ не думаю, што гэта рэзервовае капіраванне да воблака, але пры цане дыскаў у нашы дні я не апраўдваюся, каб не абараняць яго RAID, і гэта якраз тое, што я збіраюся зрабіць. Калі я ўпершыню стварыў свой кластар захоўвання гадоў таму, я думаю, што мне спатрэбілася 10 дыскаў і больш, каб дабрацца да пула некалькіх ТБ. Я проста праверыў цэны, і зараз вы можаце набыць назапашвальнік на 3 ТБ значна ніжэй за 100 долараў. У мяне проста няма апраўданняў, калі я маю свае дадзеныя без абароны, і калі такая страта дадзеных здараецца са мной, гэта сапраўды мая віна.