bash.im ithappens.me zadolba.li

Сисадминское

708

Большому кораблю — большие бэкапы

Стоял в американском порту большой научный корабль, готовился к приемо-сдаточным испытаниям. Все на корабле было на совесть, с двойным запасом прочности: сервер телеметрии под управлением HPUX, еще один такой же в горячем резерве, плюс ленточка с полным бэкапом на всякий пожарный. Для пущей сохранности оборудования на борту постоянно дежурили два админа из русской команды - смена три недели, потом на берег. Дошла очередь дежурить и до меня. Узнав, что за сервера будет отвечать мой старший и более опытный напарник, я тихо порадовался — опыт работы с HPUX у меня был небольшой.

И вот мы поднимаемся на борт и заступаем на дежурство. Через некоторое время я вижу, как ложится основной сервер телеметрии. Выяснив, что система не поддерживает кириллицу, мой коллега решил исправить недостаток, что-то напутал, система продержалась 20 минут и легла.

Коллега, как я уже говорил, был старше и опытнее меня, поэтому я решил, что не вправе делать ему замечания. Зря он так, конечно, ну ничего, ситуация под контролем! Сейчас мой старший товарищ поднимет резервный сервер, восстановит из бэкапа основной, и все будет хорошо. Пока я успокаивал себя, напарник поднял резервный сервер и продолжил свои эксперименты.

Главное, что дает нам жизненный опыт - это умение предвидеть последсвия собственных ошибок. В ходе второй части эксперимента коллегу что-то насторожило, и он решил забэкапить уже надломленную систему (лучше поздно, чем никогда). К сожалению, для бэкапа он выбрал ту самую резервную ленточку.

Зачем нужна поддержка кириллицы на сервере телеметрии, работающем только и исключительно с потоками двоичных данных, напарник мне так и не объяснил. Сервера мы всё-таки починили, но для этого нам потребовалось несколько часов переговоров с Москвой по спутниковой связи (от пяти долларов за минуту и выше). Веру в безоговорочный авторитет старших коллег я потерял навсегда.

С возрастом, знаете ли, приходит не только опыт, но и маразм.

705

Пять шагов на северо-восток от чёрного свитча

Год назад устроился сисадмином в довольно крупную компанию — обслуживаю 23 сервера и около 700 компов, есть помощники.

Не знаю, что случилось, но предыдущего админа мне найти не удалось. Руководство сказало: «Разбирайся сам, мы понимаем, что задача непростая, поэтому дадим время и компенсируем затраты».

Всех паролей никто из помощников не знал — у них были просто учётки с расширенными правами. Обычно ребята эникеили на объектах, а админ выезжал за пределы головного офиса крайне редко и в основном занимался серверами. Ходили слухи, что у прежнего админа была традиция хранить пароли в труднодоступном месте, но мы так ничего и не нашли. Кое-какие пароли удалось подобрать или сбросить, кое-что — переустановить заново.

Прошел год, наступил кризис, и компании пришлось отказаться от одного из арендуемых офисов. Согласно начальственным указаниям было решено демонтировать всё, включая короба, витую пару и электрику.

Каково же было мое удивление, когда я, разбирая серверную вместе с помощниками, обнаружил все пароли, которые когда-либо использовались в компании! Админ записывал их на обратной стороне белых стикеров, равномерно распределённых по внутренней стороне короба под толстым жгутом кабелей.

На всякий случай традицию соблюдать не стал.

701

Конфиг в фа-диезе

У нашей конторы есть небольшие (машин на двадцать) представительства в разных городах, и там, естественно, нужно поддерживать и обслуживать IT-инфраструктуру.

Работает на компьютерах жутко секретный софт, местных админов приглашать никто не торопится, и мне приходится мотаться из одного города в другой, чтобы работа нигде не встала. В последнее время вместо меня занимается этими функциями пара молодых, толковых эникейщиков.

Раздаётся часа в три ночи звонок от одного из бойцов, поехавшего в филиал устанавливать софт: «Ничего не работает». Для запуска программы нужно было настроить базу данных, до этого юный эникейщик ни разу этим не занимался, так что отправился на задание с кучей распечатанных руководств.

После непродолжительного анализа я понимаю, что движок не может найти файл с самой базой данных. Естественно, командую ему проверить файл с путями к файлам. Боец рапортует: «Всё тут правильно».

Через пару часов, когда уже были перепробованы все возможные попытки исправить ситуацию и я, тупо уставившись в свой монитор, думал о своей нелёгкой участи, это чудо позвонило и выдало уникальную фразу: «Может, не недо было перед строчкой с адресом базы ставить решёточку?». Я пытался найти подходящие к ситуации слова, но в итоге просто бросил трубку.

В итоге успокоился, перезвонил и поддтвердил его догадки. Эникейщик посмотрел на комментарий в начале конфиг-файла и решил, что так и надо.

691

При потере пакетов стукнуть три раза

Работаю скромным админо-линуксо-кодером в филиале одной нескромной организации. Пришло как-то к нам оборудование из вышестоящего отделения для апгрейда парка техники. Коробки из машины были выгружены к нам в здание, и я приступил к изучению принятого.

Разбирал оборудование я три дня, сверяясь со списками. Железо для сборки клиентских машин и серверов, 19-дюймовые стойки, несколько бухт витой пары, дистрибутивы FreeBSD, Mandriva, Ubuntu, бесперебойники, роутеры — единственным, что я так и не обнаружил во всей этой куче, было загадочное «Средство комплексной диагностики и тестирования сетей „Б-01“».

Долго думал, что же это может быть, даже спросил у Гугла, впрочем, безрезультатно. Повозмущался немного, махнул рукой и приступил к боевым действиям по сборке и настройке. Тут мне на глаза попадается странная такая коробка примерно 40x40x40 см, плотно перемотанная скотчем. Первая мысль: «А уж не оно ли это?»

Распаковываю. Внутреннее пространство коробки обильно набито ватой, а сверху гордо красуется записка от начальника IT-отдела вышестоящей организации, адресованная мне лично: «К сожалению, мы сейчас не имеем возможности отправить какое-либо средство диагностики сети за неимением на нашем складе такового, однако я искренне надеюсь, что содержимое этой коробки хоть как-то поможет тебе! И да пребудет с тобой Сила!».

Разгребаю вату и нахожу там… конечно, бубен.

659

Знать бы, где соломку подстелить

Работаю сисадмином в крупной сети розничной торговли по типу "роспечати". Где-то с месяц назад в одном из наших магазинов, находящихся в аэропроту, вышел из строя компьютер. При первичном же осмотре было выявлено, что системник, лежащий на боку, банально залили большой кружкой кофе.

Звонят сегодня в 6 утра из круглосуточного магазина, мол, комп вырубился и не включается. А надо заметить, что у нас на всех магазинах стоят УПСы, и все продавцы обучены в случае тревоги завершать работу компьютера. Вернее, почти все. В общем, звонит мне девушка и сообщает прискорбные вести о кончине компа. Наводящими вопросами выясняю, что до этого пищал упс, но сейчас "все в порядке" и писка нет. После кратких и "ёмких" объяснений, что нужно сделать, понимаю, что конец немного предсказуем - компьютер не загружается.

Встав с грехом пополам, приезжаю в магазин. Девушка как раз сдает смену, пишет мне объяснительную и отчаливает. В процессе восстановления понимаю, что с компом что-то не то, т.к. свежеразвернутый образ не хочет грузиться ни под каким соусом. Разгребаю барахло в столе и вижу на крышке горизонтально лежащего системника характерные пятна. Проверяю пальцем - еще липкие. С неприятным предчувствием снимаю верхнюю крышку и вижу свежие разводы на мат.плате...
После опроса директора магазина, выяснилось, что перевели эту девочку из того самого магазина, где был залит первый комп.

656

Такой у нас не значится!

Работаю эникейщиком в филиале крупной компании.

Как-то раз звонят из местного офиса с просьбой о помощи.
По их словам, из вышестоящей конторы в соседнем городе должны прислать архиважную программу на электронный почтовый ящик сотрудника с фамилией то ли Симак, то ли Севак, а у нас такого отродясь не водилось. Звоню в тот самый город тамошнему админу. Выясняется, что дистрибутив давно лежит на нашем сервере, а до этого парень сказал нашей бухгалтерии по телефону, что "кинет нам прогу на сервак". Уточнить, кто это такой, они постеснялись, и сбились с ног в поисках человека по фамилии Сервак...

Будьте аккуратны со сленгом при общении с неопытными пользователями!

654

Magic people, voodoo people

Вот было дело. Админим сеть общежития. В силу архитектуры и менталитета администрации провайдера, у нас сеть разбита на 2 подсети, у первой основной шлюз ***.***.***.1, у второй - ***.***.***.129. Шлюзы предоставляют нам доступ к интернету, а заодно является нашим DHCP сервером. В один прекраный день у нас происходит очень напрягающее происшествие: начинают теряться пакеты до основного шлюза. Пакеты теряются только у нижней подсети (Первый шлюз). Причем очень так хорошо, из 20 пакетов потерь примерно 65-70%.

Первое - проблема у меня (заметил у себя в первую очередь). Все возможные аппаратные и программные проблемы исключены. Поступают жалобы от других. Переходим на более высокий уровень - общажное оборудование. Тест показал, что верхнюю подсеть не трогает - общежитие в порядке. На следующий день решено идти к провайдеру. И тут меня дернуло проверить напрямую (не через общажное оборудование, а прямо к кабелю провайдера) комьютер из нижней подсети. Не кидает! Спускаемся опять на уровень общежития. И тут начинаем чудить с коллегой. По очереди отрубаем этажи. Третий - потери, Пятый - потери... Второй... Так-с, потери исчезли, коннект стабилен!

Спускаемся на второй этажи начинаем тупо выдергивать пачкорды из свича... Первая комната, вторая... Опа, а вот и ты, шестнадцатая.
Заходим, спрашиваем - хозяина ноута нет, а у него запущены: сниффер, выдающий себя за шлюз ***.***.***.1, который перехватывает запросы с компов, и перебиралка паролей (у нас нет ни одного компа с паролем, кроме сервера)...
Выносим предупреждение, отрубаем...

Вспоминаются фильмы про хакеров: там сидит толпа очень умных людей, и щелкая по клавишам со скоростью пулемета, вычисляют злостного хакера, который ломаем компутер пентагона... У нас - два тычка, три щелчка - и пошли ругаться на бедного недохакера.

652

Бог хотя бы точно знает, что он - не хирург

Устроилась к нам молоденькая секретарша. Из-за удивительной планировки помещений ее кабинет был как раз рядом с тем местом, где я обитал со всякими компьютерными штуками. Иначе говоря, рядом с подвальной комнатой. Ну, этим воспользовались сотрудники и начали звонить ей, чтобы она позвала меня. Быстро, удобно. Бегать не нужно. В проблемы ее не вводили, а только просили позвать меня.

А, к слову сказать, у нас компания чумовая. Дня не проходит без: "Саааш. Я что-то тыкнула", "Саш, я куда-то стукнул" и т.д. И тут в один день спокойствие. Я отходил покушать, вернулся - и тишина, рай. Задумался, может у нас случилось что, ушли все.
Заглядываю к секретарше в комнату. Её там нет. Иду дальше. И слышу в одной кабинете истеричный плач и крик.

Как оказалось, всё было легко и просто. Позвонили секретарше, позвали меня, я был на обеде, поэтому девушка заинтересовалась: "А что у вас?". Другая героиня, не задумываясь ответила : "Комп тормозит. Наверное вирус..", на что секретарша обрадовалась : "Так я же умею это чинить. Сейчас прийду".

Пришла, попросила диск с XP, и... переустановила windows, предварительно отформатировав жесткие диски. Это у нее папа всегда так делал, вот она и вспомнила. А у той девушки документации было море + торможение заключалось всего лишь в открытии асек, контактов, музычки, игрушек, презентаций сразу. Об этом мы узнали, конечно, позже.

Вот так бывает, когда встречаются два бессмертных человеческих качества: желание поговорить о проблеме, не разбираясь в ней, и вечная уверенность в своих силах.

645

Внимание, внимание и еще раз...

Как же просто, порой, попасть впросак по собственной невнимательности и неаккуратности. Работаю сисадмином. Звонят юзеры из одной комнаты, говорят, мол, сеть у них пропала (надо сказать, что контора работает на терминалах на сервере, а, следственно, без сети невозможна никакая рабочая деятельность). Я медленно, вальяжной походкой, иду к кабинету юзеров. Сажусь за комп, пингую сервак - теряются пакеты. Подхожу к хабику, который лежит в кабинете, осматриваю его. А хаб, надо сказать, по моей вине лежит в куче мотков витой пары (лень было, блин, убраться). Разом вытыкаю все концы из хаба, нажесткую его ребутаю. Затем все концы, которые попались в куче проводов, втыкаю назад в хаб.

Снова пингую сервак. Пакеты продолжают теряться. Иду в серверную, проверяю хаб, который подключает все это крыло к локалке. Вроде работает. На всякий случай и его ребутаю. Подключаюсь к нему напрямую. Пингую сервак - теряются пакеты. Опаньки, теперь и этот пакеты теряет! Проверяю патчкорд, который локалку на этот общий хаб приводит. Ну так и есть - обжат плохо. Переобжимаю. "Вот проблема и решена", - думаю я. Пингую... сервак снова пингуется с потерей пакетов.

Тут мне начинают звонить другие пользователи, у них тоже сеть пропадает. Я начинаю беспокоится, потому как весь офис сидит без работы, а простой рабочего времени вычтут из моей зарплаты. Вальяжность как рукой сняло. Начинаю суетиться. Проверяю работоспособность главного хаба. Работает. Ребутаю - пакеты теряются. Начинаю паниковать. Как же так получилось: сначала через один хаб пакеты терял, за ним второй стал терять пакеты, а теперь все хабы теряют. Рисую себе страшные картины какого-то зловредного вируса, который заражает не програмно, но железно. Придумываю способы лечения хабов (может, их спиртом протереть).

Тут дохожу до комнаты, где всего один хаб и два компа. Сажусь за один из них, пингую второй комп в этой комнате - пакеты теряются. Вынимаю из хаба локальную сеть: оба компа начинают друг друга видеть. "Опа-опа", - думаю я. Сразу из головы улетучиваются глупые мысли о кошмарном вирусе, и появляется мысль лишь о кольце в сети. Прибегаю в первый кабинет, с которого все началось. Быстро разбираю смотанную кучу проводов... естественно, в этой куче был один патчкорд, оба конца которого я воткнул в хаб.