Серверы

«Наташа», «Катюша»… Один из серверов крупного хостера зовётся «Кенни» и постоянно падает. Тут как про корабль, который как назовёшь, так он и поплывет. Но переименовывать его неинтересно, потому что падает он всегда прикольно.

Систем охлаждения в датацентре две. Одна работает на подачу холодного воздуха, вторая — на отвод тепла. К шкафам холодный воздух посекционно подаётся снизу, а горячий вытягивается сверху. В случае выхода из строя одной из систем температура до критической доходит за четыре-пять часов, то есть резерв есть, а вот если обе, то 20 минут — и всё. Слава Аллаху и его заместителям, пока это были только эксперименты.

В ходе полевых испытаний была найдена комбинация, позволяющая хоть как-то продержаться до приезда ремонтной бригады, пусть и требующая нехилой беготни и минимум двух человек. Нужны компрессор с двумя шлангами, стремянка и ящик с баллончиками для продувки аппаратуры (у нас это Katun Air Duster — extremely flammable, конечно, но состава побезопаснее, который давал бы настоящий холод, мы не нашли). Пошкафный процесс таков. Стремянка сзади, один «горноспасатель» откидывает вытяжку и всовывает шланг от компрессора, второй предварительно вытащив в коридор. Откачка идёт минуты две, после чего второй «горноспасатель» снимает плиту фальшпола перед шкафом и через щель с выражением на лице «погибну, но не сдамся» опорожняет в шкаф половину баллончика.

Картина выглядит абсолютно по-идиотски — надо бы видео сделать да на Ютюб выложить. Тем не менее, шкаф держится после подобной процедуры примерно полчаса, поэтому времени хватает, чтобы обойти все оставшиеся.

Лет семь назад мне довелось поработать в очень уважаемой компании. Лидер в своей отрасли; не нефтянка и не оборонка, но всё же. Пришёл туда системным администратором на фрилансе.

Вообразите себе воркгруппу примерно на сто машин. Пароли — фикция: все давно всё знают. Зоопарк рабочих мест: компьютеры собираются внутри фирмы (откатинг?) из запчастей, более пяти машин одного состава не бывает, никаких образов — весь софт через сетапы.

В сети, оказывается, есть вполне живой домен-контроллер со вполне себе живым доменом. В группе домен-админов — Everyone. «А без этого 1С не работает!» Шок. Оказалось, домен-контроллер являлся файл-сервером для 1С,
а пользователи не могли получить к нему доступ, поскольку ОС была ограничена пятью пользовательскими подключениями. Но если всех включить в домен-админы…

Надо ли говорить, что пароли не менялись в принципе, «а то работать ничего нигде не будет, тогда надо везде менять»? В итоге, если запустить обычный L0phtCrack и поснифать утренний логон-трафик, то можно быстро-быстро получить все пароли… Ну, почти все. Распечатать и отнести руководству с разговором о том, «как жить дальше».

Это и было проделано перед моим приходом — понятно, что не администратором. Теперь у них всё правильно и хорошо. И есть, что вспомнить.

Начало нулевых. Небольшой учебный класс: сервер на неспешной машине, десяток терминалов на Цитриксе. Для работы в Офисе скорость вполне приемлема, но в этот раз сервер насилуют кореловским пакетом, точнее, Фотопейнтом. Серверу отчаянно не хватает памяти, Фотопейнт сосредоточенно создаёт свопы. По каким именно правилам он именует файлы подкачки, неясно, но явно не учитывая при этом одновременную работу нескольких копий программы под разными пользователями. В итоге выделенный и скопированный кусочек картинки на одном компьютере вставляется на другом… Столь непредсказуемых коллажей слушатели курсов никак не ожидали увидеть.

В 1993-м году в хорошем крепком банке жил-был сервер. Где-то на свете, конечно, были AST Manhattan, Compaq и, наверное, что-то ещё, но в хорошем крепком банке в 1993 году сервером называлась машина на 286-м проце с двумя мегабайтами SIPP и двумя винтами по 40 мегабайт на MFM-контроллере, и это было хорошо.

Трудился там жутко умный НеТварь 2.15. Дети, знайте: чтобы запустить серверную ОС НеТварь 2.15, надо сначала стартануть DOS, а уж потом server.exe из «автоэкзека».

Так вот. Стоял такой хороший крепкий сервер в модном тогда корпусе BabyAT — «аллигаторе». Винты у него были в зеркале. И не нужно ему было ни консоли, ни мыши, ни клавы — вот так хорошо он работал. А чтоб на винтах места было больше, DOS туда не ставили, с дискетки 5,25" грузили. А в силу особенностей топологии «шина» стоял сервер просто в операционном зале, поэтому выключался на ночь и включался утром.

Одним прекрасным утром сервер никто не увидел в сети. Ну, бывает. Цепляю монитор. О! Загрузится не может. Раз в год дискетка имеет полное право протереться до дырки. Беру образ. Пишу новую дискетку. Иду к серверу. Поворачиваю ручку на флоповоде… Где дискетка? Нет дискетки. Неужто приватизировали? Не может быть. I/O error — это ошибка чтения. Значит, с чего-то читать начали. А дискетки нету. Лезу под стол с настольной лампой — а вся морда корпуса очень качественно заштукатурена. И не какой-то декоративной штукатуркой, а хорошим, кондовым раствором.

Доложил шефу. Шеф всех девочек построил и отдрючил.

— Да вот тут полгода назад плитку на полу чинили, я нечаянно ведро с раствором ногой!.. А оно!.. А я!.. А мне!..
— А чего сразу не сказали?
— А мы так хорошо мокрой тряпкой оттёрли, что думали, никто не заметит.

Прочистить щель дисковода мы так и не сумели. Без пластиковой морды та модель не работала, так что пришлось замурованную дискетку вытаскивать по частям и новую загрузочную ставить без конверта. И ничего, ещё год отработала.

А потом, в конце 94-го, серверу пришло время сделать апгрейд. Взяли мы маму на 486-м, к ней «симмы» 72-пиновые. Два винта, уже IDE-шных, с PIO4, аж по 210 мегов. Воткнули всё новое в корпус. Старые винты на MFM-контроллере подцепили, свежую версию НеТвари накатили. Зеркало собрали. Данные перелили. Старые винты с контроллером отцепили. Кнопку жмём. Не пускается. Не то, что система не стартует, а вообще не пускается. «А давай старое железо воткнём». Собираем. Пускаем. Работает. «Давай новое». Не работает. «Давай старые винты опять подцепим». Работает. Это что ж такое?

Шеф, электронщик с большим стажем, почесал репу. Со старыми винтами работает. Это значит что? Блок питания хочет старых винтов. Почему? А нагрузки ему не хватает, вот почему. Винты померяли по току — а ничё так, по 16 ампер на раскрутке каждый, по 3–4 ампера при работе. Ну ладно. БП вскрыли. Шеф репу почесал. Припаял резистор. Включили. Работает! По домам? Не-е-е. Тут как раз дымком потянуло: резистор сгорел. А магазины, где можно купить мощный резистор, уже все закрыты. А сервер надо утром запустить, иначе меня могут уволить с особым цинизмом. Да и шефа за стоимость этих 486-х потрохов могут анально покарать.

Резистор был сделан своими руками: часть спирали от электрообогревателя (расчет и намотка — шеф) плюс основание из куска фаянса от старого унитазного бачка (изготовление молотком и отвёрткой — ваш покорный слуга). С этой хернёй, болтающейся сзади корпуса, сервер проработал ещё год.

Серверная располагалась в паре остановок от основного офиса, где админ нашей компании должен был появляться каждое утро. Зачастую на целую ночь он оставался в серверной, где стоял удобный диванчик.

Чтобы не проспать на работу, админ ставил будильник. Не на мобильнике, нет — в роли будильника выступали четыре сервера. Ровно в 7:30 все машины вырубались, и воцарялась гробовая тишина. Админ вскакивал с ужасом на глазах. Говорил, что каждый раз верил, что всему пипец, и только спустя пару секунд понимал, что это его рук дело, и пора на работу. Сами же машины поднимались через десять минут.

В родном, но уже законченном институте крутится-вертится сервер под FreeBSD. Естественно, и швец, и жнец, и на дуде игрец: DHCP, маршрутизация, Samba и тому подобное. Работал до недавнего времени как часы. И тут мой знакомый с кафедры того самого института звонит и сообщает, что сервер упал.

К великому стыду, я во FreeBSD разбираюсь примерно так же, как в теории струн, то есть никак. Но хотелось помочь и поковырять незнакомую систему. Приехали на место — и давай разводить глубокомыслие. Обнаружили сгоревший свитч, переткнули провода в работающий — ноль эмоций. Начали ковырять систему, которая, по нашему мнению, упала. Читаем встроенные мануалы по службам (или их тут демонами кличут, не знаю — мы люди виндовые, к демонам не привыкшие), проглядываем конфигурационные файлы сетевых служб, по телефону выпытываем у несчастного мужика команды для незнакомой системы, очень-очень много думаем.

После двух часов размышлений, читая очередное руководство по dhcpd.conf и потихоньку пообвыкшись в незнакомой системе, с печатью мудрости на лице я взглянул в сторону сиротливо торчащего из сервера Ethernet-провода. Провод уходил в воздух. Воздух пах выводами о собственной тупости.

Теперь я точно знаю, что в будущем при проблемах с сетью я сперва буду учитывать свою собственную глупость, а уже потом пытаться прорабатывать ошибки сотни квалифицированных программистов, писавших ось — и не важно, винда это будет или что-нибудь опенсорсное.

До трёх ночи дорабатывал новую, очень хитрую цепочку конфигов для нашего выделенного сервера. Для одновременной согласованной работы настраивались сетевые интерфейсы, DNS, nginx, Apache и прочее, чтобы каждый из множества доменов проходил по специфической дорожке. Доделал — и рухнул на диванчик около рабочего стола.

Под бок запрыгнул мой кот Мурзик. Мысли меркнущего сознания: «Как он сюда попал? У него же нет своего конфига!»

Работаю в достаточно крупной торговой организации. Занимаем несколько зданий, топология сети весьма запутанная.

Однажды прихожу на работу и слышу отчаянные мольбы отдела продаж: «Дай нам интернет, не можем работать!» Ну, думаю, шлюз повесился, бывает и такое. Не успеваю дойти до серверной, как торговый зал высказывает свои претензии: «Принтер на складе не работает!»

Проблемы нужно решать по мере их поступления. Пытаюсь зацепиться к шлюзу по SSH — не могу. Пинги идут. Хорошо, перезагружаю: FreeBSD — штука надёжная, но аптайм уже серьёзный. Загружаюсь и вижу ужасающее предупреждение о том, что кто-то захапал себе адрес сервера. Естественно, на ум приходит злосчастный принт-сервер, сбросивший настройки в дефолт. Тоже невелика беда — вырубаю обнаглевший со своими правами на лидерство девайс и жду пингов из внешки. А их нет!

В полном смятении пытаюсь понять, что же всё-таки происходит, и вдруг вспоминаю, что притащил с собой портативный девайс на ремонт. К «вафле» зверь подключился сам: когда-то я его уже ремонтировал. И верно, в настройках сети аппарата чёрным по белому прописан статический адрес, по несчастливой случайности совпавший с адресом сервера.

Через десять минут после устранения причины сервер выключился: блок питания не выдержал многолетних надругательств. Обиделся?