Серверы

Срочный звонок: «Всё не работает, и очень громко шумят вентиляторы у сервера». Пытаюсь удалённо подключиться через терминал — сеть безбожно тормозит. Провайдер утверждает, что с интернет-каналом всё в порядке, но, судя по логам, был бросок напряжения. Перезагрузка системы не помогла, и стало ясно, что личное свидание с сервером неизбежно. Думаете, из-за нестабильности электросети что-то сгорело? Ах, если бы всё было просто в жизни системного администратора…

На самом деле события развивались приблизительно так. Некая дама нашла на полу валяющийся конец длинного патч-корда, решила, что это непорядок, и сунула коннектор в ближайшую сетевую розетку — но второй конец кабеля был подключён к другой. Свитч вступил в интимную беседу с самим собой, напрочь забыв о том, что он должен передавать какие-то сигналы, и сеть повисла. Сервер же обнаружил, что по сети он получает вместо нормальных пакетов шизофренический бред; чтобы привлечь внимание к происходящему непотребству, ему пришлось включить на полную мощность все вентиляторы.

У нас на работе есть сервер. Зовём мы её Машенькой, Машей или Машкой в крайних случаях. Почему? Когда она была маленькой серверёночкой, её облюбовали тараканы, и лечили мы кремниевую подругу от напасти мелом «Машенька». Имя прижилось.

Со временем всё стало перестраиваться, и мы решили сделать систему удалённого оповещения о работе сервера. Постановили так: коль у Маши нелады, то и отвечать она должна соответственно.

«Дорогой, я вся горю, остуди мой пыл» — перегрев.

«Милый, мне плохо, что-то животик болит» — заканчивается место на файлопомойке.

«Любимый, у меня болит голова, я сегодня не хочу» — слишком большая нагрузка.

«Солнышко, я готова ко сну, давай займёмся этим быстрее» — пришли обновления.

«Ты скотина, я тебя ненавижу, ты снова болтался со всякими шлюхами!» — вирусная атака.

Всё это дело приходило эсемесками на мобильник и письмами от «МАШУЛЕНЬКИ :-P». О том, как наши супруги ревновали к Маше первое время, можно рассказать сотни историй, но одна запомнилась всем.

Молодой парень (30 лет, женат) после института устроился к нам и на третий день получил SMS-рассылку от Маши. На работе случился глобальный пипец (электричество вырубали, свет мигал, сеть тупила), а парень забыл свой телефон дома. В серверную ворвалась его жена с криком:

— Где эта сука Машенька и мой дебил? Щас я их кастрировать буду!

Конечно, мы в ситуации разобрались, но любая бы психанула после такого сообщения об отсутствии питания: «Милый, мне плохо, зацелуй меня до дыр, чтобы токи пошли и я не пищала».

На днях потребовалось создать общий ресурс у сервера местного клиента и удалённого пользователя из другого региона. Как положено: у сервера белый IP, учётки созданы. Но у удалённого пользователя не вышло подключить к себе сетевой диск сервера, поэтому решили подключить к серверу диск C: клиента. Все процедуры выполнены, проверяем работу:

— Открывайте в терминале «Мой компьютер».
— Открыла.
— Есть ли там в списке сетевых дисков ваш диск C:?
— Не-е-ет, нету. Но есть какой-то диск C: на «Крейзи».
— Это не ваш ли?
— Не знаю.
— Откройте этот диск, посмотрите, ваши ли папки с файлами там лежат?
— Нет, знакомого ничего нет.

Ладно, выходим из сеанса. Смотрим имя удалённого компьютера — Crazy.

— Это же ваш компьютер!
— Ну не знаю, молодой человек, вот если б вы мне его рабочий стол показали — я бы сразу узнала!

Новый сотрудник установил бота для аськи на сервер, чтобы рассылать сообщения о критических состояниях: например, если температура поднялась или UPS перешёл на батарею.

Сегодня UIN угнали. От сервера пришло сообщение: «Приветик! Глянь мою фотку без одежды. Как тебе?» Очевидно, я должен был увидеть там фото процессора, не прикрытого кулером, — или что там у серверов считается за интим? На фоне должны быть видны потёкшие кондёры, в совсем уж развратной версии — пятна белой термопасты.

У меня складывается такое ощущение, что сервера перенимают от меня некоторые черты характера — в частности, любовь к правильному написанию слов.

Сегодня создал в Exim ящик пользователю — фамилия транслитом. В фамилии есть буква «Ю», но доменная учётка написана через «U» — так и оставил. Началась мистика: сервер упорно отказывался авторизовывать пользователя. Были перепробованы десятки вариантов с разных компьютеров области — всё без толку. Стоило сменить «U» на «YU», и всё тотчас же заработало. Так и объяснил пользователю, что BSD-сервера у нас больно грамотные стали.

Потихоньку учусь работать админом в среднего размера компании. Компания расширяется, в связи с этим закупили сервер на новом железе. Вместе со старшим админом разобрали корпус, осмотрели и обнюхали все детали, разве что на зуб не попробовали, ибо таких мощностей в руках держать не приходилось. Выдвинули салазки с SAS-дисками и поставили устанавливаться систему. Десять минут спустя старшему показалось, что не крутится один из вентиляторов. Сервер, разгоняя оставшиеся кулеры, идёт на взлёт и пронзительно кричит «Ахтунг!», мы рубим питание. Старший касается по-прежнему выдвинутых жёстких и резко отдёргивает руку: без охлаждения центральные харды превратились в сковородки.

Закрываем от греха подальше корпус, пересобираем рейд. Пытаемся поставить систему по новой. «Хрен вам!» — говорит система, капризничает и не хочет запускаться нормально. «А если через установщик производителя?» — спрашиваем мы. «Неа!» — отвечает система, устанавливается, но логиниться не даёт. Грузимся в безопасном, думая, не спалили ли мы харды. Грузится. Отключаем службы. Запускается и в обычном режиме, но тормозит — мама не горюй. Непереводимая игра слов, перебор всех вариантов, обрыв волос на голове, сотни страниц с документацией в попытках понять, какого, собственно говоря…

Звоним поставщику, кричим, что ничего не работает, и мы ему этот сервер на голову повесим. Через пять минут — звонок с инструкциями. Работает, счастью нет предела, но друг на друга мы смотрим охреневшими глазами и раздумываем об иррациональном мышлении производителя. Честное слово, не рассказывал бы вам всё это, если бы в инструкции не было всего три слова: «Подключите обе сетевухи».

Довелось мне как-то работать админом в одной сети продуктовых гипермаркетов — штук шесть комплексов по городу, офис тогда ещё человек на сто и генеральный директор, ужасно на тему почты своей напрягавшийся. Если для админских нужд надо было перегрузить его ноут, то все открытые письма переписывались на бумажку, перегружался ноут, логинился юзер, и все письма открывались обратно.

Потребовалось провести в серверной перепланировку. Привезли сервер под новую систему. Ясен пень, все перестановки надо было делать в выходные ночью, дабы офисный люд не пострадал от отсутствия сети, почты и прочего. Сказано — сделано. За выходные, все в мыле, мы перетащили то сюда, это туда. Пакетики бегают, интернет присутствует, вроде всё хорошо. Понедельник, восемь утра. Утомлённые солнцем, собираемся расходиться. Выясняется, что почта работает, мягко говоря, с перебоями: пинги через один, коннект то есть, то нет, что такое — непонятно. Генеральный тут как тут, пистоны раздаёт налево и направо.

Искали проблему, искали и нашли. Оказывается, проводок сетевой, в этот почтовый сервер идущий, был коротковат и шёл под стойкой, а её несколько месяцев назад подвинули чуть-чуть. В итоге встал он внатяг, и джек внутри сетевухи перекосило. Когда всё передвигали и перепланировали, провод заменили на другой, с нормальным джеком, который в нормальном положении уже контактов внутри сетевухи касался едва-едва и пакетики терял направо и налево. Запасных сетевух такой древности (а серверок был старенький, ещё без PCI-разъёмов) в наличии не оказалось. В итоге, пока один человек мчался за сетевой карточкой в ближайший магазин древностей, другой стоял с карандашом и отжимал джек в положение, при котором пакеты ходили нормально, дабы генеральный не страдал и мог пользоваться своей почтой.

Как нагадить глобальной компании за три шага? История реальная; к сожалению, ни один аутсорсер не пострадал.

1. Нанять аутсорсеров из Мумбая (все с сертификатами, ага — живого места нет) и передать им обслуживание старенького сервачка.

2. Дождаться, пока они запретят доступ всем локальным админам и настроят оповещение о событиях по электронной почте с периодичностью в полсекунды. (Постарался новый админ по имени Fakir Anal специально, чтобы не проспать аварию вверенного ему сервера.)

3. Аккуратненько подёргать хвост от внешнего SCSI-накопителя — так, чтобы разъём болтался.

Теперь можно долго любоваться на то, как сервер будет заваливать почту сообщениями об ощибке SCSI-устройства 120 раз в минуту. Если соблюдены все условия, падение почтовых серваков гарантировано.

Аутсорсить надо обязательно в Мумбай. У них там много народу (все с сертификатами), и оповещение рассылается по списку, в который включены адреса трёх сотен с лишним человек.

Пятьдесят из них уже не работают — приходит отлуп.

Пятьдесят в отпуске — всему листу приходит ответ: «I am on vacation».

Сто отвечают всему списку (включая сервер): «Please stop mailing me about this issue!», причём пятьдесят из них будут отвечать на каждое сообщение, включая отлупы и автоматические «I am on vacation».

Девяносто девять отвечают всему списку (включая сервер): «This server is outside of my scope of responsibility. Please contact Fakir Anal».

Наконец, один человек (тот самый Fakir Anal, у которого вчера был выходной по уходу за священной коровой) сегодня не может прочитать почту, поскольку почтовый сервер упал.

Некоторые люди — они как Виндоус: чуть что — «Обратитесь к администратору».

Вот и наш штатный программист две недели кушал мой мозг. Прибегал, тряс бородой, требовал переткнуть «проводки», постучать по роутеру, отключить брандмауэр, сменить ОС и ещё много всяких глупостей. Причину не называл, потому требования его не выполнялись.

Вскоре причина выяснилась: новый сервер запрашивал подключение с неправильного адреса и в неправильной подсети. Разумеется, виноват админ: кто же ещё может коряво настроить маршрутизацию и трансляцию? Заявления о некомпетентности слышались и на совещаниях, и в коридорах, и на кофейных перерывах.

Людям свойственно делать довольно глупые ошибки, посему я проверил все настройки. Чисто. Всё работает именно так, как должно, на админской стороне проблем нет, но ошибку найти надо. Проект стоит, программист из меня так себе, проверять, кроме кода, больше нечего. Как проверить код, если не знаешь, где искать, да ещё на сервере с обрезанным (привет, Windows 2008!) поиском? Там же тыща файлов! Всё просто: скопировать боевые директории, вычистить оттуда логи и картинки, а потом в Notepad++ задать параметры поиска.

Результат впечатлил. Судите сами: 24 раза был указан правильный внешний адрес сервера, один раз внутренний адрес (именно он и нужен), и 126 раз был указан устаревший, неправильный адрес старого сервера. Такая себе копипейст-технология. Программисту было отправлено электронное письмо с описанием технологии и результатами поиска ошибки. В теме письма: «%username%, ты слепой?» Копия — начальнику.

Говорят, начальство долго кричало на программиста, обвиняло в саботаже и заморозке проекта, намекало на умственные способности. Говорят, программист оправдывался: «Я так привык, что ошибка всегда у других!», на что начальство задохнулось от ярости. В этот момент я был на перекуре и думал: «Неужели Вижл-студио — диагноз?»