Серверы

Знаете, каково это — настроить линуксовый сервер, являющийся единственным источником интернетов в штабе отряда противопожарной службы, находящемся за 180 км от города, показать шефу, как всё замечательно работает, и забыть забить настройки eth0, роутинга и rc.d для OpenVPN в конфиги, а на следующий день не обнаружить этот сервер в сети VPN, так как его выключали на ночь?

В начале нулевых старшему коллеге-программисту довелось побывать в одном из челябинских подразделений РАО ЕЭС России. Понятно, что контора серьёзная. И вот они с ведущим специалистом осматривают серверную, тот знакомит с оборудованием. С самого начала экскурсии у коллеги появилось смутное чувство: что-то не так. Под конец челябинец пожаловался: «Вот упсы новые пришли, а в шкафы поставить не могу. Боюсь, болты не выдержат».
Тут-то и прояснилось, что не давало коллеге покоя.

Контора располагалась в старинном здании чуть ли не дореволюционной постройки. Перекрытия, соответственно, деревянные. Когда начали устанавливать серверные шкафы, пол начал ощутимо прогибаться и трещать. А под серверной располагался кабинет директора организации, который очень испугался за свою бренную жизнь и приказал любыми способами обезопасить себя от бездушных машин. Так как более подходящего помещения под серверную не нашлось, было принято гениальное и очень простое решение: серверные шкафы прикрутили болтами к потолку.

Случилась эта история с моим коллегой, ещё раз подтвердив, что законы Мёрфи не дремлют и только и ждут шанса напакостить нашему брату.

Началось всё с вполне благой инициативы: в среде удалённого развёртывания и управления, в которой мы работаем с клиентами, коллега решил немного изменить политику установки Microsoft Office на клиентские машины, чтобы перед установкой юзеру сначала показалось бы диалоговое окно, предупреждающее, что сейчас ему будут ставить Офис, с возможностью подтвердить, отложить или отказаться. В тестовом режиме политика отработала безукоризненно и недрогнувшей рукой была перенесена в боевую среду.

Первое подозрение закралось, когда свежедобавленная политика сообщила, что затронет вместо необходимых двух десятков машин что-то около трёх тысяч. «Что-то здесь не так», — смекнул наш инженер и полез проверять настройки, к своей великой радости обнаружив, что забыл поставить в них одну галочку — зато какую!

Политика была немедленно отключена и удалена с основного сервера, но её уже успели подхватить и принять к исполнению периферийные. Стройными рядами на машинах мирно работающих пользователей начали всплывать окошки с вопросом на английском языке. Прежде чем удалось заставить горшочек не варить, попришибав все периферийные и дополнительные серверы, политика успела обойти около двухсот машин, большая часть из которых была в Германии. Юзеры в большинстве своём были в явных неладах с английским, поэтому нажимали кнопку наугад. Сами-то пользователи в массе своей не возражали, кто-то даже обрадовался внезапно появившемуся на машине Офису, но нашлись и те, кому внезапно всплывшие окна на непонятном языке категорически не понравились, и в итоге о случившемся узнали менеджеры. Далее по цепочке очень быстро вычислили наш отдел, и в кабинете раздался звонок от Большого Начальника.

Весь следующий день был проведён в режиме телемоста с руководством компании в Европе. Выяснялись масштабы происшествия, составлялся список пострадавших, принимались меры. В общем, коллегу моего перевели в другой отдел, максимально урезав его в правах. Теперь он будет заниматься установкой программ — в том числе и злополучного Офиса — только вручную. А ведь он просто хотел как лучше!

Проводим IT-отделом модернизацию парка серверов. Пробившись через кошмарное сопротивление бухгалтеров, программистов, начальников других отделов, администраторов подсетей, просто пользователей, наконец, переводим всё на новое железо в новый домен. С радостью глушим задолбавший домен на NT-шках. Остаётся решить последнюю проблему: на железо одного из серверов зарегистрирована лицензия крупной корпоративной системы. Из множества решений начальство выбирает самое страшное: оставить сервер.

В силу сложности отношений между задачами, доменами и сетью в целом простое включение обратно в сеть неприемлемо. Вернутся не только старые глюки, но и добавятся те, что вызваны максимально мягким переводом ресурсов на новые сервера (в ущерб логике, в угоду юзерам и ленивым программистам). Принимаем решение: обновить систему, чтобы можно было понизить роль сервера и включить его без тени старого домена за плечами.

Дело поручают мне. Тестирую на другом старом сервере — всё ровно и гладко проходит. Начинаю работать с самим пациентом. Первая попытка — обновление не проходит до конца, и мы получаем коряво обновлённый контроллер старого домена на новой операционке. Приходится пристрелить — в смысле, восстановить бэкап и начать заново. После второго обновления не работает половина служб, а логи системы чистые. Вижу в диспетчере устройств, что требуется обновление некоторых системных драйверов. Сервер уже изрядно неприятен мне как личность. Нахожу драйвера на сайте производителя, обновляю — полный абзац. Сервер начинает по две-три минуты реагировать на любое действие сложнее передвижения курсора. Лезу читать форумы производителя. Нахожу похожую ошибку. Среди бреда, советов обратиться в сервис и самому взяться за паяльник нахожу гениальное: «Выключите на 30 секунд и включите снова».

Помогло. Сервер перестал включаться. Железячники, поковырявшись, сказали, что умерло всё, что могло, и запчастей нет даже в музее. Начальство плюнуло и перешло к человеческим способам переноса лицензии на новое железо. Дружно поём: «Да здравствует разум, да сгинет маразм…»

Я работал программистом и сисадмином, но фирма разрасталась, и совмещать становилось всё труднее. Шеф решил взять админа отдельно, и одна из сотрудниц предложила своего сына. 11 класс, мальчик умный, поступать будет в соответствующий вуз. Платить много не надо. Чем чёрт не шутит — пригласил его на собеседование. Действительно умный, вежливый, свободен четыре часа в день. Сообщаю шефу: «Можно попробовать, вроде всё хорошо».

Всё действительно оказалось неплохо. Схватывал парень быстро, был ответственен и исполнителен. Вместе с ним на пару собрали и подняли новый сервер. Через два месяца я полностью отстранился от администрирования, а школьник потихоньку улучшал всё это дело.

Летом парень благополучно поступил в свой вуз. К концу лета на шефа то ли родственники надавили, то ли сам решил. Взял он нового админа — своего родственника, только закончившего вуз. По идее, он должен был месяц входить в курс дела, но уже через неделю админ-выпускник с обидой сообщил, что уходит: «Новый говорит, что уже всё понял, и советы школьника ему не нужны». Ну, оба молоды, всякое бывает.

Спустя четыре месяца произошло крупное ЧП: умер сервер, обеспечивающий 80% документооборота фирмы. Работа встала почти полностью. Шеф рвёт и мечет, админ кивает на «закладки» предыдущего, меня как одного из сборщиков сервера кидают на его восстановление.

Начинаю изучать. В сервере стоит новая мощная видеоплата, которой там никогда не было, на всех винтах обнаруживается полный зверинец интересных вирусов и остатки игр. Иду к шефу: так, мол, и так, скорее всего, твой родственник превратил сервер в свою игровую станцию, отключил экран, антивирус нахватал гадости, вот всё и накрылось.

Было у нас правило: каждую неделю админ делал бэкап всех пользовательских данных на болванки. Радость шефа, когда он узнал, что последние три месяца бэкапов не было никаких, трудно передать. Через неделю головной боли и полного паралича всей фирмы админа уволили, а я отправился в университет в поисках старого знакомого.

Служу в Президентском полку. На пульте дежурного по части есть серверная, которая отвечает за всю безопасность арсенала. И среди всех этих крутых шкафов, кондиционеров и непонятных штук с лампочками-мигалками есть одинокий второй «пенёк», который вытаскивает видео с камер и отдаёт его начальнику штаба. И вот это чудо постоянно виснет.

Чтобы нажать кнопку на «пеньке», надо вызвать специального мальчика. Более того, кто-то ещё и догадался засунуть несчастный системник на самый высокий серверный шкаф, а это примерно три метра от земли.

Но даже не это самое печальное. Когда мальчик заходит в серверную, он включает свет. А выключателей там два: один включает лампочку, а второй к @#$ням обесточивает все шкафы.

Рашн арми, ай лав ю.

На одной из первых работ знакомого довелось ему админить сеть на десяток машин и пару десятков юзеров, зато с доменом. Приходилось устраивать долгие разъяснительные беседы с кладовщиками, которые жаловались, что машина долго загружается. Объяснял, что не надо хранить фильмы на рабочем столе, а они ни в какую.

Одним прекрасным утром понедельника наш админ пришёл на работу и обнаружил, что организация парализована. Все бегают, все кричат: работающий на той же машине, что и контроллер домена, Exchange Server, который в субботу вечером живо бегал, лежит и отказывается подниматься. Следующим был отмечен факт отсутствия свободного места на диске.

Как выяснилось, донельзя умные кладовщики создали у себя на рабочем столе «Новую папку», внутри неё — ещё с десяток вложенных по той же схеме, и уже туда запихнули все свои фильмы, очевидно, надеясь, что теперь-то их уж точно никто не найдёт. В воскресенье сервер прилежно начал делать бэкап по расписанию, для чего вначале остановил Exchange, и уже в ходе резервного копирования вдруг осознал, что дописать у него уже не выйдет: место на диске кончилось. Обратно почтовый сервер подняться уже не cмог, ссылаясь на какой-то битый файл.

Юзеры, ну поймите же наконец: если вас админ просит чего-то не делать, то, наверное, уж он говорит это не просто так! А то ведь может статься, что потом вам придётся отвечать уже на ковре у Главного.

Есть такие ключи HASP. Много для чего используются, вот и нашему продукту такой понадобился. В процессе разработки и тестирования подключали ключик к разным машинам. Драйвер ставился сам, и всё работало без проблем.

Пришло время интеграционного тестирования. Купили новый мощный сервер. Настроив, клавиатуру, мышку и монитор отключили и оставили сервак с двумя проводами: кабелем питания и витой парой. Если что сделать надо, всегда есть удалёнка. Воткнули ключ, начали проверять — ПО не видит, хоть ты тресни! И драйвера удаляли, и ставили новые, и компьютер перезапускали… Плясали весь день.

Надоели пляски. Взял беспроводной набор под мышку и пошёл к серверу поговорить, так сказать, по-мужски. Подключаю всё это добро, проверяю — работает! Оказалось, что этой падле нужна клавиатура с мышкой. Если оставить его только с флешкой воткнутой, работать отказывается, а с устройствами ввода пашет. Тьфу!

Сижу на конференции. Вдруг звонок одного из пользователей: «Сервер такой-то внезапно стал недоступен оттуда-то!» С одной стороны, хорошо: они научились чётко формулировать проблему.

Пытаюсь зайти по внешнему адресу — не получается. Пингую по внутреннему — то же самое. Тестирование длины кабеля с помощью TDR показывает, что кабель отключён, причём со стороны сервера, а не циски. Пришлось тихонько посреди доклада бежать в серверную.

Сервер действительно не был найден. Пойманный на месте преступления завхоз гордо поведал, что наконец-то отправил сервера в гарантию. Правда, не те, которые надо было, а активно используемые. То, что они были включены, его не смутило. Спасибо бдительным вахтёрам, которые стали интересоваться, что за железки выносят: далеко увезти не успели.