Сидим себе спокойно в офисе, не спеша работаем. Внезапно падает два гипервизора со всем, что на них есть. Не обратили внимания: контроллер глючный, за ним это наблюдается, саппорт в курсе, ждём апдейтов. Но через некоторое время, как по расписанию, начали отваливаться хосты, ещё и ещё…

Сначала была лёгкая паника. Потом, когда начали падать сервера с клиентским софтом, волнение выразилось исключительно громким матом.

Товарищ отправился в серверную на разведку. Через пять минут вернулся, отказался сообщать причину падения и просто начал раздавать указания по подъёму всей системы.

А ещё через пять минут до нас снизошла «причина». Оказывается, в обход всего нашего отдела решили провести инвентаризацию. Неизвестным образом ключи от серверной оказались у милых девочек, которые на живую вытаскивали блейды из корзин, переписывали серийный номер и вставляли обратно.

В этом году в Израиле дату перехода на зимнее время перенесли так стремительно, что те, кому положено, не успели внести поправки в службы синхронизации времени. Пользуясь устаревшими сведениями, в ночь на 8 сентября 2013 года сервера в Израиле откатились на час назад. И зря.

Я в эту ночь завалился спать в 3:00. А в 7:30 меня разбудил клиент — менеджер новостного сайта.

— Поправь время на сервере, он откатился на час назад. Время публикации новостей отстаёт от реального на час.

— И ради этого стоило будить? Ну, пихнёшь ты новость о подорожании бензина в 11 часов, а на странице будет написано: «10:00». Кому от этого плохо?

— Ты не понимаешь. Бывают и другие новости. Если на израильском сайте появится статья «В Бейруте в 11 утра прогремел мощный взрыв», а время публикации будет 10, то мы не оправдаемся.

Работаю саппортом в дата-центре. Приходит тикет (клиент — реселлер, иногда админит своих клиентов):

— Перезагрузите сервер.

Перезагружаю. Через несколько минут:

— Он упал сразу после перезагрузки. Бутните ещё.

Перезагружаю. Некоторое время спустя пишут:

— Дайте IPKVM. Хочу понять, чего он всё-таки падает.

Подключаю, даю доступ. Получаю ответ:

— Благодарю, проблему обнаружил. Это Windows.

У меня дома в одной сети стоит системник, именуемый сервером, и ноутбук. Причём проброс портов настроен так, что доступ к ноутбуку из сети есть, а к серверу нет. Понадобилось клиенту скачать собственную утилиту с сервера, а он выключен. Wake-on-LAN работает только внутри сети. Была тут недавно такая история…

Решение пришло через минуту. У меня к ноутбуку подключена USB-ракетница. Я скачал из инета Radmin Viewer и зашёл на свой ноут.

Целимся в большую кнопку включения системника. Залп! Низко: забыли про гравитацию. Осталось две ракеты.

Целимся повыше. Залп! Ладно, не получилось.

Целимся очень осторожно. Победа, мы включили сервер!

Обучаю нового коллегу азам SQL. По опечаткам в коде понимаю, что психологию его можно изучать через код с томиком Фрейда.

Вчера изобрёл новое реляционное объединение INNER JOPIN и долго не понимал, почему не работает.

Cегодня выдал уже совсем фрейдистское, что даже комментировать не хочется: SELECT CUNT(*)…

Это если не считать, что вместо IS NOT NULL товарищ через раз ставит IS HOT NULL.

Сам я не айтишник, а связист, но с компьютерной техникой сталкиваться приходится регулярно. Каким-то образом (это отдельная история) стал я начальником отдела системного администрирования в подведомственной государственному органу организации. Сама организации только образовалась путём слияния нескольких подведомственных, так что бардак был тот ещё.

Основной задачей отдела (кроме поддержания психического здоровья пользователей) являлось администрирование серверов государственного органа, на которых крутились информационные системы всей отрасли. Системы в «опытной» эксплуатации, но базы данных уже актуальные. Сервера — 14 двухпроцессорных блейдов (по 8 ядер на блейд), 42 ГБ ОЗУ, дисковый массив на много терабайт. Но… Систем несколько. Дисковый массив напилен весь. В резерве 100 ГБ. На блейдах системы развёрнуты частью виртуально, частью — непосредственно. Про существующие системы писать не буду, это уже на совести разрабов.

И тут в один прекрасный день звонит из ГО наш куратор. Появился у них ещё один разработчик ещё для одной ИС. Разработчикам нужна платформа для разработки. Через целого министра продавили, что сервер предоставляет министерство. Админим сервера мы. Кроме блейдов, ничего нет. Блейды все заняты. Но есть пара виртуалок по одному ядру, по 4 ГБ ОЗУ, с дисковым пространством 40 и 70 ГБ. На них уже ничего не крутится, но они стоят для оперативной конвертации данных из Fox в MS SQL (нарисовали нам пару скриптов). В общем, пытаюсь объяснить, что ресурсов нет и, судя по плану госзакупа, не будет. В ответ — ор от человека, который из себя на моей памяти выходил всего один раз. Задание министра как-никак.

Совместно с админами почесали репки и решили отдать тот виртуальник, который поменьше. Куратора успокоил, сервер почистили, антивирь проверили-обновили, систему отсканировали всем, до чего дотянулись, админские пароли отдали разрабам с письмом, что, мол, админку мы вам отдали, удалёнку на этот сервер организовали, дальше сами, так как себе мы доступ к системе не оставляем. Работайте, мол.

Месяц тишина была. Пароль админки разрабы сменили, мы только мониторим нагрузку. К самой системе доступа нет (официально об этом уведомили). Через месяц — шум-гам. «Система упала, её кто-то взломал, это вы злодеи». Хорошо, говорим, давайте пароль админки. Дали. Приглашаем независимого эксперта, приглашаем представителей нашего ГО, приглашаем менеджера проекта от разрабов. В присутствии всей этой братии заходим на систему — и что мы видим? Антивирь отключён, в системе более 300 тел вирусов порядка 50 видов. Из них больше половины — трояны. Составили акт, всё дружно подписали, отправили в министерство. Скандал затух. Нам дали команду забрать сервак обратно, разрабам дали понять, что разрабатывать надо на своём железе.

Всё? Ан нет. Через три месяца эти разрабы демонстрировали свою ИС. На пяти серваках в минимальной конфигурации. На тестировании ИС даже не ломали. Доступ к админке получили за три с половиной минуты. Всего вариантов получения доступа тестировщики нашли пятнадцать. И по SSH, и по telnet, и по RDP, аи даже с клиента MS SQL. В общем, дырявая система вышла. И опять без антивиря. Дали задание на доработку. Нашим тестировщикам неофициально дали по шапке, а я потом уволился.

Мораль примерно такая: не всякий разраб с «крышей» обладает головой. И в дополнение: там, где откат, честный тест не нужен.

Уходил я из одной мелкой авиакомпании… Ну, точнее, меня «ушли». В компании было два админа: веб-админ и админ, занимающийся локальной сеткой, серверами (5 штук) и компами (50 штук). И это в режиме 24/7, ибо самолёты летают круглосуточно. Наступил кризис, и руководство сократило половину сотрудников. Я оказался не в той половине. Почему-то посчитали, что веб-админ справится со всем. Ну, возможно… Хотя директор подстраховался, и мы заключили устный договор, что он мне платит треть моей зарплаты, а я консультирую по телефону (а в крайнем случае и приезжаю).

Шло время, звонков становилось всё меньше. Через полгода мне позвонила главбух и сказала, что за зарплатой надо заехать последний раз. Ну, последний — так последний. Приезжаю. Получаю свои денежки. Машу ручкой тёткам из бухгалтерии. Клянусь, что не подходил ни к одному компьютеру и уж тем более не заходил в серверную.

Через два дня сгорел SCSI-диск на рейде в файл-сервере. Денег на покупку нового не нашли.

Через пять дней сгорел блок питания в сервере № 2. Фатально. Накрылась почта.

Через десять дней сгорела мама на сервере № 3. Это был архив файл-сервера.

Почувствовала техника, что хозяин ушёл. А ведь скажут — диверсия…

Я своим бюджетникам давно перестал пытаться помогать в покупке компьютеров: всё равно будут покупать не где дешевле или лучше, а у своих, чтобы откаты не пропустить. Но когда покупают сервер, я всё же пытаюсь им набросать хоть приблизительно конфигурацию, чтобы потом меньше мучаться. Всё равно часто покупают не то из каких-то подпольных соображений.

Совсем недавно у меня была сеть, где сервером был Дюрон-800. Абсолютно все компы в сети были лучше и мощней, но поменять не дали.

Покупают компьютер. Денег мало, поэтому ориентирую на достаточно бюджетную конфигурацию. Что они делают? Покупают ноутбук. На те же деньги. В нём даже Ворд пару минут запускается. Вот такой у нас теперь сервер — на ноутбуке. Ну а чё, зато директор теперь может брать сервер домой и показывать мультики внукам.

Прихожу в одну контору устанавливать систему. Мне хвалятся, что главный компьютер новый, в прошлом году купленный. Я смотрю, что за комп, и понимаю, что это даже для бюджета и для райцентра перебор. Проц — третий «пенёк». Я даже не спрашиваю, где можно в 2012 году купить PIII. Мне просто интересно: кто их солил где-то все эти годы, чтобы продать бюджетникам? Ну, и оторопь берёт от размеров наглости и глупости.

Кроме основной работы поддерживаю GRID-кластер своей альма-матер. Открываю Nagios национальной GRID-сети. Лезу к своему «подшефному» и вижу, что без ошибки отрабатывает только тест доступности, то бишь банальный ICMP ping.

— Вчера же работало, что не так? Опять электрики хулиганят. Жгут на шею наложу!

С этими мыслями лезу на управляющий узел кластера. Вроде всё окей. Перезапускаю — всё равно не работает, задач нет. Всё поднялось без ошибок. Не понял. Нахожу в логах запись об ошибках авторизации — не признаёт мой кластер SSL-сертификат системы мониторинга, не хочет её пускать тестовую задачку выполнить.

В полных непонятках открываю сводную страницу мониторинга всего национального GRID, ожидая увидеть свои красные индикаторы среди кучи зелёных. Вся страница красного цвета. Проблемы у всех. Одни и те же.

Выдыхаю и двигаю за чаем. Похоже, надо вернуть в свой лексикон фразу: «Проблема не у нас, а уровнем выше».

Пришло лето. Выпускники озадачились трудоустройством, кадровики — подбором персонала. Вот и к нам пришло пополнение.

В выходные решили провести плановые работы, в том числе и обслуживание старичка-сервера на Win2003. Новичка тоже припрягли — пусть учится. Не ожидая подвоха, прошу выключить комп, указав в причинах выключения «плановые работы».

Юное чудо молча выдёргивает шнур из розетки. Бесперебойник вздрагивает и начинает пищать. Стажёр недрогнувшей рукой жмёт кнопку.

— А где журнал для записей?