В эти выходные некоторые игроки столкнулись с проблемой, что при попытке войти в
APB Reloaded, система выдавала ошибку №9 и не пускала даже в лобби. В начале этой недели разработчики отключили серверы игры на 6 часов, чтобы исправить эту проблему, но в итоге на профилактику ушло почти 24 часа. И это были очень тяжёлые часы для всего сообщества.
Этой картинке уже несколько лет, но в эти дни она была как никогда актуальна. Во вторник, вечером 7-го мая, разработчикам удалось решить все технические проблемы и включить серверы игры. Но что же произошло? И как это компенсируют игрокам? Разъясняет Мэтью Скотт:
Всем привет!
Я не собираюсь приукрашивать то, что случилось на этой неделе. Я прошу прощения за недоступность игры.
Многие спрашивали, что же случилось. Поэтому я расскажу о произошедшем.
В понедельник, 29-го мы выключили серверы, чтобы переехать в другой дата-центр и перейти на новое железо для наших серверов. Мы были вынуждены это сделать по нескольким причинам, но в большей степени из-за того, что многому оборудованию было уже больше 5 лет, и мы уже сталкивались с отказами в работе и проблемами с производительностью. Это был лишь вопрос времени, когда откажет что-то критически важное. Сроки также совпали с окончанием нашего последнего действующего (и слишком дорогого) контракта с хостинг-компанией, и нам нужно было внести некоторые изменения в сетевую архитектуру, чтобы подготовиться к новым функциям, которые появятся после обновления игрового движка.
Я решил, что мы можем одним выстрелом убить трёх зайцев.
Главным вызовом была необходимость собрать всю информацию, которая необходима для работы APB, так как всё железо было новым. Это значит, что нам нужно было сделать резервную копию всех данных и затем перенести группу больших жёстких дисков из одного места в другое. Аппаратное обеспечение было заранее подготовлено и настроено. Хоть мы и понимали, что это будет сложно, у нас был чёткий план действий, и мы думали, что сможем справиться с любыми возникающими проблемами.
Проблема №1: К сожалению, во время переезда мы обнаружили некоторые проблемы, из-за которых мы долгое время не могли вернуть сервер в рабочее состояние. Команда проделала солидную работу и даже перекомпилировала код в нескольких местах, чтобы решить эти проблемы. После того, как запустили серверы, я считал, что мы проделали хорошую работу.
Проблема №2: Вскоре после этого, новый RAID-контроллер в нашей новой основной серверной датабазе быстро упал в производительности. Мы совершили ошибку, поспешив с запуском серверов и разрешив игрокам вернуться в игру, пока второй сервер баз данных завершал синхронизацию. Аппаратный сбой произошёл так быстро, что запасное устройство ещё не было готово, поэтому нам не удалось переключиться на него. Мы попытались оставить серверы в рабочем состоянии на выходные, и хоть наша заплатка, сделанная на скорую руку, позволила некоторым игрокам войти, многие столкнулись с ошибкой №9 при логине. Команда пришла к выводу, что самым быстрым решением проблемы будет собрать новый основной сервер баз данных и в понедельник перенести всё туда. Мы не хотели рисковать, перемещая повреждённые диски на новые серверы, поэтому сначала нам нужно было закончить резервное копирование, чтобы быть уверенными, что мы ничего не потеряем.
Проблема №3: Как только мы отключили серверы и начали резервное копирование, мы заметили, что повреждённый RAID-контроллер копировал файлы со скоростью 1 Гб в минуту. После 18+ часов мы смогли завершить резервное копирование и, наконец, запустить новый сервер.
Многое пошло не так, но в конце концов, мне следовало тщательнее всё спланировать. С таким большим количеством нового оборудования у нас наверняка бы возникли проблемы.
В качестве компенсации в пятницу мы начислим всем игрокам 2 недели премиум-подписки. У кого уже есть подписка, две недели тоже добавятся.
Я не хочу когда-либо снова делать подобные извинения. Little Orbit может и будет в будущем работать лучше.
Сожалею,
Мэтью.
К сожалению, возможность оставлять комментарии доступна только зарегистрированным пользователям! Пожалуйста, авторизуйтесь сейчас или зарегистрируйтесь.
Если вы уже прошли процедуру авторизации, попробуйте обновить страницу.