Больше недели мы восстанавливали Stepik после аварии у облачного провайдера. Всё это время вы окружали нашу команду любовью и поддержкой.
Данные за 6 часов потеряны, но покупки восстановлены. Задачи, решённые в эти часы, и правки в курсах придётся сделать заново.
Основная функциональность работает: курсы, задачи с автопроверкой, прогресс, сертификаты и покупки.
Временно отключены: уведомления на почту, загрузка новых видео авторами, статистика курсов для авторов.
Стрики вернём до конца октября.
Что-то работает не так? Пишите на help@stepik.org
Оказалось, что ваши слова поддержки бодрят не хуже кофе. Мы получили сотни сообщений с поддержкой, и это помогало держаться.
В ночь с субботы на воскресенье 11 октября мы пережили шок, когда увидели, что сбывается один из самых маловероятных сценариев.
Резервные копии Stepik мы хранили отдельно от основных серверов, у другого провайдера. Так решили ещё несколько лет назад: если с основной площадкой что-то случится, данные не должны пострадать вместе с ней. Потерять целый дата-центр казалось почти невозможным, поэтому запасной площадки для быстрого переключения у нас не было. А копии были — и это нас спасло.
У провайдера начались сбои, сайт стал загружаться медленно. В тот же день мы начали пробовать запустить Stepik в другом облаке.
Ночью у провайдера случилась авария. Серверы, на которых работал Stepik, стали недоступны, и перезапускать было нечего: всю инфраструктуру предстояло поднять заново, а данные — восстановить из копий.
Оказалось, что после аварии в другие облака переезжают сразу многие сервисы, и свободных мощностей не хватает всем. Ждать мы не стали и запустили восстановление параллельно у двух провайдеров.
Данных очень много: курсы, которые авторы создавали годами, и решения миллионов учеников. 15 октября база восстановилась, ещё сутки ушли на проверку. Всё, что было в копии от 10 октября, оказалось на месте. Потерялись только шесть часов перед аварией.
Сначала открыли Stepik для части учеников и проверили, как он держит нагрузку. А 20 октября — для всех.
Данные уцелели: резервные копии хранились отдельно. Больше недели ушло на то, чтобы заново поднять из них всю платформу у новых провайдеров. Вот на что ушло это время.
На Stepik десятки тысяч курсов, решения миллионов учеников и многие терабайты видео и файлов — больше, чем у многих компаний. Даже в спокойное время подобрать провайдера под такой объём непросто, а перенести его — задача не на один день.
Авария затронула многие сервисы. Все одновременно пошли к другим облачным провайдерам, и свободных мощностей не хватало. Чтобы не стоять в очереди, мы восстанавливали Stepik сразу у двух провайдеров.
У каждого провайдера свои настройки, ограничения и нюансы. Их пришлось учесть, чтобы Stepik работал так же стабильно, как раньше. Зато теперь у нас есть этот опыт: мы знаем, как переносить Stepik между облаками.
Раньше потерю целого дата-центра мы считали маловероятной. Теперь планируем так, будто это может повториться. Вот что уже делаем и что точно сделаем.
Настраиваем резервное копирование так, чтобы при любом сбое терять как можно меньше данных: копия каждый час вместо раза в сутки.
Держим копию Stepik у второго провайдера, чтобы при аварии переключиться на неё за 30 минут, а не поднимать всё с нуля.
Раз в квартал будем поднимать Stepik из резервной копии в другом облаке и засекать, сколько это занимает.
Опубликуем подробный разбор: что произошло и что мы меняем.
Пообещать, что сбоев больше не будет, никто не может.
Наша цель — чтобы следующий, если он случится, прошёл быстрее и с меньшими потерями.
Мы обещали придумать, как компенсировать вынужденную паузу в обучении. В знак благодарности мы подготовили подборку курсов, один из которых вы можете получить бесплатно. Выбирайте то, что вам интересно, и заполняйте небольшую форму, чтобы забрать свой подарок.
Заявку можно оставить до 31 октября. Мы свяжемся с вами и отправим ссылку-приглашение на выбранный курс.