Итоги 2019 года: Kubernetes в зрелом проде, CentOS 8, суверенный рунет и нарастающая регуляторика

Конец декабря - повод не столько праздновать, сколько разобраться, что за год получился. У нас накопилось достаточно, чтобы говорить не по отдельным историям, а по общей картине. Три темы шли красной нитью через почти все проекты 2019-го.

Kubernetes: из «пробуем» в «основная платформа»

В прошлом году мы ещё объясняли заказчикам, зачем Kubernetes вместо простых docker-compose на сервере. В этом году этот разговор в основном закончился - не потому что все вдруг стали фанатами оркестрации, а потому что выросло количество команд, которые уже живут в кластере и не представляют себе иначе.

Что поменялось в реальных проектах:

• Helm 3 в ноябре - убрал Tiller, и это сразу сняло зубную боль с правами и RBAC в кластере. Переход оказался менее болезненным, чем мы ожидали; большинство чартов после несложной миграции работают нормально.
• GitOps как рабочий подход. Argo CD в проде у нескольких заказчиков - и это не модное слово, а реально изменившийся процесс деплоя. Когда состояние кластера живёт в git и синхронизируется автоматически - меньше разговоров «а кто деплоил», больше аудитируемой истории.
• Multi-cluster пока остаётся экспериментальным у тех, кто за него брался. Federation v2 - тема интересная, но в реальных проектах мы ещё не видели её в стабильной эксплуатации. Пишем об этом честно.
• Service mesh. Istio в продакшне несёт накладные расходы и требует команды, которая понимает, что происходит. У нескольких заказчиков он работает, но не везде разница в наблюдаемости окупила сложность. Linkerd2 в ряде случаев оказался прагматичнее.

Общий итог по Kubernetes: инструмент перестал быть авангардным - он стал рабочим. Со своими операционными особенностями, со своим порогом входа для команды, но рабочим.

Регуляторика: КИИ, ПДн, суверенный рунет - всё сразу

Честно говоря, 2019-й по регуляторной нагрузке был тяжёлым. Три трека шли одновременно, и каждый требовал реального инженерного и организационного ресурса - а не просто «написать бумаги».

КИИ и категорирование - у нас несколько заказчиков-субъектов закрыли направление сведений в ФСТЭК в этом году. Подробнее мы писали отдельно. Но если коротко: самое трудоёмкое - не регуляторная процедура, а разобраться в реальной инфраструктуре, которая за годы отросла в стороны от того, что нарисовано на схемах.

Суверенный рунет - закон вступил в силу 1 ноября, и несколько месяцев до этого мы помогали ряду заказчиков разобраться, что от них требуется и что реально поменяется в сети. Ответ в большинстве случаев: оперативно - немного, стратегически - нужно следить. ТСПУ начали устанавливаться, Роскомнадзор получил инструменты управления трафиком. Для корпоративного сегмента главный практический вопрос - это взаимодействие с операторами и документирование своих сетевых точек.

ПДн и 152-ФЗ - проверки РКН в этом году показали реальные штрафы, и это сдвинуло разговор от «разберёмся когда-нибудь» к конкретным задачам по приведению систем в порядок. Несколько аудитов, несколько проектов по сегрегации и защите персональных данных - вот где часть команды провела значительное время.

Совмещать всё это было непросто. Если у вас было ощущение, что регуляторика в этом году ела непропорционально много времени - оно правильное.

CentOS 8 и серверный стек

Сентябрьский релиз CentOS 8 мы ждали - и не зря. DNF вместо yum, AppStream как механизм параллельных версий пакетов, SELinux включён по умолчанию и всерьёз настроен на работу - всё это задаёт новую планку для стандартного серверного образа.

Практически это означает, что автоматизация инфраструктуры (Ansible роли, terraform-образы) потребовала пересмотра под новые реалии. Кто писал роли под CentOS 7 с расчётом «и дальше пойдёт» - тому работа нашлась. SELinux в CentOS 8 стал чуть менее болезненным в отладке, если знать инструменты; мы отдельно разбирали это в посте про Ansible-роли.

Миграция с CentOS 7 - не срочная, CentOS 7 поддерживается ещё несколько лет, но планировать под новые деплои уже стоит с расчётом на восьмёрку. Ещё в сентябре мы накидывали план перехода - его стоит держать в виду при новых проектах.

SRE-культура: заходит медленно, но заходит

Это сложнее измерить, чем версию пакета или дату принятия закона. Но по проектам 2019 года заметно: разговор об error budget, о SLO и о том, как считать надёжность - стал реальным рабочим разговором, а не теоретической лекцией.

Несколько команд у заказчиков запустили онбординг в SRE-практики в этом году. Alertmanager и Prometheus как связка для управления alerting - уже не обсуждается «нужно ли», обсуждается как конкретно настроить правила и как выстроить эскалацию. Grafana 6.5 с Loki и первые шаги к единой наблюдаемости - ещё одна линия, которая в 2019-м стала плотнее.

Самое сложное в SRE - не инструменты, а изменение того, как команда думает об инцидентах и надёжности. Это работа не за один год.

Где мы стоим в конце декабря

Год получился насыщенным без особого желания - регуляторика не спрашивала, удобно ли нам. Kubernetes и инфраструктурные инструменты двигались своим темпом, и это был приятный контрапункт к обязательной регуляторной повестке.

На чём планируем сосредоточиться в следующем году - разберём отдельно. Пока просто: команде удалось пройти 2019-й без серьёзных инцидентов у заказчиков и с рабочим опытом по всем трём основным темам. Это честный результат.