Балансировщик нагрузки (Load Balancer)

Компонент, который распределяет запросы между несколькими серверами, чтобы ни один не перегрузился, а сбой одного не останавливал сервис.

Балансировщик нагрузки — точка входа, которая принимает все запросы к сервису и распределяет их между несколькими одинаковыми серверами. Пользователь обращается по одному адресу и не знает, какой сервер ему ответит. Если серверов три и один выходит из строя, балансировщик перестает слать на него запросы, и сервис продолжает работать на двух оставшихся.

Зачем он нужен

  • Масштабирование. Выросла нагрузка — добавили сервер за балансировщиком, вместо замены одного сервера на более мощный.
  • Отказоустойчивость. Сбой или обновление одного сервера не останавливает сервис.
  • Обновления без простоя. Серверы выводят из работы по одному, обновляют и возвращают.

Как выбирается сервер

  • По кругу (round robin) — запросы раздаются по очереди. Просто и хорошо работает для одинаковых серверов.
  • Наименьшее число соединений — запрос уходит туда, где сейчас меньше работы. Лучше подходит, когда запросы разной тяжести.
  • По весам — мощный сервер получает больше запросов.
  • По адресу клиента (IP hash) — один клиент всегда попадает на один сервер.

Проверки здоровья

Балансировщик регулярно опрашивает серверы, например запросом к адресу /health. Не ответил вовремя или вернул ошибку — сервер исключается из раздачи, пока не восстановится. Хорошая проверка смотрит не только «процесс жив», но и «может ли сервер работать»: доступна ли ему база данных.

Уровни балансировки

  • Транспортный уровень (L4) — распределяет соединения по адресам и портам, не заглядывая внутрь. Очень быстро.
  • Уровень приложения (L7) — видит HTTP-запрос и может направлять /api/ на одни серверы, а /static/ на другие, расшифровывать TLS, кэшировать. Это уже функции обратного прокси.

Уровни соответствуют уровням модели OSI.

Сессии пользователей

Если сервер хранит сессию пользователя в своей памяти, следующий запрос, попавший на другой сервер, «разлогинит» человека. Можно привязать пользователя к серверу, но правильнее хранить сессии в общем хранилище, например Redis, а приложения делать без внутреннего состояния, как того требует REST. Тогда любой сервер может ответить на любой запрос.

Инструменты

Программные балансировщики — Nginx, HAProxy, Envoy; в облаках — управляемые балансировщики; в Kubernetes балансировка встроена в сервисы. Сам балансировщик тоже не должен быть единственной точкой отказа, поэтому его ставят парой с автоматическим переключением.