Балансировщик нагрузки (Load Balancer)
Компонент, который распределяет запросы между несколькими серверами, чтобы ни один не перегрузился, а сбой одного не останавливал сервис.
Балансировщик нагрузки — точка входа, которая принимает все запросы к сервису и распределяет их между несколькими одинаковыми серверами. Пользователь обращается по одному адресу и не знает, какой сервер ему ответит. Если серверов три и один выходит из строя, балансировщик перестает слать на него запросы, и сервис продолжает работать на двух оставшихся.
Зачем он нужен
- Масштабирование. Выросла нагрузка — добавили сервер за балансировщиком, вместо замены одного сервера на более мощный.
- Отказоустойчивость. Сбой или обновление одного сервера не останавливает сервис.
- Обновления без простоя. Серверы выводят из работы по одному, обновляют и возвращают.
Как выбирается сервер
- По кругу (round robin) — запросы раздаются по очереди. Просто и хорошо работает для одинаковых серверов.
- Наименьшее число соединений — запрос уходит туда, где сейчас меньше работы. Лучше подходит, когда запросы разной тяжести.
- По весам — мощный сервер получает больше запросов.
- По адресу клиента (IP hash) — один клиент всегда попадает на один сервер.
Проверки здоровья
Балансировщик регулярно опрашивает серверы, например запросом к адресу /health. Не ответил вовремя или вернул ошибку — сервер исключается из раздачи, пока не восстановится. Хорошая проверка смотрит не только «процесс жив», но и «может ли сервер работать»: доступна ли ему база данных.
Уровни балансировки
- Транспортный уровень (L4) — распределяет соединения по адресам и портам, не заглядывая внутрь. Очень быстро.
- Уровень приложения (L7) — видит HTTP-запрос и может направлять
/api/на одни серверы, а/static/на другие, расшифровывать TLS, кэшировать. Это уже функции обратного прокси.
Уровни соответствуют уровням модели OSI.
Сессии пользователей
Если сервер хранит сессию пользователя в своей памяти, следующий запрос, попавший на другой сервер, «разлогинит» человека. Можно привязать пользователя к серверу, но правильнее хранить сессии в общем хранилище, например Redis, а приложения делать без внутреннего состояния, как того требует REST. Тогда любой сервер может ответить на любой запрос.
Инструменты
Программные балансировщики — Nginx, HAProxy, Envoy; в облаках — управляемые балансировщики; в Kubernetes балансировка встроена в сервисы. Сам балансировщик тоже не должен быть единственной точкой отказа, поэтому его ставят парой с автоматическим переключением.