Поскольку перед балансировщиком нагрузки никакой другой балансировщик уже не поставить, проблему переключения трафика надо решать на каком-то другом уровне. К сожалению, ни один из доступных вариантов не даёт мгновенного переключения.
Самый простой вариант - это DNS. При падении балансировщика вы просто удаляете его IP из записи DNS, и через какое-то время про этот адрес все забудут. Длительность этого самого "какого-то времени" зависит от настроенного TTL, и по умолчанию равна суткам. Можно поставить по-меньше - но следите чтобы не пришлось делать балансировщик нагрузки уже для DNS-сервера. Ну и всегда есть вариант, что чей-то рекурсивный резолвер закеширует ответ от вашего сервера аж на трое суток.
Вариант по-сложнее - это зеркалирование IP. Суть в том, что при падении балансировщика вы его IP-адрес назначаете другому балансировщику, и все запросы сразу начинают идти на него (не забудьте только заранее создать два адреса, для служебного трафика и для публичного - иначе как вы будете его чинить?). Ну как "сразу"? Как только сетевое оборудование узнает куда слать пакеты, и тут есть четыре варианта.
Если оба балансировщика находятся в одной подсети - то балансировщик начнет принимать пакеты в тот момент, когда вы назначили ему адрес, тут все проблемы - только в своевременном обнаружении отказа. Тут помогут протоколы CARP или VRRP. Вообще-то эти протоколы придуманы для маршрутизаторов, но их можно применять и в других ситуациях.
Если оба балансировщика находятся в разных подсетях, но в одной организации - вам помогут протоколы динамической маршрутизации, например OSPF. Надо поднять на каждом OSPF-демон, и начать анонсировать маршрут к обоим IP-адресам с разным приоритетом, как будто вы маршрутизатор. При выключении балансировщика маршрутизаторы относительно быстро заметят изменение топологии сети и направят трафик другому балансировщику.
Если оба балансировщика находятся в одной организации, но организация чужая (облако) и вы там не можете настраивать OSPF - пишите в поддержу хостеру. У них обязано быть какое-то решение, проблема-то стандартная.
Если оба балансировщика находятся в разных облаках - вам нужно купить себе IP-адреса у регистратора, зарегистрировать свою автономную систему (AS) и заключить договор с хостером чтобы те анонсировали вашу AS и ваши адреса через BGP. Ну и согласовать прекращение анонса при выключении балансировщика. Ну или можно договориться с хостером чтобы те принимали ваши анонсы BGP. Тут время переключения будет порядка десятков минут (ну, если повезет). Этот метод быстрее чем DNS, но медленнее локальных вариантов. Возможно, лучше будет в каждом месте поставить по два балансировщика, чтобы иметь возможность быстро переключиться между ними - а BGP оставить на случай выключения всего дата-центра.
Ну и совет напоследок - какой бы вы вариант не выбрали, проверьте что он работает! Не надо пополнять список организаций, которые об этой проверке забыли :-)