Фабричный метод стоит использовать не потому что без него не обойтись если нужно лишь чтобы программа в принципе работала, а потому что с его помощью можно уменьшить связанность программы, отделив создание объектов от их использования. Также не имеет смысла рассматривать практическое использование фабричного метода отдельно от других паттернов, таких как, например, внедрение зависимостей.
Например, если за создание объекта отвечает фабрика, то объекту-пользователю во время тестирования можно через DI подсунуть подставной Mock-объект, дальше используя паттерн Spy для проверки количества и качества вызываемых объектом-пользователем методов. Если вы не пользуетесь фабрикой, а отдаёте создание объектов самим пользователям, то вам будет очень сложно или невозможно провести такое глубокое юнит-тестирование. Без этого паттерна скорее всего вам придётся ограничиться интеграционным тестированием.
Иначе говоря, фабричный метод и родственные паттерны стоит использовать на практике не столько потому, что без них никак нельзя, а сколько потому что с ними программа будет лучше и глубже протестирована, а значит вы будете спать лучше и ваш CI скорей найдёт ошибки, которые иначе можно пропустить.