Правильно я понимаю, что логистическую регрессию можно решать способом градиентного спуска и аналитическим методом(то есть считая логарифм шансов)? Или это все один метод?
1 ответ
Любая регрессионная модель строиться (не решается, а именно строиться) основываясь на минимизации некоторого функционала, который называют функцией потерь. Такую задачу всегда можно решить с помощью методов численной оптимизации, градиентный спуск - один из ее разновидностей, не всегда самый лучший с точки зрения точности, сходимости и пр. Для простых случаев - та же линейная регрессия, квадратичная, логарифмическая и пр - задачу можно (более менее) легко решить алгоритмически. Использовать такое решение (если оно есть) всегда и проще, и точнее, и эффективнее в плане ресурсов. Сможете ли вы ее решить аналитически для логистической регрессии? Ну, если сумеете - то все ОК, если нет - то ее всегда можно решить численными методами.
Если говорить вообще, то любая нейронная сеть (не важно для какой задачи) - это сложная функция, у которой можно найти значения коэффициентов, минимизирующих ее ошибку. Вот только смысла это делать тогда, когда задача решается явно - нет никакого, кроме погони за модой. А когда эту минимизацию провести очень сложно - вот тут и место для нейромоделей.
-
1/(1+e^(-x)) это равносильная замена использованию логарифму шансов? Другими словами, когда мы используем градиентный спуск, мы используем шансы для решения оптимизационной задачи?– bard182Commented 31 янв. 2021 в 11:19
-
Ваш "уточняющий" вопрос сформулирован так, что ответить на него невозможно в принципе. Вернее, можно одним словом "нет". Потому что "шансы" и "градиентный спуск" - не пересекаются от слово "совсем". Градиентный спуск используется на этапе обучения сети, шансы возникают при ее использовании.– passantCommented 31 янв. 2021 в 14:33