0

Как возможно реализовать производную от функции с несколькими аргументами, если заранее функция неизвестна в следствии этого и ее производная? Как находить производную по каждому аргументу функции градиентного спуска в НС? Математически все понятно, но реализация, не очень.

0

1 ответ 1

0

А зачем вам вообще находить производную? В варианте стохастического градиентного спуска вы просто берёте случайную координату (аргумент функции), и пробуете отступить от точки где сейчас находитесь на некий шаг (также называемый "скорость обучения"). Если там функция убывает относительно текущей точки, то вы туда передвигаетесь. Если нет, то пробуете на то же расстояние в противоположную сторону отступить. Потом берёте следующую случайную координату и т.д. Если застряли в локальном минимуме и никуда уже функция не убывает, то либо всё, либо шаг уменьшается (например, в 2 раза) и опять пробуете шагнуть. Процесс прекращается, когда либо шаг стал меньше определённого порога, либо общее число шагов превысило некое число. Ну а там есть разные детали реализации - в какой последовательности шагать по координатам, как уменьшать шаг (а может иногда и увеличивать, чтобы проскочить локальный минимум) - есть разные варианты градиентного спуска. По одной координате у вас же нет проблем вычислить:

f(x1, x2, xk    , ..., xn) # текущая точка
f(x1, x2, xk + d, ..., xn) # шаг на плюс d по координате xk
f(x1, x2, xk - d, ..., xn) # шаг на минус d по координате xk

И потом сравнить их между собой, чтобы решить, куда делать шаг (если вообще делать)? И так шаг за шагом, координата за координатой.

2
  • потом к каждому аргументу функции применять -\+ d, и и сохраняем значение аргумента при каком значение функции меньше? То есть: f(x1-\+ d, x2, x3,...xn) f(x1, x2 -\+ d, x3, ... xn) f(x1, x2, x3 -\+ d, ... xn) Вот так? 2 ноя 2021 в 12:13
  • @denismoroz Да, но порядок, в каком выбираются аргументы, зависит от варианта градиентного спуска. В стохастическом, если я не путаю, координаты выбираются случайным образом. Есть варианты, где по-другому делается. Можно сразу по нескольким координатам двигаться, в общем, зависит от варианта. Можно и просто по очереди. По опыту вроде стохастический лучше работает, не "застревает" там, где застревают алгоритмы с чётко заданным порядком перебора аргументов. Но в простейшем случае можете просто по порядку перебирать, да.
    – CrazyElf
    2 ноя 2021 в 14:34

Ваш ответ

By clicking “Отправить ответ”, you agree to our terms of service and acknowledge you have read our privacy policy.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.