0

Допустим, у нас есть функция с одной переменной:

f(x) = np.log((x + 1)**2 + 1)

Нам нужно исчислить ее производную в каждой точке на промежутке от -50 до 50.

Мы можем найти ее производную(частную), ее формула:

f'(x) = 2 * (x + 1) / (x**2 +1)

Но, в случае, если нам сначала не известна функция или ее производная ищется с трудом, мы используем общую формулу для производной функции:

f'(x) = (f(x + e) - f(x))/ e  

(при е = 0.01, примерно)

Погрешность(разница модулей частной и общей формулы производной, в одинаковых точках) в значении от краев промежутка( - 50 и 50) к нулю равняется -+ 0.0016( на краях промежутка) и до -1.211 ( в точке 1)

Вопрос: Допустима ли такая погрешность в исчислении? Допускается ли такая погрешность ОБЩЕЙ ФОРМУЛЫ ПРОИЗВОДНОЙ, если ее использовать в поиске минимума функции(градиентный спуск)

4
  • 2
    Вопрос в том, для чего. Зависит от постановки конкретной задачи. Например, точность в метр — это достаточно для расстояния до соседнего магазина, но явно плохо для расчета количества обоев в комнату... И, конечно, считать по такой грубой формуле, как вы привели, не стоит. Даже простенькая (f(x+e)-f(x-e))/(2e) уже даст более точный результат. А тут еще и "второй конец палки" — с одной стороны чем меньше e, тем точнее математически, но тем менее точно вычислительно...
    – Harry
    11 ноя 2021 в 6:51
  • @Harry, я тестил (f(x - (2 * e)) - (8 * f(x - e)) + (8 * f(x + e)) - f(x + (2 * e))) / (12 * e) , но тут же особой разницы в погрешности не было, возможно в каких то 5 - 7 знаках после нуля. Если использовать такую ОБЩУЮ формулу в исчислении минимума функции(градиентный спуск) 11 ноя 2021 в 7:04
  • Если речь о градиентном спуске, то вам же производная нужна только для того, чтобы понять, в каком направлении двигаться при спуске? Для определения направления погрешность не столь важна же.
    – CrazyElf
    11 ноя 2021 в 7:29
  • С уточнением вопроса — думаю, да, ведь вам надо не столько точное значение производной, сколько направление градиента...
    – Harry
    11 ноя 2021 в 9:01

1 ответ 1

1

В случае градиентного спуска лучше использовать частную формулу, так как это быстрее и точнее, тем более если вы это используете в нейросети. Но не надо считать общую формулу ненужной. К примеру для проверки верности алгоритма частной производной функции перед ее использованием, мы можем сравнить ее с общей производной функции. И если они похожи, то алгоритм верен.

Но если вам необходимо использовать общую производную функции или вы не можете использовать частную, то берите "е" поменьше и ждите пока все будет просчитываться (это будет долго), но +- достаточно точно.

Та погрешность которая у вас не самая лучшая, я бы взял "е" меньше. Если возник еще вопрос задавай.

Ваш ответ

By clicking “Отправить ответ”, you agree to our terms of service and acknowledge you have read our privacy policy.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.