0

пишу нейронную сеть без библиотек. Для обучения использую метод обратного распространения. В качестве функции активации использую LeakyReLU. После второго - третьего примера из обучающих данных, дельты весов, и соответственно веса устремляются к сотням миллионов. Можно ли это как-то устранить? Алгоритм брал отсюда - https://habr.com/ru/post/312450/

Проект - https://github.com/Xrou/NeuralNet1/tree/master/NeuralNet1

5
  • Наверное у вас алгоритм неправильный,попробуйте код сюда выложить,обучайте с простых данных типа И, Или, Xor. 12 фев 2021 в 10:47
  • На Or/Xor и подобных задачах обучается отлично, но при прогнозировании числа и использовании ReLU (обучающие данные в диапозоне от 0 до 100) градиенты улетают в космос.
    – Xrou
    12 фев 2021 в 11:14
  • Насколько я знаю данные должны быть между 0 и 1 и есть также разные уровни сложности для задач нейросети. 12 фев 2021 в 12:14
  • Пробовал использовать для обучения сигмоиду и тангенс - точность была плохой при переводе в нужный диапазон. Да и задача довольно простая - предсказать одно число по 4м другим. На искусственных данных тоже не хотела учиться, хотя все они вычислялись по довольно простой формуле
    – Xrou
    12 фев 2021 в 12:24
  • Попробуйте сигмоиду на Xor если сработает, значит алгоритм правильный и либо подбирать гиперпараметры либо признать что задача сложная. 12 фев 2021 в 12:38

0

Ваш ответ

By clicking “Отправить ответ”, you agree to our terms of service and acknowledge you have read our privacy policy.

Посмотрите другие вопросы с метками или задайте свой вопрос.