2

Написал нейронную сеть, используя алгоритм обратного распространения ошибки.

В теории, в конце обучения сумма квадратов ошибки по нейронам выходного слоя должна стремиться к нулю. У меня же после любого количества эпох обучения она "стабилизируется" на определенном значении (3).

Обучение с учителем, вектор входных данных - закодированные цифры/буквы, размерность входа - 35 (7х5, 1 - черный цвет, 0 - белый, например, буква Ю закодирована как 1 0 1 1 1 1 0 1 0 1 1 0 1 0 1 1 1 1 0 1 1 0 1 0 1 1 0 1 0 1 1 0 1 1 1)

2 ответа 2

4

В теории, в конце обучения сумма квадратов ошибки по нейронам выходного слоя должна стремиться к нулю - откуда у вас такая информация ?

В конце обучения мы должны подобрать такие веса нейронов при которых функция ошибки/потери имеет минимальное значение (т.е. глобальный минимум) - для более менее больших реальных датасетов практически никогда вы не сможете подобрать такие веса, что функция ошибки будет равна нулю. А если и получится то это скорее плохо, т.к. это показатель переобученной модели.

5
  • У меня всего 4 примера обучающей выборки, но преподаватель говорит, что ошибка должна идти к нулю или иметь небольшое значение. У меня же получается, что она идет примерно из 4 в 3.
    – Aleks
    1 дек 2020 в 6:50
  • Ну тогда опубликуйте данные и код... 1 дек 2020 в 6:52
  • Добавил код программы.
    – Aleks
    1 дек 2020 в 6:54
  • @Aleks А это хоть что за язык то? Добавьте метку с этим языком
    – CrazyElf
    1 дек 2020 в 7:10
  • Matlab. Мало людей тут знают этот язык, поэтому я надеялся получить ответ на свой вопрос без кода.. )
    – Aleks
    1 дек 2020 в 7:14
0

Проблема решена - неверно считал поправку весов + была ошибка в вычислении производной.

Ваш ответ

By clicking “Отправить ответ”, you agree to our terms of service and acknowledge that you have read and understand our privacy policy and code of conduct.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.