Я недавно начал изучать Python и решил написать на нём нейронную сеть. При обучении методом обратного распространения возникает описанная ниже проблема.
Если обучать нейросеть выборкой, состоящей только из одного примера, то всё нормально. Выходное значение стремится приблизиться к значению, указанному в выборке. Но если выборка будет состоять больше, чем из одного примера, выходное значение стремится приблизиться к среднему значению в выборке. Например, в выборке 2 примера, правильными ответами на которые являются 0.5 и 1. Выходное значение будет стремиться к 0.75 вне зависимости от того, какие данные подаются на входные нейроны (может быть совсем маленькая разница - ~0.01).
Я решил выяснить, где появляется ошибка (предположим, используется выборка, описанная выше, и выходное значение всегда равно ~0.75).
Прогоняю первый пример из выборки. Ошибка выходного нейрона (0.75-0.5) 0.25. Все веса соединений корректируются в соответствие с формулой.
Прогоняю второй пример. Ошибка выходного нейрона равна (0.75-1 (не будем учитывать предыдущую корректировку, предположим, что она есть)) -0.25.
Получается, что в первом примере веса изменяются в одну сторону, а во втором - в другую, и нет никакого результата обучения.
Я проверял формулы несколько раз (вроде всё правильно), я переписывал код заново, чтобы избежать глупой ошибки - ничего не меняется. Но я всё-таки думаю, что ошибка в формулах. В интернете какие-то непонятные буковки :)
Код: https://pastebin.com/7vr0WV6f
Пример файла структуры: https://pastebin.com/Npde4zhN
Пример файла выборки: https://pastebin.com/J7278qm7