Реализовал свою нейронную сеть и решил проверить ее работоспособность.
Структура нейронной сети: 3 входных нейрона, скрытый слой с 2 нейронами и 2 выходных нейрона
.
Обучающая выборка:
double_t** trainSet = new double_t * [] {
new double_t[]{ 0, 0, 0 },
new double_t[]{ 0, 1, 0 },
new double_t[]{ 1, 0, 0 },
new double_t[]{ 1, 1, 0 },
new double_t[]{ 0, 0, 1 },
new double_t[]{ 0, 1, 1 },
new double_t[]{ 1, 0, 1 },
new double_t[]{ 1, 1, 1 },
new double_t[]{ 0, 0, 2 },
new double_t[]{ 0, 1, 2 },
new double_t[]{ 1, 0, 2 },
new double_t[]{ 1, 1, 2 }
};
Первый и второй нейрон это значения операндов, а третий нейрон это номер операции 1 - &, 2 - | или 3 - ^ (xor). Эти числа нормализуются в 0, 0.5 и 1 соответственно.
Вот последние результаты работы:
Как видно на приложенном скрине, ошибки во всех сетах, кроме последнего уменьшается. И если я из обучающей выборки уберу этот сет, то нейронная сеть будет отлично работать.
В чем может быть проблема? Как её исправить? Я проверил код функций и вроде не нашел ошибки, но если нужно попросите и я дополню вопрос кодом.
Дополнено
Ошибка выходного нейрона: error = (ideal - output) * derivative(output)
Ошибка скрытого нейрона: error[i] = derivative(output[i]) * summa(weights[i][i+1] * error[i+1]
Ошибка скрытого нейрона = значение производной * на сумму произведений веса между этим нейроном и нейроном следующего слоя, на ошибку нейрона следующего слоя.
Ошибка для выбранного сета:
trainError = summa(ideals[i] - output[i]) / countOutputNeurons
Ошибка эпохи: epochError = summa(trainError[i]) / countSets
Ошибка эпохи = сумма ошибок каждого сета разделенного на количество сетов.
Дополнено
Убрал умножение на производную при поиске ошибок выходных нейронов и нейронка наконецто обучилась, а не зациклилась.
И получил следующее:
Почему то при входных значениях (1, 1) нейронная сеть хуже обучается.
Объясните пожалуйста кто разбирается почему так.
При начальной структуре (3 входных, 2 скрытых и 2 выходных), ошибки некоторых сетов например на 50 эпохе < 0.00001, у большинства в районе (0.01, 0.09) и только проклятого двенадцатого сета ошибка растет.
Обновлено
В общем проблема заключается именно в том, чтобы научить нейронную сеть операции xor
и именно сету (1, 1). Ошибка уменьшается медленней чем при других сетах.
Добавил случайное перемешивание сетов каждую эпоху, что вроде ускорило обучение (раньше было в среднем 250+ эпох сейчас 150+).
Но тут есть еще одна проблема, решение которой я не могу найти. Если раз десять перезапустить обучение, то почему то может произойти такое, что нейронная сеть не будет обучаться и зациклиться на одних ошибках. Это как то случайно получается.
xor
что-то кроме тангенса остальное всё плохо работает. Можете поиграться: playground.tensorflow.org/…xor
отдельно поучить от остальных операций, посмотреть, что получится.xor
и раньше когда у меня был 1 выходной нейрон, то все работало, а сейчас 2 выхода и значения нейронов приблизительно 0.5 каждый и не меняются значения. Может у меня ошибка не правильно высчитывается? У меня много вопросов по поиску ошибки т.к. на разных источниках по разному находят ошибку. В вопросе дополню, то как у меня находится ошибка.