0

Я недавно начал изучать Python и решил написать на нём нейронную сеть. При обучении методом обратного распространения возникает описанная ниже проблема.

Если обучать нейросеть выборкой, состоящей только из одного примера, то всё нормально. Выходное значение стремится приблизиться к значению, указанному в выборке. Но если выборка будет состоять больше, чем из одного примера, выходное значение стремится приблизиться к среднему значению в выборке. Например, в выборке 2 примера, правильными ответами на которые являются 0.5 и 1. Выходное значение будет стремиться к 0.75 вне зависимости от того, какие данные подаются на входные нейроны (может быть совсем маленькая разница - ~0.01).

Я решил выяснить, где появляется ошибка (предположим, используется выборка, описанная выше, и выходное значение всегда равно ~0.75).

Прогоняю первый пример из выборки. Ошибка выходного нейрона (0.75-0.5) 0.25. Все веса соединений корректируются в соответствие с формулой.
Прогоняю второй пример. Ошибка выходного нейрона равна (0.75-1 (не будем учитывать предыдущую корректировку, предположим, что она есть)) -0.25.
Получается, что в первом примере веса изменяются в одну сторону, а во втором - в другую, и нет никакого результата обучения.

Я проверял формулы несколько раз (вроде всё правильно), я переписывал код заново, чтобы избежать глупой ошибки - ничего не меняется. Но я всё-таки думаю, что ошибка в формулах. В интернете какие-то непонятные буковки :)

Код: https://pastebin.com/7vr0WV6f  
Пример файла структуры: https://pastebin.com/Npde4zhN  
Пример файла выборки: https://pastebin.com/J7278qm7

1 ответ 1

2

Я так понял вы пытаетесь написать простую сеть без использования библиотек, вот простой пример работы backprop:

import numpy as np

np.set_printoptions(suppress=True)

def tanh(z):
    return (np.exp(2*z) - 1) / (np.exp(2*z) + 1)

def tanh_deriv(th):
    return 1 - th**2

def ReLU(z):
    return np.maximum(0, z)

def ReLU_deriv(s):
    return 1 * (s > 0)

X = np.array([
    [1,0,0],
    [1,1,0],
    [1,0,1],
    [1,1,1]
])
y = np.array([[0],[0],[0],[1]])

w0 = np.random.random((3,2))
w1 = np.random.random((2,1))

etha = 0.01

for _ in range(10000):

    for x_i, y_i in zip(X,y):

        x_i = x_i.reshape(-1,1)
        y_i = y_i.reshape(-1,1)

        layer1 = tanh(w0.T.dot(x_i))
        layer2 = ReLU(w1.T.dot(layer1))

        delta2 = (y_i - layer2) * ReLU_deriv(layer2)
        delta1 = delta2 * w1 * tanh_deriv(layer1)

        w0 += etha * (delta1.T * x_i)
        w1 += etha * (delta2 * layer1)

ReLU(tanh(X.dot(w0)).dot(w1))
2
  • Я хочу сделать нейросеть сам, чтобы понять, как она работает. Поэтому не использую библиотеки
    – User_274
    Commented 23 авг. 2018 в 20:52
  • @User_274 а я вам что написал ? это и есть сеть из 3 нейронов (2 нейрона скрытый слой и 1 выходной) в самой простой реализации Commented 23 авг. 2018 в 21:00

Ваш ответ

Нажимая «Отправить ответ», вы соглашаетесь с условиями пользования и подтверждаете, что прочитали политику конфиденциальности.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.