Создаю собственную нейросеть на питоне, которая обучается методом обратного распространения ошибки. Столкнулся с проблемой. Имеется входной массив изображений (1000 картинок, 20 на 20 пикселей, по 100 картинок на цифру, название каждой картинки начинается с той цифры, которая на ней изображена, ссылка на датасет). Нейросеть должна научиться их распознавать. Но почему-то она застревает на отметке ошибки 900 единиц (сумма квадратов ошибки последних слоёв нейронов всех картинок). Подскажите, в чём может быть проблема? С простыми заданиями, по типу логического ИЛИ она справляется легко. Во всех источниках, которыми я пользовался, наблюдается резкое падение ошибок, что, как видно, не мой случай. Код нейросети:
import math, random, json
import numpy as np
class NeuralNetwork(object):
def __init__(self, funcActiv, funcUnActiv, neurons):
self.neurons = neurons
self.funcActiv = funcActiv
self.funcUnActiv = funcUnActiv
self.layers = len(self.neurons) - 1
def create_weigths(self):
weigths = [0] * (self.layers)
for layer in range(self.layers):
weigths[layer] = [0] * self.neurons[layer]
for output in range(self.neurons[layer]):
new_set = [0] * self.neurons[layer+1]
weigths[layer][output] = new_set
for layer in range(len(weigths)):
for output in range(len(weigths[layer])):
for _input in range(len(weigths[layer][output])):
value = random.uniform(-0.05,0.05)
weigths[layer][output][_input] = value
return weigths
def feedForward(self, inputs, weigths):
params = np.array([np.dot(i,j) for i, j in zip(inputs,weigths)])
new_params = 0
for output in params:
new_params += output
return list(map(self.funcActiv, new_params))
def backPropogation(self, errors, weigths):
weigths_for_propogation = []
for i in range(len(weigths[0])):
weigths_for_neuron = []
for j in range(len(weigths)):
weigths_for_neuron.append(weigths[j][i])
weigths_for_propogation.append(weigths_for_neuron)
params = np.array([np.dot(i,j) for i, j in zip(weigths_for_propogation, errors)])
new_params = 0
for output in params:
new_params += output
return list(new_params)
def updateWeigths(self, weigths, outputs, errors, kof_learn):
for layer in range(len(weigths)):
for output in range(len(weigths[layer])):
for _input in range(len(weigths[layer][output])):
weigths[layer][output][_input] += kof_learn * outputs[layer][output] * self.funcUnActiv(outputs[layer + 1][_input]) * errors[layer + 1][_input]
return weigths
def run_learn(self, conn, data, filename, error=0.1, kof_learn=0.1):
ch, sumerr = 0, 0
out, err = [0] * (self.layers + 1), [0] * (self.layers + 1)
random.shuffle(data)
try:
while True:
out[0] = data[ch][0]
for i in range(self.layers):
out[i + 1] = self.feedForward(out[i], conn[i])
err[-1] = [i - j for i, j in zip(data[ch][1], out[-1])]
for i in range(self.layers - 1, 0, -1):
err[i] = self.backPropogation(err[i + 1], conn[i])
conn = self.updateWeigths(conn, out, err, kof_learn)
for last_n in range(len(err[-1])):
sumerr += err[-1][last_n] ** 2
ch += 1
if ch % 100 == 0:
print('+100')
if ch == len(data):
random.shuffle(data)
if sumerr < error:
break
else:
print(sumerr)
sumerr = 0
ch = 0
finally:
json.dump(conn, open(filename, 'w+'))
Код преобразователя картинок:
from neuralNetwork_class import NeuralNetwork
from PIL import Image
import json,os,random,math
def sigmoid(arg):
return 1 / (1 + math.exp(-arg))
def unsigmoid(arg):
return arg * (1 - arg)
nn = NeuralNetwork(sigmoid, unsigmoid, neurons = [400,100,50,10])
data = []
filename = r'.\letters.json'
for letter in os.listdir(r'C:\Users\Паша\Desktop\Пример работы v2\Изначальная выборка'):
dop1, dop2 = [], []
image = Image.open(r'C:\Users\Паша\Desktop\Пример работы v2\Изначальная выборка\\'+letter)
width, height = image.size
pix = image.load()
name = letter[:1]
for w in range(width):
for h in range(height):
a,b,c = pix[h,w]
dop1.append(((a+b+c)/3)/255)
right = [0] * 10
right[int(name)] = 1
dop2.append(right)
data.append([dop1,dop2[0]])
W = nn.create_weigths()
nn.run_learn(W, data, filename, 10, 1)
Я также попробовал обучить нейросеть распознавать не 10, а 3 цифры, обучение длилось около часа, я считаю, что где-то что-то не так, так как у остальных обучение длилось не так долго, и с более резким спадом ошибки.