5

Создаю собственную нейросеть на питоне, которая обучается методом обратного распространения ошибки. Столкнулся с проблемой. Имеется входной массив изображений (1000 картинок, 20 на 20 пикселей, по 100 картинок на цифру, название каждой картинки начинается с той цифры, которая на ней изображена, ссылка на датасет). Нейросеть должна научиться их распознавать. Но почему-то она застревает на отметке ошибки 900 единиц (сумма квадратов ошибки последних слоёв нейронов всех картинок). Подскажите, в чём может быть проблема? С простыми заданиями, по типу логического ИЛИ она справляется легко. Во всех источниках, которыми я пользовался, наблюдается резкое падение ошибок, что, как видно, не мой случай. Код нейросети:

import math, random, json
import numpy as np

class NeuralNetwork(object):
    def __init__(self, funcActiv, funcUnActiv, neurons):
        self.neurons = neurons
        self.funcActiv = funcActiv
        self.funcUnActiv = funcUnActiv
        self.layers = len(self.neurons) - 1
    
    def create_weigths(self):
        weigths = [0] * (self.layers)
        for layer in range(self.layers):
            weigths[layer] = [0] * self.neurons[layer]
            for output in range(self.neurons[layer]):
                new_set = [0] * self.neurons[layer+1]
                weigths[layer][output] = new_set
        for layer in range(len(weigths)):
            for output in range(len(weigths[layer])):
                for _input in range(len(weigths[layer][output])):
                    value = random.uniform(-0.05,0.05)
                    weigths[layer][output][_input] = value
        return weigths
    
    def feedForward(self, inputs, weigths):
        params = np.array([np.dot(i,j) for i, j in zip(inputs,weigths)])
        new_params = 0
        for output in params:
            new_params += output
        return list(map(self.funcActiv, new_params))

    def backPropogation(self, errors, weigths):
        weigths_for_propogation = []
        for i in range(len(weigths[0])):
            weigths_for_neuron = []
            for j in range(len(weigths)):
                weigths_for_neuron.append(weigths[j][i])
            weigths_for_propogation.append(weigths_for_neuron)
        params = np.array([np.dot(i,j) for i, j in zip(weigths_for_propogation, errors)])
        new_params = 0
        for output in params:
            new_params += output
        return list(new_params)
    
    def updateWeigths(self, weigths, outputs, errors, kof_learn):
        for layer in range(len(weigths)):
            for output in range(len(weigths[layer])):
                for _input in range(len(weigths[layer][output])):
                    weigths[layer][output][_input] += kof_learn * outputs[layer][output] * self.funcUnActiv(outputs[layer + 1][_input]) * errors[layer + 1][_input]
        return weigths

    def run_learn(self, conn, data, filename, error=0.1, kof_learn=0.1):
        ch, sumerr = 0, 0
        out, err = [0] * (self.layers + 1), [0] * (self.layers + 1)
        random.shuffle(data)
        try:
            while True:
                out[0] = data[ch][0]
                for i in range(self.layers):
                    out[i + 1] = self.feedForward(out[i], conn[i])
                err[-1] = [i - j for i, j in zip(data[ch][1], out[-1])]
                for i in range(self.layers - 1, 0, -1):
                    err[i] = self.backPropogation(err[i + 1], conn[i])
                conn = self.updateWeigths(conn, out, err, kof_learn)
                
                for last_n in range(len(err[-1])):
                    sumerr += err[-1][last_n] ** 2
                ch += 1
                if ch % 100 == 0:
                    print('+100')
                if ch == len(data):
                    random.shuffle(data)
                    if sumerr < error:
                        break
                    else:
                        print(sumerr)
                        sumerr = 0
                        ch = 0
        finally:
            json.dump(conn, open(filename, 'w+'))

Код преобразователя картинок:

from neuralNetwork_class import NeuralNetwork
from PIL import Image
import json,os,random,math

def sigmoid(arg):
    return 1 / (1 + math.exp(-arg))

def unsigmoid(arg):
    return arg * (1 - arg)

nn = NeuralNetwork(sigmoid, unsigmoid, neurons = [400,100,50,10])
data = []
filename = r'.\letters.json'

for letter in os.listdir(r'C:\Users\Паша\Desktop\Пример работы v2\Изначальная выборка'):
    dop1, dop2 = [], []
    image = Image.open(r'C:\Users\Паша\Desktop\Пример работы v2\Изначальная выборка\\'+letter)  
    width, height = image.size
    pix = image.load()
    name = letter[:1]
    
    for w in range(width):
        for h in range(height):
            a,b,c = pix[h,w]
            dop1.append(((a+b+c)/3)/255)
    
    right = [0] * 10
    right[int(name)] = 1
    
    dop2.append(right)
    data.append([dop1,dop2[0]])

W = nn.create_weigths()

nn.run_learn(W, data, filename, 10, 1)

Я также попробовал обучить нейросеть распознавать не 10, а 3 цифры, обучение длилось около часа, я считаю, что где-то что-то не так, так как у остальных обучение длилось не так долго, и с более резким спадом ошибки.

3
  • 1
    Я готов поломать голову, но нельзя ли добавить тогда ссылку на сами картинки? чтобы без больших усилий повторить у себя на компе.
    – S.H.
    23 сен 2020 в 20:40
  • Ссылку прикрепил, буду очень благодарен, если вы найдёте проблему. 24 сен 2020 в 2:37
  • 1
    Спасибо за датасет, я обязательно отпишусь, что получается
    – S.H.
    24 сен 2020 в 2:51

1 ответ 1

3

Я поменял коэффициент обучения с 1 на 0.01, функцию активации с сигмоиды на ReLU и намного уменьшил количество нейронов. В результате чего обучение не то, что пошло полным ходом, оно превысило скорость света! Спасибо комментатору S.H. за то, что он решил уделить моему проекту внимание и отвлёкся от своих дел. Итоговый вариант кода преобразователя картинок выглядит так:

from neuralNetwork_class import NeuralNetwork
from PIL import Image
import json,os,random,math

def sigmoid(arg):
    return 1 / (1 + math.exp(-arg))

def unsigmoid(arg):
    return arg * (1 - arg)

def leakyrelu(arg):
    if arg > 1:
        return 0.01 * arg + 1
    elif arg < 0:
        return 0.01 * arg
    else:
        return arg

def unleakyrelu(arg):
    if arg > 1 or arg < 0:
        return 0.01
    else:
        return 1

def relu(arg):
    if arg < 0:
        return 0
    else:
        return arg

def unrelu(arg):
    if arg < 0:
        return 0
    else:
        return 1

nn = NeuralNetwork(relu, unrelu, neurons = [400,16,16,10])
data = []
filename = r'.\letters10.json'

for letter in os.listdir(r'C:\Users\Паша\Desktop\Пример работы v2\Изначальная выборка'):
    dop1, dop2 = [], []
    image = Image.open(r'C:\Users\Паша\Desktop\Пример работы v2\Изначальная выборка\\'+letter)  
    width, height = image.size
    pix = image.load()
    name = letter[:1]
    
    for w in range(width):
        for h in range(height):
            a,b,c = pix[h,w]
            dop1.append(1 - ((a+b+c)/3)/255)
    
    right = [0] * 10
    right[int(name)] = 1
    
    dop2.append(right)
    data.append([dop1,dop2[0]])

W = nn.create_weights()

nn.run_learn(W, data, filename, 1, 0.01)

Ваш ответ

Нажимая на кнопку «Отправить ответ», вы соглашаетесь с нашими пользовательским соглашением, политикой конфиденциальности и политикой о куки

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.