4

Загорелся идеей написания подобия нейросети на C#. Реализовал следующим образом

public class NeuronNetwork
{
    int epoch = 0;

    int inputCount;
    int hiddenCount;
    int outputCount;

    double[] hiddenErrors;
    double[] outputErrors;

    double[,] weightsHidden; // первая цифра - число входных нейронов, вторая - нейронов скрытого слоя
    double[,] weightsOutput; // первая цифра - число нейронов скрытого слоя, вторая - выходных нейронов

    double[] hiddenOutput;
    double[] output;
    double[] errors;

    int errorsCount;

    double Activate(double input)
    {
        return 1 / (1 + (1 / Math.Exp(input)));
    }

    double Derivative(double input)
    {
        return (input * (1 - input));
    }

    public void Train(List<TrainSet> trainSets)
    {
        double MSE;
        do
        {
            errors = new double[outputCount];
            MSE = 0;
            errorsCount = 0;
            //------------Прямой проход---------------------------------
            foreach (TrainSet set in trainSets)
            {
                //------------Проход по скрытому слою---------
                for (byte hiddenLayer = 0; hiddenLayer < hiddenCount; hiddenLayer++)
                {
                    hiddenOutput[hiddenLayer] = 0.0f;
                    for (byte IC = 0; IC < inputCount; IC++)
                    {
                        hiddenOutput[hiddenLayer] += weightsHidden[IC, hiddenLayer] * set.Input[IC];
                    }
                    hiddenOutput[hiddenLayer] = Activate(hiddenOutput[hiddenLayer]);
                }
                //------------Проход по выходному слою--------
                for (byte outputLayer = 0; outputLayer < outputCount; outputLayer++)
                {
                    output[outputLayer] = 0.0f;
                    for (byte HC = 0; HC < hiddenCount; HC++)
                    {
                        output[outputLayer] += weightsOutput[HC, outputLayer] * hiddenOutput[HC];
                    }
                    output[outputLayer] = Activate(output[outputLayer]);
                }

                //------------------Вычисление ошибки------------------------
                for (byte outCount = 0; outCount < set.GoodAns.Length; outCount++)
                {
                    errors[outCount] = set.GoodAns[outCount] - output[outCount];
                    MSE += errors[outCount] * errors[outCount];
                    errorsCount++;
                }
                for (byte hiddenErr = 0; hiddenErr < hiddenCount; hiddenErr++)
                {
                    hiddenErrors[hiddenErr] = 0.0f;
                    for (byte outErr = 0; outErr < outputCount; outErr++)
                    {
                        hiddenErrors[hiddenErr] += errors[outErr] * weightsOutput[hiddenErr, outErr];
                    }
                }
                //------------------Обратный проход--------------------------
                for (byte HC = 0; HC < hiddenCount; HC++)
                {
                    for (byte IC = 0; IC < inputCount; IC++)
                    {
                        weightsHidden[IC, HC] += 0.3 * hiddenErrors[HC] * Derivative(hiddenOutput[HC]) * set.Input[IC]; // коэфф обуения * производную * выход данного нейрона
                    }
                }
                for (byte OC = 0; OC < outputCount; OC++)
                {
                    for (byte HC = 0; HC < hiddenCount; HC++)
                    {
                        weightsOutput[HC, OC] += 0.3 * errors[OC] * Derivative(output[OC]) * hiddenOutput[HC];// коэфф обуения * производную * выход данного нейрона
                    }
                }
            }
            MSE = MSE / errorsCount;
            epoch++;
            System.Diagnostics.Debug.WriteLine(MSE.ToString());
        } while (MSE > 0.00005);
        System.Diagnostics.Debug.WriteLine("Обучение завершено!");
        System.Diagnostics.Debug.WriteLine(epoch);
    }




    public NeuronNetwork(int iCount, int hCount, int oCount)
    {
        inputCount = iCount;
        hiddenCount = hCount;
        outputCount = oCount;
        hiddenErrors = new double[hCount];
        outputErrors = new double[oCount];
        weightsHidden = new double[inputCount, hiddenCount]; // первая цифра - число входных нейронов, вторая - нейронов скрытого слоя
        weightsOutput = new double[hiddenCount, outputCount]; // первая цифра - число нейронов скрытого слоя, вторая - выходных нейронов
        hiddenOutput = new double[hiddenCount]; // выход скрытого слоя
        output = new double[outputCount]; // выходные данные сети
        Random rnd = new Random();
        for (byte HC = 0; HC < hiddenCount; HC++)
        {
            for (byte IC = 0; IC < inputCount; IC++)
            {
                weightsHidden[IC, HC] = rnd.Next(1, 10) / 10d; // установка случайных весов от 0 до 1
            }
        }
        for (byte OC = 0; OC < outputCount; OC++)
        {
            for (byte HC = 0; HC < hiddenCount; HC++)
            {
                weightsOutput[HC, OC] = rnd.Next(1, 10) / 10d; // установка случайных весов от 0 до 1
            }
        }
    }
}

Для проверки придумал следующую задачу: на вход нейросети подаётся RGB пикселя, на выходе мы должны получить те же значения без изменений. В качестве обучающей выборки может подойти любая картинка низкого разрешения

public class TrainSet
{
    private double[] _input; 
    private double[] _goodAns;

    public double[] GoodAns { get => _goodAns; set => _goodAns = value; } // желаемый выход
    public double[] Input { get => _input; set => _input = value; } // входные данные 
}




NeuronNetwork neuronNetwork;
private void StartTraining()
{
    Bitmap bitmap = (Bitmap)Image.FromFile(@"D:\1.jpg");
    List<TrainSet> trainSet = new List<TrainSet> { };
    neuronNetwork = new NeuronNetwork(3,12, 3);
    for (int x = 0; x < bitmap.Width; x++)
        for (int y = 0; y < bitmap.Height; y++)
        {
            double R = bitmap.GetPixel(x, y).R / 255.0;
            double G = bitmap.GetPixel(x, y).G / 255.0;
            double B = bitmap.GetPixel(x, y).B / 255.0;
            trainSet.Add(new TrainSet() { Input = new double[] { R, G, B }, GoodAns = new double[] { R, G, B } });
        }
    neuronNetwork.Train(trainSet);
}

В процессе обучения столкнулся с тем, что среднеквадратичная ошибка (MSE в коде) то возрастает, то убывает. Возможно всему виной неправильно подобранный коэффициент обучения в 0.3. введите сюда описание изображения

Но основная проблема в том, что веса нейросети стремятся в бесконечность, растут с каждой итерацией выходя за пределы -1..1 введите сюда описание изображения В чём может быть проблема? Пробовал разные функции активации, в частности более линейную ReLu с утечкой, но проблема с весами остаётся. Или так и должно быть?

2
  • 1
    Скорее всего где-то есть ошибка, которую из-за нагромождений кода не очень хорошо видно. У меня часть были ошибки, с которыми я хотел бежать на Stack Overflow, но решения оказывались крайне простыми (да и я просто даун))))
    – return
    31 дек 2019 в 21:08
  • Непрерывно удивляют люди, пытающиеся в очередной раз изобрести велосипед. Есть ведь библиотеки для всего этого, и целый Tensorflow. Бери и пользуйся! Ну зачем этот велосипед, даже без матричных примитивов? И почему его нужно отлаживать? Он ещё и не быстрее будет.
    – sanmai
    9 янв 2020 в 6:39

5 ответов 5

7
+150

Сразу хочу сказать, что с весами всё в порядке, пределов у них быть не должно, тем более таких узких как (-1; 1)

Если сеть не учится, попробуйте уменьшить коэффициент обучения. Всё таки 0.3 - это много, как по мне! У меня 0.003-0.005 обычно и всё хорошо.

Кратко по коду:

  • Разделите прямой проход сигнала и обратное распространение ошибки - жить будет намного проще!
  • Хранить всё в отдельных массивах - хорошо, а вот использовать структуры - лучше!
  • Использовать байтовый счётчик там, где возможно считать придётся сверх 255 не есть хорошо, ибо это уже бесконечный цикл. К тому же это не даст особой экономии по памяти, а по скорости может вообще проигрыш дать.

И да, глядя ещё раз в код, я не нашел такую штуку, как Смещение Суммы. Он же Свободный Вес, или как-там его. Вообщем вес, который не соответствует какому-либо входу. Смещение суммы нужно для того, чтобы была возможность сдвинуть график сигмоиды левее или правее относительно центра. Без этого параметра нейрон становится попросту неполноценным, неспособным "понять" даже такие простые функции как логическое И или логическое ИЛИ. Ваша довольно простая задача может не почувствовать этого просчёта, но исправить стоит.

Код править не буду, лень. Если интересует рабочий вариант, могу предложить свой: и на Шарпе, и работает) Надеюсь был полезен!

1

Нормализуй,так

     //------------Проход по скрытому слою---------
                    for (byte hiddenLayer = 0; hiddenLayer < hiddenCount; hiddenLayer++)
                    {
                        hiddenOutput[hiddenLayer] = 0.0f;
                        for (byte IC = 0; IC < inputCount; IC++)
                        {
                            hiddenOutput[hiddenLayer] += weightsHidden[IC, hiddenLayer] * set.Input[IC];
hiddenOutput[hiddenLayer]/=hiddenCount;
                        }

                        hiddenOutput[hiddenLayer] = Activate(hiddenOutput[hiddenLayer]);
                    }

При BackPropagate добавь:

//------------------Обратный проход--------------------------
                for (byte HC = 0; HC < hiddenCount; HC++)
                {
                    for (byte IC = 0; IC < inputCount; IC++)
                    {
                        weightsHidden[IC, HC] += 0.3 * hiddenErrors[HC] * Derivative(hiddenOutput[HC]) * set.Input[IC]*1/hiddenCount; // коэфф обуения * производную * выход данного нейрона
                    }
                }
                for (byte OC = 0; OC < outputCount; OC++)
                {
                    for (byte HC = 0; HC < hiddenCount; HC++)
                    {
                        weightsOutput[HC, OC] += 0.3 * errors[OC] * Derivative(output[OC]) * hiddenOutput[HC];// коэфф обуения * производную * выход данного нейрона
                    }
                }
            }

Во первых комментарий правильно поставь вычисление ошибки это есть обратный проход.Код точно неправильный,я над своим C++/Python долго работал и встречал возрастание при dot сигнале,сейчас вроде при dot сигнале значения->0,00...,и mse от эпох как вогнутая линия влево ->0.Все время смотрел и думал над математической моделью.При правильной кодовой архитектуре "вроде" ненужно нормализовывать как я показал.Короче еще тесты должны показать:).Протестируй графиком на логическом XOR,он точно должен быть как прямая лежащая налево->0.Python keras показывает.

1

Похоже веса действительно могут бесконечно возрастать,читал на англоязычном стековерфлов,на toster говорят что могут выходить за 0 и 1.И у меня сеть на логических операций с маленькой матрицей естественно трейн-сета и с биасами обучается,а с матрицами в высоту 20,40,80,170 веса накапливаются, это легко проверил потому что C/C++ сеть скриптуется через Python.Опять пытаюсь нормализовать как выше показал.

0

Смотрите,говорят зачем типа изобретать велосипед ведь есть пакеты.Так я тщательнее тестировал keras на Theano,и там показывает всегда идеальные графики обучения через mse,никакие веса не накапливаются.И вот что я придумал сделал XOR тестирование для него таким кодом

import numpy as np
from keras.models import Sequential
from keras.layers import Dense
import matplotlib.pyplot as plt
import sys

#map_nn=(28,12,13,14,7)

def plot_history(history):
    fig,ax=plt.subplots()
    x=range(10)
    plt.plot(x,history.history['loss'])
    ax.set_xlabel("Epochs")
    ax.set_ylabel("Mse")
    ax.set_title(what_learn)
    plt.show()

np.random.seed(5)

# learn xor
x_xor=np.array([[1,1],[1,0],[0,1],[0,0] ])
y_xor=np.array([[0],[1],[1],[0]])
# learn and
x_and=[[1,1],[1,0],[0,1],[0,0] ]
y_and=[[1],[0],[0],[0]]

# learn or
x_or=[[1,1],[1,0],[0,1],[0,0] ]
y_or=[[1],[1],[1],[0]]
# learn not
x_not=[[1,0],[0,0],[1,0],[0,0] ]
y_not=[[0],[1],[0],[1]]
# learn many
x_many=np.random.normal(size=(170,28))
y_many=np.random.normal(size=(170,7))

map_nn=(2,12,13,14,1)

# def get_data_x(x):
#   return x
#
# def get_data_y(y):
#   return y
x=None
y=None
what_learn=None

#map_nn=(2,12,13,14,1)
def main():
 # получить sys.argv[1]
 global x,y,what_learn
 # what_learn=sys.argv[1]
 if what_learn=='learn_and':
     x=x_and
     y=y_and
 elif what_learn=='learn_or':
     x=x_or
     y=y_or
 elif what_learn=='learn_xor':
     x=x_xor
     y=y_xor
 elif what_learn=='learn_not':
     x=x_not
     y=y_not
 # elif what_learn=='learn_many':
 #     x=x_many
 #     y=y_many
for i in ["learn_and","learn_or","learn_xor","learn_not"]:
   what_learn=i
   main()

   model=Sequential()
   model.add(Dense(1,input_dim=2,activation=None,use_bias=False))
   # model.add(Dense(10,activation='sigmoid',use_bias=False))
   # model.add(Dense(9, activation='sigmoid',use_bias=False))
   # model.add(Dense(1, activation='sigmoid',use_bias=False))

   model.compile(optimizer='SGD',loss='mse',metrics=['mse'])
   history=model.fit(np.array(x),np.array(y),epochs=10)
   plot_history(history)

И он мне показывает что опять всему хорошо обучается.А такого не может быть,потому что я закодировал один слой без функции активации и даже без биасов-это по коду просто линейный регрессор,а он не может разделить XOR математически.А многие в нете говорят что без биасов сеть не сможет различить логические функции и это похоже именно так.Моя сеть накапливает большие веса,но она без биасов не может решить XOR.Нормализации как я предлагал не получается сделать.Может тогда для реальной сети использовать пороговую функцию активации.

0

Похоже все дело в инициализации весов,при отладки сети инициализировал 1/1000000,веса не увеличивались,близкое к нулю короче все было,1/100 - веса увеличивались.Нашел это про Relu

про Глорот

Ваш ответ

By clicking “Отправить ответ”, you agree to our terms of service and acknowledge you have read our privacy policy.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.