3

Реализовал свою нейронную сеть и решил проверить ее работоспособность.

Структура нейронной сети: 3 входных нейрона, скрытый слой с 2 нейронами и 2 выходных нейрона.

Обучающая выборка:

double_t** trainSet = new double_t * [] {
    new double_t[]{ 0, 0, 0 },
    new double_t[]{ 0, 1, 0 },
    new double_t[]{ 1, 0, 0 },
    new double_t[]{ 1, 1, 0 },
    new double_t[]{ 0, 0, 1 },
    new double_t[]{ 0, 1, 1 },
    new double_t[]{ 1, 0, 1 },
    new double_t[]{ 1, 1, 1 },
    new double_t[]{ 0, 0, 2 },
    new double_t[]{ 0, 1, 2 },
    new double_t[]{ 1, 0, 2 },
    new double_t[]{ 1, 1, 2 }
};

Первый и второй нейрон это значения операндов, а третий нейрон это номер операции 1 - &, 2 - | или 3 - ^ (xor). Эти числа нормализуются в 0, 0.5 и 1 соответственно.

Вот последние результаты работы: введите сюда описание изображения

Как видно на приложенном скрине, ошибки во всех сетах, кроме последнего уменьшается. И если я из обучающей выборки уберу этот сет, то нейронная сеть будет отлично работать.

В чем может быть проблема? Как её исправить? Я проверил код функций и вроде не нашел ошибки, но если нужно попросите и я дополню вопрос кодом.

Дополнено

Ошибка выходного нейрона: error = (ideal - output) * derivative(output)

Ошибка скрытого нейрона: error[i] = derivative(output[i]) * summa(weights[i][i+1] * error[i+1]

Ошибка скрытого нейрона = значение производной * на сумму произведений веса между этим нейроном и нейроном следующего слоя, на ошибку нейрона следующего слоя.

Ошибка для выбранного сета:

trainError = summa(ideals[i] - output[i]) / countOutputNeurons

Ошибка эпохи: epochError = summa(trainError[i]) / countSets

Ошибка эпохи = сумма ошибок каждого сета разделенного на количество сетов.

Дополнено

Убрал умножение на производную при поиске ошибок выходных нейронов и нейронка наконецто обучилась, а не зациклилась.

И получил следующее:

введите сюда описание изображения

Почему то при входных значениях (1, 1) нейронная сеть хуже обучается.

Объясните пожалуйста кто разбирается почему так.

При начальной структуре (3 входных, 2 скрытых и 2 выходных), ошибки некоторых сетов например на 50 эпохе < 0.00001, у большинства в районе (0.01, 0.09) и только проклятого двенадцатого сета ошибка растет.

Обновлено

В общем проблема заключается именно в том, чтобы научить нейронную сеть операции xor и именно сету (1, 1). Ошибка уменьшается медленней чем при других сетах.

Добавил случайное перемешивание сетов каждую эпоху, что вроде ускорило обучение (раньше было в среднем 250+ эпох сейчас 150+).

Но тут есть еще одна проблема, решение которой я не могу найти. Если раз десять перезапустить обучение, то почему то может произойти такое, что нейронная сеть не будет обучаться и зациклиться на одних ошибках. Это как то случайно получается.

11
  • Активация какая? Для xor что-то кроме тангенса остальное всё плохо работает. Можете поиграться: playground.tensorflow.org/…
    – CrazyElf
    7 дек 2020 в 14:52
  • @CrazyElf сигмоидальная функция, хорошо попробую поменять функцию активации. 7 дек 2020 в 15:06
  • Хотя я посмотрел, иногда всё же и сигмоида тоже срабатывает. В общем, ещё может быть маловато скрытых нейронов, учитывая, что у вас ещё и 3 разных операции. Попробуйте вообще xor отдельно поучить от остальных операций, посмотреть, что получится.
    – CrazyElf
    7 дек 2020 в 15:21
  • @CrazyElf использовал тангенс функцию активации и в итоге значение первого выходного нейрона -1, а значение второго 1. И ошибка 2.5 всегда и не меняется. Так же попробовал отдельно научить нейронку xor и раньше когда у меня был 1 выходной нейрон, то все работало, а сейчас 2 выхода и значения нейронов приблизительно 0.5 каждый и не меняются значения. Может у меня ошибка не правильно высчитывается? У меня много вопросов по поиску ошибки т.к. на разных источниках по разному находят ошибку. В вопросе дополню, то как у меня находится ошибка. 7 дек 2020 в 15:36
  • @CrazyElf и да я сразу попробовал количество скрытых слоев и нейронов увеличить. В итоге увеличил до 2 слоев по 10 и 5 нейронов, но безрезультатно 7 дек 2020 в 15:50

2 ответа 2

0

Посмотрите, у меня на Python(можно конвертировать) такая функция вспомогательная:

ready = False
y = 0
def operations(op, x, nn_params: Nn_params):
    global ready, y
    alpha_leaky_relu = nn_params.alpha_leaky_relu
    alpha_sigmoid = nn_params.alpha_sigmoid
    alpha_tan = nn_params.alpha_tan
    beta_tan = nn_params.beta_tan
    if op == RELU:
        if (x <= 0):
            return 0
        else:
            return x
    elif op == RELU_DERIV:
        if (x <= 0):
            return 0
        else:
            return 1
    elif op == TRESHOLD_FUNC:
        if (x > 0.5):
            return 1
        else:
            return 0
    elif op == TRESHOLD_FUNC_DERIV:
        return 1
    elif op == LEAKY_RELU:
        if (x <= 0):
            return alpha_leaky_relu
        else:
            return 1
    elif op == LEAKY_RELU_DERIV:
        if (x <= 0):
            return alpha_leaky_relu
        else:
            return 1
    elif op == SIGMOID:
        y = 1 / (1 + math.exp(- alpha_sigmoid * x))
        return y
    elif op == SIGMOID_DERIV:
        return (alpha_sigmoid * y * (1 - y))
    elif op == SOFTMAX_DERIVATE:
        return 1
    elif op == INIT_W_MY:
        if ready:
            ready = False
            return -0.567141530112327
        ready = True
        return 0.567141530112327
    elif op == INIT_W_RANDOM:
        return random.random()
    elif op == TAN:
        f = alpha_tan * math.tanh(beta_tan * x)
        return f
    elif op == TAN_DERIV:
        return beta_tan / alpha_tan * (alpha_tan * alpha_tan - y * y)
    elif op == INIT_W_CONST:
        return 0.567141530112327
    elif op == INIT_RANDN:
        return np.random.randn()
    else:
        print("Op or function does not support ", op)

Справа op это enum, попробуйте инициализацию, возьмите одну OR/AND или XOR, простые операции мне помогли TRESHOLD_FUNC и INIT_W_MY(так даже для "нерешаемой" XOR)

8
  • Не очень понимаю, что нужно сделать. Просто функцию попроще использовать, и отдельно поучить xor и or/and? 8 дек 2020 в 15:16
  • Да отдельно, и функцию TRESHOLD_FUNC.Может выложите код, я попробую протестировать(может изменить), но не гарантирую, с С долго не работал. 8 дек 2020 в 15:30
  • Попробовал использовать функцию TRESHOLD_FUNC, но нейронка теперь вообще не учится, а застряла на одной ошибке. Вот код ссылка 8 дек 2020 в 20:00
  • Скопировал, но пока не могу скомпилировать(у меня msys2-mingw), но сразу там видно что если используем (ideals - layers:=<что отдала сеть>)[* <производная>] то корректировка весов будет идти через минус т.е. weights(new) - =delta. Это важное и следует из математики. 9 дек 2020 в 9:50
  • Отредачил под компилятор mingw ссылка У меня 3 предупреждения выдает просто, а так все запускается. 9 дек 2020 в 9:51
0

У вас оказывается довольно большая конфигурируемая сеть(не 3 слоя), и мне стала непонятна архитектура, поэтому предлагаю сначала изменить код так(более логично):

struct NeuralNetwork
{
private:
    
    

    struct Lay
    {
        int _in;
        int _out;
        Matrix<double_t> *matrix;  // веса
        Vector<double_t> *hidden; // вектор после функции активации
        Vector<double_t> *errors; // вектор ошибок
        

    double_t getRandomWeight() { return (double_t)(rand()) / RAND_MAX - 0.5; };  

    public:
        Lay(int in, int out) : _in(in), _out(out) // 1 слой
        {

            matrix = new Matrix<double_t>(_in, _out); // Создание матрицы весов

            srand(time(NULL));
            for (int row = 0; row < _out; row++) // ее заполнение
                for (int elem = 0; elem < _in; elem++)
                    matrix[row][elem] = getRandomWeight();

            hidden = new Vector<double_t>(out);
            errors = new Vector<double_t>(out);
        }
    };

    
    Vector<Lay> *net; // сеть как стек Слоев
    size_t count_layers;

    double_t E;
    double_t a;

    //Функция активации
    double_t (*activationFunc)(const double_t value) = [](const double_t value) {
        return value > 0.5 ? (double_t)1 : 0;
    };
    //Производная функции активации
    double_t (*derivativeFunc)(const double_t value) = [](const double_t value) {
        return (double_t)1;
    };

public:
    NeuralNetwork(const size_t *dimensions, const size_t size,
                  const double_t E = 0.5, const double_t a = 0.5)
    {

        this->count_layers = size;
        this->net = new Vector<Lay>(this->count_layers);
        for (size_t i = 0; i < this->count_layers; i++)
            this->net[i]=new Lay(dimensions[i + 1], dimensions[i]);
        
        this->E = E;
        this->a = a;
        
    };
...
}
2
  • Хорошо. Идею я понял, попробую переписать. Но вряд ли это решит проблему. Все, что мне хочется узнать это почему и как исправить проблему с последним сетом для xor. Почему он медленней обучается. Но идея с struct Layer мне понравилась. 10 дек 2020 в 1:22
  • Я тоже попробую доработать, честно говоря я думаю у вас где-то в архитектуре ошибка, правильная сеть должна работать. 10 дек 2020 в 4:36

Ваш ответ

By clicking “Отправить ответ”, you agree to our terms of service and acknowledge that you have read and understand our privacy policy and code of conduct.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.