1

Написал простой пример нейронной сети, если это можно так назвать :)
Два входа, один выход.

введите сюда описание изображения

Работаю с задачей типа AND.

inpts | outs
------------
0 1   | 0
1 0   | 0
0 0   | 0
1 1   | 1

Проблема возникает на этапе обучения самой нейронки.
Как обновлять веса?

Не могу толком понять какой алгоритм использовать, чтобы найти ошибку и обновить веса.

#include <iostream>
#include <cmath>
#include <iomanip>
#include <ctime>
#include <cstdlib>

using namespace std;

double sigmoid(int x, bool derivative = false){   // Активационная функция
    if (derivative)
        return (double)(sigmoid(x) * (1.0 - sigmoid(x)));
    return 1.0 / (1 + exp(-x));
}

double randomWeights(){                           // Случайное число от -1 до 1
    return (double)rand() / RAND_MAX * 2 - 1;
}

int main(){

    srand(time(NULL));
    cout << fixed << setprecision(5);

    double data[4][3] = {                         // Входные данные
        {0, 0, 0},
        {1, 0, 0},
        {0, 1, 0},
        {1, 1, 1}
    };

    double w1, w2;                                // Устанавливаем веса
    w1 = randomWeights();
    w2 = randomWeights();

    int epoches = 1000;                           // Кол-во епох
    double trainingRate = 0.01;                   // Коеф. обучения

    int ri;                                       // Случайный индекс
    double sum;                                   // Сумма весов
    double out;                                   // Выходной сигнал
    double error;                                 // Ошибка

    for (int i=0; i<epoches; i++){
        ri = rand() % 4;
        sum = w1 * data[ri][0] + w2 * data[ri][1];
        out = sigmoid(sum);

     //  Методом "тыка" пробовал так:
     //  error = pow(data[ri][2] - sigmoid(out, true), 2);
     //  w1 = w1 + trainingRate * error * out;
     //  w2 = w1 + trainingRate * error * out;

     // Застрял дальше

    }

    return 0;
}
4
  • а метод обучения какой?
    – Alex.B
    27 ноя 2017 в 12:33
  • @Alex.B, я смотрел на статью с алгоритмом обратного распространения. Но так как у меня здесь нету скрытых слоев, я бы хотел увидеть какой-то более простой способ. Честно говоря даже не знаю что ответить.
    – entithat
    27 ноя 2017 в 14:42
  • 1
    Полезный канал и видео для лучшего понимания.
    – entithat
    3 янв 2021 в 19:45
  • Надо читать "Обратное распространение ошибки", "Обратная связь".
    – Pupkin
    4 янв 2021 в 17:51

1 ответ 1

3

Пара моментов. Во-первых вам не хватает опорного входа (bias в англоязычной литературе). Т.е. вам надо добавить еще один вес w0 и итоговая формула будет

sum = w0 * 1 + w1 * data[ri][0] + w2 * data[ri][1];
out = sigmoid(sum);

Далее вы считаете функцию ошибки не совсем правильно, для логистической регрессии правильная функция выглядит так: если выход равен 1 то -log(out), если выход 0 то -log(1 - out). Что в сумме даст такую функцию:

error = -( data[ri][2]*log(out) + (1-data[ri][2])*log(1 - out) ) *

*-Я не знаю как в C++ написать логарифм - подставьте свой правильно.

Далее. Вам сама функция ошибки не так сильно и нужна. (Она нужна только для контроля того что алгоритм сходится, т.е. после каждого шага алгоритма она должна немного уменьшаться). То что вам на самом деле надо - это три частных производных от функции ошибки по каждому из весов. Т.е. вам надо подставить sum в out, а out в error и продифференцировать полученную конструкцию по w0, w1, w2. Допустим у вас получатся функции wd0, wd1, wd2 от входов, выходов и весов. Далее вы с помощью них делаете градиентный спуск (псевдокод):

цикл по количеству эпох{
    wNew0 = w0 - trainingRate * wd0(data[ri][0], data[ri][1], data[ri][2], w0, w1, w2)
    wNew1 = w1 - trainingRate * wd1(data[ri][0], data[ri][1], data[ri][2], w0, w1, w2)
    wNew2 = w2 - trainingRate * wd2(data[ri][0], data[ri][1], data[ri][2], w0, w1, w2)
    w0 = wNew0
    w1 = wNew1
    w2 = wNew2
}

На каждом шаге цикла (или раз в 10\100\1000 проходов) можно для себя печатать значение error. Если оно уменьшается - значит всё идет как надо. Если нет - то где ошибка, либо великоватый trainingRate.

P.S. Надеюсь у меня в ответе нет ошибок.

1
  • 1
    Добавлю к ответу этот пример. Очень хорошо помог понять как работать с методом обратного распространения ошибки.
    – entithat
    27 июл 2019 в 9:35

Ваш ответ

Нажимая на кнопку «Отправить ответ», вы соглашаетесь с нашими пользовательским соглашением, политикой конфиденциальности и политикой о куки

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.