Написал простой пример нейронной сети, если это можно так назвать :)
Два входа, один выход.
Работаю с задачей типа AND.
inpts | outs
------------
0 1 | 0
1 0 | 0
0 0 | 0
1 1 | 1
Проблема возникает на этапе обучения самой нейронки.
Как обновлять веса?
Не могу толком понять какой алгоритм использовать, чтобы найти ошибку и обновить веса.
#include <iostream>
#include <cmath>
#include <iomanip>
#include <ctime>
#include <cstdlib>
using namespace std;
double sigmoid(int x, bool derivative = false){ // Активационная функция
if (derivative)
return (double)(sigmoid(x) * (1.0 - sigmoid(x)));
return 1.0 / (1 + exp(-x));
}
double randomWeights(){ // Случайное число от -1 до 1
return (double)rand() / RAND_MAX * 2 - 1;
}
int main(){
srand(time(NULL));
cout << fixed << setprecision(5);
double data[4][3] = { // Входные данные
{0, 0, 0},
{1, 0, 0},
{0, 1, 0},
{1, 1, 1}
};
double w1, w2; // Устанавливаем веса
w1 = randomWeights();
w2 = randomWeights();
int epoches = 1000; // Кол-во епох
double trainingRate = 0.01; // Коеф. обучения
int ri; // Случайный индекс
double sum; // Сумма весов
double out; // Выходной сигнал
double error; // Ошибка
for (int i=0; i<epoches; i++){
ri = rand() % 4;
sum = w1 * data[ri][0] + w2 * data[ri][1];
out = sigmoid(sum);
// Методом "тыка" пробовал так:
// error = pow(data[ri][2] - sigmoid(out, true), 2);
// w1 = w1 + trainingRate * error * out;
// w2 = w1 + trainingRate * error * out;
// Застрял дальше
}
return 0;
}