6

Пытаюсь реализовать простую нейронную сеть прямого распространения. Но результат, который она выдает после обучения(методом обратного распространения ошибки) стремиться к значению 0.5. Хоть после 1000 эпох обучения, хоть после 10000. Она имеет 3 входа, 2 нейрона в скрытом слое и 1 нейрон результирующий.

А если не обучать её, а с только что сгенерированными весами заставить принимать решение, то её ответ колебается в диапазоне от 0.5 к 1.

Вот код того, что есть на данный момент.

/*var weight_1 = [[0.79, 0.44, 0.43],
                [0.85, 0.43, 0.29]],
    weight_2 = [[0.5, 0.52]],*/
var weight_1 = randArr(2, 3),
    weight_2 = randArr(1, 2),
    learning_rate = 0.05,
    data = [
        [[0,0,0], 0],
        [[0,0,1], 1],
        [[0,1,0], 1],
        [[0,1,1], 0],
        [[1,0,0], 1],
        [[1,0,1], 0],
        [[1,1,0], 0],
        [[1,1,1], 1]
    ];
console.log("---------До тренировки---------");
console.groupCollapsed("Prediction before");
predictSet(data);
console.groupEnd();
function randArr(rows, cols) {
    arr = [];
    for (var i = 0; i<rows; i++) {
        arr[i] = [];
        for (var j = 0; j<cols; j++) {
            arr[i][j] = Math.random();
        }
    }
    return arr;
}

function activation(x) {
    return 1 / (1 + Math.exp(-x));
}

function sumMultVector(A, B) {
    var C = 0;
    for (var i=0;i<A.length;i++) {
        C += A[i] * B[i];
    }
    return C;
}

function getWeightLayer(inputs, weight) {
    var getWeightLayer = [];
    for (var i = 0; i<weight.length; i++) {
        getWeightLayer[i] = activation(sumMultVector(inputs,weight[i]));
    }
    return getWeightLayer;
}

function predict(inputs) {
    outputs_1 =  getWeightLayer(inputs, weight_1);
    outputs_2 = getWeightLayer(outputs_1, weight_2);
    return outputs_2[0];
}

function train(inputs, expected) {
    weights =  getWeightLayer(inputs, weight_1);
    weights_2 = getWeightLayer(weights, weight_2);
    
    predict_2 = weights_2[0];
    error_2 = predict_2 - expected;
    sigmoid_2 = predict_2 * (1 - predict_2);
    delta_2 = error_2 * sigmoid_2;
    
    weight_2[0][0] -= weights_2[0] * delta_2 * learning_rate;
    weight_2[0][1] -= weights_2[0] * delta_2 * learning_rate;
    for (var j = 0; j < 2; j++)
        for (var i = 0; i < 3; i++) {
            error_1 =  weight_2[0][j] * delta_2;
            sigmoid_1 = weights[j] * (1 - weights[j]);
            delta_2 = error_1 * sigmoid_1;
            weight_1[j][i] -= inputs[i] * delta_2 * learning_rate;
        }
}

function compareRandom() {
    return Math.random() - 0.5;
}

function trainSet(data) {
    for (var k = 0; k < 5000; k++) {
        data.sort(compareRandom);
        for (var i = 0; i < data.length; i++) {
            train(data[i][0], data[i][1])
        }
    }
}
function predictSet(data) {
    for (var i = 0; i < data.length; i++) {
        console.log("спрогнозировало:", predict(data[i][0]), "ожидается:",data[i][1]);
    }
}
trainSet(data);
console.log("---------После тренировки---------");
console.groupCollapsed("Prediction after");
predictSet(data);
console.groupEnd();
console.groupCollapsed("Weights");
console.log("От входного слоя к скрытому: ", weight_1);
console.log("От скрытого к выходному: ", weight_2);
console.groupEnd();

И моя проблема заключается в том, что все результаты, которые выдает этот алгоритм, близки к 0.5 и довольно случайны, независимо от того, какие аргументы я использую.

Было бы неплохо если у кого-нибудь найдется похожая, но рабочая нейронная сеть. Тогда я мог бы получить результат тренировки на определенных статичных весах и ориентироваться на правильности своей нейросети.

19
  • А распределение весов проверяли? И пробовали использовать другой алгоритм генерации начальных?
    – yar85
    12 апр 2018 в 21:44
  • @yar85 Пробовал задавать вручную веса, результат тот же. Вот пример распределения весов. Допусти изначально они выглядят так: От входного слоя к скрытому [[0.34154, 0.48588, 0.36448] [0.47394, 0.79290, 0.52845]] От скрытого к выходному [0.54270, 0.03027] После 1000 итераций тренировки они преобразились в [[0.70796, 0.29439, 0.47045] [0.03797, 0.97974, 0.47748]] и [-0.3225, 0.31591] соответственно
    – RealPeha
    13 апр 2018 в 7:18
  • 1
    Категорическая есть какая-то проблема в алгоритме. Даже на самом простом наборе данных сеть не учится ничему. Нужно смотреть какие размеры матриц получаются у вас на каждом из слоев. Может позже внимательней посмотрю.
    – sanmai
    17 апр 2018 в 14:48
  • 2
    Просто мало нейронов, нужно не 3, а 5 или больше в скрытом слое.
    – coder675
    19 апр 2018 в 8:30
  • 1
    Если вам хочется действительно с низов изучить вообще всю тему машинного обучения и нейронных сетей, то вам сюда: coursera.org/learn/machine-learning - детали тут может быть не совсем актуальны, но всякая математика вся та же самая что сейчас, что раньше (говорю про начало 2018 года)
    – sanmai
    20 апр 2018 в 6:35

2 ответа 2

9
+50

Возьмём фреймворк для постройки сетей, воссоздадим архитектуру вашей сети и... Увидим что даже заведомо правильная работающая сеть не может выявить закономерности в ваших входных данных. Для заведомо отрицательного образца [1,1,0] сеть показывает результат в пределах 0.5. Если посмотреть на ошибку обучения, то на 20000 итерациях она будет порядка 0.2, из чего самого по себе можно сделать вывод что архитектуры сети недостаточно.

Вы можете сколько угодно пытаться исправить алгоритм, но у вас ничего не получится без изменения и усложнения архитектуры. В качестве эксперимента можно попробовать руками подобрать веса, которые бы давали правильный ответ. Уверен что это невозможно сделать даже человеку, что уж говорить об алгоритмах, которые даже с горы толком спуститься не могут.

var myNetwork = new synaptic.Architect.Perceptron(3, 2, 1)

var trainer = new synaptic.Trainer(myNetwork)

var trainingSet = [
  {
    input: [0,0,0],
    output: [0]
  }, {
    input: [0,0,1],
    output: [1]
  }, {
    input: [0,1,0],
    output: [1]
  }, {
    input: [0,1,1],
    output: [0]
  }, {
    input: [1,0,0],
    output: [1]
  }, {
    input: [1,0,1],
    output: [0]
  }, {
    input: [1,1,0],
    output: [0]
  }, {
    input: [1,1,1],
    output: [1]
  }
]

var trainingOptions = {
  rate: .1,
  iterations: 20000,
  error: .005,
}

console.log(trainer.train(trainingSet, trainingOptions));

console.log(myNetwork.activate([0,0,1]));
console.log(myNetwork.activate([1,0,0]));
console.log(myNetwork.activate([1,1,1]));
console.log(myNetwork.activate([1,1,0]));
<script src="https://cdnjs.cloudflare.com/ajax/libs/synaptic/1.1.4/synaptic.min.js"></script>

Если усложнить структуру, добавив три нейрона в скрытом слое... То система для того же отрицательного образца [1,1,0] показывает результат близкий к 0.1, то есть - ожидаемо негативный. Ошибка обучения минимальная. Это, конечно, не обязательно хорошо, но для нашего минимального и исчерпывающего набора данных к ошибке нет вопросов.

(Хватило бы добавить и двух нейронов, но для надёжности - лучше больше.)

var myNetwork = new synaptic.Architect.Perceptron(3, 5, 1)

var trainer = new synaptic.Trainer(myNetwork)

var trainingSet = [
  {
    input: [0,0,0],
    output: [0]
  }, {
    input: [0,0,1],
    output: [1]
  }, {
    input: [0,1,0],
    output: [1]
  }, {
    input: [0,1,1],
    output: [0]
  }, {
    input: [1,0,0],
    output: [1]
  }, {
    input: [1,0,1],
    output: [0]
  }, {
    input: [1,1,0],
    output: [0]
  }, {
    input: [1,1,1],
    output: [1]
  }
]

var trainingOptions = {
  rate: .1,
  iterations: 20000,
  error: .005,
}

console.log(trainer.train(trainingSet, trainingOptions));

console.log(myNetwork.activate([0,0,1]));
console.log(myNetwork.activate([1,0,0]));
console.log(myNetwork.activate([1,1,1]));
console.log(myNetwork.activate([1,1,0]));
<script src="https://cdnjs.cloudflare.com/ajax/libs/synaptic/1.1.4/synaptic.min.js"></script>

2
  • Добавил в скрытый слой еще 3 нейрона. Результат все еще сходится к 0.5. jsfiddle.net/v8z4pmfd/2
    – RealPeha
    20 апр 2018 в 6:06
  • 1
    Это уже другой вопрос надо задавать. Вам надо начать с самого простого. Например, сделайте сеть для расчёта XOR. Эту сеть можно даже на бумажке посчитать вручную, так что вы будете видеть что лажает ваш алгоритм или правильно считает.
    – sanmai
    20 апр 2018 в 8:58
1

Благодаря пользователю sanmai я наконец решил свою проблему! Больше недели стараний, и вот у меня уже готовая нейронная сеть. Полностью переписал функцию тренировки, оказалось я использовал неправильные формулы. Привожу код, может кому-нибудь пригодится

var hiddenLayer = 4,
    weight_1 = randArr(hiddenLayer, 2), //(скрытий слой, входной слой)
    weight_2 = randArr(1, hiddenLayer), //(выходной слой, скрытый слой)
    learning_rate = 1,
    data = [
            [[0,0], 1],
            [[0,1], 0],
            [[1,0], 0],
            [[1,1], 1]
        ];
function randArr(rows, cols) {
    arr = [];
    for (var i = 0; i<rows; i++) {
        arr[i] = [];
        for (var j = 0; j<cols; j++) {
            arr[i][j] = Math.random() - 0.5;
        }
    }
    return arr;
}

function activation(x) {
    return 1 / (1 + Math.exp(-x));
}

function multVector(A, B) {
    var C = 0;
    for (var i=0;i<A.length;i++) {
        C += A[i] * B[i];
    }
    return C;
}

function getWeightLayer(inputs, weight) {
    var getWeightLayer = [];
    for (var i = 0; i<weight.length; i++) {
        getWeightLayer[i] = activation(multVector(inputs,weight[i]));
    }
    return getWeightLayer;
}

function predict(inputs) {
    outputs_1 =  getWeightLayer(inputs, weight_1);
    outputs_2 = getWeightLayer(outputs_1, weight_2);
    return outputs_2[0];
}

//Обратное распространение ошибки
function train(inputs, expected) {
    outputs_1 =  getWeightLayer(inputs, weight_1);
    outputs_2 = getWeightLayer(outputs_1, weight_2);
    
    //Дельта выходного нейрона
    predict_2 = outputs_2[0];
    delta_2 = predict_2 * (1 - predict_2) * (expected - predict_2);
    
    //От выходного слоя к скрытому
    delta_1 = [];
    for (var i = 0; i < hiddenLayer; i++) {
        delta_1[i] = outputs_1[i] * (1 - outputs_1[i]) * weight_2[0][i] * delta_2;
        grad = outputs_1[i] * delta_2;
        //Меняем вес
        weight_2[0][i] += grad * learning_rate;
    }
    
    //От скрытого к входному
    for (var j = 0; j < hiddenLayer; j++)
        for (var i = 0; i < 2; i++) {
            //Вычисляем смещение
            grad = inputs[i] * delta_1[j];
            //Меняем вес
            weight_1[j][i] += grad * learning_rate;
        }
}

function compareRandom() {
    return Math.random() - 0.5;
}

//Тренировка сети
function trainSet(data) {
    for (var k = 0; k < 5000; k++) {
        for (var i = 0; i < data.length; i++) {
            train(data[i][0], data[i][1])
        }
    }
}

//Вывод результата
function predictSet(data) {
    for (var i = 0; i < data.length; i++) {
        console.log("p:", predict(data[i][0]), "e:", data[i][1]);
    }
}

trainSet(data);
predictSet(data);

Осталось привести код в порядок и расширить архитектуру для решения задач посложнее. И еще она вроде как с локального минимума не выходит. Читал, что для этого применяется еще один параметр - момент, который так же как и скорость обучения определяется методом подбора, но мне не удалось это реализовать. Надеюсь это не скажется плохо в дальнейшем

Ваш ответ

By clicking “Отправить ответ”, you agree to our terms of service and acknowledge you have read our privacy policy.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.