При обучении перцептрона распознаванию букв столкнулся с тем, что он запоминает только последнюю букву из набора образцов.
Процесс обучения:
Цикл обучения выполняется несколько десятков раз для всего массива паттернов. Для каждого паттерна:
В цикле на вход подается вектор из значений пикселов каждой буквы, на выходе происходит сравнение с вектором ответа, в котором все значения равны 0 кроме значения равному позиции буквы. Т.е. для A это {1, 0, 0, ...}, для B {0, 1, 0, ...} и т.д.
Корректируются ошибки методом обратного распространения
Обновляются веса
Обучение любой одной букве проходит нормально: через несколько повторов значение нужного выходного нейрона становится почти 1, остальных - почти 0. Но если последовательно перебрать все буквы от A до Z и протестировать на букве B, например, то активным становится постоянно только нейрон соответствующий последнему образцу для обучения, т.е. Z.
В чем может быть ошибка?
Обновление
Для упрощения потестировал на цифрах. 1 скрытый слой с 30-ю нейронами (пробовал и 300 результат такой же, просто приближение к 0 и 1 больше) и выходной слой с 10-ю. Итерации - от 10 до 100. Возможно, дело в инициализации весов (от 0.1 до 0.3)? Если подать на вход необученной сети любую букву, значение каждого из скрытых нейронов уже почти 1 (или 1, если нейронов гораздо больше). Т.е. и A и Z для перцептрона выглядят одинаково.