3

При обучении перцептрона распознаванию букв столкнулся с тем, что он запоминает только последнюю букву из набора образцов.

Процесс обучения:

Цикл обучения выполняется несколько десятков раз для всего массива паттернов. Для каждого паттерна:

  1. В цикле на вход подается вектор из значений пикселов каждой буквы, на выходе происходит сравнение с вектором ответа, в котором все значения равны 0 кроме значения равному позиции буквы. Т.е. для A это {1, 0, 0, ...}, для B {0, 1, 0, ...} и т.д.

  2. Корректируются ошибки методом обратного распространения

  3. Обновляются веса

Обучение любой одной букве проходит нормально: через несколько повторов значение нужного выходного нейрона становится почти 1, остальных - почти 0. Но если последовательно перебрать все буквы от A до Z и протестировать на букве B, например, то активным становится постоянно только нейрон соответствующий последнему образцу для обучения, т.е. Z.

В чем может быть ошибка?

Обновление

Для упрощения потестировал на цифрах. 1 скрытый слой с 30-ю нейронами (пробовал и 300 результат такой же, просто приближение к 0 и 1 больше) и выходной слой с 10-ю. Итерации - от 10 до 100. Возможно, дело в инициализации весов (от 0.1 до 0.3)? Если подать на вход необученной сети любую букву, значение каждого из скрытых нейронов уже почти 1 (или 1, если нейронов гораздо больше). Т.е. и A и Z для перцептрона выглядят одинаково.

6
  • Сколько слоев, сколько нейронов? Может быть, их банально не хватает? Ну и несколько десятков раз — это совсем немного для обучения.
    – Yaant
    28 янв 2016 в 18:09
  • И еще вопросы: используется собственная реализация нейронной сети или какая-либо библиотека? В случае собственной несколько выше вероятность того, что где-то могла вкрасться ошибка. И еще, какая используется функция активации нейронов?
    – Yaant
    29 янв 2016 в 9:04
  • Своя реализация. Функция активации - сигмоид. Сейчас получается что веса скорректированны так, чтобы последний образец распознавался правильно. И похоже, что при подаче другого образца сеть считает его таким же как и последний. Одинаковые выходы при первом показе любого образца - это, вроде, нормально, т.к. веса все примерно в одном диапазоне, а сигмоид нормализует сумму входов.
    – Victor W
    29 янв 2016 в 20:08
  • Я, надо сказать, изрядно уже подзабыл теорию. Но вроде как в алгоритме обратного распространения есть параметр, шаг, с которым модифицируются веса. Не пробовали его уменьшить?
    – Yaant
    29 янв 2016 в 20:35
  • Результат такой же. Просто максимальный отклик выходного нейрона менее приближен к 1.
    – Victor W
    30 янв 2016 в 16:55

2 ответа 2

1
  1. Веса могут быть и отрицательными, по этому стоит инициализировать из диапазона [-0.3; 0.3]
  2. Лучше проводить обучения эпохами, в которых есть все буквы алфавита. То есть за одно эпоху прогонять все паттерны.
  3. Возможно стоит уменьшить скорость обучения.
  4. Несколько десятков раз - точно мало. У меня на распознание 10 цифр ушло около 1000 эпох:)
0

Я бы очень не советовал использовать рукописную реализацию BackProp. Мало того, что там легко накосячить, так скорее всего вы сделаете её менее оптимально, нежели в стандартных библиотеках. На Coursera есть замечательный курс Andrew NG по базовым элементам ML. Там приводится алгоритм BP.

Вот здесь можно посмотреть реализованный BP. А сам курс тут.

Без кода сказать что-либо очень сложно. Если представите его, то можно поговорить!

Ваш ответ

Нажимая на кнопку «Отправить ответ», вы соглашаетесь с нашими условиями использования и подтверждаете, что прочитали и поняли наши политику конфиденциальности и нормы поведения.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.