6

У меня есть нейронная сеть Кохонена, состоящая из десяти нейронов и кучи входов. На вход ей подается спектральные портреты слов (были записаны на диктофон слова от нуля до десяти, а потом преобразованы в спектральные портреты). Перед подачей портреты нормализуются в пределах [-1; 1].

Матрица весов заполняется случайным образом при условии:

(1) условие начальной инициализации весов

где M - длина входного вектора

Подаю я какой-то вектор, считаю для него R и выбираю нейрон с наименьшим R (x - входные параметры):

(2) введите сюда описание изображения

Дальше необходимо скорректировать весовые коэффициенты:

(3) введите сюда описание изображения

Информацию брал отсюда


Я по очереди подаю на вход спектральные портреты слов "ноль", "один", "два" и т.д. (представляют собой вектор с элементами [-1; 1]). Все слова почему-то попадают на один нейрон. При этом входные вектора довольно разные.

В чем может крыться проблема? Нет ли ошибок в алгоритме сети?


UPD: У меня значения в векторе R (вектор расстояний) получаются практически одинаковые для всех нейронов: 237.3019 237.0699 237.0621 237.4326 237.0400 237.3023 237.3323 237.5506 237.1476 237.3318

О чем это может говорить? Что плохие входные данные?


UPD 2: Код реализации

function [index, W] = recognize(W, X, SPEED)
%
% W - матрица весовых коэффициентов
% X - вектор входных параметров
% SPEED - коэффициент скорости обучения
%
% index - номер нейрона-победителя
%

AMOUNT_NEURON = size(W, 1);

% Вычисление R 
R = zeros(AMOUNT_NEURON, 1);
for i = 1:1:AMOUNT_NEURON
    for j = 1:1:size(W, 2)
        R(i) = R(i) + (X(j) - W(i, j))^2;
    end
    %R(i) = sqrt(R(i));
end

% Определение нейрона-победителя
[val, i] = min(R);

% Коррекция коэффициентов
for j = 1:1:size(W, 2)
    W(i, j) = W(i, j) + SPEED*(X(j) - W(i, j));
end

index = i;

Пойду тогда колдовать с начальной инициализацией весов

4
  • Если вы считаете, что алгоритм ошибочный, то можно попробовать взять другой источник. Если и с другим источником не прокатит, то очевидно, что ошибка в реализации. А чтобы окончательно убедиться в этом, то можно использовать решение из библиотеки.
    – m9_psy
    9 июл 2016 в 18:19
  • 1
    Алгоритм правильный. Вероятно ошибка в реализации. Хотя теоретически такое может быть и при правильном алгоритме (хотя и крайне маловероятно), если неудачно инициализированы веса нейронов. Попробуйте выбрать их не случайным образом, а, например, равными отдельным спектральным портретам.
    – dtaras
    10 июл 2016 в 22:49
  • @Taras, попробую тогда выбирать веса не случайно. Но пока у меня после одного-двух проходов обучения на каком-либо векторе входных значений получается так, что из-за коррекции весов один из начинает сильно отличаться от остальных. Настолько, что при дальнейшей подачи на вход любого вектора из обучающей выборки, срабатывает только этот нейрон. 11 июл 2016 в 0:21
  • @Taras, действительно, если матрицу весов проинициализировать не случайно, а векторами спектральных портретов, то все работает так, как и должно. Но тогда возникает вопрос где же тут самообучение сети, если мы в начале задаем так сказать эталоны. 11 июл 2016 в 13:18

1 ответ 1

1

Такое может быть, если начальные вектора весов лежат в стороне от тренировочных векторов, как на картинке:

Неудачная инициализация

Тогда ближайший вектор весов притянется к тренировочным точкам, и дальше все операции будут происходить только с ним.

действительно, если матрицу весов проинициализировать не случайно, а векторами спектральных портретов, то все работает так, как и должно. Но тогда возникает вопрос где же тут самообучение сети, если мы в начале задаем так сказать эталоны.

Предполагается, что у вас есть множество спектральных портретов каждого типа. В ходе самообучения веса перейдут в центр кластера соответствующего одному из типов.

Еще вариант, как избежать ситуации, показанной на картинке: для инициализации считайте среднее всех спектральных портретов, потом к этой точке прибавляйте случайные добавки.

Ваш ответ

Нажимая на кнопку «Отправить ответ», вы соглашаетесь с нашими условиями использования и подтверждаете, что прочитали и поняли наши политику конфиденциальности и нормы поведения.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.