1

Решил попробовать написать нейронную сеть с обратным распространением ошибки. Формулы брал с этой статьи https://m.habr.com/ru/post/198268/.

После того, как закончил, решил проверить её на чём-то, а именно на выводе входов. То есть, у меня есть 4 входа и 4 выхода, и если я подам на вход 1 1 0 0, то и на выходе должно быть 1 1 0 0. Но моя нейронка с этим не справляется.

Не могу найти ошибку. Вывожу среднее значение суммы квадратичных ошибок и оно каждый раз останавливается на 0.38.

Я понимаю, что мой код на 300+ строк никто не будет смотреть, по этому хочу попросить привести мне в пример простые задачи для нейронки, которые у Вас правильно отрабатывали с n слоями. Может так я смогу найти закономерность, а соответственно и ошибку. Или же сказать мне, в чём может быть ошибка, когда среднее значение останавливается на одном и том-же каждый раз.

2
  • Не изобретайте велосипед. Возьмите keras или tensorflow и будьте счастливы 17 апр 2020 в 23:48
  • И то, и то создано для Python, я же использую C#. Да, он не очень для этого подходит, но я долгое время изучал именно его, по-этому и хотел попробовать написать на нём нейронку. К тому-же сделанное своими руками намного приятнее, чем готовое решение.
    – DanBear
    17 апр 2020 в 23:53

3 ответа 3

0

Я сжал по методу гистограммы так:

X = [[0, 0, 0], [0, 1, 1], [0, 0, 1], [1, 1, 1],[0, 1, 0]]
Y = [[0, 0, 0], [0, 1, 1], [0, 0, 1], [1, 1, 1],[0, 1, 0]]
X_gist = [[0, 1/7]]
Y_gist = [[0, 1/7]]

Обучалась на сжатых,проверялась на несжатых,при этом сеть была (3, 2, 3).Для сжатых вектор дополнил нулем.С REKU точность на несжатых==40% то есть узнает 2 вектора из 5-ти.

1
  • Кстати обучение без сжатия дает точность==20% - 1 вектор из 5-ти. 30 апр 2020 в 10:28
0

тренируйте на логическое И,Или,Xor.

13
  • А можно поподробней?
    – DanBear
    18 апр 2020 в 11:48
  • У меня это розово-голубая мечта,ИНС правильную с нуля сделать,ищу единомышлеников что бы такую трудную задачу реализовать,обмениваться информацией.Мой email muh_kosta@mail.ru.Может напишете.Вместе наверное легче)Ну для логического И делаете 2 входа,например 3 скрытых, 1 выход.Подаете X=[[1,1],[0,1],[1,0],[0,0]] Y=[[1],[0],[0],[0]]. 18 апр 2020 в 11:59
  • А, это был пример задачи, ладно попробую.
    – DanBear
    18 апр 2020 в 12:00
  • Хм, странно. Обучил три раза на AND, OR и XOR со слоями 2, 2, 1 (усложнил задачу) и всё работает. В чём же может быть проблема? textbin.net/PRe7mDXBRM Может для моей задачки нужно побольше слоёв или ещё с чем-то поиграться?
    – DanBear
    18 апр 2020 в 12:23
  • 1
    Давайте продолжим обсуждение в чате. 18 апр 2020 в 18:01
0

Обучил свою сеть на 100% со сложными векторами,только там была бинарная классификация,было сжатие,были биасы и параметрический тангенс(параметрический сигмоид с alpha=0.056 только на 60%).Вот TAN:

TAN(x)=alpha*tanh(beta*alpha)
TAN_DERIV(x)=beta/alpha(alpha*alpha-TAN(x)*TAN(x))
гда alpha=1.7159, beta=2/3

X = [[0, 0, 0], [0, 1, 1], [0, 0, 1], [1, 1, 1],[0, 1, 0]]
Y = [[0], [1], [1], [1],[0]]
X_my = [[1, 1/3, 1/3]]
Y_my = [[1/3]]
fit(b_c_new, nn_params, None, X_my, Y_my, X, Y, 100)

Рандомностью при инициализации весов не пользуюсь.

Ваш ответ

Нажимая на кнопку «Отправить ответ», вы соглашаетесь с нашими пользовательским соглашением, политикой конфиденциальности и политикой о куки

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.