0

Увлекся изучением нейронных сетей и наткнулся на вот эту статью(так же на других сайтах есть ее дубликаты). Я попытался повторить метод обучения который там описан. Сама нейросеть выдает правильные результаты, но я заметил что после ее обучения некоторые веса и нейроны смещения выходят за пределы 0 и 1, иногда очень существенно. Поискав в интернете что-то похожее, наткнулся на такое понятие как переобучение. Попробовал изменить количество эпох и скорость обучения, как результат нейросеть недообучилась. Подозреваю что параметры весов вообще не должны выходить за пределы 0 и 1, насчет нейронов смещения не уверен. Не могу понять, ошибка с математической стороны или со стороны реализации. Возможно есть другой пример, либо о чем-то не договорили в этой статье? Подскажите пожалуйста куда копать?

Повторял на c#, проблема с выходом значений за диапазон есть как в оригинале так и у меня.

1 ответ 1

1

Во - первых, если бы реально веса были бы от 0 до 1(не учитывая bios - смещения), то это было бы безумно грустно. В вашей же статье как пример приводится вес связи с нейроном, равный 1. Совпадение?

Во - вторых, если даже было бы так, что веса действительно не могли бы быть больше 1, то если ответ верный, в чём проблема?

В - третьих, как можно заключить о недообучении, если сетка даёт хорошие результаты?

P.S. ПОЖАЛУЙСТА!!!! Изучите мат.часть.

2
  • Да, я подробно разобрал метод обратного распространения ошибки, и у меня даже получилось найти ошибки в том что я написал. Так же я увидел реальные примеры нейросетей и в них веса действительно не всегда были от 0 до 1. Остается непонятным то, почему если в реальности веса не будут всегда от 0 до 1, об этом продолжают говорить в видео и статьях?
    – kuschanow
    8 сен 2022 в 18:34
  • Потому что тогда можно столкнуться с проблемой, при которой выход нейрона не будет расти без bios - а. Формально говоря, e_{i} <= e_{i} * w_{i}. (e - входной сигнал, w - смещение).
    – sem4ik
    26 сен 2022 в 22:37

Ваш ответ

Нажимая на кнопку «Отправить ответ», вы соглашаетесь с нашими пользовательским соглашением, политикой конфиденциальности и политикой о куки

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.