Увлекся изучением нейронных сетей и наткнулся на вот эту статью(так же на других сайтах есть ее дубликаты). Я попытался повторить метод обучения который там описан. Сама нейросеть выдает правильные результаты, но я заметил что после ее обучения некоторые веса и нейроны смещения выходят за пределы 0 и 1, иногда очень существенно. Поискав в интернете что-то похожее, наткнулся на такое понятие как переобучение. Попробовал изменить количество эпох и скорость обучения, как результат нейросеть недообучилась. Подозреваю что параметры весов вообще не должны выходить за пределы 0 и 1, насчет нейронов смещения не уверен. Не могу понять, ошибка с математической стороны или со стороны реализации. Возможно есть другой пример, либо о чем-то не договорили в этой статье? Подскажите пожалуйста куда копать?
Повторял на c#, проблема с выходом значений за диапазон есть как в оригинале так и у меня.