1

Обучаю нейронную сеть методом обратного распространения ошибки. Преподаватель попросил продемонстрировать переобучение сети. Пробовала задавать усложненную структуру сети и большое количество эпох, не помогло. Как по-другому можно этого добиться и/или на каких данных?

1 ответ 1

1

Переобучение сети всегда выглядит примерно одинаково. С точки зерния поведения функции ошибки на контрольном множестве, вы будите получать следующее:

Кривая ошибки на контрольном множестве

Так, все точки, через которые проходит кривая -- это точки train set, остальные относятся к test set. Если посмотреть на данные, то будет примерно следующее.

Пример переобучения

Самым простым способом переобучить сеть -- это подольше подождать. Но, например, если Вы используете линейный перцептрон, то вероятно достичь переобучения будет нельзя, так как все минимумы функции ошибки примерно равнозначны по отношению к искомой точке глобального минимума, которую, кстати говоря нельзя построить в данном случае. Это происходит потому что она принадлежит к другому множеству точек. Об этом можно почитать здесь. А выглядит это примерно так. Т.е. оптимальная точка Х лежит вне рассматриваемого для персептрона множества, а значит недостижима.

Ваш ответ

By clicking “Отправить ответ”, you agree to our terms of service and acknowledge that you have read and understand our privacy policy and code of conduct.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.