Обучаю нейронную сеть методом обратного распространения ошибки. Преподаватель попросил продемонстрировать переобучение сети. Пробовала задавать усложненную структуру сети и большое количество эпох, не помогло. Как по-другому можно этого добиться и/или на каких данных?
1 ответ
Переобучение сети всегда выглядит примерно одинаково. С точки зерния поведения функции ошибки на контрольном множестве, вы будите получать следующее:
Так, все точки, через которые проходит кривая -- это точки train set, остальные относятся к test set. Если посмотреть на данные, то будет примерно следующее.
Самым простым способом переобучить сеть -- это подольше подождать. Но, например, если Вы используете линейный перцептрон, то вероятно достичь переобучения будет нельзя, так как все минимумы функции ошибки примерно равнозначны по отношению к искомой точке глобального минимума, которую, кстати говоря нельзя построить в данном случае. Это происходит потому что она принадлежит к другому множеству точек. Об этом можно почитать здесь. А выглядит это примерно так. Т.е. оптимальная точка Х лежит вне рассматриваемого для персептрона множества, а значит недостижима.