Во время обучения сети возник вопрос, почему может получаться соответствующий график training loss. Подобная картина наблюдается и с accuracy. Для обучения разбиваю тренировочный сет на батчи. Когда брал рандомные элементы из тренировочного датасета для батчей, все шло хорошо. Потом решил попробовать исключить повторения при выборе в батч, и написал другую функцию, где каждую эпоху на вход функции поступала перемешанная последовательность примеров из тренировочной выборки. После каждой эпохи последовательность перемешивалась заново. Проблема в том, что с таким методом сеть сначала обучалась лучше, чем с первым, но затем, начали появлятся эти "ступеньки", и процесс обучения стал даже хуже. Подскажите, пожалуйста, в чем может быть дело
-
Для получения внятного ответа следует задать более точный вопрос. Как реализовано обучение? Есть ли уверенность в том, что нет ошибок реализации? Как подготовлены данные? Что это за данные? Если это свой код, то я ставлю на то, что там ошибка в алгоритме обучения - на графике большие участки, где Loss либо растёт, либо не падает. А так быть не должно.– Alex Kart12 апр 2020 в 8:40
-
В алгоритме обучения, ошибок быть не должно, так как при другой функции выбора данных в батч для тренировки (случайным образом) сеть неплохо обучалась, график был адекватным– Максим Жарков13 апр 2020 в 9:09
-
Возможно есть проблема в данных, с перекос ом классов, но эту гипотизу пока я не проверил– Максим Жарков13 апр 2020 в 9:10
Добавить комментарий
|
1 ответ
Судя по картинке "ступеньки" появляются примерно через одинаковые промежутки. Меняется ли у вас learning_rate в процессе обучения (я бы предположил, что уменьшается, каждые 800 эпох, если по оси х - эпоха обучения)
-
стоило опубликовать это как комментарий, а не ответ. чтобы вам стали доступны комментарии к чужим сообщениям, надо набрать пятьдесят баллов репутации — это всего пять голосов «за» любой ваш ответ или вопрос 31 мая 2022 в 10:43