0

График training loss

Во время обучения сети возник вопрос, почему может получаться соответствующий график training loss. Подобная картина наблюдается и с accuracy. Для обучения разбиваю тренировочный сет на батчи. Когда брал рандомные элементы из тренировочного датасета для батчей, все шло хорошо. Потом решил попробовать исключить повторения при выборе в батч, и написал другую функцию, где каждую эпоху на вход функции поступала перемешанная последовательность примеров из тренировочной выборки. После каждой эпохи последовательность перемешивалась заново. Проблема в том, что с таким методом сеть сначала обучалась лучше, чем с первым, но затем, начали появлятся эти "ступеньки", и процесс обучения стал даже хуже. Подскажите, пожалуйста, в чем может быть дело

3
  • Для получения внятного ответа следует задать более точный вопрос. Как реализовано обучение? Есть ли уверенность в том, что нет ошибок реализации? Как подготовлены данные? Что это за данные? Если это свой код, то я ставлю на то, что там ошибка в алгоритме обучения - на графике большие участки, где Loss либо растёт, либо не падает. А так быть не должно.
    – Alex Kart
    12 апр 2020 в 8:40
  • В алгоритме обучения, ошибок быть не должно, так как при другой функции выбора данных в батч для тренировки (случайным образом) сеть неплохо обучалась, график был адекватным 13 апр 2020 в 9:09
  • Возможно есть проблема в данных, с перекос ом классов, но эту гипотизу пока я не проверил 13 апр 2020 в 9:10

1 ответ 1

1

Судя по картинке "ступеньки" появляются примерно через одинаковые промежутки. Меняется ли у вас learning_rate в процессе обучения (я бы предположил, что уменьшается, каждые 800 эпох, если по оси х - эпоха обучения)

1
  • стоило опубликовать это как комментарий, а не ответ. чтобы вам стали доступны комментарии к чужим сообщениям, надо набрать пятьдесят баллов репутации — это всего пять голосов «за» любой ваш ответ или вопрос 31 мая 2022 в 10:43

Ваш ответ

By clicking “Отправить ответ”, you agree to our terms of service and acknowledge that you have read and understand our privacy policy and code of conduct.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.