Нужно классифицировать математические задачи по номерам.
То есть, нужно чтоб нейросеть определяла, что задача X относится к типу Y.
Я имею следующий код: https://pastebin.com/7whhZWKT
файл train.csv для обучающей выборки: https://pastebin.com/29NHZFB5
файл test.csv для тестовой: https://pastebin.com/VpGv9bFV.
Я думаю, что по сути я сам определяю класс задачи(я могу ошибаться).
Подскажите пожалуйста, как мне заставить нейросеть самой классифицировать задачи?
-
Ч то-то очень странное - в вашем коде комментарии "# Максимальная длина новости", "# Количество классов новостей" а в вопросе "классифицировать математические задачи по номерам". Что-то одно с другим не вяжется. Про то, что в одном наборе у вас все объекты с первой меткой "1", а во втором - с "4" - я просто молчу. Чему на таком наборе вы собрались учить свою нейросеть?– passantCommented 6 апр. 2021 в 15:39
-
по поводу комментариев не заморачивайтесь, там много копипаста подскажите как мне поправить ситуацию? я новичок в нейросетях @passant– Konsul_557Commented 6 апр. 2021 в 15:44
-
1По предоставленной вами информации - понятия не имею. Тем более, если задача не совпадает с кодом, который вы почему-то решили для нее применять. Может, проще сначала что-нибудь про нейросети прочитать самому? А уж потом, когда что-то станет неясным идти на форум с конкретным вопросом?– passantCommented 6 апр. 2021 в 15:52
-
@passant, тоже верно, думаю я действительно забежал вперед. нужно по лучше разобраться– Konsul_557Commented 6 апр. 2021 в 16:17
1 ответ
У вас в train
только один класс 1
:
train['class'].value_counts()
# 1 88
Для того, чтобы модель чему-то обучилась в трейне должны быть представлены все классы, которым вы хотите обучить её. Вот в тесте у вас два класса - 1
и 4
.
Ну и в целом для нейросетей нужно гораздо больше данных. На таком маленьком количестве примеров нейросеть скорее всего просто переобучится и не будет показывать хороших результатов на тесте.
UPDATE после обновления вопроса
В итоге удалось починить процесс обучения такой магической строчкой сразу после загрузки train из файла:
train = train.sample(frac=1).reset_index(drop=True)
Дело в том, что, видимо, нейросеть во время обучения разбивает данные на трейн и валидацию в том порядке, как они идут в датафрейме, не перемешивая, а в файле лейблы данных шли в строгом порядке от 1 до 19. В результате получалось обучение на одних лейблах, а валидация на других. Оказалось достаточно перемешать train случайным образом, и нейросеть начала учиться нормально на всех лейблах.
-
Спасибо, а как правильно протестировать нейросеть и проверить ее на конкретном примере после обучения? Например, я на вход подаю ей задачу, а она определяет ее класс. Commented 6 апр. 2021 в 16:16
-
@Konsul_557 Так у вас во второй части кода как-раз натренированная сетка тестируется на
test.csv
, ну вы можете и из одной строкиtest
сделать, или из самогоtest
взять одну строку.– CrazyElfCommented 6 апр. 2021 в 17:08 -
ааа, понял. тогда еще вопрос. больше синтаксический, как мне получить от нейросети ответ что данная задача относится к данному классу? Commented 6 апр. 2021 в 17:20
-
@Konsul_557 Вроде рекомендуется так:
np.argmax(model_cnn.predict(x_test), axis=-1)
но вообще я в подготовке данных для нейросетей не очень разбираюсь, мне кажется у вас там всё-таки не совсем всё в порядке в целом, не только в одном классе вtrain
проблема.– CrazyElfCommented 6 апр. 2021 в 17:49 -
я увеличил файл train до 3344 записей и добавил туда все 19 классов. О чем могут говорить вот такие результаты? Epoch 00050: val_accuracy did not improve from 0.26866 11/11 [==============================] - 0s 2ms/step - loss: 6.8050 - accuracy: 0.6579 хотел приложить скриншот графика, но форум не дает @CrazyElf Commented 7 апр. 2021 в 15:27