0
Нужно классифицировать математические задачи по номерам.
То есть, нужно чтоб нейросеть определяла, что задача X относится к типу Y.
Я имею следующий код: https://pastebin.com/7whhZWKT  
файл train.csv для обучающей выборки: https://pastebin.com/29NHZFB5  
файл test.csv для тестовой: https://pastebin.com/VpGv9bFV.  
Я думаю, что по сути я сам определяю класс задачи(я могу ошибаться).  
Подскажите пожалуйста, как мне заставить нейросеть самой классифицировать задачи?  

график

4
  • Ч то-то очень странное - в вашем коде комментарии "# Максимальная длина новости", "# Количество классов новостей" а в вопросе "классифицировать математические задачи по номерам". Что-то одно с другим не вяжется. Про то, что в одном наборе у вас все объекты с первой меткой "1", а во втором - с "4" - я просто молчу. Чему на таком наборе вы собрались учить свою нейросеть?
    – passant
    Commented 6 апр. 2021 в 15:39
  • по поводу комментариев не заморачивайтесь, там много копипаста подскажите как мне поправить ситуацию? я новичок в нейросетях @passant
    – Konsul_557
    Commented 6 апр. 2021 в 15:44
  • 1
    По предоставленной вами информации - понятия не имею. Тем более, если задача не совпадает с кодом, который вы почему-то решили для нее применять. Может, проще сначала что-нибудь про нейросети прочитать самому? А уж потом, когда что-то станет неясным идти на форум с конкретным вопросом?
    – passant
    Commented 6 апр. 2021 в 15:52
  • @passant, тоже верно, думаю я действительно забежал вперед. нужно по лучше разобраться
    – Konsul_557
    Commented 6 апр. 2021 в 16:17

1 ответ 1

1

У вас в train только один класс 1:

train['class'].value_counts()
# 1    88

Для того, чтобы модель чему-то обучилась в трейне должны быть представлены все классы, которым вы хотите обучить её. Вот в тесте у вас два класса - 1 и 4.

Ну и в целом для нейросетей нужно гораздо больше данных. На таком маленьком количестве примеров нейросеть скорее всего просто переобучится и не будет показывать хороших результатов на тесте.

UPDATE после обновления вопроса

В итоге удалось починить процесс обучения такой магической строчкой сразу после загрузки train из файла:

train = train.sample(frac=1).reset_index(drop=True)

Дело в том, что, видимо, нейросеть во время обучения разбивает данные на трейн и валидацию в том порядке, как они идут в датафрейме, не перемешивая, а в файле лейблы данных шли в строгом порядке от 1 до 19. В результате получалось обучение на одних лейблах, а валидация на других. Оказалось достаточно перемешать train случайным образом, и нейросеть начала учиться нормально на всех лейблах.

9
  • Спасибо, а как правильно протестировать нейросеть и проверить ее на конкретном примере после обучения? Например, я на вход подаю ей задачу, а она определяет ее класс.
    – Konsul_557
    Commented 6 апр. 2021 в 16:16
  • @Konsul_557 Так у вас во второй части кода как-раз натренированная сетка тестируется на test.csv, ну вы можете и из одной строки test сделать, или из самого test взять одну строку.
    – CrazyElf
    Commented 6 апр. 2021 в 17:08
  • ааа, понял. тогда еще вопрос. больше синтаксический, как мне получить от нейросети ответ что данная задача относится к данному классу?
    – Konsul_557
    Commented 6 апр. 2021 в 17:20
  • @Konsul_557 Вроде рекомендуется так: np.argmax(model_cnn.predict(x_test), axis=-1) но вообще я в подготовке данных для нейросетей не очень разбираюсь, мне кажется у вас там всё-таки не совсем всё в порядке в целом, не только в одном классе в train проблема.
    – CrazyElf
    Commented 6 апр. 2021 в 17:49
  • я увеличил файл train до 3344 записей и добавил туда все 19 классов. О чем могут говорить вот такие результаты? Epoch 00050: val_accuracy did not improve from 0.26866 11/11 [==============================] - 0s 2ms/step - loss: 6.8050 - accuracy: 0.6579 хотел приложить скриншот графика, но форум не дает @CrazyElf
    – Konsul_557
    Commented 7 апр. 2021 в 15:27

Ваш ответ

Нажимая «Отправить ответ», вы соглашаетесь с условиями пользования и подтверждаете, что прочитали политику конфиденциальности.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.