2

Реализовав LSTM модель для "взлома" rot13 я получил точность 100% на тренировочных данных,а на тестовых данных всего лишь 88%, у меня возникли сомнения по поводу правильности построенной мною модели.

latent_dim = 256
model = Sequential()
model.add(layers.InputLayer((9, len(chars_in))))
model.add(layers.LSTM(latent_dim))
model.add(layers.RepeatVector(9))
model.add(layers.LSTM(latent_dim, return_sequences=True))
model.add(layers.TimeDistributed(layers.Dense(len(chars_out))))
model.add(layers.Activation('softmax'))
model.compile(loss='categorical_crossentropy', optimizer='adam',
                                       metrics=['accuracy'])
Epochs = 120
Batch_size = 256
hist = model.fit(x_train, y_train, batch_size=Batch_size, epochs=Epochs, 
validation_data=(x_val, y_val),callbacks=[checkpoint]

Хотелось бы узнать в чем моя ошибка,полный ноутбук по ссылке root13crackwithrnn

1 ответ 1

2

Несколько идей:

  1. Похоже ваша модель переобучается, поэтому стоит попробовать воспользоваться одним из методов регуляризации, например добавить один или несколько слоев Dropout() и подобрать значение параметра. Начать можно с 0.2 или 0.3, посмотреть как реагирует val_loss и в соответствии с этим увеличивать или уменьшать значение
  2. Лучший показатель точности предсказания на тестовых данных у вас 91.51%, который на поздних эпохах несколько ухудшился. Поэтому стоит воспользоваться callbacks для сохранения лучшей модели и для ранней остановки (чтобы избежать бесполезных вычислений и ускорить время обучения модели):

    from keras.callbacks import EarlyStopping, ModelCheckpoint
    
    early_stop = EarlyStopping(monitor='val_acc', min_delta=0.0001,
                               patience=5, verbose=1, mode='auto')
    chkpt = ModelCheckpoint(model_filename, 
                            monitor='val_loss', 
                            verbose=1, 
                            save_best_only=True, 
                            mode='auto')
    callbacks = [early_stop, chkpt]
    
    hist = model.fit(x_train, y_train, 
                     batch_size=Batch_size, epochs=Epochs, 
                     validation_data=(x_val, y_val), 
                     callbacks=callbacks)
    

Ваш ответ

By clicking “Отправить ответ”, you agree to our terms of service and acknowledge that you have read and understand our privacy policy and code of conduct.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.