1

Здраствуйте, помогите понять, пожалуйста.

Мнист взят только для описания ситуации:

(x_train, y_train), (x_test, y_test) = mnist.load_data()

Думаю многие видели эту строку, поажлуйста помогите понять как собрать аналог? У меня дана выборка, два класса. Классификация в тексте, я создал словарь на всю выборку вида: {name_file: num_class}

Как это всё состыковать, и как понять какие пропорции внутри? Я хочу рандом, без всяких наложений.

Далее у меня идёт такая конструкция в коде:

x_train_split, x_val_split, y_train_split, y_val_split = train_test_split(x_train, y_train_cat, test_size=0.2)

model.fit(x_train_split, y_train_split, batch_size=32, epochs=5, validation_data=(x_val_split, y_val_split))

Здесь я разбиваю вручную. Но в голове не проясняется. Как тут вообще понять в каких пропорциях разбивается общая выборка на тестовую и далее на обучающую с валидационной?

Я пролазил туториалки по тензорфлоу, по керасу, и по аугментациям зачем-то. У меня получилось в однмо варианте создать класс, в другом словарь. Но я не понимаю где и в каком месте далее это всё регулируется и при каких обстоятельствах считывается для сравнения результатов на всех этапах.. Ютуб уже закончился. Я даже класс могу в название файла записать, или разбить вручную по папкам. Взять чужой код с каггла и сделать рабочим, но это не даёт понимания.

Upd: Так, стоп. Я же могу применить train_test_split и в первом случае? а как будет выглядеть взаимодействие и код.. со словарём из названия файлов и класса? оно же не преобразуется в вектор нампи и класс? или да? о боже мой .. %(

1

2 ответа 2

3

Не совсем понятна суть вопроса. Попробую ответить на то, что понял.

Команда:

x_train_split, x_val_split, y_train_split, y_val_split = \
    train_test_split(x_train, y_train_cat, test_size=0.2)

разбивает общую выборку на две части - обучающую 80% и валидационную 20%.

Дальше вы обучаете модель на обучающей выборке (80%) и проверяете качество модели на ваоидационной выборке (20%).

Я нигде не увидел в вашем коде никаких упоминаний о тестовой выборке.


Можно сделать немного по-другому:

разбиваем общую выборку на две части: 90% и 10% (тестовая выборка):

x_train_split, x_test_split, y_train_split, y_test_split = \
    train_test_split(x_train, y_train_cat, test_size=0.1)

При обучении модели можно воспользоваться параметром:

validation_split: Float between 0 and 1. Fraction of the training data to be used as validation data. The model will set apart this fraction of the training data, will not train on it, and will evaluate the loss and any model metrics on this data at the end of each epoch. The validation data is selected from the last samples in the x and y data provided, before shuffling. This argument is not supported when x is a dataset, generator or keras.utils.Sequence instance.

model.fit(x_train_split, y_train_split, batch_size=32, epochs=5, validation_split=0.2)

т.е. keras откусит 20% от обучающей выборки x_train_split и будет использовать эту часть для валидации модели.

В самом конце вы можете протестировать модель на тестовой выборке, данные из которой модель не видела ни при обучении ни при валидации.

11
  • > (x_train, y_train), (x_test, y_test) = mnist.load_data() так, вот первое деление, тут из 70 000 пишут что откусывается 10 000 на тестовую а вот тут: > x_train_split, x_test_split, y_train_split, y_test_split = \ train_test_split(x_train, y_train_cat, test_size=0.1) я уже тренировочную выборку руками поделил, тут я понимаю. меня интересует как я в первую фазу могу контролировать деление 22 апр 2021 в 22:14
  • что такое первая фаза? 22 апр 2021 в 22:18
  • я не понимаю именно тот момент, как из своего словаря, а не мниста, мне зарандомить первичное деление О_о 22 апр 2021 в 22:19
  • вы можете изъясняться понятнее? 22 апр 2021 в 22:20
  • 1
    Так бы сразу и сказали) В keras уже есть все необходимое для этого Все что вам нужно сделать - это разложить все картинки по двум директориям (cat, dog) и удалить текстовые файлы с лейблами. Пример использования... 22 апр 2021 в 22:48
0

https://www.tensorflow.org/tutorials/load_data/numpy

в туториале по тензорфлоу описано почти всё, что меня интересовало) спасибо за внимание

Загрузите массивы NumPy с помощью tf.data.Dataset

Предполагая, что у вас есть массив примеров и соответствующий массив меток, передайте два массива в виде кортежа в tf.data.Dataset.from_tensor_slices чтобы создать tf.data.Dataset

train_dataset = tf.data.Dataset.from_tensor_slices((train_examples, train_labels))

test_dataset = tf.data.Dataset.from_tensor_slices((test_examples, test_labels))

Перемешайте и пакетируйте наборы данных

BATCH_SIZE = 64 
SHUFFLE_BUFFER_SIZE = 100 
train_dataset = train_dataset.shuffle(SHUFFLE_BUFFER_SIZE).batch(BATCH_SIZE) 
test_dataset = test_dataset.batch(BATCH_SIZE)```

Ваш ответ

By clicking “Отправить ответ”, you agree to our terms of service and acknowledge that you have read and understand our privacy policy and code of conduct.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.