1

я сделал нейронную сеть(классификатор текста по категориям), но при обучении она может выдавать точность от 30% до 90% просто по настроению. так же она может самопроизвольно переобучиться(выдавать вероятности >1).

код не меняется, я только запускаю её заново. сама сеть выглядит так:

model = Sequential()
model.add(Embedding(max_features, 50))
model.add(LSTM(16, dropout=0.2, recurrent_dropout=0.2))
model.add(Dense(4, activation='relu'))
model.add(Dense(int(num_classes), activation='sigmoid'))

model.compile(loss='binary_crossentropy', optimizer='adam', metrics=['accuracy'])

batch_size = 6
epochs = 3

обучается на выборке в 1200 записей, длина 50 слов. проверяется на той же самой выборке (беру из базы записи и оцениваю все сравнивая с реальными данными)

for i in df.iterrows():
    all += 1
    tx = clean_text(i[1]['body'])

    # Преобразуем все описания в числовые последовательности, заменяя слова на числа по словарю.
    textSequences = tokenizer.texts_to_sequences([tx])
    x_train = pad_sequences(textSequences, maxlen=50)

    z = model.predict(x_train)

    if z[0][0]>1 or z[0][1]>1: #вероятность больше 1
        over += 1
    if z[0][0]>0.9: #определена 1 категория
        x += 1
        if i[1]['cat_id'] == 39: #1 категория это 39
            succ += 1
    if z[0][1]>0.9: #определена 2 категория
        y += 1
        if i[1]['cat_id'] == 15: #2 категория это 15
            succ += 1

    print("--------------------------------------------------------")
    print("t1 (39) : {}".format(z[0][0]))
    print("t2 (15) : {}".format(z[0][1]))
    print("--------------------------------------------------------")

str = "Всего: {}, больше 1: {}, больше 0.9: {}, из них верно: {} ({}%)"
print(str.format(all, over, x+y, succ, round((succ/(x+y))*100, 3)))

эта проверка и определяет что правильно определено каждый раз по разному (от 30 до 90). я читал что сеть "не постоянна", но какой то большой разброс получается. плюс она всегда выдаёт разные результаты, вероятностей выше 0.8 может быть и 1100 из 1200, а может быть и 50 из тех же 1200. мне нужны советы что тут можно сделать лучше, что я не учёл.

в дополнение к этому ещё очень интересует как правильно доучивать сеть. когда она определяла очевидно не правильно, я пробовал таким образом:

tx = [clean_text('Товар не доставлен')] #clean_text - очистка от лишних символов, стоп-слов и прочего
#загружаем наш словарик для преобразования
with open('tokenizer.pickle', 'rb') as handle:
    tokenizer = pickle.load(handle)
#вносим в словарь наше слово
tokenizer.fit_on_texts(tx)
#сохраняем словарик обратно в файл
with open('tokenizer.pickle', 'wb') as handle:
    pickle.dump(tokenizer, handle, protocol=pickle.HIGHEST_PROTOCOL)

#подготовили описание, заменили слова на числа по словарю.
textSequences = tokenizer.texts_to_sequences(texts)
x_train = pad_sequences(textSequences, maxlen=50)

model = load_model('my_model.h5')
#подготовили верный ответ для обучения
y_train = keras.utils.to_categorical([0], 2)

history = model.fit(x_train, y_train, batch_size=1, epochs=50)
model.save('my_model.h5')

то есть в этом случае название категории соответствует тексту, но сеть "доучивается" полностью меняя свою выдачу, то есть на любой другой текст она будет реагировать так будто он принадлежит категории на которую я её только что "доучил", даже если входная строка будет случайным набором символов.

50 эпох поставил потому что на каждой эпохе она изменяет результат на ~0.02%

как её правильно доучивать что бы выдача результатов полностью не косилась к одной категории?

1 ответ 1

1

activation='sigmoid' и loss='binary_crossentropy' используются в задачах бинарной классификации (т.е. когда у вас всего два класса на выходе - обычно 0 или 1).

В задачах мультиклассовой классификации обычно используют: activation='softmax' и loss='categorical_crossentropy'

Ваш ответ

By clicking “Отправить ответ”, you agree to our terms of service and acknowledge you have read our privacy policy.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.