4

Нейронная сеть написанная с использованием keras определяет тональность отзывов (хороший/плохой). Использую датасет imdb; для векторизации использую tfidf vectorizer библиотеки sklearn. Проблема заключается в том, что при использовании обычного многослойного персептрона (несколько полносвязных слоев) точность сети достигает порядка 90%, но как только пытаюсь использовать любую другую топологию (сверточную или рекуррентную), то точность всегда в районе 50% и не повышается со временем обучения. Не могу понять в чем дело. Спасибо за помощь. Вот сама сеть (c такой топологией у меня точность около 90%):

positive_train_data = pd.read_csv('train_pos.tsv',sep = '\t')
negative_train_data = pd.read_csv('train_neg.tsv',sep = '\t')
positive_test_data = pd.read_csv('test_pos.tsv',sep = '\t')
negative_test_data = pd.read_csv('test_neg.tsv',sep = '\t')

positive_train_data = positive_train_data[['Text','Sentiment']]
negative_train_data = negative_train_data[['Text','Sentiment']]
positive_test_data = positive_test_data[['Text','Sentiment']]
negative_test_data = negative_test_data[['Text','Sentiment']]

train_data = pd.concat([positive_train_data,negative_train_data],ignore_index = True)
train_data = train_data.sample(frac=1).reset_index(drop=True)

test_data = pd.concat([positive_test_data,negative_test_data],ignore_index = True)
test_data = test_data.sample(frac=1).reset_index(drop=True)

data = pd.concat([positive_train_data,negative_train_data,positive_test_data,negative_test_data],ignore_index = True)
data.reset_index(drop=True,inplace=True)
x = data.Text
y = data.Sentiment
SEED = 2000


x_train, x_test, y_train1, y_test = train_test_split(x, y, test_size = 0.3, random_state = 2000)
print( "Train set has total {0} entries with {1:.2f}% negative, {2:.2f}% positive".format(len(x_train),
                                                                             (len(x_train[y_train1 == 0]) / (len(x_train)*1.))*100,
                                                                            (len(x_train[y_train1 == 1]) / (len(x_train)*1.))*100))

print ("Test set has total {0} entries with {1:.2f}% negative, {2:.2f}% positive".format(len(x_test),
                                                                             (len(x_test[y_test == 0]) / (len(x_test)*1.))*100,
                                                                            (len(x_test[y_test == 1]) / (len(x_test)*1.))*100))

tvec1 = TfidfVectorizer(max_features=10000,ngram_range=(1, 2),use_idf=1,smooth_idf=1,sublinear_tf=1,stop_words = 'english')
tvec1.fit(x_train)

x_train_tfidf = tvec1.transform(x_train)
x_test_tfidf = tvec1.transform(x_test).toarray()



model = Sequential()
model.add(Dense(500, activation='relu', input_dim=1000))
model.add(Dropout(0.25))
model.add(Dense(50,activation = 'relu'))
model.add(Dense(1, activation='sigmoid'))

А с такой 50%:

model.add(Embedding(5000,64,input_length = 1000))
model.add(Conv1D(128,3,padding = 'same',))
model.add(Flatten())
model.add(Dropout(0.25))
model.add(Dense(100,activation = 'relu'))
model.add(Dropout(0.25))
model.add(Dense(1,activation='sigmoid'))

2 ответа 2

2

Насколько мне известно для классификации текстов лучше подходят рекуррентные нейронные сети - в частности LSTM (Long short-term memory).

Вот рабочий пример, где модель обучается на IMDB data set и имеет следующие характеристики:

  • num_words = 1000 (на моем железе, Tensorflow не поддерживает GPU, поэтому обучение больших моделей занимает неприлично много времени). Лучше конечно увеличить num_words хотя бы до 5000 слов.
  • для обучения модели я использовал 20% всех данных (опять же для ускорения)

Конфигурация NN:

_________________________________________________________________
Layer (type)                 Output Shape              Param #
=================================================================
embedding_1 (Embedding)      (None, 1000, 128)         128000
_________________________________________________________________
lstm_1 (LSTM)                (None, 196)               254800
_________________________________________________________________
dense_1 (Dense)              (None, 1)                 197
=================================================================
Total params: 382,997
Trainable params: 382,997
Non-trainable params: 0

Размерности наборов данных:

X_train.shape:  (8000, 1000)            Y_train.shape:  (8000,)
X_dev.shape:    (2000, 1000)            Y_dev.shape:    (2000,)

На моем древнем железе эта относительно небольшая модель обучалась около получаса.

Оценка точности:

In [9]: model.evaluate(X_dev, Y_dev)
2000/2000 [==============================] - 28s 14ms/step
Out[9]: [0.4211887891292572, 0.8225]

In [10]: Y_pred = model.predict(X_dev)

In [11]: Y_pred
Out[11]:
array([[0.81675935],
       [0.8283789 ],
       [0.7831746 ],
       ...,
       [0.10238472],
       [0.8915945 ],
       [0.36673504]], dtype=float32)

In [12]: np.squeeze(np.round(Y_pred))
Out[12]: array([1., 1., 1., ..., 0., 1., 0.], dtype=float32)

In [13]: (np.squeeze(np.round(Y_pred)) == Y_dev).mean()
Out[13]: 0.8225

Полный код программы:

from pathlib import Path
import pandas as pd
from keras.models import Sequential
from keras.layers import Embedding, LSTM, Dense, Dropout, Activation
from keras.preprocessing.text import Tokenizer, text_to_word_sequence
from keras.preprocessing.sequence import pad_sequences
from keras import optimizers
from keras.callbacks import ModelCheckpoint
from keras.models import load_model
from sklearn.model_selection import train_test_split


def get_data(path, num_words, frac=1.0):
    p = Path(path)
    data = (pd.concat([pd.read_csv(f, sep='\t', index_col=0)
                       for f in p.glob('*.tsv*')],
                      ignore_index=True)
              .sample(frac=frac))
    # build vocabulary
    tok = Tokenizer(num_words=num_words)
    tok.fit_on_texts(data['Text'])
    # convert texts to sequences
    X = tok.texts_to_sequences(data['Text'])
    return (pad_sequences(X, maxlen=num_words),
            data['Sentiment'], tok)

path = Path(r'D:\data\gDrive\My.Documents\Work\ML\SO\815234-Keras_text_classification')
num_words=1000

# read data
X, Y, tok = get_data(path, num_words=num_words, frac=0.2)

# split data set to train / dev
X_train, X_dev, Y_train, Y_dev = \
    train_test_split(X, Y, test_size=0.2, random_state=123, stratify=Y)
print('X_train.shape:\t{}\t\tY_train.shape:\t{}'.format(X_train.shape, Y_train.shape))
print('X_dev.shape:\t{}\t\tY_dev.shape:\t{}'.format(X_dev.shape, Y_dev.shape))


# build a model
embed_dim = 128
lstm_out = 196

# Model saving callback
model_filename = str(path / 'keras_model_LSTM')
ckpt_callback = ModelCheckpoint(model_filename, 
                                 monitor='val_loss', 
                                 verbose=1, 
                                 save_best_only=True, 
                                 mode='auto')

model = Sequential()
model.add(Embedding(num_words, embed_dim, input_length=num_words))
model.add(LSTM(lstm_out, recurrent_dropout=0.2, dropout=0.2))
model.add(Dense(1,activation='sigmoid'))
model.compile(loss = 'binary_crossentropy', optimizer='adam', metrics=['accuracy'])
print(model.summary())

# fit the model
model.fit(X_train, Y_train, epochs=5, batch_size=32,
          validation_split=0.2, callbacks=[ckpt_callback])

model = load_model(model_filename)

print(model.evaluate(X_dev, Y_dev))

Y_pred = model.predict(X_dev)


###############################################################
9
  • спасибо за ответ, но прблема тут в том, что я пробовал LSTM сеть(используя мой код, с tfidf) и все равно точность была 50%, даже на обучающей выборке. И я никак не могу понять в чем проблема
    – Midnight
    23 апр 2018 в 21:52
  • Вообще любая архитектура, кроме той, где используются только dense слои, дает точность не выше 50%
    – Midnight
    23 апр 2018 в 21:54
  • Не знаете в чем может быть дело? который день уже сижу бьюсь над данной проблемой и ничего
    – Midnight
    23 апр 2018 в 21:58
  • @Midnight, если посмотреть на примеры в сети по классификации текстов в Keras, то большинство использует метод, привиденный в моем ответе. 23 апр 2018 в 21:59
  • 1
    @Midnight, по видимому у вас неудачно подобраны параметры сети... 50% - это как раз точность сигмоида для генератора случайных чисел - 50% нулей и 50% единиц... 23 апр 2018 в 22:02
0

Свёрточные нейронные сети наиболее удачно используются для обработки изображений и прочих данных в виде матриц. Это следует из самой природы данных, которые вы обрабатываете: текст и изображения имеют разную структуру. Хотя искусственно им можно придать любую форму (перекодировать).

Вы же работаете с контекстом, поэтому лучше использовать LSTM.

2
  • 1
    В текущем виде ваш ответ непонятен. Пожалуйста, нажмите править под сообщением, чтобы добавить больше подробностей, которые помогут другим понять, как он отвечает на заданный вопрос. Вы можете найти больше информации о том, как писать хорошие ответы в справке. 30 сен 2021 в 13:16
  • Your answer could be improved with additional supporting information. Please править to add further details, such as citations or documentation, so that others can confirm that your answer is correct. You can find more information on how to write good answers in the help center. 30 сен 2021 в 13:25

Ваш ответ

Нажимая на кнопку «Отправить ответ», вы соглашаетесь с нашими пользовательским соглашением, политикой конфиденциальности и политикой о куки

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.