2

Данные: https://www.dropbox.com/s/blnbr93dj2p6l9i/main_frame.csv?dl=0

У меня есть нейросеть (p_algo) , чей первый слой - GRU (в качестве инпута берёт трёхмерный тензор)

from keras.models import Sequential
from keras import layers
from keras.optimizers import RMSprop
from keras.layers import Dense

model = Sequential()
model.add(layers.GRU(32,input_shape=(None,x_train.shape[1])))
model.add(layers.Dense(1))
model.compile(optimizer=RMSprop(), loss='mse',metrics=["mae"])

так же у меня есть текст , который я прогоняю через одну Word2Vec модель:

import pandas as pd
from keras import preprocessing
from keras.layers import Embedding
from sklearn.feature_extraction.text import CountVectorizer
from scipy.sparse import hstack
import numpy as np

df=pd.read_csv(r"C:\Users\neir0\Desktop\ez\bitcoin_analyzer\data\main_frame.csv")
timeDF=pd.DataFrame()
timeDF['year']=df['year']
timeDF['month']=df['month']
timeDF['day']=df['day']

target=df['price'].astype(float)
df.drop('price',axis=1,inplace=True)
#x=df["content"]

max_features = 100000
maxlen = 100

df['content'] = df['content'].apply(review_to_wordlist)

model = word2vec.Word2Vec(df['content'], size=300, window=10, workers=4)
w2v = dict(zip(model.wv.index2word, model.wv.syn0))

class mean_vectorizer(object):
    def __init__(self, word2vec):
        self.word2vec = word2vec
        self.dim = len(next(iter(w2v.values())))

    def fit(self, X):
        return self

    def transform(self, X):
        return np.array([
            np.mean([self.word2vec[w] for w in words if w in self.word2vec]
                    or [np.zeros(self.dim)], axis=0)
            for words in X
            ])

data_mean = mean_vectorizer(w2v).fit(df['content']).transform(df['content'])

(матрица 'data_mean')результат прогона текста через вышеописанную doc2vec модель таков :

    [[-0.08047525  0.01411286 -0.06656939 ..., -0.231206    0.31802803
  -0.19065298]
 [-0.41409743  0.44074249 -0.06094786 ...,  0.12561914  0.13780168
  -0.15565442]
 [-0.24603187  0.30973208 -0.0579795  ..., -0.11605985  0.01822449
  -0.15301046]
 ..., 
 [-0.15998596  0.31458825  0.04815514 ..., -0.04552199  0.07341675
   0.03051332]
 [-0.01172509 -0.02052472 -0.04189054 ..., -0.38025522  0.3240979
  -0.16403493]
 [-0.11753593  0.15857394  0.04633277 ..., -0.262476   -0.03610909
  -0.00918387]]

позже я делаю

l_m=hstack([data_mean,timeDF]) 

теперь мне нужно "скормить" нейронке с GRU l_m матрицу , но я не знаю как, так как l_m 2D матрица , а вышеупомянутая нейронка ожидает 3D тензор. Напишите пожалуйста , что нужно сделать с l_m матрицей , чтобы она стала 3D тензором . Или как её засунуть в нейросеть

1
  • Вы можете привести в вопросе определение функции review_to_wordlist()? Commented 8 апр. 2018 в 9:51

1 ответ 1

2
+50

Я с Keras практически не работал, но судя по данному обсуждению вам надо сначала преобразовать X_train в 3D так, чтобы получить размерность: (samples, features, 1), а потом указать input_shape=X_train.shape[1:]).

Пример:

import re
import nltk
from bs4 import BeautifulSoup
from nltk.corpus import stopwords
from gensim.models import word2vec

os.environ['KERAS_BACKEND'] = 'tensorflow'

import numpy as np
import pandas as pd
from sklearn.model_selection import train_test_split
from sklearn.feature_extraction.text import CountVectorizer
from sklearn.preprocessing import StandardScaler
from scipy.sparse import hstack
from keras import preprocessing
from keras.models import Sequential
from keras.optimizers import RMSprop
from keras import layers
from keras.layers import Embedding, Dense, Flatten, GRU

def review_to_wordlist( review, remove_stopwords=False ):
    # Function to convert a document to a sequence of words,
    # optionally removing stop words.  Returns a list of words.
    #
    # 1. Remove HTML
    review_text = BeautifulSoup(review, 'lxml').get_text()
    #
    # 2. Remove non-letters
    review_text = re.sub("[^a-zA-Z]"," ", review_text)
    #
    # 3. Convert words to lower case and split them
    words = review_text.lower().split()
    #
    # 4. Optionally remove stop words (false by default)
    if remove_stopwords:
        stops = set(stopwords.words("english"))
        words = [w for w in words if not w in stops]
    #
    # 5. Return a list of words
    return(words)

class mean_vectorizer(object):
    def __init__(self, word2vec):
        self.word2vec = word2vec
        self.dim = len(next(iter(w2v.values())))

    def fit(self, X):
        return self

    def transform(self, X):
        return np.array([
            np.mean([self.word2vec[w] for w in words if w in self.word2vec]
                    or [np.zeros(self.dim)], axis=0)
            for words in X
            ])


df = pd.read_csv(r'D:\download\main_frame.csv', index_col=0)
target=df['price']
time_values = StandardScaler().fit_transform(df[['year','month','day']])

df['content'] = df['content'].apply(review_to_wordlist)

model = word2vec.Word2Vec(df['content'], size=300, window=10, workers=4)
w2v = dict(zip(model.wv.index2word, model.wv.vectors))
data_mean = mean_vectorizer(w2v).fit(df['content']).transform(df['content'])
data_mean = np.hstack((data_mean, time_values))

X_train, X_test, y_train, y_test = \
    train_test_split(data_mean, target, test_size=0.25)

X_train = X_train.reshape(X_train.shape + (1,))
X_test = X_test.reshape(X_test.shape + (1,))

model = Sequential()
model.add(GRU(32,input_shape=X_train.shape[1:]))
model.add(Dense(1))
model.compile(optimizer=RMSprop(lr=0.2), loss='mse',metrics=['mae'])
#model.compile(loss='hinge', optimizer='adam', metrics=['mae'])
model.fit(X_train, y_train, epochs=50)

Проверка модели:

In [29]: model.evaluate(X_test, y_test)
513/513 [==============================] - 1s 1ms/step
Out[29]: [26599945.513645224, 4553.0463933814572]

Ваш ответ

Нажимая «Отправить ответ», вы соглашаетесь с условиями пользования и подтверждаете, что прочитали политику конфиденциальности.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.