0

Есть код, на котором я хочу проверить работу SimpleRNN:

import numpy
from tensorflow.python.keras.models import Model
from tensorflow.python.keras.layers import Input, SimpleRNN

N=1000
y=numpy.random.randn(N)
x = numpy.random.randn(N,1,1)
i1 = Input(shape=(1,1,), name='i1')
y1 = SimpleRNN(1, activation='linear', use_bias=0)(i1)
model=Model(i1, y1)
model.compile(optimizer='nadam', loss='mse')
model.fit(x, y, epochs=50) 
y_predict=model.predict(x)

print('Input[3]=',x[3,0,0])
print('Output[2]=',y_predict[2,0], 'Output[3]=',y_predict[3,0])
print('Weights: ',model.get_weights())
W=model.get_weights()[0]
U=model.get_weights()[1]
#Дальше я пытаюсь вручную получить Output[3]
#Варианты ответа:
print('1) W*Input[3] =',W[0,0]*x[3,0,0])
print('2) U*Output[2]=',U[0,0]*y_predict[2,0])
print('3) W*Input[3]+U*Output[2]=',W[0,0]*x[3,0,0]+U[0,0]*y_predict[2,0])

Пример работы:

Input[3]= -0.4599415463885995
Output[2]= -0.0047788173 Output[3]= 0.013986622
Weights:  [array([[-0.03040957]], dtype=float32), array([[1.]], dtype=float32)]
1) W*Input[3] = 0.013986622440996181
2) U*Output[2]= -0.0047788173
3) W*Input[3]+U*Output[2]= 0.009207805144968044

Вроде должен быть правильным третий ответ, а получается - первый. В чем ошибка? Заранее благодарен.

3
  • когда вы пишете y_predict[2,0] - что вы ожидаете получить? Это же одномерный вектор... 24 сен 2018 в 13:26
  • Задачу, которую я решаю, в качестве примера я свел к одномерному случаю, чтобы избавиться при поиске несостыковки от матричного умножения, которое присутствует в первоначальном коде. По-идее Output[3]= WInput[3]+UOutput[2], но для приведенного примера это не работает. А работает: Output[3]= W*Input[3].
    – Usya
    24 сен 2018 в 13:50
  • сейчас я постараюсь объяснить в ответе... 24 сен 2018 в 14:14

2 ответа 2

1

Вот список весов вашей модели:

In [15]: model.weights
Out[15]:
[<tf.Variable 'simple_rnn_2/kernel:0' shape=(1, 1) dtype=float32>,
 <tf.Variable 'simple_rnn_2/recurrent_kernel:0' shape=(1, 1) dtype=float32>]

In [16]: model.get_weights()
Out[16]: [array([[0.04824131]], dtype=float32), array([[-1.]], dtype=float32)]

перемножение весов для RNN слоев происходит по следующей упрощённой схеме:

        def call(self, inputs, states):
            prev_output = states[0]
            h = K.dot(inputs, self.kernel)
            output = h + K.dot(prev_output, self.recurrent_kernel)
            return output, [output]

в вашей терминологии: W --> self.kernel, U --> self.recurrent_kernel, но изначально states инициализируются нулями, поэтому K.dot(prev_output, self.recurrent_kernel) будет равен нулевой матрице.

1
  • MaxU, если можно, то немного поподробнее на счет "изначально states инициализируются нулями". А разве states[0], которое передается в call(), не равно предшествующему предсказанному выходному значению. Т.е. для y_predict[i], разве states[0] не равно y_predict[i-1]?
    – Usya
    24 сен 2018 в 15:22
0

Для того, чтобы сработал третий вариант ответа, необходимо поставить stateful=True.

Один из вариантов реализации приведен здесь: https://machinelearningmastery.com/use-different-batch-sizes-training-predicting-python-keras/ в разделе "Solution 1: Online Learning (Batch Size = 1)". Единственное, что не устроило - сходимость алгоритма на моих данных из-за единичного batch_size. Можно сделать и другой batch_size, но при этом надо нарезать x соответствующим образом (time_steps=batch_size, features=1). Правда целесообразность использования stateful=True с ростом time_steps будет падать, т.к. очевидно будет уменьшаться влияние states[0] на конечный результат.

P.s.

Спасибо MaxU, что натолкнул на мысль, в какую сторону копать.

Ваш ответ

Нажимая на кнопку «Отправить ответ», вы соглашаетесь с нашими условиями использования и подтверждаете, что прочитали и поняли наши политику конфиденциальности и нормы поведения.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.