Ваша модель стремительно расходится, вместо того чтобы сходиться.
Первое что бросается в глаза это достаточно большое значение learning_rate=0.01
. Кроме этого инициализировать начальные значения параметров (в вашем случае это slope
и bias
) рекомендуют маленькими случайными значениями. И наконец, в качестве функции потери (loss function) вы используете сумму квадратов отклонений, хотя обычно используют среднее (Mean Squared Error).
Пример:
import numpy as np
tensorflow as tf
n_samples, batch_size, num_steps = 1000, 100, 5000
X_data = np.random.uniform(1, 10, (n_samples, 1))
y_data = 2 * X_data + 1 + np.random.normal(0, 2, (n_samples, 1))
X = tf.placeholder(tf.float32, shape=(batch_size, 1))
y = tf.placeholder(tf.float32, shape=(batch_size, 1))
with tf.variable_scope('linear-regression'):
k = tf.Variable(tf.random_normal((1,1)) * 0.001, name='slope')
# NOTE: -----------------> ^^^^^
b = tf.Variable(tf.zeros((1,)), name='bias')
y_pred = tf.matmul(X, k) + b
#loss = tf.reduce_sum((y - y_pred) ** 2)
loss = tf.losses.mean_squared_error(y, y_pred)
#optimizer = tf.train.GradientDescentOptimizer(0.0001).minimize(loss)
## NOTE: -----------------> ^^^^^^
optimizer = tf.train.AdamOptimizer().minimize(loss)
display_step = 100
with tf.Session() as sess:
sess.run(tf.global_variables_initializer())
for i in range(num_steps):
indices = np.random.choice(n_samples, batch_size)
X_batch, y_batch = X_data[indices], y_data[indices]
_, loss_val, k_val, b_val = sess.run([ optimizer, loss, k, b ],
feed_dict = { X : X_batch, y : y_batch })
if (i+1) % display_step == 0:
print( 'Эпоха %d: %.8f, k=%.4f, b=%.4f' %(i+1, loss_val, k_val, b_val))
Насколько мне известно, в реальных задачах мало кто пользуется методом градиентного спуска в чистом виде. Обычно используют гораздо более продвинутый алгоритм оптимизации Adam
, который сам настраивает learning_rate
и соответственно быстрее сходится, не требуя тонкой ручной настройки параметров.
optimizer = tf.train.AdamOptimizer().minimize(loss)
Результат:
Эпоха 100: 140.65466309, k=0.1007, b=0.0988
Эпоха 200: 135.73823547, k=0.1969, b=0.1951
Эпоха 300: 128.72853088, k=0.2909, b=0.2890
Эпоха 400: 115.02960968, k=0.3829, b=0.3805
Эпоха 500: 116.16355133, k=0.4714, b=0.4689
Эпоха 600: 87.76663208, k=0.5567, b=0.5544
Эпоха 700: 75.78509521, k=0.6405, b=0.6380
Эпоха 800: 70.00524139, k=0.7217, b=0.7188
Эпоха 900: 61.73774338, k=0.8002, b=0.7970
Эпоха 1000: 50.48764420, k=0.8758, b=0.8721
Эпоха 1100: 42.81219101, k=0.9482, b=0.9441
Эпоха 1200: 38.35852051, k=1.0184, b=1.0137
Эпоха 1300: 33.61183548, k=1.0859, b=1.0806
Эпоха 1400: 26.44667625, k=1.1486, b=1.1432
Эпоха 1500: 24.97895622, k=1.2098, b=1.2038
Эпоха 1600: 20.13324165, k=1.2680, b=1.2612
Эпоха 1700: 18.94122887, k=1.3247, b=1.3167
Эпоха 1800: 15.78793144, k=1.3775, b=1.3686
Эпоха 1900: 13.66525841, k=1.4272, b=1.4174
Эпоха 2000: 12.08207035, k=1.4735, b=1.4628
Эпоха 2100: 10.29276562, k=1.5165, b=1.5050
Эпоха 2200: 9.31842422, k=1.5572, b=1.5446
Эпоха 2300: 8.13737011, k=1.5949, b=1.5810
Эпоха 2400: 6.04312611, k=1.6302, b=1.6143
Эпоха 2500: 6.15970707, k=1.6621, b=1.6445
Эпоха 2600: 4.72936058, k=1.6930, b=1.6731
Эпоха 2700: 5.73695898, k=1.7201, b=1.6983
Эпоха 2800: 6.15767860, k=1.7437, b=1.7200
Эпоха 2900: 4.95246649, k=1.7651, b=1.7390
Эпоха 3000: 4.90756989, k=1.7842, b=1.7555
Эпоха 3100: 4.54918575, k=1.8012, b=1.7694
Эпоха 3200: 5.50108242, k=1.8155, b=1.7804
Эпоха 3300: 4.97915745, k=1.8281, b=1.7892
Эпоха 3400: 4.00095606, k=1.8401, b=1.7970
Эпоха 3500: 3.93000817, k=1.8489, b=1.8012
Эпоха 3600: 3.92305112, k=1.8562, b=1.8039
Эпоха 3700: 4.28351879, k=1.8634, b=1.8066
Эпоха 3800: 3.80320048, k=1.8679, b=1.8071
Эпоха 3900: 3.33283329, k=1.8725, b=1.8067
Эпоха 4000: 4.17467070, k=1.8769, b=1.8055
Эпоха 4100: 4.03817034, k=1.8792, b=1.8022
Эпоха 4200: 3.46071434, k=1.8807, b=1.7973
Эпоха 4300: 3.83229446, k=1.8840, b=1.7954
Эпоха 4400: 4.15617895, k=1.8849, b=1.7916
Эпоха 4500: 3.69473743, k=1.8865, b=1.7872
Эпоха 4600: 4.19440794, k=1.8886, b=1.7829
Эпоха 4700: 4.67626381, k=1.8886, b=1.7762
Эпоха 4800: 4.79472685, k=1.8896, b=1.7705
Эпоха 4900: 4.31544352, k=1.8897, b=1.7636
Эпоха 5000: 3.18861985, k=1.8906, b=1.7570