При реализации линейной регрессии возникла проблема: при градиентном спуске loss увеличивается причем на несколько порядков за раз. Loss - MSE, градиентный спуск - обычный. В качестве датасета выбрал The California housing dataset . При написании кода опирался на статью. Чтобы отдельно не работать со смещением, заранее добавил столбец из 1 в начало матрицы признаков. Код класса
class LinearRegression():
w = None
alpha = None
def __init__(self, lr, E=20):
self.lr = lr
self.w = np.zeros(X.shape[1] + 1)
self.E = E
def loss(self, X, y):
return np.sum((X @ self.w - y) ** 2) / X.shape[0]
def grad(self, X, y):
grad_basic = 2 * np.transpose(X) @ (X @ self.w - y) / X.shape[0]
assert grad_basic.shape == (X.shape[1],) , "Градиенты должны быть столбцом из k_features + 1 элементов"
return grad_basic
def sgd(self, X, y, E=20):
self.loss_arr = [self.loss(X, y)]
for _ in tqdm(range(E)):
if abs(self.loss_arr[-1]) < 0.1:
break
self.w -= self.lr * self.grad(X, y)
self.loss_arr.append(self.loss(X, y))
def fit(self, X, y):
self.sgd(X, y, self.E)
def get_params(self):
return self.w
def get_loss(self):
return self.loss_arr
def predict(self, X):
return X.dot(self.w)
Вот так ведет себя loss: 5.637, 288906709850, 3.250e+22...
При этом аналитически решение находится верно. Его и полный код регрессии можно найти в ноутбуке. Подскажите, пожалуйста, где я ошибся