0

При реализации линейной регрессии возникла проблема: при градиентном спуске loss увеличивается причем на несколько порядков за раз. Loss - MSE, градиентный спуск - обычный. В качестве датасета выбрал The California housing dataset . При написании кода опирался на статью. Чтобы отдельно не работать со смещением, заранее добавил столбец из 1 в начало матрицы признаков. Код класса

class LinearRegression():

  w = None
  alpha = None

  def __init__(self, lr, E=20):
    self.lr = lr
    self.w = np.zeros(X.shape[1] + 1)
    self.E = E

  def loss(self, X, y):
    return np.sum((X @ self.w - y) ** 2) / X.shape[0]

  def grad(self, X, y):
    grad_basic = 2 * np.transpose(X) @ (X @ self.w - y) / X.shape[0]   
    assert grad_basic.shape == (X.shape[1],) , "Градиенты должны быть столбцом из k_features + 1 элементов"
    return grad_basic

  def sgd(self, X, y, E=20):
    self.loss_arr = [self.loss(X, y)]
    for _ in tqdm(range(E)):
      if abs(self.loss_arr[-1]) < 0.1:
        break
      self.w -= self.lr * self.grad(X, y)
      self.loss_arr.append(self.loss(X, y))

  def fit(self, X, y):
    self.sgd(X, y, self.E)

  def get_params(self):
    return self.w

  def get_loss(self):
    return self.loss_arr

  def predict(self, X):
    return X.dot(self.w)

Вот так ведет себя loss: 5.637, 288906709850, 3.250e+22...
При этом аналитически решение находится верно. Его и полный код регрессии можно найти в ноутбуке. Подскажите, пожалуйста, где я ошибся

1 ответ 1

2

Увеличение ошибки может говорить о том, что при градиентном спуске вы идете не в том направлении - точнее говоря, идете в сторону увеличения ошибки, а не уменьшения. Проверяйте, где у вас в коде стоит не тот знак.

3
  • 1
    Что-то там смена знака не помогает. И уменьшение lr. Там какой-то прям "взрыв градиентов" в любом случае, явно что-то с формулами кардинально не то )
    – CrazyElf
    Commented 4 июл. 2022 в 9:17
  • Перепроверил все знаки, вынес отдельно bias и заменил матричную формулу на циклы, как в этой статье, но результат тот же. В чем может быть проблема? Commented 4 июл. 2022 в 10:59
  • 1
    Уважаемый CrazyElf дал вторую подсказку "что-то с формулами кардинально не то". Проверяйте. . Возьмите не реальный, а синтетический пример, посчитайте несколько шагов вручную, потом запустите свой код и сравнивайте результаты. Это и есть отладка. Профессия разработчика - это 20% времени написание кода, а 80% - его отладка. Вот и совершенствуйте этот навык. Пригодиться.
    – passant
    Commented 4 июл. 2022 в 13:16

Ваш ответ

Нажимая «Отправить ответ», вы соглашаетесь с условиями пользования и подтверждаете, что прочитали политику конфиденциальности.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.