0

Реализую алгоритм линейной регрессии от двух параметров. При увеличении датасета на порядок (с 10 до 100) значения параметров улетают в космос. Это моя ошибка или ограниченность данной реализации?

Код:

import matplotlib.pyplot as plt
import random


def lin_regr(param_x, param_y):
    """
    Градиентный спуск
    :param param_x: вектор значений датасета по оси x
    :param param_y: вектор значений датасета по оси y
    :return: оптимизированные значения параметров th0 и th1
    """
    th0, th1, alfa, eps = 50, 15, 0.002, 1e-6
    tmp0, tmp1 = 1, 1
    while abs(tmp0) >= eps or abs(tmp1) >= eps:
        tmp0 = alfa * derriv(param_x, param_y, th0, th1, '0')
        tmp1 = alfa * derriv(param_x, param_y, th0, th1, '1')
        th0 -= tmp0
        th1 -= tmp1
    return th0, th1


def derriv(vect_x, vect_y, t0, t1, str):
    """
    Производная от MSE
    :param vect_x: вектор значений датасета по оси x
    :param vect_y: вектор значений датасета по оси y
    :param t0: первый параметр
    :param t1: второй параметр
    :param str: строка. Отвечает за выбор производной (для t0 не нужно домнажать на x)
    :return: значение производной MSE в точке (t0, t1)
    """
    sum = 0
    for x, y in zip(vect_x, vect_y):
        if str is '1':
            sum += (t0 + x * t1 - y) * x
        else:
            sum += (t0 + x * t1 - y)
    return sum / len(vect_x)



if __name__ == '__main__':
    x = [100 * random.random() for i in range(30)]
    y = [100 * random.random() for i in range(30)]
    t0, t1 = lin_regr(x, y)
    plt.plot(*zip(x, y), marker='o', color="r", ls="")
    plt.plot([t0 + t1 * i for i in range(10)])
    plt.show()

1 ответ 1

2

Очень странная постановка задачи. Регрессия - это выявление ЗАВИСИМОСТИ одной переменной от другой. А какая у вас зависимость, если обе переменные генерируются независимо одна от другой??? Куда бедному градинету спускаться???

Ну, задайте ваши x b у например, как

x=random.random()
у=A*x + D + random.gauss(mu, sigma)

и будет вам счастье. Только подберите mu и sigma так, что-бы задача имела смысл.

Ну и в догонку - искать коэффициенты регрессии в случае одномерной (!) линейной(!!!) регрессии методом градиентного спуска - это вообще-то говоря извращение.

4
  • У меня нет задачи сделать данный алгоритм более оптимальным. Мне интересно понять суть задачи, запрограммировать ее в целях обучения. В связи с этим, ваша фраза "вдогонку" не имеет смысла (но все равно спасибо за ваше мнение). За идею внедрения зависимости между переменными спасибо, но как тогда быть, если мы не знаем, есть ли между ними зависимость?
    – Nabla
    13 окт 2019 в 20:39
  • как тогда быть, если мы не знаем, есть ли между ними зависимость? - а зачем тогда вообще регрессию считать? Какова реальная задача?
    – MBo
    14 окт 2019 в 4:46
  • Реальная задача, как уже говорилось, опробовать регрессию и градиентный спуск на практике.
    – Nabla
    14 окт 2019 в 11:42
  • 1
    А как можно опробовать то, чего принципиально нет? Это я про ваши данные. Понять суть чего? Регрессии? Или градиентного спуска? Если регрессии, то в случае одномерной и линейной регрессии ее понять проще простого в классической постановке. Если градиентного спуска- то данные должны быть таким, которые этот спуск позволяют. Наконец. Если мы не знаем, есть-ли зависимость, то первое, что мы обязаны сделать - выяснить это. Причем - не методами градиентного спуска, а методами, специально для этого предназначенными.
    – passant
    14 окт 2019 в 16:19

Ваш ответ

By clicking “Отправить ответ”, you agree to our terms of service and acknowledge that you have read and understand our privacy policy and code of conduct.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.