4

Доброго времени суток. Занимался задачами регрессии с использование sclearn и xgboost. Однако задача прогнозирования слегка отличается, можете ли вы привести пример в каком виде должны быть данные и пример кода на python для работы c использование xgboost. В задачах регрессии я подобным образом собирал данные в виде подобного набора строк

1;34;234;234;123;2;321;2;123213;24534;3;278

Где входной вектор был n-1 параметров, а предсказываемое значение - последний столбец. Насколько я понимаю в задачах прогнозирования, сама строка это один и тот же параметр который изменяется во времени, в то время как в задачах регрессии несколько различных параметров по которым предсказываем один. Вопрос - чем отличаются задачи планирования и регрессии на уровне программирования? Т.е. входные данные имеют вид

    x0        x1        x2        x3        x4        x5        y
  0.392689  0.117810  0.242750  0.931792  0.972802  0.898693  0.429941
  0.569055  0.622889  0.762683  0.095271  0.101407  0.510155  0.542256
  0.939509  0.993534  0.772005  0.164555  0.800897  0.591883  0.190720
  0.284297  0.292773  0.290652  0.045383  0.564894  0.347683  0.014610

где мы предсказываем значение y. И данные имею такой вид:

x1 0.284297  0.292773  0.290652  0.045383  0.564894  0.347683  0.014610  0.961696
x2 0.939509  0.993534  0.772005  0.164555  0.800897  0.591883  0.190720  0.040162

где надо предсказать дальнейшие значения x1, x2, .. в чем отличие в плане кода?

import xgboost as xgb
import pandas as pd
import numpy as np
import math

from sklearn.metrics import confusion_matrix, mean_squared_error
from sklearn.datasets import load_iris, load_digits, load_boston
from sklearn.metrics import mean_absolute_error,mean_squared_error,median_absolute_error, accuracy_score
df = pd.read_csv('file1.csv',";",header=None)
X_train = df.drop(7,axis=1)
Y_train = df[7]
test_data = pd.read_csv('file2.csv',";",header=None)
X_test = test_data.drop(7,axis=1)
Y_test = test_data[7]
xgb_model = xgb.XGBRegressor(max_depth)
cl = xgb_model.fit(X_train,Y_train)
predictions = cl.predict(X_test)
actuals = Y_test
print(mean_absolute_error(actuals, predictions))
print(mean_squared_error(actuals, predictions))
print(median_absolute_error(actuals, predictions))

Условно данный код, одинаково будет предсказывать и дальнейшее значение x1 для второй выборки и y - для первой?

10
  • вы хотите предсказывать сразу несколько выходных параметров? 14 ноя 2017 в 10:20
  • Да, у нас получается для задач регрессии достаточно определить последний параметр. А для задач прогнозирования, если строка из n параметров последние n/3 параметров.
    – KordDEM
    14 ноя 2017 в 10:39
  • Мб понятнее станет. Если у нас данные имеют вид: x0 x1 x2 x3 x4 x5 x6 y 0.284297 0.292773 0.290652 0.045383 0.564894 0.347683 0.014610 0.961696 и мы предсказываем y. И если данные имею такой вид x1 0.284297 0.292773 0.290652 0.045383 0.564894 0.347683 0.014610 0.961696 и надо предсказать дальнейшие значения x0 в чем различие в плане кода?
    – KordDEM
    14 ноя 2017 в 11:11
  • я не понял как у вас столбцы (x1, x2) стали строками - или вы их так просто для удобства представили? PS ваш код будет предсказывать y для набора параметров X. x он предсказывать не будет 14 ноя 2017 в 12:08
  • Мы транспонировали первый файл и теперь каждая строка это отдельный параметр, который нам нужно предсказать.
    – KordDEM
    14 ноя 2017 в 12:14

1 ответ 1

7

Ответ на вопрос до правки

как разбивать на обучающую и проверочную выборку?

Для таких задач идеально подходят модули Pandas и Numpy, которые позволяют работать без циклов (векторизированные решения) с целыми матрицами и векторами, что на порядки быстрее по сравнению с обработкой в циклах.

Вот небольшой пример:

import pandas as pd
import numpy as np

# generate random DataFrame (shape: 10, 8)
In [13]: df = pd.DataFrame(np.random.rand(10,8)).add_prefix('x')

In [14]: df.columns = df.columns[:-1].tolist() + ['y']

In [15]: df
Out[15]:
         x0        x1        x2        x3        x4        x5        x6         y
0  0.392689  0.117810  0.242750  0.931792  0.972802  0.898693  0.429941  0.619093
1  0.569055  0.622889  0.762683  0.095271  0.101407  0.510155  0.542256  0.848998
2  0.939509  0.993534  0.772005  0.164555  0.800897  0.591883  0.190720  0.040162
3  0.284297  0.292773  0.290652  0.045383  0.564894  0.347683  0.014610  0.961696
4  0.065868  0.974128  0.749756  0.778895  0.872915  0.585320  0.851837  0.408333
5  0.818768  0.343451  0.985583  0.860080  0.876103  0.554149  0.132387  0.506820
6  0.713177  0.567278  0.587488  0.459199  0.082245  0.677964  0.229960  0.265138
7  0.751670  0.902665  0.353395  0.975563  0.823437  0.742916  0.760047  0.567249
8  0.106809  0.068440  0.075260  0.435980  0.412090  0.226181  0.909518  0.714608
9  0.281475  0.641496  0.695424  0.993351  0.958840  0.457999  0.203841  0.007968

теперь мы можем нарезать данные так как нам удобно

Например если нам нужны все столбцы кроме последнего:

In [16]: df.iloc[:, :-1]
Out[16]:
         x0        x1        x2        x3        x4        x5        x6
0  0.392689  0.117810  0.242750  0.931792  0.972802  0.898693  0.429941
1  0.569055  0.622889  0.762683  0.095271  0.101407  0.510155  0.542256
2  0.939509  0.993534  0.772005  0.164555  0.800897  0.591883  0.190720
3  0.284297  0.292773  0.290652  0.045383  0.564894  0.347683  0.014610
4  0.065868  0.974128  0.749756  0.778895  0.872915  0.585320  0.851837
5  0.818768  0.343451  0.985583  0.860080  0.876103  0.554149  0.132387
6  0.713177  0.567278  0.587488  0.459199  0.082245  0.677964  0.229960
7  0.751670  0.902665  0.353395  0.975563  0.823437  0.742916  0.760047
8  0.106809  0.068440  0.075260  0.435980  0.412090  0.226181  0.909518
9  0.281475  0.641496  0.695424  0.993351  0.958840  0.457999  0.203841

или все столбцы начинающиеся с x:

In [17]: df.filter(regex='^x\d+')
Out[17]:
         x0        x1        x2        x3        x4        x5        x6
0  0.392689  0.117810  0.242750  0.931792  0.972802  0.898693  0.429941
1  0.569055  0.622889  0.762683  0.095271  0.101407  0.510155  0.542256
2  0.939509  0.993534  0.772005  0.164555  0.800897  0.591883  0.190720
3  0.284297  0.292773  0.290652  0.045383  0.564894  0.347683  0.014610
4  0.065868  0.974128  0.749756  0.778895  0.872915  0.585320  0.851837
5  0.818768  0.343451  0.985583  0.860080  0.876103  0.554149  0.132387
6  0.713177  0.567278  0.587488  0.459199  0.082245  0.677964  0.229960
7  0.751670  0.902665  0.353395  0.975563  0.823437  0.742916  0.760047
8  0.106809  0.068440  0.075260  0.435980  0.412090  0.226181  0.909518
9  0.281475  0.641496  0.695424  0.993351  0.958840  0.457999  0.203841

разделяем набор данных на обучающую и проверочную выборки, предварительно перетасовав данные случайным образом:

In [19]: df_train, df_test = np.split(df.sample(frac=1), [6])

In [20]: df_train
Out[20]:
         x0        x1        x2        x3        x4        x5        x6         y
3  0.284297  0.292773  0.290652  0.045383  0.564894  0.347683  0.014610  0.961696
2  0.939509  0.993534  0.772005  0.164555  0.800897  0.591883  0.190720  0.040162
9  0.281475  0.641496  0.695424  0.993351  0.958840  0.457999  0.203841  0.007968
1  0.569055  0.622889  0.762683  0.095271  0.101407  0.510155  0.542256  0.848998
8  0.106809  0.068440  0.075260  0.435980  0.412090  0.226181  0.909518  0.714608
7  0.751670  0.902665  0.353395  0.975563  0.823437  0.742916  0.760047  0.567249

In [21]: df_test
Out[21]:
         x0        x1        x2        x3        x4        x5        x6         y
4  0.065868  0.974128  0.749756  0.778895  0.872915  0.585320  0.851837  0.408333
0  0.392689  0.117810  0.242750  0.931792  0.972802  0.898693  0.429941  0.619093
6  0.713177  0.567278  0.587488  0.459199  0.082245  0.677964  0.229960  0.265138
5  0.818768  0.343451  0.985583  0.860080  0.876103  0.554149  0.132387  0.506820

PS практически все известные мне библиотеки по машинному обучению принимают в качестве входных данных Pandas.DataFrame's, Pandas.Series, Numpy.Arra's.

Т.е. что-то вроде:

clf = xgb.XGBClassifier(...)
clf.fit(df_train.filter(regex='^x'), df_train.loc[:, 'y'])
7
  • Вопрос состоял не в том как работать с матрицами в питоне и какими модулями это сделать, С таким же успехом я могу и другими модулями все обрабатывать. Вопрос в том насколько сильно задача прогнозирования отличается от задач регрессии в которых для предсказания используется несколько параметров, в то время как в прогнозировании 1, но изменяющийся.
    – KordDEM
    14 ноя 2017 в 10:11
  • @KordDEM, регрессии тоже относятся к прогнозированию - прогноз недискретных величин (значений). Что вы имеете в виду под в то время как в прогнозировании 1, но изменяющийся? 14 ноя 2017 в 10:13
  • Уточнил. Вкратце, даже в представленном вами примере вы предсказываете только последний столбец, различие лишь в том, что тут строка это изменение одного параметра в течении времени, а если брать задачу регрессии, то каждый столбец отдельный параметр. Надеюсь грамотно сформулировал) И.З. зачем перемешивать строки, когда это абсолютно не зависимые записи?
    – KordDEM
    14 ноя 2017 в 10:21
  • строка (кроме последнего элемента) - это набор параметров, с помощью которых мы хотим предсказывать последнее значение (target). Это справедливо и для задач регрессии и для задач классификации 14 ноя 2017 в 10:24
  • Т.е. отличие зависит только от собираемых данных? А задачи классификации и регрессии по данной вами формулировки не отличаются? Просто интересно докопаться до сути.
    – KordDEM
    14 ноя 2017 в 10:26

Ваш ответ

By clicking “Отправить ответ”, you agree to our terms of service and acknowledge that you have read and understand our privacy policy and code of conduct.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.