1

Прохожу курс по data science и там используют библиотеку sklearn , где есть метод GridSearchCV, проблема в том , что изменили функцию grid_scores на cv_results_ , при функции grid_scores , всё работало без ошибок и выдавало ответ , как только я ввёл место cv_results_ то в lambda x: -x.mean_validation_score выходит ошибка :

AttributeError                            Traceback (most recent call last)
<ipython-input-184-f6684c16a004> in <module>
----> 1 sorted(gridsearch.cv_results_,key = lambda x: -x.mean_validation_score)

<ipython-input-184-f6684c16a004> in <lambda>(x)
----> 1 sorted(gridsearch.cv_results_,key = lambda x: -x.mean_validation_score)

AttributeError: 'str' object has no attribute 'mean_validation_score'

Я не могу понять почему считает строковым значения , хотя всё в числовых значения. Вот код :

from sklearn.model_selection import GridSearchCV
from sklearn.linear_model import LogisticRegression

cs = 10**np.linspace(-3,1,5)
cs

grid = {'C': cs}
gridsearch = GridSearchCV(LogisticRegression(), grid, scoring='accuracy', cv=5)

%%time
gridsearch.fit(X_train_fin, y_train_fin)

sorted(gridsearch.cv_results_,key = lambda x: -x.mean_validation_score)

В чём может быть проблема ?

1
  • Судя по документации, cv_results_ возвращает словарь в котором есть нужный вам ключ mean_validation_score. Поэтому попробуйте сделать, как предложил @MaxU.
    – Jazzis
    26 июл 2019 в 6:04

3 ответа 3

4

Удобнее всего создать Pandas DataFrame из результатов gridsearch.cv_results_.

Пример:

from sklearn.datasets import load_iris
from sklearn.model_selection import train_test_split, GridSearchCV
from sklearn.linear_model import LogisticRegression


X, y = load_iris(return_X_y=True)
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.20, random_state=123)

cs = 10**np.linspace(-3,1,5)
grid = {'C': cs, 'max_iter': [100, 200, 500]}
gs = GridSearchCV(LogisticRegression(), grid, scoring='accuracy', cv=5, n_jobs=-1)

gs.fit(X_train, y_train)


res = (
    pd.DataFrame({
        "mean_test_score": gs.cv_results_["mean_test_score"],
        "mean_fit_time": gs.cv_results_["mean_fit_time"]})
      .join(pd.io.json.json_normalize(gs.cv_results_["params"]).add_prefix("param_"))
)

In [49]: res
Out[49]:
    mean_test_score  mean_fit_time  param_C  param_max_iter
0          0.325000       0.009396    0.001             100
1          0.325000       0.009995    0.001             200
2          0.325000       0.004998    0.001             500
3          0.666667       0.004398    0.010             100
4          0.666667       0.004598    0.010             200
5          0.666667       0.003398    0.010             500
6          0.916667       0.003998    0.100             100
7          0.916667       0.002999    0.100             200
8          0.916667       0.004398    0.100             500
9          0.950000       0.010595    1.000             100
10         0.950000       0.013793    1.000             200
11         0.950000       0.011300    1.000             500
12         0.958333       0.011194   10.000             100
13         0.958333       0.011394   10.000             200
14         0.958333       0.015193   10.000             500

In [50]: res.nlargest(5, "mean_test_score")
Out[50]:
    mean_test_score  mean_fit_time  param_C  param_max_iter
12         0.958333       0.011194     10.0             100
13         0.958333       0.011394     10.0             200
14         0.958333       0.015193     10.0             500
9          0.950000       0.010595      1.0             100
10         0.950000       0.013793      1.0             200

Набор лучших гиперпараметров:

In [51]: gs.best_params_
Out[51]: {'C': 10.0, 'max_iter': 100}

Лучшая точность (для гиперпараметров указанных выше):

In [52]: gs.best_score_
Out[52]: 0.9583333333333334

Индекс лучшего элемента в cv_results_:

In [53]: gs.best_index_
Out[53]: 12

Лучший "estimator" - его можно вызывать для предсказаний:

In [54]: gs.best_estimator_
Out[54]:
LogisticRegression(C=10.0, class_weight=None, dual=False, fit_intercept=True,
          intercept_scaling=1, max_iter=100, multi_class='warn',
          n_jobs=None, penalty='l2', random_state=None, solver='warn',
          tol=0.0001, verbose=0, warm_start=False)
3
  • такой вопрос как теперь из этого датасета взять лучший показатель , с помощью функции best_params_ 26 июл 2019 в 11:58
  • Я вводил gridsearch.best_params_ и получал словарь {"C":10.0} 26 июл 2019 в 12:06
  • @АнастасСмех, вот вы и получили лучший набор гиперпараметров... Не понимаю тогда суть вопроса 26 июл 2019 в 12:14
0
results = pd.DataFrame(xgb_grid.cv_results_)
display(results.sort_values(by='rank_test_score').head(5))
1
0
%%time
cv = TimeSeriesSplit(n_splits=5)
pipe = Pipeline([('regresion', RandomForestRegressor())])

param_grid =[
{'regresion': [RandomForestRegressor(random_state = 42, n_jobs =-1)],
 'regresion__n_estimators': [int(x) for x in np.linspace(start = 10, stop = 20, num = 5)],
 'regresion__max_depth': [int(x) for x in np.linspace(start = 11, stop = 15, num = 5)] ,
 'regresion__max_features': [int(x) for x in np.linspace(start = 15, stop = 17, num = 3)] 
},

{'regresion': [GradientBoostingRegressor(n_estimators = 1000, random_state = 42)],
 'regresion__max_features':[6,7,8,9],
 'regresion__max_depth': [4, 5, 6]
}

]

grid = GridSearchCV(pipe, param_grid, cv=cv, return_train_score=True)
grid.fit(X_train,y_train)

print("----------------- Обучили и тестировали -------------------")
print("Наилучшие параметры:\n{}\n".format(grid.best_params_))
print("Средняя правильность для наилучшей модели кроссвалидации на 
валидационных тестовых наборах: {:.6f}\n".format(grid.best_score_))  
print("Средняя правильность для наилучшей модели на тестовом наборе: 
{:.6f}\n".format(grid.score(X_test, y_test)))
gridresults = pd.DataFrame(grid.cv_results_)
display(gridresults.sort_values(["rank_test_score"]).T)


train_acc = []
test_acc = []
max_depth = [int(x) for x in np.linspace(start = 1, stop =10, num = 5)]

for i in tqdm(max_depth):
  gb = GradientBoostingRegressor(n_estimators =1000, random_state=42, max_depth=i) 
  gb.fit(X_train, y_train)

  train_acc.append(gb.score(X_train, y_train))
 test_acc.append(gb.score(X_test, y_test))

 train_acc, test_acc  = np.asarray(train_acc), np.asarray(test_acc)
 print("Best accuracy is {:.4f}% with {} max_depth".format(max(test_acc), 
                                                    
 max_depth[np.argmax(test_acc)]))


 plt.style.use('ggplot')
 %matplotlib inline
 fig, ax = plt.subplots(figsize=(8, 4))
 ax.plot(max_depth, train_acc, alpha=0.5, color='blue', label='train')
 ax.plot(max_depth, test_acc, alpha=0.5, color='red', label='cv')
 ax.legend(loc='best')
 ax.set_ylim([0.85,1.02])
 ax.set_ylabel("Accuracy")
 ax.set_xlabel("max_depth")
1
  • добро пожаловать на Stack Overflow на русском! пожалуйста, постарайтесь оставлять чуть более развёрнутые ответы. дополнить ответ можно, нажав править 12 апр 2022 в 21:49

Ваш ответ

By clicking “Отправить ответ”, you agree to our terms of service and acknowledge that you have read and understand our privacy policy and code of conduct.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.