1

Простая логистическая регрессия на двух признаках:

import pandas as pd
import numpy as np
from sklearn.model_selection import train_test_split
from sklearn.preprocessing import StandardScaler
from sklearn.pipeline import Pipeline
from sklearn.linear_model import LogisticRegression
from sklearn.model_selection import GridSearchCV


# данные
url = 'https://archive.ics.uci.edu/ml/machine-learning-databases/iris/iris.data'

df = pd.read_csv(url, header=None)
X = df.loc[:, [0, 2]].values
y = df.loc[:, 4].values
cat, target = np.unique(y, return_inverse=True)

X_train, X_test, y_train, y_test = train_test_split(X, target, test_size=0.4, random_state=1)

# параметры для модели
param_grid = [
    {
        'clf__penalty': ['l1', 'l2'],
        'clf__C': [1.0, 10.0, 50.0, 100.0]
    }
]

pipe_lr = Pipeline([
    ('scl', StandardScaler()),
    ('clf', LogisticRegression(random_state=1))
])

gs_lr = GridSearchCV(pipe_lr, param_grid, n_jobs=-1)

gs_lr.fit(X_train, y_train);


print('Наилучший набор параметров: %s ' % gs_lr.best_params_)

clf = gs_lr.best_estimator_
print('Верность на тестовом наборе: %.3f' % clf.score(X_test, y_test))

y_pred = clf.predict(X_test)
print('Число ошибочно классифицированных образцов: %d' % (y_test != y_pred).sum())

Обьект GridSearchCV занимается подбором оптимальных параметров для модели из заданного списка:

param_grid = [
    {
        'clf__penalty': ['l1', 'l2'],
        'clf__C': [1.0, 10.0, 50.0, 100.0]
    }
]

В данном случае он выбирает самый оптимальный набор из штрафа на регуляризацию "l1" или "l2" и обратной силой регуляризации "С" (что бы избежать переобучение модели). Соответсвенно на выходе мы должны получить модель с самыми точными параметрами из списка для данного набора признаков. Для более четкой картины я разделил данные 60%/40% тренировочные/тестовые. После обучения модели мы видим следующее, лучшие параметры для модели:

print('Наилучший набор параметров: %s ' % gs_lr.best_params_)
# Наилучший набор параметров: {'clf__C': 10.0, 'clf__penalty': 'l1'}

clf = gs_lr.best_estimator_
print('Верность на тестовом наборе: %.3f' % clf.score(X_test, y_test))
# Верность на тестовом наборе: 0.950

y_pred = clf.predict(X_test)
print('Число ошибочно классифицированных образцов: %d' % (y_test != y_pred).sum())
# Число ошибочно классифицированных образцов: 3

Получили 3 ошибки при классификации, казалось бы все нормально, но если из подбераемых оптимальных параметров убрать допустим пенальти:

param_grid = [
    {
        # 'clf__penalty': ['l1', 'l2'],
        'clf__C': [1.0, 10.0, 50.0, 100.0]
    }
]

То результат будет уже другим:

print('Наилучший набор параметров: %s ' % gs_lr.best_params_)
# Наилучший набор параметров: {'clf__C': 50.0} 

clf = gs_lr.best_estimator_
print('Верность на тестовом наборе: %.3f' % clf.score(X_test, y_test))
# Верность на тестовом наборе: 0.967

y_pred = clf.predict(X_test)
print('Число ошибочно классифицированных образцов: %d' % (y_test != y_pred).sum())
# Число ошибочно классифицированных образцов: 2

Как видим результаты стали лучше, он выбрал "С" 50.0, пенальти "l2"(стоит по умолчанию), так почему же объект GridSearchCV, который должен выдать самый лучший набор параметров из заданных и сформировать самую точную модель, ошибается и подбирает их неверно ? Ведь исходя из изначально заданных параметров самый оптимальный результат должен быть таким:

# Наилучший набор параметров: {'clf__C': 50.0, 'clf__penalty': 'l2'}

А на деле приходится в ручную убирать пенальти, в чем проблема?

1 ответ 1

0

Проблема решена, я не учел перекрестную проверку.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.