Столкнулся с задачей подбора параметров для модели lightgbm, соответсвенно возникает вопрос, каким способом лучше всего их подбирать? Использовал метод RandomizedSearchCV, в течение 10 часов подбирались параметры, а толку от этого нет, точность такая же как и при ручном вводе параметров наугад. +/- смысл параметров понятен, какие отвечают за переобучение, какие за точность и скорость обучения, но вот не совсем понятно, если подбирать вручную то по одному или по парам, или еще варианты?
Ниже превожу пример как я реализовал подбор параметров:
SEED = 4
NFOLDS = 2
kf = KFold(n_splits= NFOLDS, shuffle=False)
parameters = {
'num_leaves': np.arange(100,500,100),
'min_child_weight': np.arange(0.01,1,0.01),
'feature_fraction': np.arange(0.1,0.4,0.01),
'bagging_fraction':np.arange(0.3,0.5,0.01),
'min_data_in_leaf': np.arange(100,1500,10),
'objective': ['binary'],
'max_depth': [-1],
'learning_rate':np.arange(0.001,0.02,0.001),
"boosting_type": ['gbdt'],
"bagging_seed": np.arange(10,42,5),
"metric": ['auc'],
"verbosity": [1],
'reg_alpha': np.arange(0.3,1,0.2),
'reg_lambda': np.arange(0.37,0.39,0.001),
'random_state': [425],
'n_estimators': [500],
}
model = lightgbm.LGBMClassifier()
RSCV = RandomizedSearchCV(model,parameters,scoring='roc_auc',cv=kf.split(train),n_iter=30,verbose=50)
RSCV.fit(train,label)