Для подбора гиперпараметров действительно существуют уже реализованные в sklearn и других библиотеках методы. Например, GridSearchCV, который берет алгоритм и сетку возможных параметров для него в виде словаря, перебирает варианты на кросс-валидации с cv
фолдами и выбирает лучший алгоритм, отталкиваясь от метрики scoring
Пример работы с GridSearchCV (https://scikit-learn.org/stable/modules/generated/sklearn.model_selection.GridSearchCV.html):
from sklearn.model_selection import GridSearchCV
model = lr(random_state=12345, solver='liblinear',class_weight='balanced')
parameters = {'solver': ['newton-cg', 'lbfgs', 'liblinear', 'sag', 'saga']}
grid_clf = GridSearchCV(model, parameters, cv=5, scoring='f1')
grid_clf.fit(features_train, target_train)
print(grid_clf.best_estimator_)
print(grid_clf.best_params_)
print(grid_clf.best_score_)
О гиперпараметрах логистической регрессии иожно почитать в документации (https://scikit-learn.org/stable/modules/generated/sklearn.linear_model.LogisticRegression.html)
Также бывает любопытно попробовать RandomizedSearchCV, который берет лишь часть комбинаций параметров, соответственно, работает гораздо быстрее (https://scikit-learn.org/stable/modules/generated/sklearn.model_selection.RandomizedSearchCV.html)