2

Допустим, есть сильно несбалансированная выборка: X - признаки, у - целевая переменная (бинарная). Балансируем выборку с помощью метода ClusterCentroids() (из модуля imbalanced-learn), получаем новую выборку X_cc, y_cc. Берем модель, например XGBClassifier (для бинарной классификации), и обучаем ее на этой новой выборке. Далее берем выборку X1 (из исходного пространства признаков X), для которой требуется предсказать целевую переменную с помощью обученного ранее классификатора.

Вопрос: как классификатор, обученный на кластерах признаков исходного пространства, может предсказывать целевую переменную по самим признакам исходного пространства (не кластерам)?

1 ответ 1

3

Попробую описать суть данного алгоритма и как им пользоваться...

Суть проблемы несбалансированных данных:

Библиотека (модуль) imblearn / Imbalanced-Learn предназначена для работы с несбалансированными выборками данных - такими где число образцов / экземпляров, принадлежащих различным классам различаются в разы. В том случае если у нас присутствует только два класса (бинарная классификация), то эти классы принято называть majority class (класс большинства) и minority class (класс меньшинства).

Классическим примером является задача выявления мошеннических транзакций. Очень часто в таких выборках доля мошеннических транзакций не превышает 1%. В таком случае даже если в качестве предсказания мы всегда будем маркировать транзакцию как нормальную (не мошенническую), то общая точность предсказания будет >= 99%. Подавляющее большинство алгоритмов классификации плохо справляется с обучением на разбалансированных выборках.

Если коротко, то данную проблему можно решить приблизительно уравняв число экземпляров обоих классов. Делают это обычно следующим способом:

  1. уменьшив число экземпляров класса большинства
  2. увеличив число экземпляров класса меньшинства
  3. комбинация 1. и 2.

Суть алгоритма imblearn.under_sampling.ClusterCentroids:

Данный алгоритм использует алгоритм кластеризации k-Means для нахождения центроидов (геометрический центр кластера) N кластеров для класса большинства. Скорее всего, в качестве N берется число экземпляров класса меньшинства. Таким образом выбрав N центроидов класса большинства из всех экземпляров класса большинства мы сбалансировали обучающую выборку, оставив в ней по N экземпляров для каждого класса.

Применение алгоритма imblearn.under_sampling.ClusterCentroids:

В процессе обучения мы находим оптимальные коэффициенты / веса и для предсказания просто используем найденные коэффициенты / веса, подставив их в функцию алгоритма классификации. (Мы об этом не заботимся - готовые реализации классификаторов делают это за нас.)

Поэтому теоретически нам достаточно сбалансировать только обучающую выборку, обучить модель и дальше можно использовать обученную модель без балансировки.

На практике перед тем как использовать непосредственно классификацию, данные необходимо предварительно подготовить. Обычно подготовка состоит из следующих шагов:

  • imputing missing data - заполнение или удаление отсутствующих данных (например: None, NaN, пустые строки и т.д.), т.к. большинство алгоритмов классификации или не работают или плохо справляются с отсутствующими данными.
  • encoding non-numerical data - преобразование нечисловых данных в числовые.
  • data scaling & normalizing - калибровка (скалирование и нормализация) данных
  • classification - непосредственно классификация.

Чтобы объединить все шаги подготовки данных и классификации часто используют pipeline:

pipeline = Pipeline([
    ("impute", imputer),
    ("encode", encoder),
    ("scale", scaler),
    ("classify", classifier),
])

и потом используют объект pipeline для обучения и классификации:

pipeline.fit(X_train, y_train)
y_predicted = pipeline.predict(X_test)

В этом случае, как видно из примера, данные по которым мы делаем предсказание пройдут все шаги предварительной обработки, которые испольовались для обучения.


PS некоторые моменты в ответе могут показаться слишком очевидными автору вопроса. Я постарался подробно ответить на вопрос, чтобы ответ оказался полезным и понятным также тем кто попадет сюда по ссылке поисковика.

Ваш ответ

Нажимая на кнопку «Отправить ответ», вы соглашаетесь с нашими условиями использования и подтверждаете, что прочитали и поняли наши политику конфиденциальности и нормы поведения.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.