2

Например, признак, который принимает значения {'Male', 'Female', NaN}, при использовании OneHotEncoder (или какого-нибудь другого средства) переводил этот признак в два численных и кодировал:

         f1      f2  
Male      1       0
Female    0       1
Nan       0       0

Другой пример:
Исходный датасет:

           Gender        City
Person1      Male      Moscow
Person2       Nan       Kazan
Person3    Female     Saratov

Полученный датасет:

            f1(Male)   f2(Female)   f3(Moscow)   f4(Saratov)   f5(Kazan)
Person1            1            0            1             0           0
Person2            0            0            0             1           0
Person3            0            1            0             0           1

При этом, такой датасет должен получаться вне зависимости от того, имел ли сет, на котором тренировался энкодер, Nan в каких-то категориях.

5
  • а как вы дальше планируете работать с этой транспонированной матрицей?? И как вы планируете объединить разные признаки в таком закодированном виде в одну матрицу? Commented 18 нояб. 2019 в 19:20
  • Можете привести в вопросе маленький входной датасет с 3-5 строк и с 2+ признаками (причем так, чтобы у разных признаков было разное количество уникальных значений ) и привести то, что вы хотите получить на выходе? Commented 18 нояб. 2019 в 19:22
  • @MaxU смысл в том, что если на вход encoder.transform() передается признак, который содержит Nan, хотя encoder.fit() не содержал такого случая, то ошибки не должно возникать Commented 18 нояб. 2019 в 19:23
  • Попробуйте привести в вопросе входной и выходной датасеты (как я описал во втором комментарии) - тогда поймете, что я имею ввиду) Commented 18 нояб. 2019 в 19:24
  • Для борьбы с NaN существуют "Imputers" ;) Commented 18 нояб. 2019 в 19:25

2 ответа 2

2

Мне нужно, чтобы Nan не считался отдельным значением признака, а считался отсутствием какого-либо значения

Проще всего будет просто удалить столбцы относящиеся к NaN значениям.

Пример:

Пусть у нас следующий фрейм:

In [39]: df
Out[39]:
         Gender     City
Person1    Male   Moscow
Person2     NaN    Kazan
Person3  Female  Saratov

Решение:

from sklearn.preprocessing import OneHotEncoder

enc = OneHotEncoder(handle_unknown='ignore')

df_encoded = pd.DataFrame.sparse.from_spmatrix(
    enc.fit_transform(df.fillna('N/A')),
    columns=enc.get_feature_names()
)

получился следующий DataFrame:

In [41]: df_encoded
Out[41]:
   x0_Female  x0_Male  x0_N/A  x1_Kazan  x1_Moscow  x1_Saratov
0        0.0      1.0     0.0       0.0        1.0         0.0
1        0.0      0.0     1.0       1.0        0.0         0.0
2        1.0      0.0     0.0       0.0        0.0         1.0

теперь нам нужно избавиться от всех столбцов, которые оканчиваются на "_N/A":

In [48]: mask = df_encoded.columns.str.contains(r"_N/A$")

In [49]: df_encoded = df_encoded.loc[:, ~mask]

Результат:

In [50]: df_encoded
Out[50]:
   x0_Female  x0_Male  x1_Kazan  x1_Moscow  x1_Saratov
0        0.0      1.0       0.0        1.0         0.0
1        0.0      0.0       1.0        0.0         0.0
2        1.0      0.0       0.0        0.0         1.0

Также можно воспользоваться параметрами categories=[<list_of_categories>] и handle_unknown='ignore' в sklearn.preprocessing.OneHotEncoder, но это более трудоемкий путь, т.к. придется кодировать каждый столбец отдельно, задавая список уникальных значений в качестве categories.

1

Если вам нужно закодировать значения признака таким образом, чтобы при появлении новых значений не появлялись новые столбцы, то можно воспользоваться Hashing Encoding, также известным как Hashing Trick - в этом случае вы заранее указываете максимальное число столбцов в выходном (после кодирования) датасете.

PS Краткое пояснение алгоритма "hashing trick"

1
  • Мне нужно, чтобы Nan не считался отдельным значением признака, а считался отсутствием какого-либо значения Commented 18 нояб. 2019 в 19:36

Ваш ответ

Нажимая «Отправить ответ», вы соглашаетесь с условиями пользования и подтверждаете, что прочитали политику конфиденциальности.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.