MultiLabelBinarizer удобнее всего использовать в том случае если вы хотите получить "One-Hot-Encoded"
данные из данных представленных в виде списка или кортежа.
Пример:
Пусть у нас есть следующий набор данных:
Col1 Col2
0 10 [Apple, Orange, Banana]
1 20 [Apple, Grape]
2 30 [Banana]
нам необходимо сделать One Hot Encoding
столбца Col2
и получить:
Col1 Apple Banana Grape Orange
0 10 1 1 0 1
1 20 1 0 1 0
2 30 0 1 0 0
проще всего будет воспользоваться MultiLabelBinarizer:
In [8]: from sklearn.preprocessing import MultiLabelBinarizer
In [9]: mlb = MultiLabelBinarizer()
In [10]: df = df.join(pd.DataFrame(mlb.fit_transform(df.pop('Col2')), index=df.index, columns=mlb.classes_))
In [11]: df
Out[11]:
Col1 Apple Banana Grape Orange
0 10 1 1 0 1
1 20 1 0 1 0
2 30 0 1 0 0
При обработке текстов удобнее будет использовать sklearn.feature_extraction.text.CountVectorizer, который умеет преобразовывать текст к нижнему регистру и работать с биграммами и N-граммами вместо обычных слов. Кроме этого можно гибко задать регулярное выражение для парсинга слова из текста.
Пример:
In [39]: df['Col2'] = df['Col2'].apply(' '.join)
In [40]: df
Out[40]:
Col1 Col2
0 10 Apple Orange Banana
1 20 Apple Grape
2 30 Banana
In [41]: df = df.join(pd.SparseDataFrame(cv.fit_transform(df.pop('Col2')), index=df.index, columns=cv.get_feature_names(), default_fill_value=0))
In [42]: df
Out[42]:
Col1 apple banana grape orange
0 10 1 1 0 1
1 20 1 0 1 0
2 30 0 1 0 0
Обратите внимание на то, что CountVectorizer
привел все слова (tokens
) к нижнему регистру.
CountVectorizer
по умолчанию возвращает Sparse Matrix
. При использовании MultiLabelBinarizer
надо явно указать параметр MultiLabelBinarizer(sparse_output=True)
, чтобы получить разреженную матрицу.
Если у нас во входных данных несколько категориальных (текстовых) столбцов, то проще всего преобразовать их в один столбец со списком слов или в один текстовый столбец, где слова разделены пробелами и преобразовать полученный единственный столбец к One-Hot-Encoded
матрице за один вызов воспользовавшись соответственно MultiLabelBinarizer
(список слов) или CountVectorizer
(текст/предложения). При использовании LabelEncoder
и OneHotEncoder
придется обрабатывать все категориальные (текстовые) столбцы в цикле.