У меня есть данные в xlsx файле, которые содержат много категориальных групп (~500 из 600) . Для того, чтобы нейросеть могла их классифицировать (если я правильно понимаю), данные нужно преобразовать в набор цифр. Для этого я нашел OneHotEncoder, который переводит названия категорий в векторное пространство, но мне он не подходит, т.к для каждого уникального значения, OHE создает отдельный столбец и для 50.000 значений, нужно 50.000 столбцов. Кто-нибудь может подсказать правильный способ, чтобы категориальные данные можно было загрузить в нейронку и нормально обработать?
1 ответ
Воспользуйтесь одним из многих доступных методов в модуле categorical-encoding:
- BinaryEncoder
- BaseNEncoder
- HashingEncoder
- ...