1

Здравствуйте. Ранее задавал вопрос по подготовке данных для машинного обучения. Но теперь задача усложнилась. Данные в файле такого вида:

100;word;14;alice;59;?
200;any;35;?;?;?
6300;yes;?;myself;?;?

Если с извлечением категорий все понятно, то данные для обучения получаются в виде двумерного массива. Была мысль создать список строк, и помещать в него строки, полученные объединением каждой строки массива по столбцам (за исключением нулевого). Т. е. взять строку из датафрейма. Объединить все ячейки в ней (кроме нулевой) c помощью join(). Поместить результат в строку. За тем следующую строку и т. п. А потом массив строк пропустить через HashingVectorizer. Но хотелось бы узнать, нет ли уже реализованной штуки такого рода (в pandas.dataframe я что-то не нашел). В первом столбце - категория. Во всех последующих - набор данных. Я думаю, что правильнее будет считать набор случайным (т. к. данные мне предоставлены именно в подобном виде). Данные не гомогенны. В столбцах могут встречаться знаки вопроса (как заменка NaN), так и сами данные.

7
  • вы можете объяснить что у вас у в каждом столбце? или это случайный набор данных? Объединить выбранные столбцы в Pandas - очень просто, но я не уверен что вам именно это нужно... 27 мая 2017 в 18:57
  • Обновил сообщение. 27 мая 2017 в 19:24
  • эти столбцы случайных данных - они хотя бы гомогенные (я имею в виду тип данных) или в одном столбце могут встречаться и числа и строки? 27 мая 2017 в 19:28
  • Обновил сообщение. 27 мая 2017 в 19:31
  • Это не очень хорошо. Я бы поменял знаки вопроса на какие нибудь числа (которые не могут встретиться в ваших данных) 27 мая 2017 в 19:37

1 ответ 1

1
df = pd.read_csv('/path/to/file.csv', sep=';', na_values=['?','NaN', 'NA'], header=None)
df[df.columns[[np.issubsctype(t, np.number) for t in df.dtypes]]] = \
    df.select_dtypes(include=['number']).fillna(-1)
df[df.columns[[np.issubsctype(t, np.object) for t in df.dtypes]]] = \
    df.select_dtypes(include=['object']).fillna('')
new = df.set_index(df.columns[0]).astype(str).add(' ').sum(1).reset_index(name='joined')

Результат:

In [55]: new
Out[55]:
      0                      joined
0   100  word 14.0 alice 59.0 -1.0
1   200        any 35.0  -1.0 -1.0
2  6300  yes -1.0 myself -1.0 -1.0

Ваш ответ

Нажимая на кнопку «Отправить ответ», вы соглашаетесь с нашими пользовательским соглашением, политикой конфиденциальности и политикой о куки

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.