3

В общем задача такая, имеется датафрейм, содержащий данные вида:

Id  Sequence
3   1,3,13...
7   1,2,1,...
8   1,2,4,...
11  1,8,25...
13  1,111,..

Где id - номер последовательности, sequence - сама последовательность. Задача, взять например первую последовательность и расположить его в столбец и так со всеми. Количество элементов в последовательности везде разное.

Я делаю так:

#Импортируем необходимые пакеты
import sys
import warnings

import pandas as pd
import numpy as np
from sklearn.metrics import mean_absolute_error, mean_squared_error

import statsmodels.formula.api as smf
import statsmodels.tsa.api as smt
import statsmodels.api as sm
import scipy.stats as scs
from scipy.optimize import minimize

import matplotlib.pyplot as plt

#читаем данные и выводим
dftrain = pd.read_csv('../../data/IntegerSeqTrain.csv', sep=",", index_col=['Id'])
dftrain.head(10)

Выдаст: (то, что sequence выше id меня уже смущает)

   Sequence
Id  
3   1,3,13...
7   1,2,1,...
8   1,2,4,...
11  1,8,25...
13  1,111,...

Далее, собственно само разбиение

#для удобства пишем последовательности в столбец, предварительно разбив по запятой

print(dftrain.shape[1])
i=0
for dfitem in dftrain:
    j=0
    for dfitem2 in dfitem:
        dftrain[j] = dftrain['Sequence'].str.split(',').str.get(j)
        j+=1
    i+=1
#удаляем лишний столбец
dftrain = dftrain.drop('Sequence', 1)
#pd.set_option('max_colwidth', 10)
#что получилось
print(dftrain.head(10))

На выходе:

      0     1      2        3          4          5          6          7
Id                                                                       
3     1     3     13       87       1053      28576    2141733  508147108
7     1     2      1        5          5          1         11         16
8     1     2      4        5          8         10         16         20
11    1     8     25       83        274       2275     132224    1060067
13    1   111  12211  1343211  147753211  162528...  178781...  196659...
15    1     1      1        1          1          1          1          1
16  840  1320   1680     2520       3192       3432       4920       5208
  1. Все записалось в строку, а не в столбец
  2. Количество столбцов сильно сократилось (штук 8-9, хотя их на самом деле гораздо больше)

Как данные красиво разбить и представить в виде столбцов?) Спасибо заранее Сами данные(train.csv): https://dropmefiles.com/osxrI

Исходник (IPYNB файл): https://dropmefiles.com/cIR4f

1 ответ 1

5

Решение:

train = pd.read_csv(r'C:\download\train.csv', sep=",", index_col=['Id'])
r = train.Sequence.str.split(',', expand=True).T

Результат:

In [203]: r
Out[203]:
Id    3      7      8       11             13     15     16      ...   227681 227682            227683                227684 227686 227689 227690
0          1      1      1       1              1      1    840  ...        7      1                 0                     0      0      2      5
1          3      2      2       8            111      1   1320  ...        7      0                 0                    -1      1      3      7
2         13      1      4      25          12211      1   1680  ...        3      1                 4                    -1      9      3    179
3         87      5      5      83        1343211      1   2520  ...        2      0              1198                    -1     85      4    229
4       1053      5      8     274      147753211      1   3192  ...        3      0           1829388                    -1    801      6    439
5      28576      1     10    2275    16252853211      1   3432  ...        9      0       23796035743              10324303   7549      4    557
6    2141733     11     16  132224  1787813853211      1   4920  ...        5      0  2142967506078650  -6586524273069171148  71145      5   6113
..       ...    ...    ...     ...            ...    ...    ...  ...      ...    ...               ...                   ...    ...    ...    ...
341     None   None   None    None           None   None   None  ...     None   None              None                  None   None   None   None
342     None   None   None    None           None   None   None  ...     None   None              None                  None   None   None   None
343     None   None   None    None           None   None   None  ...     None   None              None                  None   None   None   None
344     None   None   None    None           None   None   None  ...     None   None              None                  None   None   None   None
345     None   None   None    None           None   None   None  ...     None   None              None                  None   None   None   None
346     None   None   None    None           None   None   None  ...     None   None              None                  None   None   None   None
347     None   None   None    None           None   None   None  ...     None   None              None                  None   None   None   None

[348 rows x 113845 columns]

In [204]: r.columns
Out[204]:
Int64Index([     3,      7,      8,     11,     13,     15,     16,     18,     20,     21,
            ...
            227677, 227679, 227680, 227681, 227682, 227683, 227684, 227686, 227689, 227690],
           dtype='int64', name='Id', length=113845)

In [205]: r.shape
Out[205]: (348, 113845)
5
  • Глупо было с моей стороны не подумать о том, что давно уже существует готовый метод, я пытался велосипед изобрести) Как думаете данные в таком виде я могу подавать на вход например этому методу: def moving_average(series, n): return np.average(series[-n:]) moving_average(dataset.CURRENT_COLUMN, Interval)
    – bashrc
    17 дек 2018 в 8:30
  • 1
    @StenFord, нет, у вас та же проблема, что и раньше - встречаются слишком большие числа, которые "вываливаются" за область определения np.int64, поэтому все столбцы имеют тип object (строки) и преобразовать их в целые числа не получится. Единственное что приходит в голову это обрабатывать эти данные также как обрабатывают текст - преобразовывать каждое уникальное число (строку) в соответствующее ему порядковое число. 17 дек 2018 в 8:41
  • Вообще я думал обрезать данные) Мне не приципиально именно такую задачу решать пока, я только учусь. Попытаться обрезать в столбцах оставить например только те значения < 100 000 или даже миллиарда. Инт64 с легкостью потянет, другое дело, что сумма может перевалить за инт64. Поэтому лучше поменьше)
    – bashrc
    17 дек 2018 в 8:47
  • 1
    @StenFord, это можно сделать. Максимально допустимое целое - приблизительно 10**19. Можно заменить все строки, длина которых больше 19 символов inf (бесконечность) и преобразовать типы данных всех столбцов в int64. Если хотите - можете сформулировать новый SO вопрос с небольшим примером входных и выходных данных - я попробую на него ответить вечером (когда будет свободное время) 17 дек 2018 в 8:52
  • Хорошо, спасибо) Я тоже только вечером часов в 7 по мск появлюсь дома)
    – bashrc
    17 дек 2018 в 8:54

Ваш ответ

By clicking “Отправить ответ”, you agree to our terms of service and acknowledge you have read our privacy policy.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.