Хочу получить Sequence. Получаю вообще такое. Откуда берется Id. Я не очень хорошо понимаю. Задача - получить Sequence в виде строки, разбить на массив и перевести в цифры. Тип dftrain.Sequence - object
-
можете привести пример нескольких строк вашего CSV в виде текста или выложить CSV на какой-нибудь файлообменник? Данные в виде картинок использовать не получится! – MaxU 10 дек '18 в 21:42
-
Как наиболее эффективно задать вопрос, связанный с обработкой и/или анализом данных (например: по Pandas / Numpy / SciPy / SciKit Learn / SQL)? – MaxU 10 дек '18 в 21:43
-
Да. Вот dropmefiles.com/xG3EL – Sten Ford 10 дек '18 в 21:45
1 ответ
сначала разобъем CSV строки в матрицу:
In [191]: df = pd.read_csv(r'C:\download\IntegerSeqTrain.csv', index_col='Id')
In [192]: r = df.Sequence.str.split(',', expand=True)
In [193]: r
Out[193]:
0 1 2 3 4 5 6 ... 341 342 343 344 345 346 347
Id ...
3 1 3 13 87 1053 28576 2141733 ... None None None None None None None
7 1 2 1 5 5 1 11 ... None None None None None None None
8 1 2 4 5 8 10 16 ... None None None None None None None
11 1 8 25 83 274 2275 132224 ... None None None None None None None
13 1 111 12211 1343211 147753211 16252853211 1787813853211 ... None None None None None None None
15 1 1 1 1 1 1 1 ... None None None None None None None
16 840 1320 1680 2520 3192 3432 4920 ... None None None None None None None
... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ...
227681 7 7 3 2 3 9 5 ... None None None None None None None
227682 1 0 1 0 0 0 0 ... None None None None None None None
227683 0 0 4 1198 1829388 23796035743 2142967506078650 ... None None None None None None None
227684 0 -1 -1 -1 -1 10324303 -6586524273069171148 ... None None None None None None None
227686 0 1 9 85 801 7549 71145 ... None None None None None None None
227689 2 3 3 4 6 4 5 ... None None None None None None None
227690 5 7 179 229 439 557 6113 ... None None None None None None None
[113845 rows x 348 columns]
у вас встречаются целые числа, состоящие из 285 цифр, поэтому преобразовать такие строки в числа не получится:
In [184]: r.applymap(lambda x: len(x) if x else 0).max()
Out[184]:
0 128
1 144
2 271
3 254
4 285
5 189
6 215
...
341 1
342 1
343 1
344 2
345 2
346 1
347 1
Length: 348, dtype: int64
In [185]: r.applymap(lambda x: len(x) if x else 0).max().max()
Out[185]: 285
максимальное беззнаковое целое для Numpy/Pandas:
In [194]: np.iinfo(np.uint64)
Out[194]: iinfo(min=0, max=18446744073709551615, dtype=uint64)
-
А каким образом тогда можно обучить временной ряд. Например самый простой метод: наивный алгоритм. В качестве тек. момента времени выступают индексы массива, но сами числа должны быть в массиве как я понимаю – Sten Ford 10 дек '18 в 22:02
-
@StenFord, попробуйте задать отдельный SO вопрос с небольшим, но воспроизводимым примером даных и примером того, что вы хотите получить на выходе... – MaxU 10 дек '18 в 22:07
-
Есть данные, с которыми вы уже ознакомились. Сама задача - обучить систему угадывать следующее число в последовательности. Я пользуюсь habr.com/company/ods/blog/327242. Необходимо реализовать алгоритмы, скользящее усреднение, линейная регрессия и.т.д. Мне нужно данные привести в такой вид, чтобы я мог скормить функциями. Как я понимаю - преобразовать в массив, индексы массива - в качестве промежутка времени – Sten Ford 10 дек '18 в 22:12
-
@StenFord, советую изучить "Как задать хороший вопрос?", "Как создать минимальный, самодостаточный и воспроизводимый пример?" и задавать вопросы соответственно. ;) – MaxU 10 дек '18 в 22:28
-
Ладно, в следующий раз учту) Спасибо за помощь, одну проблему решили + 200 сверху:D – Sten Ford 10 дек '18 в 22:30