У меня есть список списков чисел в строковом выражении (после парсинга CSV файла). Надо оставить только списки, у которых первый элемент больше 0.
Делаю так:
data = filter(lambda record: int(record[0]) >= 0, src_data)
Все ок.
Поскольку дальше будет выборка чисел в NumPy массивы, то решил работать с NumPy массивами сразу, т.е. парсинг CSV файла сразу идет в NumPy массив и дальше работа только с такими данными.
Поэтому, для фильтрации использую следующий код:
data = src_data[np.array(src_data[:, 0], int) >= 0]
И вот тут выдает ошибку:
data = src_data[np.array(src_data[:, 0], int) >= 0]
OverflowError: Python int too large to convert to C long
Для меньшего размера массивов, все нормально, но если мне из массива нужно лишь какое-то небольшое кол-во элементов, то можно сделать так:
data = src_data[:32][np.array(src_data[:32, 0], int) >= 0]
И тоже все нормально.
Но можно ли через numpy сделать нормальную фильтрацию больших массивов или использовать только родной питоновский filter
?
P.S. из CSV сразу все не перевожу в тот же int
, потому что некоторые столбцы нужны как int
, другие как float
и т.д..
filter
и лишь потом перегоняю в numpy массив такой ошибки не возникаетnp.uint64
!