3

Хола, мне нужно проверить большой файл .csv и заменить, и проклассифицировать в нем один столбец dataframe['value']. Вот мои код, но он работает медленно. Есть ли более лучшее решение?

Это мой код но он работает медленно:

def encoder():
    classes={}
    a=dataframe['value']
    c=-1
    for i in a:
        if i not in classes:
            print(i)
            c=c+1
            classes[i]=c
    for i in range(len(a)):
        print(i)
        dataframe['value'][i]=classes[a[i]]

Есть ли более лучше оптимизированное решение? которое работает быстрее?

Вот часть данных:

subject_id  hadm_id seq_num icd9_code   icustay_id  value   valueuom
    18557   183341  4   42731   228376.0    Tracheostomy    0
    18557   178725  4   42731   228376.0    Tracheostomy    0
    18557   173656  5   42731   228376.0    Tracheostomy    0
    18557   138883  10  42731   228376.0    Tracheostomy    0
    18557   183341  4   42731   228376.0    30  0
    18557   178725  4   42731   228376.0    30  0
    18557   173656  5   42731   228376.0    30  0
    18557   138883  10  42731   228376.0    30  0
    18557   183341  4   42731   228376.0    2 Person Assist 0
    18557   178725  4   42731   228376.0    2 Person Assist 0
    18557   173656  5   42731   228376.0    2 Person Assist 0
    18557   138883  10  42731   228376.0    2 Person Assist 0
    18557   183341  4   42731   228376.0    Calm    0
    18557   178725  4   42731   228376.0    Calm    0
    18557   173656  5   42731   228376.0    Calm    0
    18557   138883  10  42731   228376.0    Calm    0
    18557   183341  4   42731   228376.0    Present 0
    18557   178725  4   42731   228376.0    Present 0
    18557   173656  5   42731   228376.0    Present 0
    18557   138883  10  42731   228376.0    Present 0
1
  • 2
    Вы не могли бы подробнее описать, что нужно сделать со значением? Уверен, ваш код можно сделать быстрее, поскольку вы вообще не используете встроенные методы pandas, и датафрейм у вас просто хранилище данных.
    – strawdog
    26 дек 2019 в 18:22

1 ответ 1

2

Пример исходного DataFrame:

In [72]: df
Out[72]:
  name  val
0  xxx    9
1  aaa   11
2  bbb   12
3  aaa   15
4  ccc   10
5  yyy   15
6  bbb   19

для того, чтобы закодировать строковые значения в числовые (0, 1, 2, ..., N) можно воспользоваться одним из следующих методом:

categorical dtype:

In [73]: df["name"] = df["name"].astype("category")

In [74]: df
Out[74]:
  name  val
0  xxx    9
1  aaa   11
2  bbb   12
3  aaa   15
4  ccc   10
5  yyy   15
6  bbb   19

In [75]: df.dtypes
Out[75]:
name    category
val        int64
dtype: object

In [76]: df["name"].cat.categories
Out[76]: Index(['aaa', 'bbb', 'ccc', 'xxx', 'yyy'], dtype='object')

чтобы использовать закодированные числовые значения можно воспользоваться атрибутом Series.cat.codes:

In [77]: df["name"].cat.codes
Out[77]:
0    3
1    0
2    1
3    0
4    2
5    4
6    1
dtype: int8

pd.factorize():

In [79]: codes, cats = pd.factorize(df["name"])

In [80]: codes
Out[80]: array([0, 1, 2, 1, 3, 4, 2], dtype=int64)

In [81]: cats
Out[81]: Index(['xxx', 'aaa', 'bbb', 'ccc', 'yyy'], dtype='object')

In [82]: codes, cats = pd.factorize(df["name"], sort=True)

In [83]: cats
Out[83]: Index(['aaa', 'bbb', 'ccc', 'xxx', 'yyy'], dtype='object')

In [84]: codes
Out[84]: array([3, 0, 1, 0, 2, 4, 1], dtype=int64)

sklearn.preprocessing.OrdinalEncoder:

In [89]: from sklearn.preprocessing import OrdinalEncoder

In [90]: oe = OrdinalEncoder(dtype="int")

In [91]: df["name_encoded"] = oe.fit_transform(df[["name"]])

In [92]: df
Out[92]:
  name  val  name_encoded
0  xxx    9             3
1  aaa   11             0
2  bbb   12             1
3  aaa   15             0
4  ccc   10             2
5  yyy   15             4
6  bbb   19             1
2
  • а если хочется превратить содержимое столбца в значения специализированного типа pandas - забыл как он там называется. что то типа наборов.. (( . Ну чтоб результат соответствовал тому коду, что привел автор? 27 дек 2019 в 9:05
  • 1
    @VasylKolomiets, дополнил ответ) 27 дек 2019 в 17:55

Ваш ответ

By clicking “Отправить ответ”, you agree to our terms of service and acknowledge you have read our privacy policy.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.