1

Есть pandas DF, содержащий записи о людях. Проблема заключается в том, что есть строки, которые совпадают почти полностью и нужно их объединить в одну строку так, как показано на примере ниже. (Столбец, по которому записи не совпадают, ОДИН).

Подскажите, пожалуйста, эффективный способ (не перебором) объединить записи об одном человеке в одну запись, при этом по не совпадающему полю взять сумму значений.


Пример данных:

Иванов И.И | 30 | M | 16 |

Иванов И.И | 30 | M | 18 |

Нужно получить:

Иванов И.И | 30 | M | 34 |


Нужно простенькое решение, которое сработает на DF в тысяч сто записей. Спасибо.

3
  • 1
    Добавте в вопрос код и пример данных.
    – 0xdb
    14 авг 2017 в 10:49
  • Посмотри этот тред. 14 авг 2017 в 11:20
  • Вы знаете заранее имя столбца по которому записи не совпадают? Можете привести пример ваших данных, например вывод print(df.head())? 14 авг 2017 в 11:41

1 ответ 1

1

Пример:

In [68]: df
Out[68]:
    name  id sex  val
0  Name1  30   M   16
1  Name2  31   F   21
2  Name1  30   M   18
3  Name2  31   F   22
4  Name3  33   M   11

In [69]: col = 'val'

In [70]: df.groupby(df.columns.drop(col).tolist(), as_index=False).sum()
Out[70]:
    name  id sex  val
0  Name1  30   M   34
1  Name2  31   F   43
2  Name3  33   M   11

Замер времени выполнения для DF с 500.000 строк:

In [79]: df = pd.concat([df] * 10**5, ignore_index=True)

In [80]: df.shape
Out[80]: (500000, 4)

In [81]: pd.options.display.max_rows = 10

In [82]: df
Out[82]:
         name  id sex  val
0       Name1  30   M   16
1       Name2  31   F   21
2       Name1  30   M   18
3       Name2  31   F   22
4       Name3  33   M   11
...       ...  ..  ..  ...
499995  Name1  30   M   16
499996  Name2  31   F   21
499997  Name1  30   M   18
499998  Name2  31   F   22
499999  Name3  33   M   11

[500000 rows x 4 columns]

In [83]: %timeit df.groupby(df.columns.drop(col).tolist(), as_index=False).sum()
10 loops, best of 3: 66.3 ms per loop

Ваш ответ

Нажимая на кнопку «Отправить ответ», вы соглашаетесь с нашими пользовательским соглашением, политикой конфиденциальности и политикой о куки

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.