1

Есть pandas DF, содержащий записи о людях. Проблема заключается в том, что есть строки, которые совпадают почти полностью и нужно их объединить в одну строку так, как показано на примере ниже. (Столбец, по которому записи не совпадают, ОДИН).

Подскажите, пожалуйста, эффективный способ (не перебором) объединить записи об одном человеке в одну запись, при этом по не совпадающему полю взять сумму значений.


Пример данных:

Иванов И.И | 30 | M | 16 |

Иванов И.И | 30 | M | 18 |

Нужно получить:

Иванов И.И | 30 | M | 34 |


Нужно простенькое решение, которое сработает на DF в тысяч сто записей. Спасибо.

3
  • 1
    Добавте в вопрос код и пример данных.
    – 0xdb
    14 авг 2017 в 10:49
  • Посмотри этот тред. 14 авг 2017 в 11:20
  • Вы знаете заранее имя столбца по которому записи не совпадают? Можете привести пример ваших данных, например вывод print(df.head())? 14 авг 2017 в 11:41

1 ответ 1

1

Пример:

In [68]: df
Out[68]:
    name  id sex  val
0  Name1  30   M   16
1  Name2  31   F   21
2  Name1  30   M   18
3  Name2  31   F   22
4  Name3  33   M   11

In [69]: col = 'val'

In [70]: df.groupby(df.columns.drop(col).tolist(), as_index=False).sum()
Out[70]:
    name  id sex  val
0  Name1  30   M   34
1  Name2  31   F   43
2  Name3  33   M   11

Замер времени выполнения для DF с 500.000 строк:

In [79]: df = pd.concat([df] * 10**5, ignore_index=True)

In [80]: df.shape
Out[80]: (500000, 4)

In [81]: pd.options.display.max_rows = 10

In [82]: df
Out[82]:
         name  id sex  val
0       Name1  30   M   16
1       Name2  31   F   21
2       Name1  30   M   18
3       Name2  31   F   22
4       Name3  33   M   11
...       ...  ..  ..  ...
499995  Name1  30   M   16
499996  Name2  31   F   21
499997  Name1  30   M   18
499998  Name2  31   F   22
499999  Name3  33   M   11

[500000 rows x 4 columns]

In [83]: %timeit df.groupby(df.columns.drop(col).tolist(), as_index=False).sum()
10 loops, best of 3: 66.3 ms per loop

Ваш ответ

By clicking “Отправить ответ”, you agree to our terms of service and acknowledge that you have read and understand our privacy policy and code of conduct.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.