2

Добрый день! Подскажите, пожалуйста, как правильно слить большие фреймы? У меня есть 3 датафрейма:

df:

<class 'pandas.core.frame.DataFrame'>
Int64Index: 3247237 entries, 0 to 3431773
Data columns (total 3 columns):
Name        object
Adress      object
Passport    object
dtypes: object(3)
memory usage: 99.1+ MB

df1:

<class 'pandas.core.frame.DataFrame'>
Int64Index: 2164087 entries, 0 to 3118499
Data columns (total 2 columns):
Name     object
SNILS    object
dtypes: object(2)
memory usage: 49.5+ MB

df2:

<class 'pandas.core.frame.DataFrame'>
Int64Index: 4922588 entries, 0 to 4937703
Data columns (total 2 columns):
Number    object
Name      object
dtypes: object(2)
memory usage: 112.7+ MB

Моя задача объединить все три фрейма в один по столбцу Name. При попытке использовать метод merge хотя бы для двух из них я получаю ошибку Memory Error:

merged = df1.merge(df2, on='Name')

MemoryError Traceback (most recent call last) in () ----> 1 merged = df1.merge(df2, on='Name')

4
  • Сколько же у вас памяти (RAM) если вы получаете MemoryError для таких маленьких DFs? 19 мая 2017 в 10:18
  • @MaxU, юзабельных 7,90 Гб 19 мая 2017 в 10:19
  • Очень странно! У вас весь стек софта 64-битный? 19 мая 2017 в 10:20
  • Операционка и Анаконда точно 64 бит. Я смотрю в процессах, у меня на Python уходит 3,5 Гб памяти 19 мая 2017 в 10:24

1 ответ 1

1

UPDATE: пример cartesian product:

In [25]: df
Out[25]:
    name addr
0  name1   a1
1  name1   a2
2  name2   a3
3  name3   a4
4  name3   a5
5  name4   a6

In [26]: df1
Out[26]:
    name  number
0  name1       1
1  name1       2
2  name1       3
3  name5       4

In [27]: df.merge(df1, on='name')
Out[27]:
    name addr  number
0  name1   a1       1
1  name1   a1       2
2  name1   a1       3
3  name1   a2       1
4  name1   a2       2
5  name1   a2       3

Можно попробовать так:

df['SNILS'] = df['Name'].map(df1.set_index('Name')['SNILS'])
df['Number'] = df['Name'].map(df2.set_index('Name')['Number'])

.map() - удобно использовать если нам нужно добавить только один столбец из другого DF

5
  • если я так делаю, то получаю ошибку "InvalidIndexError: Reindexing only valid with uniquely valued Index objects" 19 мая 2017 в 10:28
  • @DenisNovik, теперь понятно почему у вас MemoryError. Если у вас дублируются имена то merge возвращает декартово произведение (cartesian product`) 19 мая 2017 в 10:35
  • да, здесь идет объединение "многие ко многим". А если сделать append и удалить дубликаты по Name? 19 мая 2017 в 10:40
  • это можно, но что вы получите на выходе? Я не знаю как однозначно (правильно) склеить фреймы по столцу с дупликатами... :( 19 мая 2017 в 10:44
  • спасибо. Буду экспериментировать) 19 мая 2017 в 10:50

Ваш ответ

Нажимая на кнопку «Отправить ответ», вы соглашаетесь с нашими пользовательским соглашением, политикой конфиденциальности и политикой о куки

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.