3

Есть задача, собрать из нескольких файлов Excel с разной структурой данных один фрейм с определенной структурой.

Пусть будет так:

Таблица-1:

A      B    C       D
Города  ФИО  Телефон Адрес
Москва  ААА  1111111 XXXXXXXX
Химки   ААБ  1111112 XXXXXXXZ
Лобня   ААВ  1111113 XXXXXXXY

Таблица-2:

A   B      C        D
ИМЯ Город  Phone    Почтовый индекс
БББ Рязань 22222222 00000000
ББВ Руза   22222223 00000001
ББГ Актау  22222224 00000002

Таблица-3:

A       B     C   D      E
Тел     Город ФИО Email  Дата
3333333 Оскол ВВВ [email protected] 23.05.2019
3333334 Орёл  ВВГ [email protected] 24.05.2019
3333335 Омск  ВВД [email protected] 25.05.2019

Во фрейм с такой структурой

Фрейм:

Tel     Name City   Email
1111111 ААА  Москва
1111112 ААБ  Химки  
1111113 ААВ  Лобня  
2222222 БББ  Рязань
2222223 ББВ  Руза
2222224 ББГ  Актау
3333333 ВВВ  Оскол  [email protected]
3333334 ВВГ  Орёл   [email protected]
3333335 ВВД  Омск   [email protected]

Использую:

df.columns = ['Tel', 'Name', 'City', 'Email']

df = pd.read_excel(path, header=0, usecols="A,B,C,D", encoding='utf8')

Естественно данные перемешиваются во фрейме, потому что в разных файлах разный порядок столбцов с данными.

Как в этом случае быть?

Курил мануалы по Pandas на русском, потом на английском, но или я что то пропустил, или этой инфы нет. Хотя я уверен что она есть.

Как читать данные из определенных столбцов файлов, и записывать их в определенный столбец фрейма. Да я знаю что usecols="A,B,C,D" это и есть указание какие стоблцы читать, но вопрос как упорядочить данные из столбцов?

3
  • я правильно понимаю что данные связаны позицией строки в Excel файле? Например первая строка данных во всех файлах относится к [email protected], вторая к другому конкретному пользователю и т.д.? 22 мая 2019 в 19:03
  • Нет, зависимостей строк нет. Мне просто нужно собрать из n-файлов данные из разных столбцов в один файл с нужной мне структурой(порядок столбцов). Проблема в том что я не могу собрать в один фрейм данные, так как порядок столбцов разный в разных файлах. 22 мая 2019 в 21:52
  • Вот Вы уже отвечали похоже на мой вопрос, только тут ru.stackoverflow.com/questions/845712/… наименования столбцов всегда одинаковые в файлах, порядок разный. А у меня наименования разные и количество и порядок столбцов разное. Изменил пример таблиц в коде тут для наглядности. 22 мая 2019 в 22:18

1 ответ 1

3

Предлагаю при чтении файлов нормализовать ("привести к общему знаменателю") наименования столбцов:

Например:

mapping = {
  "Телефон": "Tel",
  "Phone": "Tel",
  "Тел": "Tel",
  "ФИО": "Name",
  "ИМЯ": "Name",
  "Города": "City",
  "Город": "City",
}

d1 = pd.read_excel("file1.xlsx").rename(columns=mapping)
d2 = pd.read_excel("file2.xlsx").rename(columns=mapping)
...

Для переименования столбцов можно также воспользоваться регулярными выражениями

В итоге получатся следующие DataFrame's:

In [32]: d1
Out[32]:
     City Name      Tel     Адрес
0  Москва  ААА  1111111  XXXXXXXX
1   Химки  ААБ  1111112  XXXXXXXZ
2   Лобня  ААВ  1111113  XXXXXXXY

In [33]: d2
Out[33]:
  Name    City       Tel  Почтовый_индекс
0  БББ  Рязань  22222222                0
1  ББВ    Руза  22222223                1
2  ББГ   Актау  22222224                2

In [34]: d3
Out[34]:
       Tel   City Name   Email        Дата
0  3333333  Оскол  ВВВ  [email protected]  23.05.2019
1  3333334   Орёл  ВВГ  [email protected]  24.05.2019
2  3333335   Омск  ВВД  [email protected]  25.05.2019

Теперь их можно легко объединить и выбрать только интересующие нас столбцы:

In [35]: cols = ['Tel', 'Name', 'City', 'Email']

In [36]: res = pd.concat([df for df in [d1, d2, d3]], sort=False)[cols]

In [37]: res
Out[37]:
        Tel Name    City   Email
0   1111111  ААА  Москва     NaN
1   1111112  ААБ   Химки     NaN
2   1111113  ААВ   Лобня     NaN
0  22222222  БББ  Рязань     NaN
1  22222223  ББВ    Руза     NaN
2  22222224  ББГ   Актау     NaN
0   3333333  ВВВ   Оскол  [email protected]
1   3333334  ВВГ    Орёл  [email protected]
2   3333335  ВВД    Омск  [email protected]
5
  • Max, вы наверно не видели мой ответ на свой вопрос? Я решил написать ответом в продолжение) 23 мая 2019 в 21:08
  • @ЕвгенийДолбановский, если вам удобнее указывать позиции столбцов вместо переименования столбцов - указывайте позиции столбцов. Как объединить DataFrame'ы с различными столбцами я уже показал в своем ответе. По-моему я уже ответил на ваш вопрос... Если у вас возникают ошибки, то откройте новый вопрос и приведите в нем код, пример данных и полный error traceback, чтобы было понятно что за ошибка и когда она возникает... 23 мая 2019 в 21:14
  • Я пока комбинирую разные методы, ваш однозначно лучший! Теперь затык в другом, не могу соединить 2 датафрейма по загрузке файлов по кнопке. Не сохраняется информация в промежуточном фрейме. То есть по нажатии кнопки загружается первый файл, обрабатывается, функция заканчивается без return. По нажатии этой кнопки для выбора 2-го файла запускается та же функция, и получается что датафрейм обнуляется. Нужно через return передать результат в другую функцию к которой и делать .concat(). Я на верном пути, или нет? 24 мая 2019 в 19:14
  • @MaxU! а как копировать IPYTHON в stackowerflow? 25 мая 2019 в 11:04
  • 1
    @VasylKolomiets, не совсем понял вопрос... Вы имеете ввиду как парсить вывод в DataFrame или как запостить вывод на SO? 25 мая 2019 в 11:25

Ваш ответ

By clicking “Отправить ответ”, you agree to our terms of service and acknowledge that you have read and understand our privacy policy and code of conduct.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.