0

Имеется код

all_df = []
ind_join_df = []
for i in range(len(pdfs)-1):
    if list(pdfs[i].columns) == list(pdfs[i+1].columns):
        main_df = pd.concat([pdfs[i], pdfs[i+1]], ignore_index=True)
        all_df.append(main_df)
        ind_join_df.extend([i, i+1])
    else:
        if i not in ind_join_df:
            all_df.append(pdfs[i])

Проходит по списку датафреймов, который был получен из pdf-файла. Датафреймы разделены по страницам, то есть если какая-то таблица располагается на 2 и более страницах, то каждая страница будет представлять собой отдельный датафрейм. Мне необходимо объединить датафреймы, которые представляют собой одну таблицу, и я написала решение, заключающееся в сравнении названий столбцов у двух соседних датафреймов. Он работает правильно, но как его изменить, чтобы он сравнивал датафреймы до тех пор, пока названия столбцов не будут разными? то есть для таблиц, размещенных на более чем 2 страницах

В итоге должен получиться список, включающий маленькие таблички (которые не участвуют в объединении) и сами объединенные датафреймы. Для этого я создавала список индексов объединенных датафреймов и если новый датафрейм не удовлетворял условию, его индекс проверялся по этому списку.

1 ответ 1

1

Как-то мудрено у вас все. Если я правильно сообразил, что нужно, то советовал бы сделать как-то так: сначала получить список всех колонок всех датафреймов, потом отсортировать их, а затем сгруппировать. а группы уже конкатенировать. что-то вроде такого:

import pandas as pd
import itertools

df1 = pd.DataFrame({"a":[1], "b":[2]})
df2 = pd.DataFrame({"a":[1], "b":[2]})
df22 = pd.DataFrame({"a":[1], "b":[2], "c":[3]})
df3 = pd.DataFrame({"a":[1], "c":[2]})
df4 = pd.DataFrame({"a":[1], "b":[2]})
df5 = pd.DataFrame({"w":[1], "b":[2]})
df6 = pd.DataFrame({"a":[1], "c":[2]})
dfs = [df1, df2, df22, df3, df4, df5, df6]

cols =dict(enumerate([tuple(x.columns) for x in dfs]))
batches = dict(sorted(cols.items(), key=lambda item: item[1]))
res = itertools.groupby(batches.items(), key=lambda item: item[1])
for _, g in res:
    r = pd.concat([dfs[x[0]] for x in g])
    print(r) # r - конкатенированная группа. можете вместо принта делать с ней то, 
    # что хотите

результат - 4 датафрейма:

   a  b
0  1  2
0  1  2
0  1  2
   a  b  c
0  1  2  3
   a  c
0  1  2
0  1  2
   w  b
0  1  2
3
  • суть в том, что нужно объединять таблицы с одинаковыми столбцами, которые идут последовательно друг за другом. потому что названия столбцов могут повторяться среди множества датафреймов, которые не представляют собой единую таблицу. Commented 10 янв. 2023 в 14:57
  • в таком случае вам нужно просто исключить шаг с сортировкой и сделать просто res = itertools.groupby(cols.items(), key=lambda item: item[1])
    – strawdog
    Commented 10 янв. 2023 в 19:27
  • Однострочник out = [pd.concat(g) for _, g in itertools.groupby(lst, key=lambda x: tuple(x.columns))] Commented 11 янв. 2023 в 7:35

Ваш ответ

Нажимая «Отправить ответ», вы соглашаетесь с условиями пользования и подтверждаете, что прочитали политику конфиденциальности.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.