NOTE: судя по тому, что вы хотите писасть несколько листов Excel файла в единственный CSV файл, в решении я буду исходить из того, что во всех листах совпадают имена столбцов.
Пример функции, которая читает по кускам (размер куска управляется параметром chunksize
) все листы Excel файла и сохраняет результат в CSV файл:
import pandas as pd
def excel_to_csv(excel_fn, csv_fn, chunksize=1000, **to_csv_kw):
ef = pd.ExcelFile(excel_fn)
cols = ef.parse(nrows=10).columns
# write to CSV column names ONLY (we do it once!)
pd.DataFrame([], columns=cols).to_csv(csv_fn, index=False, **to_csv_kw)
for sheet in ef.sheet_names:
rows_read = 0
while True:
df = ef.parse(
sheet_name=sheet,
skiprows=1+rows_read,
nrows=chunksize,
header=None,
names=cols)
df.to_csv(csv_fn, index=False, header=None,
mode="a", **to_csv_kw)
rows_read += len(df)
if len(df) < chunksize:
break
Примеры вызова:
excel_to_csv(r"c:\download\file.xlsx", r"c:\temp\out.csv", chunksize=2000, sep=";")