1

Для работы в Python с Excel использую библиотеку openpyxl.

С помощью кода приведенного ниже считываю xlsx файл, который содержит около 100 тысяч строк.

from openpyxl import load_workbook
wb_n = load_workbook(filename="FULL.xlsx", read_only=True)
ws_n = wb_n["Sheet1"]

Потом я пытаюсь вернуть значения ячейки ws_n['A1'].value. Проблема состоит с следующем:

  • Время получения значения ячейки A1 = 7 ms
  • Время получения значения ячейки A100 = 136 ms
  • Время получения значения ячейки A1000 = 12.4 ms

Можно заметить, что чем дальше ячейка, тем больше время получения значения и цвета ячейки. Импортировать данные через DataFrame нельзя, т.к. мне необходимо возвращать цвет ячейки.

Есть какой-нибудь способ возвращать свойства ячейки быстрее, может разумно использовать другую библиотеку?

3
  • 1
    Вам необходимо читать все столбцы или один-два? Какие действия вы планируете делать с прочитанными данными? Чем более широко описана задача тем больше вероятность получить более адекватный и подходящий для вас ответ. 22 фев 2020 в 9:46
  • Я планирую в один файл excel добавить данные по ID из другого excel файла. Что-то вроде команды ВПР в Excel. Соответствие строк я установил с помощью merge, преобразовав данные в df. Но df не хранит цвета, поэтому, после установления соответствия, я обращаюсь к excel и добавляю данные из одного в другой. Надеюсь понятно написал 22 фев 2020 в 10:31
  • Вас интересует цвет шрифта или цвет фона? Предлагаю в исходном Excel файле добавить столбец с информацией о цвете. Pandas умеет при сохранении фрейма в Excel раскрашивать ячейки по условию - pandas style 22 фев 2020 в 11:40

2 ответа 2

1

Можете попробовать считывать лист Excel частями с помощью библиотеки xlrd. Но я не уверен, что это даст требуемый результат.

import xlrd
wb = xlrd.open_workbook('Путь к файлу.xlsx')
sh = wb.sheet_by_index(0) #лист из книги excel по индексу
#sh = wb.sheet_by_name('name') #лист из книги excel по имени

limit = sh.nrows #количество строк в листе excel

counter = 0 #счётчик

while (counter + 5000) < limit:
    for i in range(counter, counter + 5000):

        x = sh.row_values(i) #кортеж значений строки, для ячейки - sh.cell_value(row, cell)

    counter += 5000

else:
    for i in range(counter, limit):

        x = sh.row_values(i)

Ссылка на способ получения цветов: https://stackoverflow.com/questions/7991209/identifying-excel-sheet-cell-color-code-using-xlrd-package

2
0

Задачу по считыванию excel файла решил следующим образом:

from openpyxl import load_workbook
wb_n = load_workbook(filename="FULL.xlsx", keep_links=False)
ws_n = wb_n["Sheet1"]

Параметр keep_links=False не сохраняет ссылку на внешнюю книгу, т.е. все данные загружает в "память".

Скорость получения значений ячейки сильно возросла.

  1. Время получения значения ячейки A1 = 0 ms
  2. Время получения значения ячейки A1000 = 0 ms
  3. Время получения значения ячейки A70000 = 0.1 ms

Цена этому скорость загрузки файла функцией load_workbook, теперь данные из 10 тыс. строк импортируется около 20 минут.

Ваш ответ

By clicking “Отправить ответ”, you agree to our terms of service and acknowledge that you have read and understand our privacy policy and code of conduct.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.