0

Есть 2 файла order_fix.txt и listdir.txt необходимо проверить каждую строку из файла listdir.txtпроверить на наличие такой же строки в order_fix.txt Написал такой скрипт:

end_list = open('end_list.txt','w')
listdir = open('listdir.txt')
order = open('order_fix.txt')

for line in listdir.readlines():
   if line in open('order_fix.txt').read():
       end_list.write(line) 

но он выполняется очень долго при ~2kk строк в файле listdir.txt больше 5ч. Есть какой то вариант что бы ускорить этот процесс?

1 ответ 1

2

Примерно как-то так:

end_list = open('end_list.txt','w')
listdir = open('listdir.txt')
order_set = set(open('order_fix.txt').readlines())

for line in listdir.readlines():
   if line in order_set:
       end_list.write(line)

У вас для каждой строки в listdir, вы заново вычитываете весь order_fix. Но чтение с диска - достаточно тяжёлая операция. Поэтому там, где возможно, нужно стараться вычитывать файл только один раз в оперативную память и работать с данными уже в памяти.

Кроме этого, поиск вхождения гораздо быстрее производится в set, чем в списке, поэтому если нужно много и активно искать по большому списку, лучше построить из него один раз set, и искать уже в нём.

PS: Напишите, пожалуйста, насколько быстрее мой код работает по сравнению с вашим, мне любопытно ))

UPD: Ещё не вижу в вашем коде, где у вас выполняется закрытие файлов. Вы его выполняете? Если нет, то файлы всегда стоит закрывать после того, как закончили работу с ними. А лучше вообще всюду, где это возможно, работать с файлами только при помощи менеджера контекста.

Ваш ответ

By clicking “Отправить ответ”, you agree to our terms of service and acknowledge that you have read and understand our privacy policy and code of conduct.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.