0

Как реализовать поиск по 100+ базам, разом?

with io.open('file.txt', encoding='utf-8') as file:
    for line in file:
        if text in line:
            print(line)
with io.open('file2.txt', encoding='utf-8') as file:
    for line in file:
        if text in line:
            print(line)

Все файлы весят около мегабайта, я не смог кинуть код с асинхронкой, т.к его удалил(

7
  • 2
    непонятно, мы должны восстановить удалённый вами код?
    – splash58
    Commented 5 сент. 2022 в 12:30
  • 1
    что означает "разом" в этом контексте? Commented 5 сент. 2022 в 13:02
  • Возможно для базы лучше использовать sqlite3? он быстрее, удобней и имеет больше возможностей
    – user451780
    Commented 7 сент. 2022 в 11:46
  • Если файлы такие маленькие, то у вас код и так моментально отработает, даже если обычный последовательный код в цикле сделать.
    – CrazyElf
    Commented 7 сент. 2022 в 12:57
  • пробовал, но доходит до 75 файла за минут 15
    – Иван
    Commented 9 сент. 2022 в 8:15

1 ответ 1

1

Если речь идет о базе данных, то лучше читать специальными библиотеками. Можно создать сколько нужно коннекторов к БД и читать из каждой базы в отдельном потоке, для синхронного варианта. Для асинхронного варианта можно использовать asyncio.gather или Tasks.

Если же все-таки нужно читать файлы то в этой задаче отлично подходит чтение в разных потоках или процессах.

from concurrent.futures import ThreadPoolExecutor
from pathlib import Path

def read_file(filename: str | Path) -> dict[str, list[str]]:
    res = res
    with open(filename) as file:
        res.append(file.read())
    return {filename: res}



def read_all(path: str | Path, max_workers: int = 100, find_template = '**/*'):
    files = Path(path).rglob(find_template)
    with ThreadPoolExecutor(max_workers=max_workers) as executor:
        res =  executor.map(read_file, files)
    return res

Такой подходи отлично работает в синхронном контексте. Если программа асинхронная, то следует посмотреть на использование тасков и асинхронных либ для чтения. Так же как вариант можно использовать loop.run_in_executor если чтение не асинхронное.

Ваш ответ

Нажимая «Отправить ответ», вы соглашаетесь с условиями пользования и подтверждаете, что прочитали политику конфиденциальности.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.