Если речь идет о базе данных, то лучше читать специальными библиотеками. Можно создать сколько нужно коннекторов к БД и читать из каждой базы в отдельном потоке, для синхронного варианта. Для асинхронного варианта можно использовать asyncio.gather или Tasks.
Если же все-таки нужно читать файлы то в этой задаче отлично подходит чтение в разных потоках или процессах.
from concurrent.futures import ThreadPoolExecutor
from pathlib import Path
def read_file(filename: str | Path) -> dict[str, list[str]]:
res = res
with open(filename) as file:
res.append(file.read())
return {filename: res}
def read_all(path: str | Path, max_workers: int = 100, find_template = '**/*'):
files = Path(path).rglob(find_template)
with ThreadPoolExecutor(max_workers=max_workers) as executor:
res = executor.map(read_file, files)
return res
Такой подходи отлично работает в синхронном контексте. Если программа асинхронная, то следует посмотреть на использование тасков и асинхронных либ для чтения. Так же как вариант можно использовать loop.run_in_executor если чтение не асинхронное.