0

помогите с таким вопросом. У меня есть некоторая функция, принимающая на вход индекс записи в БД. Эта функция достает запись из БД и обрабатывает её. Мне надо обработать все данные из базы, грубо говоря:

for i in range(10 ** 6):
    some_f(i)

Вопрос: как правильно реализовать это с помощью асинхронного программирования? Есть ли другой способ ускорить процесс?

Все данные не поместятся в память, а также индексы не обязательно будут идти по порядку, как в примере.

6
  • 1
    асинхронность поможет, если у вас сама функция может быть сделана асинхронной, т.е. она большую часть времени работы должна ожидать каких то внешних событий по сети, ответа из БД или из API какого нибудь с внешнего сервиса
    – Mike
    2 июн 2023 в 8:31
  • @Mike сама функция всего лишь вычисляет хеш, я очень долго жду ответа от БД. В базе у меня предложения. Сначала я хотел читать построчно текстовый файл, но понял что мне надо произвольный доступ к строкам этого файла. Первое что пришло на ум - создать базу
    – Max
    2 июн 2023 в 8:42
  • а зачем функция вычисляет хеш? она берет каждую запись, высичляет ее хеш и сравнивает с чем-то? не проще ли тогда писать хеш для каждой записи сразу в базу?
    – strawdog
    2 июн 2023 в 8:46
  • 1
    Для начала надо понять почему база долго выполняет запрос. Скорее всего у вас просто в БД не создан индекс по колонкам, по которым идет поиск в запросе
    – Mike
    2 июн 2023 в 11:00
  • 1
    Асинхрон вам позволит в параллель отправить несколько запросов в БД. но если у вас сама БД перегружена тяжелым запросом, то на 2 запроса, выполняемых скажем по 1 сек, если их выполнять одновременно она ответит на каждый за 1.5 сек, так что асинхрон и разделение запросов в параллель только ухудшит ситуацию
    – Mike
    2 июн 2023 в 11:03

1 ответ 1

1

Кажется, самый просто вариант в вашем случае - работать батчами. То есть, если все записи не помещаются в памяти, то доставать, например, по 10 000 записей за раз.

Асинхронность тут не особо поможет, т.к. если у вас памяти в каждый момент времени хватает только на обработку условных 10000 записей, то всё равно лучше доставать их из базы одной пачкой, чем асинхронно в 10000 отдельных запросов.

3
  • После хеширования мне надо сравнивать записи с произвольными индексами. Я ищу похожие записи на основе хеша, возможно придется сравнивать первую и последнюю запись в базе
    – Max
    2 июн 2023 в 9:03
  • В таком случае хотелось бы больше подробностей про то, как вы хотите обрабатывать записи после хеширования. В любом случае кажется, что делать миллион отдельных запросов - плохая затея. Неважно, с асинхронностью или без.
    – Xander
    2 июн 2023 в 12:36
  • 1
    Если, например. я правильно понял, что вы хотите как-то сравнивать между собой записи с одним хэшем, то вам стоит сначала в саму базу для каждой записи сохранить хэш (это вполне можно делать пачками), а потом выбирать запросами по хэшу все записи для некоторого диапазана хэшей, и уже на стороне приложения разбирать их на более мелкие порции с полностью одинаковыми хэшами.
    – Xander
    2 июн 2023 в 12:38

Ваш ответ

By clicking “Отправить ответ”, you agree to our terms of service and acknowledge you have read our privacy policy.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.