0

Есть порядка 80000 ссылок записаных в базу, с товаром.Я в цикле перехожу по каждой ссылки и считываю полученные данные и выбираю, характеристики нужные мне по товару. На это уходит очень много времени.

Как мне реализовать простую многопоточную схему по извлечению информации? Искал в интернете и мало чего нашел.

1 ответ 1

4

попробуйте Pool

from multiprocessing import Pool

def get_page(link):
    ....

links = ("link1", "link2".....)
pool = Pool()
pool.map(get_page, links)
pool.close()
pool.join()
3
  • 1
    Можно использовать потоки вместо процессов для IO задач. Вместо pool.close(), лучше with ThreadPool() as pool: на случай выброса исключения. pool.join() здесь не нужен. Для 80_000 ссылок, стоит imap_unordered() вызывать и ошибки записывать.. Может быть удобней concurrent.futures использовать, если повторно неудавшиеся ссылки в пул отсылать (submit(), as_completed()).
    – jfs
    1 дек 2016 в 16:43
  • т.е. вместо multiprocessing надо multiprocessing.dummy. 2 дек 2016 в 7:55
  • Верно. Или явно ThreadPool (это одно и то же)
    – jfs
    2 дек 2016 в 7:56

Ваш ответ

Нажимая на кнопку «Отправить ответ», вы соглашаетесь с нашими условиями использования и подтверждаете, что прочитали и поняли наши политику конфиденциальности и нормы поведения.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.