Нужно написать паука, который бы доставал ссылки со страницы и парсил их. Так-как обычная рекурсивная версия работает не достаточно быстро, решил использовать ThreadPoolExecutor.
Есть функция:
def start(self):
if self.concurrent_mode_workers > 0:
print("Start concurrent spider")
self.__executor = ThreadPoolExecutor(max_workers=self.concurrent_mode_workers)
self._concurrent_spider(self.base_uri)
self.__executor.shutdown(wait=True)
Создается объект Executor-а и вызывается рекурсивная функция:
@lru_cache(maxsize=None)
def _concurrent_spider(self, uri: str, depth: int = 0):
if depth <= self.depth:
sel_crawler = self.sel_crawler.__class__(self.sel_crawler.scr)
sel_crawler.base_auth(config.LOGIN, config.PASSWORD, self.base_uri)
if dom := sel_crawler.get_dom(uri):
soup = BeautifulSoup(dom, "lxml")
dom_links = self._get_dom_links(soup)
current_date = str(datetime.datetime.now().isoformat())
self._parsed_uris[uri] = {
...
}
for dom_link, label in dom_links:
if dom_link in self._parsed_uris:
self._parsed_uris[dom_link]["last_spider_at"] = current_date
else:
self.__executor.submit(self._concurrent_spider, dom_link, depth + 1)
Функция передает Executor-у вызов самой себя увеличивая глубину на единицу.
Проблема в том, что при такой реализации парсится только 50 ссылок, в то время, как обычная рекурсивная функция парсит больше при одинаковом depth
. При чем 50 ссылок парсится вне зависимости от переданного depth
.
Понятно, что проблема в рекурсии и желании использовать потоки. Хотелось бы понять, как заставить все это работать вместе.
self.depth
? – Roman Konoval 10 сен '20 в 17:16self._parsed_uris
из разных потоков. Если это обычный список, никак не синхронизированный, то тут потенциальная проблема с многопоточностью. А вообще трудно сказать. Пишите в лог, все ссылки, которые парсите, в одном и другом случае и сравнивайте, где различие. – Roman Konoval 10 сен '20 в 17:25self.__executor.shutdown(wait=True)
предотвратит добавление новых задач черезsubmit
, т.е. выполнятся только те, что уже успели встать в очередь. Я уверен в Питоне точно так же, косвенно это подтверждается твоим сообщением - первый вызов у тебя не через пул, ты парсишь первую страницу, создаёшь таски для найденных ссылок и потом закрываешь пул для добавления новых задач. – Alexander Pavlov 10 сен '20 в 17:49