1

Имею проблемы с "бутылочым горлышком" в виде скачивание данных из сети.введите сюда описание изображения Профилирование подтвердила теорию что проблема в загрузки данных. И т.к скачивать придется в любом случаи, предположил что мог бы оптимизировать код запустив несколько потоков которые бы скачивали HTML код страницы. Но я не совсем понимаю как это должно выгладить. T.к до этого не имел дело с этим.

class Crawler():
    """!
        @description Web + offline crawler book info
    """

    object_table_inspector = TableInspector(patch_to_file="prices_s2.xlsx")
    searth_by_post = InfoByPost()

    info_by_book = {
        "name_book": "",
        "number_of_pages_book": 0,
        "book_binding_type": "",
            "release_date_book": 0,
            "index_udc": "0",
            "index_bbk": "0",
        "publisher": "",
        "description": "",
            "author": [],
            "genre": [],
            "isbn": ""
    }
    books = [info_by_book]

    def start(self):
        num_books = len(self.object_table_inspector.other_description)
        for iterator in range(num_books):
            self.searth_by_post.info(self.object_table_inspector.url(iterator))
            self.info_by_book["name_book"] = self.object_table_inspector.name_book(iterator)
            self.info_by_book["number_of_pages_book"] = self.object_table_inspector.number_of_pages_book(iterator)
            self.info_by_book["book_binding_type"] = self.object_table_inspector.book_binding_type(iterator)
            self.info_by_book["release_date_book"] = self.object_table_inspector.release_date_book(iterator)
            self.info_by_book["index_udc"] = "0"
            self.info_by_book["index_bbk"] = "0"
            self.info_by_book["publisher"] = self.object_table_inspector.publisher_book(iterator)
            self.info_by_book["isbn"] = self.searth_by_post.isbn
            self.info_by_book["description"] = self.searth_by_post.description
            self.info_by_book["author"] = self.searth_by_post.author
            self.info_by_book["genre"] = self.searth_by_post.genre
            print(str(iterator) + " : " + str(range(num_books)))
            self.books.append(self.info_by_book)

if __name__ == '__main__':
    object_crawler = Crawler()
    cProfile.run(object_crawler.start())

Так выглядит класс который скачивает и вытаскивает нужные данные.

import requests
from bs4 import BeautifulSoup
import re

"""!
@package infobypost
"""


class InfoByPost:
    """!
    @brief Parser information about the post
    @brief Парсер информации о посте
    """

    isbn = None
    description = None
    author = None
    genre = None


    def __isbn(self, data):
        """!
        @brief Isbn Parser
        @brief Парсер isbn
        @param [in] str url
        @return str
        """
        soup = BeautifulSoup(''.join(data), 'html.parser')
        last_links = soup.find_all(string=re.compile(r"(\d\d\d-\d\d\d-\d\d-\d\d\d\d-\d|\d-\d\d\d\d\d-\d\d\d-(\d|\w))"))
        self.isbn = last_links

    def __description(self, data):
        """!
        @brief Description Parser
        @brief Парсер описание
        @param [in] str url
        @return str
        """
        soup = BeautifulSoup(''.join(data), 'html.parser')
        last_links = soup.find_all('span', itemprop="description")
        self.description = last_links[0].text

    def __author(self, data):
        """!
        @brief Parser author(s) of the book
        @brief Парсер автора(ов) книги
        @param [in] str url
        @return str
        """
        soup = BeautifulSoup(''.join(data), 'html.parser')
        last_links = soup.find('div', {"class": "p-10 author-block"})

        soup = BeautifulSoup(str(last_links), 'html.parser')
        last_links = soup.find_all('b', itemprop="name")
        list_autor = []
        for name_autor in last_links:
            list_autor.append(name_autor.text)
        self.author = list_autor

    def __genre(self, data):
        """!
        @brief Parser genre(s) of the book
        @brief Парсер жанров(ов) книги
        @param [in] str url
        @return str
        """
        soup = BeautifulSoup(''.join(data), 'html.parser')
        last_links = soup.find('div', {"class": "krohi"})

        soup = BeautifulSoup(str(last_links), 'html.parser')
        last_links = soup.find_all('span', {"property": "name"})
        list_autor = []
        for name_autor in last_links:
            list_autor.append(name_autor.text)
        self.genre = list_autor

    def info(self, url):
        """!
        @brief Compiling all information about the post
        @brief Компиляция всей информации об посте
        @param [in] str url
        @return str
        """
        rc = requests.get(url)
        data = rc.text
        self.__isbn(data)
        self.__description(data)
        self.__author(data)
        self.__genre(data)
3
  • Когда узкое место - это ввод/вывод, лучше подойдёт асинхронность. 29 дек 2018 в 18:05
  • Можно в потоках скачивать и парсить, пример: 1, 2
    – gil9red
    29 дек 2018 в 19:44
  • А через что вы тот граф нарисовали? Через gprof2dot? Выглядит интересно :) Кст, смотрели в сторону github.com/scrapy/scrapy?
    – gil9red
    29 дек 2018 в 19:58

0

Ваш ответ

By clicking “Отправить ответ”, you agree to our terms of service and acknowledge you have read our privacy policy.

Посмотрите другие вопросы с метками или задайте свой вопрос.