0

Какими методами можно оптимизировать парсер html страницы (1800 строк). Первое что пришло в голову это:

pattern = r"Link--primary.+(https?://.+)\"" # (регулярка работает если что)
preparse = # (тот самый html код)
for i in preparse.splitlines():
    i = i.rstrip()
    match = re.search(pattern, i)
    if match:
        print(match.group(1))

Но дело в том, что выполняется код 8-10 секунд. Есть предложения по ускорению работы?

БЕЗ bs4 ПОЖАЛУЙСТА)

11
  • БЕЗ bs4 ПОЖАЛУЙСТА - почему? 23 июл 2021 в 11:01
  • По своим причинам.
    – phony51
    23 июл 2021 в 11:03
  • 1
    Можно re.findall на текст без разделения на строки натравить. Или уже в re.compile уходить с поиском по нему. Пример html можно в студию? 23 июл 2021 в 11:23
  • 1
    У Вас код разбивает строки, убирает пробелы, потом в каждой строке ищет. Это в любом случае дороже одной операции. 23 июл 2021 в 12:24
  • 1
    Все в комплексе. Когда Вы это делает в цикле. Так вместо условно одной операции вы делаете N операций. См. мой ответ ниже с тестом времени на 1к итераций 23 июл 2021 в 12:33

1 ответ 1

3

Код замедляет куча лишних функций: разбиение строк, убирание пробелов и поиск по каждой строке. Последние два в цикле. Это все можно быстрее сделать, используя один раз регулярку по всему тексту.

import re
import time

html = '...'  # Взял текст по ссылке автора https://github.com/phony51/GitProfileParser/blob/main/github.html

def find_pat(html):
    m = []
    pattern = r"Link--primary.+(https?://.+)\"" # (регулярка работает если что)
    for i in html.splitlines():
        i = i.rstrip()
        match = re.search(pattern, i)
        if match:
            m.append(match.group(1))
    return m

s = time.time()
for _ in range(1000):
    pattern = re.compile("Link--primary.*\s*(https?://.*)\"")
    e = pattern.findall(html)
print(e, time.time() - s)

s = time.time()
for _ in range(1000):
    m = find_pat(html)
print(m, time.time() - s)

Результат:

['http://index.php'] 0.008782386779785156
['http://index.php'] 0.09662365913391113
4
  • лучший, ++rep )
    – phony51
    23 июл 2021 в 12:42
  • 1
    И Вам спасибо)) 23 июл 2021 в 12:50
  • Все работает, но все равно долго, а причина крылась в том, что я кожу на телефоне и на 4 ядерном проце.
    – phony51
    23 июл 2021 в 13:00
  • И ещё с плохим интернетом(вытаскивал html код через requests/)
    – phony51
    23 июл 2021 в 13:09

Ваш ответ

By clicking “Отправить ответ”, you agree to our terms of service and acknowledge that you have read and understand our privacy policy and code of conduct.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.