0

Необходимо удалить весь JS-код из кода страницы. Теги html уже удалил, теперь необходимо сделать это с JS кодом, чтобы в итоге у меня остался только текст. Код, который у меня есть:

# получаем html код страницы
request = requests.get(url)
# парсим его с помощью BeautifulSoup
soup = BeautifulSoup(request.content, 'lxml')

#Удаляем html-теги и выводим
textFromPage = soup.text
print(re.sub("<.*?>","", textFromPage))

Какие есть способы это сделать? Или может сразу можно обойти этот этап, просто вытащив текст из тегов?

3
  • Лучше это делать через сами BeautifulSoup и lxml, а не регулярки. lxml умеет и удалять теги, и удалять атрибуты, и даже просто вытаскивать текст из тегов; можно почитать про это в документации и на английском SO
    – andreymal
    20 сен 2017 в 7:09
  • Сколько я искал, я нашёл только разбор для известных конкретных тегов. А мне нужен универсальный краулер, на одном сайте текст есть внутри тегов <snap> или <a>, на других внутри <h2>. Теги разные, как мне сразу все охватить? 20 сен 2017 в 12:05
  • Не понял проблемы, для получения текста в lxml есть метод text_content, и ему глубоко наплевать какие теги используются
    – andreymal
    20 сен 2017 в 12:08

1 ответ 1

0

Можно весь html - код преобразовать в массив и с помощью цикла найти теги script,/script,узнать их расположение в массиве. Потом с помощью срезов удалить, что требуется. (Но это не эффективно)

Ваш ответ

By clicking “Отправить ответ”, you agree to our terms of service and acknowledge you have read our privacy policy.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.