0

Необходимо удалить весь JS-код из кода страницы. Теги html уже удалил, теперь необходимо сделать это с JS кодом, чтобы в итоге у меня остался только текст. Код, который у меня есть:

# получаем html код страницы
request = requests.get(url)
# парсим его с помощью BeautifulSoup
soup = BeautifulSoup(request.content, 'lxml')

#Удаляем html-теги и выводим
textFromPage = soup.text
print(re.sub("<.*?>","", textFromPage))

Какие есть способы это сделать? Или может сразу можно обойти этот этап, просто вытащив текст из тегов?

3
  • Лучше это делать через сами BeautifulSoup и lxml, а не регулярки. lxml умеет и удалять теги, и удалять атрибуты, и даже просто вытаскивать текст из тегов; можно почитать про это в документации и на английском SO
    – andreymal
    20 сен 2017 в 7:09
  • Сколько я искал, я нашёл только разбор для известных конкретных тегов. А мне нужен универсальный краулер, на одном сайте текст есть внутри тегов <snap> или <a>, на других внутри <h2>. Теги разные, как мне сразу все охватить? 20 сен 2017 в 12:05
  • Не понял проблемы, для получения текста в lxml есть метод text_content, и ему глубоко наплевать какие теги используются
    – andreymal
    20 сен 2017 в 12:08

1 ответ 1

0

Можно весь html - код преобразовать в массив и с помощью цикла найти теги script,/script,узнать их расположение в массиве. Потом с помощью срезов удалить, что требуется. (Но это не эффективно)

Ваш ответ

Нажимая на кнопку «Отправить ответ», вы соглашаетесь с нашими пользовательским соглашением, политикой конфиденциальности и политикой о куки

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.