У меня есть список urls. Список состоит из нескольких сотен urls. Каждый из urls относится к отдельной странице со своей структурой, соответственно структура страниц по каждому из urls разная.
Я хочу написать алгоритм, который будет идти по списку страниц, витаскивать текстовую информацию со страницы и сохранять в какой-то файл. При чем, я не хочу, чтобы в файл сохранялись хедеры сайтов, футеры и другая вспомогательная информация.
Вот примеры url-ов:
- https://www.envistacom.com/envistacom-celebrates-veterans-stories-in-partnership-with-atlanta-united
- https://www.businesswire.com/news/home/20180723005001/en/AKM-Has-Developed-Ultra-Low-Power-Step-up-DC-DC-Converter-in-Sensing-Technology
- https://www.blujaysolutions.com/blujay-helps-freight-forwarders-accelerate-digital-transformation-with-21-0-software-releases/
Проблема в том, что структура страниц разная и я не знаю, как извлечь текстовую информацию со страниц с разной структурой. Если бы структура страниц была одинаковой, решить задачу было бы просто, скажем с помощью Beautiful-soup.
Можно ли создать алгоритм, который будет извлекать информацию со страниц с разной структурой?
Какие библиотеки для этого можно использовать?