2

Помогите, пожалуйста, новичку разобраться

Дали задание: Дана страница (в нашем случае википедия), нужно ее распарсить и извлечь все ссылки, затем перейти по собранным ссылкам и извлечь все ссылки уже из них. Посоветовали использовать рекурсию, глубина рекурсии 3. В итоге нужно из всех собранных ссылок выбрать '.png' и записать в файл. Я смогла только с 1 страницы все собрать и отсортировать, ни с рекурсией, ни с циклом не выходит. Постоянно получаю либо ConnectionError, либо MemoryError. Понимаю, что нужно вводить try/except, но уже полностью запуталась. Свой код с ошибками прилагаю)

Заранее благодарю!

from bs4 import BeautifulSoup, SoupStrainer
import requests

class Links:
    def get_urls(self, level: int) -> []:
        urls = []
        try:
            links_1 = []
            start_link = "https://ru.wikipedia.org/"
            links_1.append(start_link)
            for i in links_1:
                response = requests.get(i)
                soup = BeautifulSoup(response.content, "html.parser", parse_only=SoupStrainer(['a', 'img']))
                full_list = [link['href'] for link in soup if link.get('href')] + [img['src'] for img in soup if img.get('src')]
                full_list = list(set(full_list))
                for url in full_list:
                    if not url.startswith('https:/'):
                        if url.startswith('/'):
                            if url.find('.org') == -1:
                                url = start_link + url[1:]
                                full_list.append(url)
                            elif url.find('.org'):
                                url = 'https:' + url
                                full_list.append(url)
                        elif url.startswith('//'):
                            url = start_link + url[2:]
                            full_list.append(url)
                        else:
                            pass
                    elif url.startswith('https:/'):
                        full_list.append(url)
                        urls.append(full_list)
                self.get_urls(level - 1)
                links_1 = full_list
                links_1 = list(set(links_1))
                return links_1
        except MemoryError as e:
            print(e)

        return urls


links = Links()
list_links = links.get_urls(level=3)
#with open('text.txt', 'w') as f:
#    for x in list_links:
#        if x.endswith('.png'):
#            f.write('%s\n' % x)

1 ответ 1

2
from bs4 import BeautifulSoup, SoupStrainer
import requests

url = "https://ru.wikipedia.org/"

response = requests.get(url)

soup = BeautifulSoup(response.content, 'html.parser', parse_only=SoupStrainer('a'))

# все ссылки
links = [link['href'] for link in soup if link.has_attr('href')]

# из всех собранных ссылок выбрать '.png' 
print( [ link for link in links if '.png' in link] )
# ['/wiki/%D0%A4%D0%B0%D0%B9%D0%BB:%D0%93%D0%BE%D1%80%D0%BE%D0%B4.png']

Ваш ответ

By clicking “Отправить ответ”, you agree to our terms of service and acknowledge you have read our privacy policy.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.