3

Нужно собрать ссылки со всего сайта в файл. Нашел вот это на этом сайте. Почему-то не работает (находит только одну ссылку). Писал автору - без ответа. Помогите исправить

import io
from urllib.request import urlopen
from bs4 import BeautifulSoup

pages_to_parse=['https://www.site.ru/']
parsed_pages=[]
site_links=[]

while pages_to_parse != []:
    current_page = pages_to_parse.pop()
    html_doc = urlopen('https://www.site.ru/').read()
    soup = BeautifulSoup(html_doc)

    # ищем div с нужным классом
    collect = soup.find('body')
    # в найденном div'е, ищем все ссылки (т.е. теги a).
    a_tags_on_page = collect.findAll('a')
    links_on_page = []
    for link in a_tags_on_page:
        links_on_page.append(link.get('href'))

    parsed_pages.append(current_page)
    for i in links_on_page:
        if i not in site_links:
            site_links.append(i)
        if i not in parsed_pages:
            pages_to_parse.append(i)
    links_on_page = []


f = io.open('parsed_data.htm', 'w', encoding='utf8')
i = 0
# запишем в файл
while i < len(site_links):
    f.write(""+str(i)+"<a href='"+str(site_links[i]).decode('utf-8')+"'></a><br/>")
    i = i+1
f.close()

Выдает вот такой лог:

C:/PycharmProjects/testby/ParserURL.py:16: UserWarning: No parser was explicitly specified, so I'm using the best available HTML parser for this system ("lxml"). This usually isn't a problem, but if you run this code on another system, or in a different virtual environment, it may use a different parser and behave differently.

The code that caused this warning is on line 16 of the file C:/PycharmProjects/testby/ParserURL.py. To get rid of this warning, pass the additional argument 'features="lxml"' to the BeautifulSoup constructor.

soup = BeautifulSoup(html_doc)
3
  • Так как вы не показали, что именно парсите, то я со всей уверенностью могу заявить, что на странице на самом деле ровно одна ссылка и с кодом никаких проблем нет
    – andreymal
    Commented 17 сент. 2018 в 7:18
  • Можно проще: 1) while pages_to_parse != []: -> while pages_to_parse: 2) while i < len(site_links): -> for i in range(len(site_links)):, i = 0 и i = i+1 удалить, либо использовать enumerate: for i, link in enumerate(site_links):. Думаю, еще можно найти, что отрефакторить, но тут уж лучше отдельным вопросом с меткой "инспекция-кода" спрашивать :)
    – gil9red
    Commented 17 сент. 2018 в 7:35
  • @ gil9red Прошу прощения. ссылки всех страниц сайта Commented 17 сент. 2018 в 7:55

2 ответа 2

3

BeautifulSoup умеет работать с разными парсерами, но если не указывать конкретный, то пишет предупреждение и на свое усмотрение выбирает парсер.


Попробуйте html.parser, он является стандартным парсером питона:

soup = BeautifulSoup(html_doc, 'html.parser')

Либо как захотел BeautifulSouplxml. Но его нужно будет устанавливать, если его нет (pip install lxml):

soup = BeautifulSoup(html_doc, 'lxml')
5
  • @ gil9red С вариантом html.parser код отрабатывает, но файл пустой. ошибок не дает. А с вариантом lxml зависает и все. никаких действий не происходит Commented 17 сент. 2018 в 9:05
  • urllib.error.URLError: <urlopen error [WinError 10013] Сделана попытка доступа к сокету методом, запрещенным правами доступа> Вот такое в логе получаю Commented 17 сент. 2018 в 12:08
  • @СергейБогданов . Если что не так получается, пробуйте разобраться сами, например выведя html_doc и смотря что не так :) С urlopen не работал -- в основном через requests, например: github.com/gil9red/SimplePyScripts/blob/… А так, ваша текущая проблема связана с urlopen, возможно еще с тем сайтом. Попробуйте через requests. Если не получится -- создайте новый вопрос по новой проблеме, т.к. для текущей вопрос решен, а обсуждение новой -- флуд. Кст, если мой ответ помог, примите его :)
    – gil9red
    Commented 17 сент. 2018 в 15:39
  • @ gil9red да, спасибо. Ответ помог. Commented 18 сент. 2018 в 8:48
  • @СергейБогданов, если ответ помог -- примите его. Слева будет галочка :)
    – gil9red
    Commented 18 сент. 2018 в 14:09
1

Во первых в определении класса BeautifulSoup укажите нужный парсер.

Во вторых используйте функцию soup.findAll(), а не soup.find()

В третьих попробуйте достать нужные данные этим способом с помощью библиотеки requests

import requests
from bs4 import BeautifulSoup

result=''
page = requests.get('http://google.com')
soup = BeautifulSoup(page.content, 'html.parser')
# Вместо page.content можно page.text
# именно page.text, а не просто page как у вас

''' # Первый вариант
for tag in soup.findAll('a'): # Определенный тэг
# Если надо все, то функции findAll передаем 'html'
    result += str(tag['href'])# Определенный атрибут
    # Можно просто str(tag) # Это все тэги
'''
# Более производительный вариант получения результата от юзера @gil9red
result = ''.join(str(tag) for tag in soup.findAll('html'))

print(result)
3
  • 1
    Лучше page.text -> page.content. В этом случае ответственность за кодирования в строку ляжет на bs4, но с .text тоже работать будет. Да и result можно в одну строку заполнить и это будет эффективнее (т.к. конкатенация строк выполняется через создание новой строки): result = ''.join(str(tag) for tag in soup.findall('html'))
    – gil9red
    Commented 19 сент. 2018 в 7:05
  • @FedotSoldier Вот такой лог после Вашей версии дает Traceback (most recent call last): File "C:/PycharmProjects/testby/parserdub.py", line 8, in <module> for tag in soup.findall('html'): TypeError: 'NoneType' object is not callable Process finished with exit code 1 Commented 19 сент. 2018 в 8:51
  • Сори, неправильно написал имя функции. Не findall, а findAll. Ответ исправил. Скопируйте и попробуйте еще раз. Спасибо @gil9red за предложенный вариант. Его тоже возьмите на вооружение. Commented 19 сент. 2018 в 18:45

Ваш ответ

Нажимая «Отправить ответ», вы соглашаетесь с условиями пользования и подтверждаете, что прочитали политику конфиденциальности.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.