2

Нужно собрать ссылки со всего сайта в файл. Нашел вот это на этом сайте. Почему-то не работает (находит только одну ссылку). Писал автору - без ответа. Помогите исправить

import io
from urllib.request import urlopen
from bs4 import BeautifulSoup

pages_to_parse=['https://www.site.ru/']
parsed_pages=[]
site_links=[]

while pages_to_parse != []:
    current_page = pages_to_parse.pop()
    html_doc = urlopen('https://www.site.ru/').read()
    soup = BeautifulSoup(html_doc)

    # ищем div с нужным классом
    collect = soup.find('body')
    # в найденном div'е, ищем все ссылки (т.е. теги a).
    a_tags_on_page = collect.findAll('a')
    links_on_page = []
    for link in a_tags_on_page:
        links_on_page.append(link.get('href'))

    parsed_pages.append(current_page)
    for i in links_on_page:
        if i not in site_links:
            site_links.append(i)
        if i not in parsed_pages:
            pages_to_parse.append(i)
    links_on_page = []


f = io.open('parsed_data.htm', 'w', encoding='utf8')
i = 0
# запишем в файл
while i < len(site_links):
    f.write(""+str(i)+"<a href='"+str(site_links[i]).decode('utf-8')+"'></a><br/>")
    i = i+1
f.close()

Выдает вот такой лог:

C:/PycharmProjects/testby/ParserURL.py:16: UserWarning: No parser was explicitly specified, so I'm using the best available HTML parser for this system ("lxml"). This usually isn't a problem, but if you run this code on another system, or in a different virtual environment, it may use a different parser and behave differently.

The code that caused this warning is on line 16 of the file C:/PycharmProjects/testby/ParserURL.py. To get rid of this warning, pass the additional argument 'features="lxml"' to the BeautifulSoup constructor.

soup = BeautifulSoup(html_doc)
3
  • Так как вы не показали, что именно парсите, то я со всей уверенностью могу заявить, что на странице на самом деле ровно одна ссылка и с кодом никаких проблем нет
    – andreymal
    17 сен 2018 в 7:18
  • Можно проще: 1) while pages_to_parse != []: -> while pages_to_parse: 2) while i < len(site_links): -> for i in range(len(site_links)):, i = 0 и i = i+1 удалить, либо использовать enumerate: for i, link in enumerate(site_links):. Думаю, еще можно найти, что отрефакторить, но тут уж лучше отдельным вопросом с меткой "инспекция-кода" спрашивать :)
    – gil9red
    17 сен 2018 в 7:35
  • @ gil9red Прошу прощения. ссылки всех страниц сайта 17 сен 2018 в 7:55

2 ответа 2

2

BeautifulSoup умеет работать с разными парсерами, но если не указывать конкретный, то пишет предупреждение и на свое усмотрение выбирает парсер.


Попробуйте html.parser, он является стандартным парсером питона:

soup = BeautifulSoup(html_doc, 'html.parser')

Либо как захотел BeautifulSouplxml. Но его нужно будет устанавливать, если его нет (pip install lxml):

soup = BeautifulSoup(html_doc, 'lxml')
5
  • @ gil9red С вариантом html.parser код отрабатывает, но файл пустой. ошибок не дает. А с вариантом lxml зависает и все. никаких действий не происходит 17 сен 2018 в 9:05
  • urllib.error.URLError: <urlopen error [WinError 10013] Сделана попытка доступа к сокету методом, запрещенным правами доступа> Вот такое в логе получаю 17 сен 2018 в 12:08
  • @СергейБогданов . Если что не так получается, пробуйте разобраться сами, например выведя html_doc и смотря что не так :) С urlopen не работал -- в основном через requests, например: github.com/gil9red/SimplePyScripts/blob/… А так, ваша текущая проблема связана с urlopen, возможно еще с тем сайтом. Попробуйте через requests. Если не получится -- создайте новый вопрос по новой проблеме, т.к. для текущей вопрос решен, а обсуждение новой -- флуд. Кст, если мой ответ помог, примите его :)
    – gil9red
    17 сен 2018 в 15:39
  • @ gil9red да, спасибо. Ответ помог. 18 сен 2018 в 8:48
  • @СергейБогданов, если ответ помог -- примите его. Слева будет галочка :)
    – gil9red
    18 сен 2018 в 14:09
1

Во первых в определении класса BeautifulSoup укажите нужный парсер.

Во вторых используйте функцию soup.findAll(), а не soup.find()

В третьих попробуйте достать нужные данные этим способом с помощью библиотеки requests

import requests
from bs4 import BeautifulSoup

result=''
page = requests.get('http://google.com')
soup = BeautifulSoup(page.content, 'html.parser')
# Вместо page.content можно page.text
# именно page.text, а не просто page как у вас

''' # Первый вариант
for tag in soup.findAll('a'): # Определенный тэг
# Если надо все, то функции findAll передаем 'html'
    result += str(tag['href'])# Определенный атрибут
    # Можно просто str(tag) # Это все тэги
'''
# Более производительный вариант получения результата от юзера @gil9red
result = ''.join(str(tag) for tag in soup.findAll('html'))

print(result)
3
  • 1
    Лучше page.text -> page.content. В этом случае ответственность за кодирования в строку ляжет на bs4, но с .text тоже работать будет. Да и result можно в одну строку заполнить и это будет эффективнее (т.к. конкатенация строк выполняется через создание новой строки): result = ''.join(str(tag) for tag in soup.findall('html'))
    – gil9red
    19 сен 2018 в 7:05
  • @FedotSoldier Вот такой лог после Вашей версии дает Traceback (most recent call last): File "C:/PycharmProjects/testby/parserdub.py", line 8, in <module> for tag in soup.findall('html'): TypeError: 'NoneType' object is not callable Process finished with exit code 1 19 сен 2018 в 8:51
  • Сори, неправильно написал имя функции. Не findall, а findAll. Ответ исправил. Скопируйте и попробуйте еще раз. Спасибо @gil9red за предложенный вариант. Его тоже возьмите на вооружение. 19 сен 2018 в 18:45

Ваш ответ

By clicking “Отправить ответ”, you agree to our terms of service and acknowledge that you have read and understand our privacy policy and code of conduct.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.