1

Встречал такое относительно input, но никогда относительно list Ниже привожу элемент кода. В чём моя ошибка и как исправить?

import requests
from bs4 import BeautifulSoup
from lxml import *
urls = ['https://www.sima-land.ru/kanctovary/shkolnye-tovary/opticheskie-pribory/', 'https://wmasteru.org/threads/Простой-парсер-товаров-с-amazon-с-помощью-beautifulsoup.22880/']
class PageDownload(urls):
    def ___init___(self):
        self.urls = urls

    def taking_things(self):
        for url in self.urls:
            s = requests.get(url)
            b = BeautifulSoup(s.text)
            self.title = b.select('soup.html.head.title')

        print(self.title)

p = PageDownload()
p.taking_things()

Далее текст ошибки

Traceback (most recent call last):
  File "C:/Users/kotov_or/PycharmProjects/PageDataDownloader/main.py", line 6, in <module>
    class PageDownload(urls):
TypeError: list expected at most 1 arguments, got 3

Заранее спасибо за ответ.

3
  • Укажите в какой строке ошибка, и желательно полный текст ошибки.
    – insolor
    1 ноя 2018 в 7:19
  • Обновил вопрос. 1 ноя 2018 в 7:22
  • Объявляя класс “class PageDownload(urls)” вы указали что хотите унаследовать его от объекта “urls”. 1 ноя 2018 в 7:42

1 ответ 1

5

У вас в коде что-то странное творится, исправил:

import requests
from bs4 import BeautifulSoup

class PageDownload:
    def __init__(self, urls):
        self.urls = urls

    def taking_things(self):
        for url in self.urls:
            s = requests.get(url)
            b = BeautifulSoup(s.content, 'html.parser')
            self.title = b.select_one('head > title')
            print(self.title)
    
urls = ['https://www.sima-land.ru/kanctovary/shkolnye-tovary/opticheskie-pribory/', 'https://wmasteru.org/threads/Простой-парсер-товаров-с-amazon-с-помощью-beautifulsoup.22880/']

p = PageDownload(urls)
p.taking_things()

Смотрите:

  • class PageDownload(urls): - в скобках после названия класса указывается тип, от которого наследуется тот
  • def ___init___(self): - тут опечатка 3 нижних подчеркивания, вместо двух

PS.

Я бы еще посоветовал заменить:

  • b = BeautifulSoup(s.text) на b = BeautifulSoup(s.content), и желательно с указанием парсера, например: b = BeautifulSoup(s.content, "html.parser") или b = BeautifulSoup(s.content, "lxml")

  • А еще сам select выглядит странно -- элемента soup не должно быть на той странице, а вы ведь хотите заголовок страницы из тега title забрать, тогда так: title = b.select('head > title')


PPS.

По поводу ошибки, мне стало интересно почему так выходит и набросал небольшой пример:

class Foo:
    def __init__(self, *args, **kwargs):
        print('__init__:\nargs={}\nkwargs={}'.format(args, kwargs))

urls = Foo()
print()

class PageDownload(urls):
    def __init__(self, urls):
        self.urls = urls

Консоль:

__init__:
args=()
kwargs={}

__init__:
args=('PageDownload', (<__main__.Foo object at 0x000001D2FE773F60>,), {'__module__': '__main__', '__qualname__': 'PageDownload', '___init___': <function PageDownload.___init___ at 0x000001D2FE7782F0>})
kwargs={}

Как видно из консоли, код, вызываемый при наследовании, передает в конструктор несколько параметров.

Получается, ошибка TypeError: list expected at most 1 arguments, got 3 произошла, когда в конструктор list было передано больше параметров, чем тот рассчитан - т.е. ожидался 1 параметр, а получено 3.

10
  • Что касается, постскриптума, конкретно данный способ я взял из официальной документации BeautifulSoup. Но спасибо за совет. Так и сделаю. 1 ноя 2018 в 8:17
  • 1
    @AgeofCreations, понятно :) Вы не совсем правильно поняли, то, что в select попадает -- это css-селектор, а на языке css-селектора soup.html.head.title -- это найти такой элемент: <soup class="html head title"></soup>, а в документации имелось другое -- это написание тега у самого объекта BeautifulSoup, т.е. в вашем случае это было бы: title = b.html.head.title. Понимаете? Кст, если что, select возвращает список, но если вам нужен 1 элемент, вызывайте select_one
    – gil9red
    1 ноя 2018 в 8:39
  • 1
    meta_tags = b.select('head > meta'), это найдет теги, что являются прямыми детьми head
    – gil9red
    1 ноя 2018 в 12:01
  • 1
    Пожалуйста, пишите подробнее, я не телепат :) Вы про получение тега на примере <meta property="og:description" content="В наличии 571 шт. по цене от 10.04 руб. Закажите прямо сейчас!">?
    – gil9red
    1 ноя 2018 в 12:09
  • 1
    Попробуйте так: b.select_one('meta[property="og:description"]'), можно и так: b.select_one('meta[property=og:description]')
    – gil9red
    1 ноя 2018 в 12:12

Ваш ответ

By clicking “Отправить ответ”, you agree to our terms of service and acknowledge that you have read and understand our privacy policy and code of conduct.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.