1

Эксперементировал, пробовал "засунуть" рекурсивные функции в get. Не вышло. Ошибка:

TypeError: get() takes from 1 to 2 positional arguments but 4 were given

Вот код, получает html страницы:

import requests
from bs4 import BeautifulSoup

HOST ='https://www.goodreads.com'
def get_data(*url):
    headers = {
        'accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,image/avif,image/webp,image/apng,*/*;q=0.8,application/signed-exchange;v=b3;q=0.9',
        "user-agent": "....36"
    }

    req = requests.get(*url, *headers )
    with open(f"C:\\...\\Roger Zelazny.html", "w", encoding='utf-8') as file:
        file.write(req.text)

def main():
    get_data('https://www.goodreads.com/search?page=1&q=+Roger+Zelazny&qid=ems5pajO3W&tab=books','https://www.goodreads.com/search?page=2&q=+Roger+Zelazny&qid=ems5pajO3W&tab=books')

if __name__ == "__main__":
    main()

Можно ли обойти эту ошибку и все же, "засунуть несколько значений в get" (>2)?

Или это невозможно?

UPD Изменил код, но по прежнему обрабатывает только первый url:

import requests
from bs4 import BeautifulSoup

HOST ='https://www.goodreads.com'
def get_data(*url):
    headers = {
        'accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,image/avif,image/webp,image/apng,*/*;q=0.8,application/signed-exchange;v=b3;q=0.9',
        "user-agent": "..../537.36"
    }

    for i in range(0, 1):
        req = requests.get(url[i], headers=headers)

        with open(f"C:\\....\\Parsing\\Roger Zelazny{i}.html", "w", encoding='utf-8') as file:
            file.write(req.text)

def main():
     get_data('https://www.goodreads.com/search?page=1&q=+Roger+Zelazny&qid=ems5pajO3W&tab=books','https://www.goodreads.com/search?page=2&q=+Roger+Zelazny&qid=ems5pajO3W&tab=books')

if __name__ == "__main__":
    main()
7
  • 2
    Попробуйте заменить req = requests.get(*url, *headers ) на req = requests.get(url[0], headers=headers)
    – S. Nick
    30 дек 2020 в 20:37
  • 2
    def get(url, params=None, **kwargs) не выйдет с *, там один позиционный аргумент ps в чем была идея? избавиться от цикла запросов?
    – Jack_oS
    30 дек 2020 в 22:02
  • В вызове функции - два url . Get запрос должен обработать два, по идее. Обрабатывает один. Хотя вот ручками - тогда да:url[0] или url[1] - соотвественно -первая и вторая страницы. Меняем ручками. Ну и with open(f"C:\\...\\Roger Zelazny2.html - номера страниц меняем, соотвественно.- тогда работает. 31 дек 2020 в 9:06
  • 1
    параметр stop в range: Generate numbers up to, but not including this number, т.е. for i in range(0, 1) == [0]
    – Jack_oS
    31 дек 2020 в 9:32
  • 1
    Так лучше парсеры кодить. Безопаснее, по крайне мер. Сначала сохранять html страницу, потом обрабатывать, чтобы сайт не "долбить" запросами. Вот код без пагинации: github.com/Joffrey-ops/Joffrey/blob/main/Roger%2BZelazny Вот результат: github.com/Joffrey-ops/Joffrey/blob/main/Roger%20Zelazny02.xlsx 31 дек 2020 в 10:31

1 ответ 1

0

Вот такой код должен помочь:

import requests
from bs4 import BeautifulSoup

HOST ='https://www.goodreads.com'
def get_data(*urls): # url -> urls
    headers = {
        'accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,image/avif,image/webp,image/apng,*/*;q=0.8,application/signed-exchange;v=b3;q=0.9',
        "user-agent": "..../537.36"
    }

    for i, url in enumerate(urls): # бежим по переданным  url'ам
        req = requests.get(url, headers=headers)

        with open(f"C:\\....\\Parsing\\Roger Zelazny{i}.html", "w", encoding='utf-8') as file:
            file.write(req.text)

def main():
     get_data('https://www.goodreads.com/search?page=1&q=+Roger+Zelazny&qid=ems5pajO3W&tab=books','https://www.goodreads.com/search?page=2&q=+Roger+Zelazny&qid=ems5pajO3W&tab=books')

if __name__ == "__main__":
    main()

Ваш ответ

By clicking “Отправить ответ”, you agree to our terms of service and acknowledge you have read our privacy policy.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.