0

Я захотел написать парсер, который бы стянул информацию с сайта и сохранил в документ. Решил воспользоваться данной статьей хабра: https://habr.com/ru/post/280238/

В ней представлен следующий код:

import requests
user_id = 12345
url = 'http://www.kinopoisk.ru/user/%d/votes/list/ord/date/page/2/#list' % (user_id) # url для второй страницы
r = requests.get(url)
with open('test.html', 'w') as output_file:
  output_file.write(r.text.encode('cp1251'))

Скопировал первые строки кода, однако они выдали ошибку, при использовании с тем сайтом, что я хочу запарсить. Ссылка на сайт(если это важно) вот: https://ru.investing.com/stock-screener/?sp=country::5|sector::a|industry::a|equityType::a|exchange::2%3Ceq_market_cap;1

Соответственно, проблемы следующие:

  1. Если просто втупую скопировать код с хабра, подставив свой URL, то выдает следующую ошибку: "ValueError: unsupported format character 'C' (0x43) at index 104" в строке url = " " % (user_id). Что эта ошибка означает, я не понимаю.

  2. Так как в данном случае я не понимаю, что делает строка номер три в примере с хабра,(для меня это присвоение переменной url остатка от деления адреса страницы на userid, был бы признателен тому, что подскажет реальный смысл этой строки), то я решил переделать код в следующий:

    import requests
    url = 'https://ru.investing.com/stock-screener/? 
    sp=country::5|sector::a|industry::a|equityType::a|exchange::2%3Ceq_market_cap;1' 
    r = requests.get(url)
    with open('test.html', 'w') as output_file:
       output_file.write(r.text.encode('cp1251'))
    

И данный код выдает ошибку "TypeError: write() argument must be str, not bytes"

В итоге прошу помочь мне разобраться с этим цирком. Заранее спасибо.

1
  • Приведите код с хабра в текстовом виде, а не по ссылке
    – dIm0n
    19 авг 2020 в 18:32

1 ответ 1

0

Это регулярно встречающаяся тут в вопросах ошибка. Не все символы UTF-8 можно записать в кодировке cp1251. Пишите файл как есть в UTF-8, вы можете потом спокойно его прочитать даже в Windows без каких-либо проблем.

output_file.write(r.text)

P.S. Похоже, текст там уже в кодировке cp1251, его не надо ещё раз перекодировать в неё.

3
  • Отлично, большое спасибо, все заработало, вывело что я забанен на этом сайте потому что робот. То, на что я и расчитывал. 19 авг 2020 в 18:43
  • Единственный оставшийся вопрос - можете ли пояснить, что все-таки делает строка url = 'kinopoisk.ru/user/%d/votes/list/ord/date/page/2/#list' % (user_id)? 19 авг 2020 в 18:43
  • @OlehChaika Это подстановка значения переменной user_id в строку-шаблон (на то место, где в строке %d, если я правильно помню).
    – CrazyElf
    19 авг 2020 в 18:56

Ваш ответ

By clicking “Отправить ответ”, you agree to our terms of service and acknowledge that you have read and understand our privacy policy and code of conduct.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.