0

Пытаюсь спарсить информацию с сайта госзакупок. Споткунулся на первом же этапе - сама страница выдает абракадабру:

import requests
from bs4 import BeautifulSoup as BS
import bs4

def get_page(keyword, page_number):
    link = f'http://zakupki.gov.ru/epz/order/extendedsearch/results.html?searchString={keyword}&morphology=on&openMode=USE_DEFAULT_PARAMS&pageNumber={page_number}&sortDirection=false&recordsPerPage=_10&showLotsInfoHidden=false&fz44=on&fz223=on&fz94=on&pc=on&currencyIdGeneral=-1&publishDateFrom=01.01.2017&publishDateTo=31.12.2018&updateDateTo=29.05.2019&region_regions_5277343=region_regions_5277343&regions=5277343&regionDeleted=false&sortBy=UPDATE_DATE&exclText=проект+коммунальный+ТКО+ТБО+бытовой+норматив+разработка+поставка+реконструкция+сточный+дезинфекция+обучение+персонал+радиоактивный+ремонт'
    return link

page = requests.get(get_page('отход', 1)).text
soup = BS(page, from_encoding='UTF-8')

print(soup.title)
out:
<title> СÑÑаниÑа не найдена </title>

Буду рад подсказке чем нужно дополнить код. На самой странице в голове кодировка указана недвусмысленно:

<meta http-equiv="content-type" content="text/html; charset=UTF-8">

1 ответ 1

2
page = requests.get(get_page('отход', 1))
page.encoding = 'utf8'
htmlString = page.text

Ваш ответ

By clicking “Отправить ответ”, you agree to our terms of service and acknowledge you have read our privacy policy.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.