Собираюсь делать веб-парсер на python. Нужен способ получения html кода страницы через библиотеку requests.
1 ответ
Через поля rs.text (вернет как строку, тип str
, в кодировке от сервера) или rs.content (вернет как массив байт, тип bytes
), например:
rs = requests.get("https://ru.stackoverflow.com/questions/1306432/")
Но ответ можно получить по частям, например, это пригодится при скачивании большого файла, который может не влезть в память, тогда в запрос указывается параметр stream=True
и ответ возвращается через rs.raw
или метод iter_content
:
rs = requests.get("https://ru.stackoverflow.com/questions/1306432/", stream=True)
# print(rs.raw.read(10))
# Метод iter_content предпочтительнее
for chunk in rs.iter_content(1024):
print(chunk)
rs.text
илиrs.content
, приrs = requests.get("https://ru.stackoverflow.com/questions/1306432/")