Нужно распарсить https://mangalib.me. Но что-то не очень получается... Ответ в браузере
<html id="site_type" lang="ru" data-id="1">
<head>
<meta name="viewport" content="width=device-width, initial-scale=1.0, maximum-scale=1.0">
<meta charset="utf-8"/>
<meta http-equiv="Pragma" content="no-cache"/>
<meta http-equiv="Expires" content="-1"/>
<meta http-equiv="X-UA-Compatible" content="IE=edge,chrome=1"/>
<title> Манга. Читать мангу онлайн на русском. Манга онлайн! </title>
<meta name="description" content="Манга, Манга онлайн! У нас вся Читать мангу бесплатно и без регистрации! Читать Читать мангу! Читать мангу на русском языке, переводы Читать мангу, популярная Читать мангу
При использование requests, данный ответ получаю
<!DOCTYPE html>
<html lang="en-US">
<head>
<title>Just a moment...</title>
<meta http-equiv="Content-Type" content="text/html; charset=UTF-8">
<meta http-equiv="X-UA-Compatible" content="IE=Edge">
<meta name="robots" content="noindex,nofollow">
<meta name="viewport" content="width=device-width,initial-scale=1">
<link href="/cdn-cgi/styles/challenges.css" rel="stylesheet">
<meta http-equiv="refresh" content="35">
Я решил использовать прокси, вот что получилось
<html lang="en-US">
<head>
<title>Access denied</title>
<meta http-equiv="X-UA-Compatible" content="IE=Edge" />
<meta name="robots" content="noindex, nofollow" />
<meta name="viewport" content="width=device-width,initial-scale=1" />
<link rel="stylesheet" href="/cdn-cgi/styles/errors.css" media="screen" />
<script>
И ведь это не из-за js или капчи, уже не первый человек парсил этот сайт с помощью requests, и проблем не было, думаю сами можете попробовать. Версия python: 3.10.4, версия requests: 2.28.1 . Код
session = requests.Session()
r = session.get('https://mangalib.org')
print(r.text)
Решил добавить в headers данные
headers = {
'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_14_6) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/107.0.0.0 Safari/537.36',
}
Думаете помогло ? А вот нет... И да, статус кода 503. Я подумал что может проблема с библиотекой requests, и установил aiohttp, скажу так: Вообще не помогло. И вот теперь я в тупике, прокси не помог, смена инструментов тоже. Если использовать selenium то все ок, но мне нужно с помощью requests