0

Нужно распарсить https://mangalib.me. Но что-то не очень получается... Ответ в браузере

<html id="site_type" lang="ru" data-id="1">
  <head>
    <meta name="viewport" content="width=device-width, initial-scale=1.0, maximum-scale=1.0">
    <meta charset="utf-8"/>
    <meta http-equiv="Pragma" content="no-cache"/>
    <meta http-equiv="Expires" content="-1"/>
    <meta http-equiv="X-UA-Compatible" content="IE=edge,chrome=1"/>
    <title> Манга.  Читать мангу онлайн на русском. Манга онлайн! </title>
    <meta name="description" content="Манга, Манга онлайн! У нас вся Читать мангу бесплатно и без регистрации! Читать Читать мангу! Читать мангу на русском языке, переводы Читать мангу, популярная Читать мангу

При использование requests, данный ответ получаю

<!DOCTYPE html>
<html lang="en-US">
<head>
    <title>Just a moment...</title>
    <meta http-equiv="Content-Type" content="text/html; charset=UTF-8">
    <meta http-equiv="X-UA-Compatible" content="IE=Edge">
    <meta name="robots" content="noindex,nofollow">
    <meta name="viewport" content="width=device-width,initial-scale=1">
    <link href="/cdn-cgi/styles/challenges.css" rel="stylesheet">
    <meta http-equiv="refresh" content="35">

Я решил использовать прокси, вот что получилось

  <html lang="en-US">
       <head>
          <title>Access denied</title>
          <meta http-equiv="X-UA-Compatible" content="IE=Edge" />
          <meta name="robots" content="noindex, nofollow" />
          <meta name="viewport" content="width=device-width,initial-scale=1" />
          <link rel="stylesheet" href="/cdn-cgi/styles/errors.css" media="screen" />
          <script>

И ведь это не из-за js или капчи, уже не первый человек парсил этот сайт с помощью requests, и проблем не было, думаю сами можете попробовать. Версия python: 3.10.4, версия requests: 2.28.1 . Код

session = requests.Session()
r = session.get('https://mangalib.org')
print(r.text)

Решил добавить в headers данные

headers = {
    'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_14_6) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/107.0.0.0 Safari/537.36',
}

Думаете помогло ? А вот нет... И да, статус кода 503. Я подумал что может проблема с библиотекой requests, и установил aiohttp, скажу так: Вообще не помогло. И вот теперь я в тупике, прокси не помог, смена инструментов тоже. Если использовать selenium то все ок, но мне нужно с помощью requests

4
  • С таким упорством далеко пойдёшь 👍🏿 Попробуй сделать request в Postman, хотя бы будем знать, что только в python проблема или же не только.
    – DiMithras
    10 дек 2022 в 0:07
  • @DiMithras Спасибо за похвалу. Я мало что понял, но попробую этот метод. Можешь помочь с этим вопросом ru.stackoverflow.com/questions/1475897/… 10 дек 2022 в 0:34
  • @DiMithras С вопросом разобрался 10 дек 2022 в 1:11
  • @DiMithras ЕБ.... ой да наверное без матов, короче говоря есть попадание, для этого пришлось купить прокси, ранее я использовал бесплатные. 60р улетели но не зря. Завтра возьму твой код, и буду проверять. 10 дек 2022 в 1:18

1 ответ 1

0

Купил прокси, и проблема была решена(Эта фигня сожрала у меня неделю), не советую использовать бесплатный прокси

Ваш ответ

By clicking “Отправить ответ”, you agree to our terms of service and acknowledge that you have read and understand our privacy policy and code of conduct.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.