0

С Python стал работать совсем недавно, возникла потребность пробивки страниц на код ответа, но постоянно получаю ответ 403 от сайта ( https://www.auchan.ru/ ), который проверяю, по всей видимости нужно какие то куки или еще чего? Да и второй вопрос как скрипт после по крону запускать на серваке?

import requests
import sys
import os
import datetime
from bs4 import BeautifulSoup
import smtplib
from email import encoders
from email.mime.multipart import MIMEMultipart
from email.mime.text import MIMEText
from email.mime.base import MIMEBase


#Создаем словарь
url_link_bad = {}
header = {'User-Agent': 'Android: Mozilla/5.0 (Linux; Android 5.0; SM-G920A) AppleWebKit (KHTML, like Gecko) Chrome Mobile Safari (compatible; AdsBot-Google-Mobile; +http://www.google.com/mobile/adsbot.html'}

#Открываем файл для записи
my_file = open("url_bad.txt", 'w')

#Открываем файл для чтения
urls =  open ('urls_2.txt','r')

#Запускаем цикл и перебор данных в файле
for url in urls:
    r = requests.get(url, headers=header}, timeout=5)    
    soup = BeautifulSoup(r.text, 'html.parser')
    #Если код ответа отличный от 200
    if  r.status_code > 200:
        status_code = r.status_code
        url_link_bad.update({url:r.status_code}) 
        my_file.write("{} {} \n".format(url , status_code))

    #Закрываем соединение
    my_file.close()

    #NТут отправить на почту
    fromaddr = "[email protected]"
    mypass = "pass"
    toaddr = "[email protected]"

    sendfromaddr = "[email protected]"

    msg = MIMEMultipart()
    msg['From'] = fromaddr
    msg['To'] = toaddr
    msg['Subject'] = "Ошибки 404  / Разделы / {}".format(data)

    #msg.attach(MIMEText(file("url_bad.txt").read()))

    data = datetime.date.today() 
    body = "В файле список битых страниц за {} число".format(data)
    msg.attach(MIMEText(body, 'plain'))



    filename = "url_bad.txt"
    attachment = open("url_bad.txt", "rb")

    part = MIMEBase('application', 'octet-stream')
    part.set_payload((attachment).read())
    encoders.encode_base64(part)
    part.add_header('Content-Disposition', "attachment; filename= %s" % filename)

    msg.attach(part)




    server = smtplib.SMTP('smtp.yandex.ru', 587)
    server.starttls()
    server.login(fromaddr, mypass)
    text = msg.as_string()
    server.sendmail(fromaddr, toaddr, text)
    server.quit()
5
  • 1) Проверяйте через head, а не get 2) Если ссылок много, то мб имеет смысл через асинхронность проверить? 3) В вопросе указана ссылка на сайт, но судя по тексту, ссылки у вас ведут на разные страницы сайта и некоторые из них, похоже, ведут на закрытые. А значит, вам сначала нужно авторизоваться, а после идти на ссылкам. В общем, нужно подробности
    – gil9red
    28 янв 2019 в 9:54
  • На данный момент ссылок не много, через head тоже отдает 403 prnt.sc/md5x03
    – sanitarn
    28 янв 2019 в 9:58
  • Я не говорил что head вам поможет, а только то, что это лучше чем get, т.к. оно не возвращает содержимое по ссылке, а только информацию о нем. А get вернет и само содержимое, и инфу
    – gil9red
    28 янв 2019 в 9:59
  • Все ссылки доступны как для пользователя так и для робота, они отдают код 200, но при сканировании я так понимаю сервак мне отдает код 403 и блокирует меня. Ссылки и должны идти на разные страницы сайта, это ведь цель самой задачи, проверка кода ответа. Зачем мне авторизовываться? Может просто как то куки прописать нужно?
    – sanitarn
    28 янв 2019 в 10:05
  • Мб вам возвращается страница с предложением капчу.. А насчет кук используйте тип Session из requests -- тот сохраняет и отправляет куки между запросами: docs.python-requests.org/en/master/user/advanced
    – gil9red
    28 янв 2019 в 10:16

1 ответ 1

2

Update: Запустил ваш код и сайт стал отвечать 403 кодом. Предположил, что проблема в ссылках, которые вы запрашиваете. Вы считываете их из файла и каждая ссылка имеет в конце символ переноса строки. Я удалил его и теперь сайт отвечает кодом 200. Обратите внимание на метод rstrip()

r = requests.head(url.rstrip(), headers=header, timeout=5)

Поделал запросы к сайту. Отдает 200, все нормально. Попробуйте этот кусок кода. Если у вас не будет работать, то, возможно, вам блокируют доступ. Попробуйте поменять User-Agent, использовать прокси и делать перерывы между запросами с помощью time.sleep().

import requests
import time


header = {'User-Agent': 'Android: Mozilla/5.0 (Linux; Android 5.0; SM-G920A) AppleWebKit (KHTML, like Gecko) Chrome Mobile Safari (compatible; AdsBot-Google-Mobile; +http://www.google.com/mobile/adsbot.html'}

urls = [
    'https://www.auchan.ru/pokupki/igruski/novinki-i-akcii.html',
    'https://www.auchan.ru/pokupki/igruski/igrusji-dlya-devochek/kukliy.html',
    'https://www.auchan.ru/',
    'https://www.auchan.ru/pokupki/mebel-dlja-doma.html'
]

#Запускаем цикл и перебор данных в файле
for url in urls:
    r = requests.head(url, headers=header, timeout=5)
    print(r.status_code)
    time.sleep(5)
4
  • У меня блочит и отдает 403, пробовал с разными User Agent и с разными точками входа в интернет (провайдеры разные)
    – sanitarn
    28 янв 2019 в 10:57
  • Даже не знаю, что еще можно сделать. Разве что арендовать сервер и оттуда запускать. Ну и прокси если еще не пробовали.
    – Andrey
    28 янв 2019 в 12:48
  • Пробовал. Я на php норм сканирую сайт через curl нет проблем, а тут затык, все таки ощущение что с сессиями и куками нужно обращаться. Прокси подключал, тоже самое.
    – sanitarn
    28 янв 2019 в 13:02
  • Есть еще одна догадка. Обновил ответ, взгляните.
    – Andrey
    28 янв 2019 в 13:45

Ваш ответ

By clicking “Отправить ответ”, you agree to our terms of service and acknowledge you have read our privacy policy.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.