0

Сразу скажу что я в этой теме разбираюсь очень плохо поэтому нужна помощь. Делаю телеграм бота, который постит в канала результат парсинга (то есть от телеграма тут только вывод сообщений, основной упор на парсере). Пишу на Python, бот - aiogram, парсер - requests. Проблема в том, что мне нужно делать много запросов на сервер и из-за этого я получаю ошибку "Превышено количество запросов". Пытался достать retry after из заголовков запроса, но там этого ключа нет вообще. Да и ставить задержку не вариант, так как основная суть это скорость выполнения кода. Почитал немного и понял что если включить ВПН, когда превышено количество запросов, то всё опять работает. На данный момент запускаю скрипт на пк, но планирую загружать на сервер. Вопрос в следующем: можно ли как-то настроить сервер что бы он менял ip-адрес каждые, например 3 секунды. Просто я плохо понимаю как работает динамическая смена ip, и подходит ли это мне. Буду благодарен за помощь!

P.S. Понял, что нужно изменять user-agent и proxy. Попробовал это сделать, но ошибка не проходит. Всё ли я правильно сделал? Вот код:

from random import choice


with open("parser_files/user-agent.txt") as user_agent_file:
    user_agent = eval(user_agent_file.read())
get_headers = {'user-agent': choice(user_agent)}

with open("parser_files/proxy_list.txt") as proxy_list_file:
    proxy_list = eval(proxy_list_file.read())
proxy = {'http': choice(proxy_list)}

r = requests.get(final_steam_api_url, headers = get_headers, proxies = proxy).json()

При этом get_headers и proxy выглядит следующим образом:

get_headers = {'user-agent': 'Mozilla/4.0 (compatible; MSIE 8.0; Windows NT 6.1; Win64; x64; Trident/4.0; .NET CLR 2.0.50727; SLCC2; .NET CLR 3.5.30729; .NET CLR 3.0.30729; Media Center PC 6.0; .NET4.0C; .NET4.0E)'}
proxy = {'http': '05.252.161.48:8080'}

В файлах, с которых я беру информацию, находятся списки с данными. Не понимаю, что я делаю неправильно

P.S.2 Добавил отдельно ещё и https адрес:

with open("parser_files/https_proxy_list.txt") as https_proxy_list_file:
    https_proxy_list = eval(https_proxy_list_file.read())
with open("parser_files/http_proxy_list.txt") as http_proxy_list_file:
    http_proxy_list = eval(http_proxy_list_file.read())
proxy = {'http': f'{choice(http_proxy_list)}', 'https': f'{choice(https_proxy_list)}'}

Тогда получаю ошибку:

Not supported proxy scheme None

Прочитал, что нужно добавить http:// к proxy, изменил таким образом:

proxy = {'http': f'http://{choice(http_proxy_list)}', 'https': f'https://{choice(https_proxy_list)}'}

Но теперь получаю ошибку:

HTTPSConnectionPool(host='steamcommunity.com', port=443): Max retries exceeded with url: /market/listings/730/StatTrak%E2%84%A2%20R8%20Revolver%20%7C%20Grip%20(Battle-Scarred)/render/?query=&start=0&count=1&country=RU&language=russian&currency=1 (Caused by SSLError(SSLError(1, '[SSL: WRONG_VERSION_NUMBER] wrong version number (_ssl.c:1123)')))

Если нужно, вот один из final_steam_api_url:

https://steamcommunity.com/market/listings/730/StatTrak™ R8 Revolver | Grip (Battle-Scarred)/render/?query=&start=0&count=1&country=RU&language=russian&currency=1
12
  • меняйте user-agent, меняйте proxie, ставьте задержку между запросами в конце концов...
    – Jack_oS
    20 апр 2021 в 10:06
  • Так ли нужно ДОСить сайт? :) Вообще, какая задача от парсера? Насколько данные, что он вытаскивает, должны быть актуальны. Ответ типа как можно актуальнее не вариант :) ВПН работает только потому что, когда вы через него заходите на сайт, то у вас будет другой ip, т.к. запрос будет выполнен из чужого компьютера, другого (скорее всего) провайдера, это все называется прокси. И прокси тоже блокируются сайтами. Возможно, нужно кешировать данные из сервера и парсером только новые доставать, но тут нужно знать вашу задачу
    – gil9red
    20 апр 2021 в 10:09
  • @Jack_oS а можете подробнее рассказать про изменение user-agent? Просто сделать список из них и гонять по кругу? И где их брать, что бы они отличались? Спасибо
    – 429
    20 апр 2021 в 10:16
  • 1
  • @gil9red у меня база данных с урлами на которые делаются запросы. Код выполняется от 2 секунд до 30 секунд (в основном около 3-5). И соответственно нужно пройтись по всей бд. Но после прохождение +- 7-ми урлов, сайт начинает давать ошибку. Приходится просто спамить и ждать пока снова можно сделать запроса. Сейчас я поставил задержку, но опять же очень важна скорость выполнения. Интересно было бы узнать больше про прокси (опять же говорю, что именно с этим у меня проблемы). Может есть какие-то полезные статьи. Спасибо
    – 429
    20 апр 2021 в 10:21

0

Ваш ответ

By clicking “Отправить ответ”, you agree to our terms of service and acknowledge you have read our privacy policy.

Посмотрите другие вопросы с метками или задайте свой вопрос.