0

Я новичок в парсинге на Python, но очень хочу разобраться...

Как часто можно посылать AJAX запросы?

Я не очень понимаю, где можно найти достойную теоретическую информацию по данной теме, поэтому читаю все подряд, из-за чего в голове появляются несостыковки и каша.

Разные источники пугают, что парсинг и любые виды запросов в целом граничат с блокировкой по ip и лучше не рисковать и отправлять минимальное их количество, но где-то о таком даже не предостерегают

Из-за страха блокировок и возможного закрытого доступа я начинаю искать "свои костыли", запихиваю ответ на AJAX запрос в .txt файл, пытаюсь читать с него данные и вытаскивать нужные, но ничего не выходит, так как данные с .txt файла и ответ на запрос не одно и то же (либо мои знания насколько узки, что я не могу разобраться, как с этим работать из файла, буду рада советом тут тоже, если Вы знаете)

Могу ли я в целом не беспокоиться по поводу запросов и отправлять их в ограниченном-неограниченном количестве?

Если нет, то подскажите, пожалуйста, как работать с данными после запроса, куда их лучше поместить для обработки и каким образом обрабатывать

Очень извиняюсь, если мои вопросы глупы, я пытаюсь в голове сложить цельный пазл нужных действий из огромного количества информации в Интернете, на практике, повторюсь, получается каша, и я начинаю мудрить лишнего и путаюсь даже в примитивных действиях...

Надеюсь на помощь и заранее огромное спасибо за ответ!

1 ответ 1

0

С Вашей стороны нет никаких ограничений. Ограничения есть только на стороне сервера, то есть всё зависит от сайта, который Вы парсите. Никакой сайт не будет блокировать пользователя, который его серфит, то есть запросы на разные URL можно делать стабильно и безопасно раз в 2-3 секунды. По поводу сохранения: Помимо самого получаемого ответа, есть ещё заголовки, которые не должны вам никак мешать. Тот же BeautifulSoup может парсить HTML из любой строки, в том числе полученной из файла.

2
  • 1
    раз в 2-3 секунды??? я парсю 20-50 запросов в секунду)
    – eri
    19 авг 2022 в 19:49
  • @dowellkin спасибо огромное за ответ, я переживала за десяток-второй запросов в час :D Не можете ли Вы подсказать какой-то материал для лучшего понимания, как искать какие-то данные по заголовкам, если это json данные? Вытаскивать по 'div' и 'class_' что-то я умею, но встаю в ступор при виде данных в ином виде 19 авг 2022 в 20:00

Ваш ответ

By clicking “Отправить ответ”, you agree to our terms of service and acknowledge that you have read and understand our privacy policy and code of conduct.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.