Пытаясь сделать парсер мобильных телефонов на сайте olx.ua столкнулся с проблемой:при отправке get запроса мне выдает вместо корректного номера телефона "000 000 000",хотелось бы узнать у знающих людей в чем собственно говоря проблема и как её пофиксить.Желательно в рамках языка программирования Python(без JS и PHP) Вот код:
import requests
from bs4 import BeautifulSoup
url = "https://www.olx.ua/obyavlenie/vaz-2109-IDEcaGq.html"
ajaxUrl = "https://www.olx.ua/ajax/misc/contact/phone/"+ "EcaGq/"
r = requests.get(url)
c = str(r.content)
soup = BeautifulSoup(c,"lxml")
a = 1
for i in soup.findAll("script"): #цикл для поиска phoneToken'a в html файле
a+=1
if a == 24:
token = i.text[36:164]
break
r2 = requests.get(ajaxUrl + token)
print(r2.content)
https://www.olx.ua/ajax/misc/contact/phone/{id}/?pt={token}
, т.е., допустим,f'{ajaxUrl}?pt={token}'
в коде. Только это, наверное, мало что даст, сайт пишет куки в скриптах (один из скрытых чеков на роботов), аrequests
скрипты не выполняет и куки не пишет. Варианта два - либо извратиться, реверсинжинирнуть JS-скрипты, найти недостающий код с куками и переписать его в питоне, либо использовать что-нибудь типаselenium
, где сайт открывается в браузере.requests скрипты не выполняет и куки не пишет.
, а github.com/psf/requests-html это сможет? :)requests-html
рендерит страницу в хромиуме, судя по коду.