0

Пытаясь сделать парсер мобильных телефонов на сайте olx.ua столкнулся с проблемой:при отправке get запроса мне выдает вместо корректного номера телефона "000 000 000",хотелось бы узнать у знающих людей в чем собственно говоря проблема и как её пофиксить.Желательно в рамках языка программирования Python(без JS и PHP) Вот код:

import requests
from bs4 import BeautifulSoup
url = "https://www.olx.ua/obyavlenie/vaz-2109-IDEcaGq.html"
ajaxUrl = "https://www.olx.ua/ajax/misc/contact/phone/"+ "EcaGq/"
r = requests.get(url)
c = str(r.content)
soup = BeautifulSoup(c,"lxml")


a = 1 
for i in soup.findAll("script"):    #цикл для поиска phoneToken'a в html файле
    a+=1
    if a == 24:
        token = i.text[36:164]
        break  



r2 = requests.get(ajaxUrl + token)    
print(r2.content)
3
  • 2
    Вижу ошибку в составлении гиперссылки, она должна быть вида https://www.olx.ua/ajax/misc/contact/phone/{id}/?pt={token}, т.е., допустим, f'{ajaxUrl}?pt={token}' в коде. Только это, наверное, мало что даст, сайт пишет куки в скриптах (один из скрытых чеков на роботов), а requests скрипты не выполняет и куки не пишет. Варианта два - либо извратиться, реверсинжинирнуть JS-скрипты, найти недостающий код с куками и переписать его в питоне, либо использовать что-нибудь типа selenium, где сайт открывается в браузере.
    – hoefling
    12 июн 2019 в 8:43
  • 3
    @hoefling, requests скрипты не выполняет и куки не пишет., а github.com/psf/requests-html это сможет? :)
    – gil9red
    5 мар 2020 в 12:13
  • 1
    @gil9red интересный проект, не знал о таком. Спасибо за ссылку! Вроде да, requests-html рендерит страницу в хромиуме, судя по коду.
    – hoefling
    5 мар 2020 в 12:23

1 ответ 1

0

BeautifulSoup не умеет парсить динамические страницы.

Для решения задачи парсинга динамических страниц лучше другой фреймворк, например, Selenium.

О нем можно почитать здесь: http://python-3.ru/page/selenium-python-example (рус)

или здесь: https://selenium-python.readthedocs.io/getting-started.html (eng).

2
  • пробовал через селениум,но выходит медленно.Кроме селениума нет никаких решений? 12 июн 2019 в 14:46
  • Selenium можно распаралелить...
    – Keler
    1 фев 2020 в 0:03

Ваш ответ

By clicking “Отправить ответ”, you agree to our terms of service and acknowledge you have read our privacy policy.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.