1

Пишу парсер мероприятий в Facebook. Дело в том, что загружаются только 10 мероприятий, остальные подгружаются по мере скроллинга страницы. Каким образом можно получить все мероприятия? Для парсинга использую HtmlAgilityPack, для кликов и cookies - SimpleBrowser

15
  • 2
    Каким образом можно получить все - работать с сервером, а не с интерфейсом...
    – EvgeniyZ
    31 авг 2018 в 15:25
  • как сказано ранее, найти апи, либо искать в куче текста (а я думал на мной созданных страницах много лишнего), так вот найти вам надо, то что вызывает как раз обновление.
    – Monomax
    31 авг 2018 в 15:35
  • 1
    @mtrfnv Смотрите... Сайты делятся на 2 типа. 1 - те, что имеют статичную информацию, которая загружается в момент загрузки страницы, это простой HTML текст, там да, приходится работать с ним напрямую. 2 - это сайты, которые используют динамичную подгруздку данных (то есть вы получаете пустой макет HTML и при помощи JS грузите с сервера в этот макет потом информацию (разово, по времени, либо по условию (конец страницы к примеру)). Так вот второй тип всегда работает по принципу клиент-сервер, то есть идет запрос к серверу, который в свою очередь отдает данные.
    – EvgeniyZ
    31 авг 2018 в 15:48
  • 1
    Запрос сам может быть скрытый, чисто для работы сайта, но он всегда есть. Вам как раз и надо отловить этот запрос, посмотреть какие данные он отправляет и куда и эмулировать его. В ответ вы получите удобный JSON/XML или аналоги. А что касается "программный скроллинг" - со вторым типом сайтов, как по мне это попросту изврат и костыли..
    – EvgeniyZ
    31 авг 2018 в 15:49
  • 1
    Можете этот ответ глянуть, я там расписывал подробно об этом. А так, откройте нужную вам страницу в браузере, далее F12 - Nerwork, крутите вниз и как только появится новое содержимое - ищите его в открытой панели разработчика, должен быть всего 1 запрос (ну и картинки всякие может быть) который вам и нужен.
    – EvgeniyZ
    31 авг 2018 в 16:28

0

Ваш ответ

By clicking “Отправить ответ”, you agree to our terms of service and acknowledge you have read our privacy policy.

Посмотрите другие вопросы с метками или задайте свой вопрос.